캐시가 DB보다 빠른데, 왜 모든 데이터를 캐시에 넣지 않을까?

[sehynn]

1. 캐시가 DB보다 빠른 이유
2. 그렇다면 어떤 데이터를 캐시에 저장해야 할까? 공간적 지역성 및 시간적 지역성이란?
3. 왜 모든 데이터를 캐시에 넣지 않을까?

[sehynn]

1. 캐시가 DB보다 빠른 이유

캐시는 메모리에 데이터를 저장하고, 일반 DB는 디스크에 데이터를 영구 저장한다.
DB도 자주 사용하는 데이터는 메모리에 캐싱하지만, 영구 저장을 보장해야 하며 SQL 처리, 트랜잭션, 동시성 제어 등 다양한 기능을 수행하므로 캐시보다 오버헤드가 크다.

메모리 기반 저장소

• RAM을 사용하여 데이터를 저장
• CPU가 직접 접근할 수 있는 매우 빠른 저장장치
• RAM은 전기 신호를 이용해 데이터를 저장
• 전원이 꺼지면 데이터가 사라지는 휘발성 특성
• 휘발성 : Volatile

RAM에서 데이터를 찾는 방법

• RAM : Random Access Memory
• 모든 메모리 공간은 고유한 주소를 가진다.
• CPU는 원하는 주소를 바로 읽을 수 있다.
• 데이터 위치만 알고 있다면 거의 일정한 시간에 접근할 수 있다.
• 순차적으로 탐색할 필요가 없다.

디스크 기반 저장소

• Solid State Drive, Hard Disk Drive에 데이터를 영구 저장한다.
• 전원이 꺼져도 데이터가 유지된다.
• 메모리에 비해 접근 속도가 훨씬 느리다.
• SQL 파싱, 실행 계획 생성, 인덱스 탐색, 락 관리, 트랜잭션 관리, 동시성 제어, 로그 기록, 디스크 입출력과 같은 작업을 함께 수행하기 때문에 단순 메모리 조회보다 시간이 더 걸린다.

HDD에서의 디스크 스케줄링

HDD : 자기 디스크를 회전시키면서 데이터를 저장하는 장치 - 원판이 계속 회전하고, 읽기/쓰기 헤드가 움직이면서 데이터를 읽고 쓴다. - HDD는 디스크 헤드가 실제로 움직여 데이터를 읽기 때문에 스케줄링 알고리즘이 중요했다. - 가격이 저렴하고 대용량 저장이 쉬우나 느리고 소음, 발열이 심하고 충격에 약함.

• FCFS (First Come First Served) : 요청이 들어온 순서대로 처리
• SSTF (Shortest Seek Time First) : 현재 헤드에서 가장 가까운 위치를 먼저 처리
• SCAN (엘리베이터 알고리즘) : 한 방향으로 끝까지 이동하며 요청을 처리한 뒤 반대 방향으로 이동

SSD는?

SSD는 반도체에 데이터를 저장하기에, 회전하는 디스크와 헤드가 없다.
그래서 매우 빠르고 소음도 없고 전력 소모도 적으나, HDD보다는 비용이 비싸다.

• 전자적으로 데이터를 읽는다.
• HDD처럼 헤드 이동 시간이 존재하지 않는다.
• 따라서 디스크 스케줄링의 중요성이 거의 없다.
• 오늘날 대부분의 서비스는 SSD를 사용. (PostgreSQL, MySQL, MongoDB...) : SQL 실행 속도/인덱스 탐색/대량 조회 성능 향상.

캐시가 SSD, HDD보다 더 빠른 진짜 이유

그럼에도 불구하고 캐시가 더 빠르다.
캐시는 RAM을 사용하기 때문에 빠른 것도 맞지만, 단순한 Key-Value 구조와 최소한의 처리 과정으로 설계되어 있기 때문에 데이터베이스보다 훨씬 빠른 응답 속도를 제공한다.

1. 메모리를 사용

• RAM 접근 시간: 약 50~100나노초(ns)
• SSD 접근 시간: 약 50~100마이크로초(μs)
• HDD 접근 시간: 약 510밀리초(ms)
  즉 RAM은 SSD보다도 수백수천 배 빠르고, HDD와는 비교할 수 없을 정도로 빠르다. 그래서 Redis 같은 메모리 기반 캐시가 데이터베이스보다 훨씬 빠르게 데이터를 제공할 수 있는 거야.

2. 훨씬 단순한 데이터 구조와 처리 과정

• RAM에서 바로 데이터를 읽는다.
• SQL을 실행하지 않는다.
• 디스크 접근이 없다.
• 트랜잭션 처리가 거의 없다.
• 단순한 Key-Value 조회만 수행한다.
• 네트워크 왕복과 직렬화 비용도 최소화하도록 설계된다.

[sehynn]

2. 그렇다면 어떤 데이터를 캐시에 저장해야 할까? 공간적 지역성 및 시간적 지역성이란?

캐시의 공간은 한정되어 있기 때문에, 모든 데이터를 저장할 수 없다.
따라서, 앞으로도 다시 사용할 가능성이 높은 데이터를 캐시에 저장해야 한다.
컴퓨터는 이러한 특성을 지역성이라고 한다.

캐시는 지역성을 활용하여 성능을 높인다.

• 시간적 지역성을 이용해 최근 자주 사용한 데이터를 캐시에 저장한다.
• 공간적 지역성을 이용해 관련되거나 인접한 데이터까지 함께 가져와 이후 요청을 빠르게 처리한다.

(1) 시간적 지역성 Temporal Locality

• 최근에 접근한 데이터는 가까운 미래에도 다시 접근할 가능성이 높다.
• 로그인 사용자 정보, 인기 게시글, 상품 상세

(2) 공간적 지역성 Spatial Locality

• 어떤 데이터를 접근하면 그 주변 데이터도 함께 접근할 가능성이 높다.
• 배열 순회, 게시글 목록, 페이지 단위 조회

[sehynn]

3. 왜 모든 데이터를 캐시에 넣지 않을까?

(1) 메모리는 매우 비싸다.
(2) 메모리 용량은 제한되어 있다.
(3) RAM은 휘발성이다.
(4) 모든 데이터가 자주 조회되는 것은 아니니, 모두 빠를 필요는 없다.
(5) 캐시는 자주 사용하는 데이터를 위한 공간이다.
(6) 캐시 관리 비용도 존재한다.

3. Why Don't We Store All Data in the Cache?

1. Memory (RAM) is much more expensive than disk storage.
2. Memory capacity is limited.
3. RAM is volatile, meaning data is lost when the power is turned off.
4. Not all data is accessed frequently, so caching everything is inefficient.
5. The purpose of a cache is to store frequently accessed ("hot") data.
6. Cache management introduces additional overhead, such as cache invalidation, eviction policies, and synchronization with the database.