장점
- Persistence
- Speed (간단한 데이터 2백만 건을 1.28초에 저장)
- Data Structure
- Atomic Operation (tx)
- Sharding / Replication 의 용이
- Pub/sub / notification (message queue 또는 comet) - real time
- String(1G), Hash, List, Set, Sorted Set(score필요), intersection, union, difference
- In-memory
- 데이터 TTL, Expire
- Node.js를 포함하는 클라이언트가 다양한 언어에서 구현.
- operation cost : O(1)
- Multiple Instance에 접속해서 item를 수집(select)후 옮길(move) 수 있음(locking지원)
단점 / 이슈
- Ram mode에서는 이슈는 없지만, VM mode 를 이용해서 메모리 관리할 때 속도가 많이 느려짐
- In-memory라 메모리보다 큰 데이터는 적합하지 않을 수 있음(VM 모드를 사용할 때는 메모리 제한이 없음) -> 2.4부터 VM 모드 deprecated
Persistence 의 snapshotting 이용시 I/O 이슈가 있음
- 소스 컴파일 설치
- Sharding을 클라이언트에서 잘 지정할 필요가 있음
- Replication시 blocking됨 (2.4부터 non-blocking하면서 속도개선)
왜 Redis를 주목하는가?
- Vmware의 CloudFoundry Stroage 엔진으로 사용 (mysql, mongoDB와 함께 선정).
- 성능은 memcached와 비슷 함 (리얼 환경에 따라 달라질 수 있음)
- Non blocking IO, Single Threaded
- epoll, kqueue and select 이용
- Libevent (이벤트 처리 오픈 소스) 를 이용하는 대신 자체 구현.
=> Dependent가 없음. 심플해지는 코드
- Single-thread Server
- ANSI C 구현
- 임베디드 / 서버에서 porting이 편함
- Portable 코드!
- 2.4부터는 비동기로 Replication 구성이 가능
* Node.js + redis 사용하는 사례들이 최근에 늘고 있음
* 2011년 안으로 Redis clustering을 구현할 예정 (처음부터 분산 테이블을 목표로 만들어졌기 때문에 이 부분이 구현되면 엄청난 일이 벌어질 듯..)
> set hello world
"OK"
> get hello
"world"
> exists hello
true
> type hello
"string"
> rename hello olleh
"OK"
> get olleh
"world"
> del olleh
1
> get olleh
null
> set a 1
"OK"
> set b 2
"OK"
> set c 3
"OK"
> mget a b c
["1","2","3"]
> lpush list a
1
> lpush list b
2
> lpush list c
3
> lpush list d
4
> lrange list 0 2
["d","c","b"]
> lrange list 0 3
["d","c","b","a"]
> lrange list 2 3
["b","a"]
> sadd set 1
true
> sadd set 2
true
> sadd set 3
true
> smembers set
["3","1","2"]
> zadd ss 1 aa
true
> zadd ss 10 zz
true
> zadd ss 9 yy
true
> zadd ss 2 bb
true
> zrange ss 0 -1
["aa","bb","yy","zz"]
> hset user:1 name x
true
> hset user:1 lastname y
true
> hset user:2 name aa
true
> hget user:1
wrong number of arguments (1 for 2)
> hget user:1 name
"x"
> hgetall user:1
{"name":"x","lastname":"y"}
> hget user:2
wrong number of arguments (1 for 2)
> hget user:2 name
"aa"
> multi
"OK"
> lpush clist a
"QUEUED"
> lpush clist b
"QUEUED"
> lpush clist c
"QUEUED"
> lrange clist 0 -1
"QUEUED"
> exec
[1,2,3,["c","b","a"]]
> multi
"OK"
> lpush dlist a
"QUEUED"
> lpush dlist b
"QUEUED"
> discard
"OK"
운영상 장점
- 백업은 리얼타임으로 진행
-0 Master – Slave Replication이 수직/수평적으로 scale 가능
- (지금 당장은 없지만) 올해 안으로 Clustering 기능 추가 예정 https://github.com/antirez/redis/blob/master/design-documents/REDIS-CLUSTER
- 대형 데이터 cache용 용도로 생각
memcached는 크기가 큰 데이터에 취약
- Slave 구성시 서버를 내리지 않고 사용가능. Replication 순서
slave asks for SYNC
master BGSAVE, slave waits
master BGSAVE finished, the initial bulk data (the .rdb file) is transfered to slave
master accumulates all the new differences for the slave
master finishes sending the whole initial rdb file to slave
master start feeding the slave with the accumulated buffer, and with anything new arriving from clients, if they are writes.
운영상 이슈 & 편리
- 메모리에 있는 데이터들을 File system으로 덤프
1) Snapshotting (디폴트)
자식 프로세스 실행(fork)하고 자식프로세스가 임시(new) RDB파일 만들고, 그것을 다 저장하면 예전(old) 파일 이름으로 교체 (copy-on-write)
속도 이슈로 인해서 많이 고민했음
2) Append-only file (AOF) - 괜찮은 방법
2.0과 2.2가 절차가 다름.
만약 Snapshotting 하다가 Kill 되거나 비정상적 종료에 대비해서 실행 로그들을 따로 저장(Log Rewriting)하여 만약 재시작시 상태를 유지하기 위해서 AOF 파일을 읽음
자식 프로세스 실행(fork)하고, 자식 프로세스는 임시 AOF 파일을 저장한다. 부모 프로세스는 in-memory buffer에 새로 변경된 내용을 계산한다. 자식 프로세스는 쓰기 작업이 완료후에 부모 프로세스는 in-memory buffer의 내용을 AOF 파일에 저장한다. 새로운 파일로 교체.
운영상 편리
AOF를 이용한다면, 서버 관점에서는 정지시간 없이 Redis 재시작 / 업그레이드 가능 (서버 편함)
환경
설정 정보 변경시 재실행
새로운 버전의 redis 서버 재실행
포트 변경 필요,
서버의 포트를 변경하기 때문에 client의 서버 접속 포트를 수정하고 재시작 필요. (client 불편)
=> 오히려 이거 불편. 기존 방법 사용 필요
운영상 불편할 점
- consistent hashing 을 지원하는 client를 이용해야 distribute 가능
- Sharding을 일일이 클라이언트 API를 이용해서 해줘야 함. API에서 반드시 지원
용도
- Ehcache 와 같이 expire 해도 되는 item 용도
- counter
- 최근 30개를 순서대로
- 랭킹 정보
- 일반 캐쉬 용도
Arcus 개발팀 Redis 한계를 지적한 부분 (SDEC 2011.6)
Radis 1.2 검토 대비 최신 버전 2.2 비교
- Sorted set에는 no (offset, count) option
=> 최신 버전에서는 offset, count 기능 추가
- No capped collection
=> 용량제한이 있으며, FIFO기능을 갖고 있는 고성능의 테이블을 capped collection이라고 함. 원래 Redis 지원 안함. 원래 빠르게 개발하면 의미가 없어짐
- Not enough cache statistics
- Cannot control memory use
=> info 명령어를 이용해서 간단하게 메모리 사용량 측정 가능
블로그 #2의 테스트 결과는 잘 못 테스트했다라는 것이다. busy loop나, 클라이언트 lib, 동일하지 않은 클라이언트 lib 문제로 테스트결과는 잘못되었다가 얘기했다.
그리고, 백만 key를 get/set 테스트해서 cpu 사용률 결과를 공유했다. 거의 큰 차이가 없었다.
memcache: user 8.640 seconds, system 19.370 seconds
redis: user 8.95 seconds, system 20.59 seconds
Redis는 set/list/hash에 대해서 atomic하게 get/set를 해줄 수 있기 때문에 하드웨어의 영향을 받을 수 있다. 또한 한계가 있는 상황에서 Redis가 memcached보다 빠르다라고 말할 수 없으며, 테스트 환경에 따라서 둘 중의 하나가 빠르다고 결과가 나올 것이다.
4. 블로그 #4
어떤 분이 성능 비교 글을 쓰며, 블로그 #2, 블고그 #3 모두 똑같은 이슈가 있다고 했다. 한 물리 서버에서 하나의 서버에 하나의 클라이언트를 돌려서 테스트하는 것은 잘못된 경과라고 했다. 그리고, 블로그 #3의 결과가 좀더 괜찮다고 했다.
Memcached was serving 130k SETs per second and 150k GETs per second.
Redis was serving 200k SETs per second and 200k GETs per second.
memcached는 멀티 코어를 사용하는 하나의 인스턴스에 대해서는 scale을 못하는 문제가 있음을 얘기했다.
그래서 2개의 memcached를 실행했더니 Redis와 비슷한 성능을 나오는 것을 발견했다.
Memcached was serving 200k SETs per second and 200k GETs per second.
Redis가 memcached보다 복잡해서 안정성과 속도를 적절히 유지하면서 쓰레드 기반의 구현이 어려울 수 있다고 했다. Redis는 MGET 성능이 좋지 않기 때문에 Hash데이터를 저장하여 HGETALL 을 써서 한번에 읽고 쓰도록 하는 것이 좋다고 했다.
6. 결론
괜찮은 벤치마크 테스트를 만드는 것은 쉽지 않다. 대부분의 벤치마크 테스트는 잘못된 테스트를 하거나, 실제 개발에서는 사용하지 않는 것들을 테스트하기 때문이다. 따라서 벤치 마크 자료를 보았을 때는 그 자료를 100% 신뢰하지 말라는 것이다. 사용을 위해서는 App 개발 환경에서 사용할 수 있는 테스트 시나리오(data 크기, 동시성 레벨) 를 진행하는 것이 좋다. (당근 옳소~)
okcupid.com 에 접속해서, 내가 원하는 조건을 가지고 내가 원하는 타입을 찾아낼 수 있다.
내가 원하는 타입이 match 율에 따라서 보여준다.
중요한 점은 웹 페이지에서는 개인적인 정보(preference)를 가지고 있지 않다. 즉 개인 정보는 최대한 보호할 수 있다.
DB에 개인정보를 보면 질문에 대한 답(취향), 숨겨질 정보, 투표, demo data(자신의 외모,키), demo prefs(내가 찾는 이성 정보) 등이 저장되어 있다.
만약 웹서버에서 DB에 접속해서 개인 정보를 얻어오려고 한다면, 얼마나 많이 검색해야 할까? 1K 디스크 seek만 해도 천3백만명이면, 1억 3천만개의 seek를 해야 한다.
우리는 scalable, low cost, fast, reliable 관점으로 시스템을 구축했다.
* scalable 관점
worker는 분산 아키텍처기반으로 나누어져 있다. 이렇게 하면 2배이상의 효율을 얻어낼 수 있다.
웹 서버의 요청을 받아 merger를 통해 worker로 정보를 읽어오게 하고, 그것을 하나로 데이터를 만들어 웹 서버로 전달했다.
* low cost 관점
c++은 java보다 3배 빠르고, 4배 메모리를 적게 먹어서 서버를 적게 사용할 수 있었다.
12core에 맞게 12개의 worker를 두었다.
* fast 관점
어떻게 해야 가장 빨리 검색할 수 있을까? location, last login을 기준으로 검색해야 했다.
quadtree를 이용해서 지역과 last login정보를 검색하도록 해서 high dimension tree보다 2배 이상 빨리 검색할 수 있었다.
(@김용환 코멘트 : 사실 이미지 검색쪽에서 많이 사용되었던 알고리즘이다. jpeg2000에서 이 알고리즘을 보고 좋아했었다. location 시스템에서 quadtree는 속도가 엄청빠르다. 일부 표준 문서에 jpeg2000으로 이미지를 압축해서 보내는 것을 넣는 것을 했었다.)
(@김용환 코멘트 : quardtree가 속도가 좋을 수 밖에 없는 것은 바로 밀집성과 연관되어 있다. 지도에서 보면, 미국 동북부 지방, 캘리포니아 지방에 사각형이 세밀하게 있고, 텍사스쪽은 허허 벌판이다. 즉 사람 정보가 거의 없다는 것을 의미한다. 인구의 밀집성에 맞춘 검색에 적합하다고 할 수 있다.)
Redis맛보기.pdf
댓글을 달아 주세요