아래 내용은 Memcached와 Redis간의 성능 테스트를 했던 블로그의 내용을 발번역한 자료이다.
원래 원문은 아래 링크이며, 나는 블로그들을 살펴보며, 무슨 말을 하려고 했는지 보고 싶었다.
http://nosql.mypopescu.com/post/1462969783/redis-and-memcached-benchmarks

수많은 테스트를 통해서 나는 벤치마크 테스트 셋을 잘 믿지 않는 편이다.
내가 속해 있는 App-Data 환경에서 테스트해야 좀 믿는다.

하지만 다양한 테스트 결과가 봄으로서, 통찰력이 생길 수 있다는 점은 좋은 것 같다. ^^



1. 블로그 #1
2009년 11월에 한 블로거가 redis와 memcached와 tokyo tyrant와 mysql을 테스트를 하였다.

http://www.ruturaj.net/redis-memcached-tokyo-tyrant-mysql-comparison

redis가 특정 벤치마크테스트에서 get/set에 뛰어난 성능을 보여주였다.

throughput set

throughput get

2. 사건 #2

2010년 8월에 또다른 블로거가 이에 대해서 글을 작성했다.
http://systoilet.wordpress.com/2010/08/09/redis-vs-memcached/

3바이트 키을 가진 10만개 데이터를 넣고, 얼마나 빨리 찾는지 보여주는 테스트이다.




Muti-get 테스트할 때는 Redis가 상당히 안좋게 나왔다. 당시에는 Redis가 multi-bulk 전송기능이 후졌을 때를 기준으로 테스트된 거라, 지금 (2011.8월)은 어떻게 나올지는 모르겠다.



10바이트 키에 최대로 16KB까지 처리할 수 있는 가변 데이터를 테스트했다.
Memcached는 데이터의 길이가 커지면 성능이 떨어지는 이슈가 생겼다. (문서에서는 1Mbyte까지 지원한다고 하지만, 실제로는 상당히 좋지 않은 결과가 나왔다)

memcached가 원래 대용량에 약하며, 길이 제한이 제일 강하다. Amazon Simple DB가 memcached 기반이다.


내용을 봤을 때는 작은용량일때는 memcached가  redis보다 성능이 좋은 것 같다.


3. 블로그 #3

또다른 블로거가 발끈하고 2010년 9월에 쓴 자료가 있다.

http://antirez.com/post/redis-memcached-benchmark.html

벤치마크 테스트를 수정해서 테스트했더니. redis가 더 좋게 나왔다.

블로그 #2의 테스트 결과는 잘 못 테스트했다라는 것이다. busy loop나, 클라이언트 lib, 동일하지 않은 클라이언트 lib 문제로 테스트결과는 잘못되었다가 얘기했다.

Redis VS memcached 

그리고, 백만 key를 get/set 테스트해서 cpu 사용률 결과를 공유했다. 거의 큰 차이가 없었다.

  • memcache: user 8.640 seconds, system 19.370 seconds
  • redis: user 8.95 seconds, system 20.59 seconds

Redis는 set/list/hash에 대해서 atomic하게 get/set를 해줄 수 있기 때문에 하드웨어의 영향을 받을 수 있다. 또한 한계가 있는 상황에서 Redis가 memcached보다 빠르다라고 말할 수 없으며, 테스트 환경에 따라서 둘 중의 하나가 빠르다고 결과가 나올 것이다.


4. 블로그 #4

어떤 분이 성능 비교 글을 쓰며, 블로그 #2, 블고그 #3 모두 똑같은 이슈가 있다고 했다. 한 물리 서버에서 하나의 서버에  하나의 클라이언트를 돌려서 테스트하는 것은 잘못된 경과라고 했다. 그리고, 블로그 #3의 결과가 좀더 괜찮다고 했다.

http://dormando.livejournal.com/525147.html

블로그 #3의 코드를 조금 다듬어 paralle(병렬)로 테스트를 했더니 다음과 같은 결과가 나왔다.







이 블로거는 테스트결과를 공유하고, memcached는 multi-thread로 매우 좋은 결과를 만들었고, redis는 single -thread 때문에 퍼포먼스가 별로였다고 언급했다.

Redis를 가지고 single thread와 multi thread 로 테스트를 했더니 오히려 single thread쪽이 더 좋은 결과를 내었다고 얘기했다.

 


5. 블로그 #5

블로그 #3의 주인이 블로그 #4에 대해서 쓴 글이다.
http://antirez.com/post/update-on-memcached-redis-benchmark.html


이 사람은 2코어의 cpu 사용의 한계를 주고, 100개의 클라이언트로 테스트했다.
  • Memcached was serving 130k SETs per second and 150k GETs per second.
  • Redis was serving 200k SETs per second and 200k GETs per second.
memcached는 멀티 코어를 사용하는 하나의 인스턴스에 대해서는 scale을 못하는 문제가 있음을 얘기했다.
그래서 2개의 memcached를 실행했더니 Redis와 비슷한 성능을 나오는 것을 발견했다.

  • Memcached was serving 200k SETs per second and 200k GETs per second.


Redis가 memcached보다 복잡해서 안정성과 속도를 적절히 유지하면서 쓰레드 기반의 구현이 어려울 수 있다고 했다. Redis는 MGET 성능이 좋지 않기 때문에 Hash데이터를 저장하여 HGETALL 을 써서 한번에 읽고 쓰도록 하는 것이 좋다고 했다.


6. 결론
괜찮은 벤치마크 테스트를 만드는 것은 쉽지 않다. 대부분의 벤치마크 테스트는 잘못된 테스트를 하거나, 실제 개발에서는 사용하지 않는 것들을 테스트하기 때문이다. 따라서 벤치 마크 자료를 보았을 때는 그 자료를 100% 신뢰하지 말라는 것이다. 사용을 위해서는 App 개발 환경에서 사용할 수 있는 테스트 시나리오(data 크기, 동시성 레벨) 를 진행하는 것이 좋다. (당근 옳소~)


Posted by 김용환 '김용환'

okcupid.com 이라는 회사는 짝 매칭 서비스 이다. 

 

 발표 동영상은 다음과 같다.




PT가 공개가 아직 안된 관계로 캡쳐화면과 발번역으로 내용을 소개한다. 

okcupid.com 에 접속해서, 내가 원하는 조건을 가지고 내가 원하는 타입을 찾아낼 수 있다.



내가 원하는 타입이 match 율에 따라서 보여준다.


 
중요한 점은 웹 페이지에서는 개인적인 정보(preference)를 가지고 있지 않다. 즉 개인 정보는 최대한 보호할 수 있다.

DB에 개인정보를 보면 질문에 대한 답(취향), 숨겨질 정보, 투표, demo data(자신의 외모,키), demo prefs(내가 찾는 이성 정보) 등이 저장되어 있다.




만약 웹서버에서 DB에 접속해서 개인 정보를 얻어오려고 한다면, 얼마나 많이 검색해야 할까? 1K 디스크 seek만 해도 천3백만명이면, 1억 3천만개의 seek를 해야 한다.



우리는 scalable, low cost, fast, reliable 관점으로 시스템을 구축했다.


* scalable 관점
worker는 분산 아키텍처기반으로 나누어져 있다. 이렇게 하면 2배이상의 효율을 얻어낼 수 있다.




웹 서버의 요청을 받아 merger를 통해 worker로 정보를 읽어오게 하고, 그것을 하나로 데이터를 만들어 웹 서버로 전달했다.



* low cost 관점
c++은 java보다 3배 빠르고, 4배 메모리를 적게 먹어서 서버를 적게 사용할 수 있었다.
12core에 맞게 12개의 worker를 두었다. 


* fast 관점
어떻게 해야 가장 빨리 검색할 수 있을까? location, last login을 기준으로 검색해야 했다.
quadtree를 이용해서 지역과 last login정보를 검색하도록 해서 high dimension tree보다 2배 이상 빨리 검색할 수 있었다. 
(@김용환 코멘트 : 사실 이미지 검색쪽에서 많이 사용되었던 알고리즘이다. jpeg2000에서 이 알고리즘을 보고 좋아했었다. location 시스템에서 quadtree는 속도가 엄청빠르다. 일부 표준 문서에 jpeg2000으로 이미지를 압축해서 보내는 것을 넣는 것을 했었다.)


[##_http://knight76.tistory.com/script/powerEditor/pages/1C%7Ccfile23.uf@131D724D4E2FB6710C9809.png%7Cwidth=%22600%22%20height=%22305%22%20alt=%22%22%20filename=%22cupid8.png%22%20filemime=%22image/jpeg%22%7C_##]


(@김용환 코멘트 : quardtree가 속도가 좋을 수 밖에 없는 것은 바로 밀집성과 연관되어 있다. 지도에서 보면, 미국 동북부 지방, 캘리포니아 지방에 사각형이 세밀하게 있고, 텍사스쪽은 허허 벌판이다. 즉 사람 정보가 거의 없다는 것을 의미한다. 인구의 밀집성에 맞춘 검색에 적합하다고 할 수 있다.)




 
[##_http://knight76.tistory.com/script/powerEditor/pages/1C%7Ccfile5.uf@121D724D4E2FB6710B32CC.png%7Cwidth=%22600%22%20height=%22303%22%20alt=%22%22%20filename=%22cupid10.png%22%20filemime=%22image/jpeg%22%7C_##]

* Reliable 관점
work 장비가 죽어도, 작동되게 하기 위해서 여러개의worker 인스턴스가 동작될 수 있다.




worker 장비의 속도는 생명이기 때문에 일반적인 정보를 caching한다. 리스타트하면서 DB 정보를 읽어온다. 
10만명의 개인 사용자 정보를 읽어오는 worker가 있다면, 디스크 정보 얻어오려면 10만번을 해야 한다. 이 방법은 좋지 않았다.



그래서 nosql을 사용해서 10만명의 정보를 읽어왔다. 좋았다. (@김용환 코멘트 : 얼마나 좋은지 지표를 주면 좋았을 뻔)



맘에 들지 않지는 사람은 hide를 시킬 때, 이 정보를 mysql, worker, nosql로 복제를 해야 한다. 



nosql은 SSD를 사용해서 효과를 얻을 수 있다. SSD는 4배 정보 비싸지만 12배 정보 write 속도가 빠르다. 



이 방식을 사용하여 3배 정보의 비용 절감 효과를 보았다. (@김용환 코멘트 : 예전에 프로젝트할 때 부팅 속도빠르게 플래쉬를 쓰려고 했었다. 빠른 부팅속도, 빠른 IO를 사용하여 성능을 최적화는 것도 좋은 방법 중의 하나)



SSD에서는 write는 read를 block한다.
write 때문에 read 속도가 팍 늘어나는 것을 볼 수 있다. 



이런 부분 때문에 최대한 write를 피해야 하고, SSD 벤치마킹을 잘해서 critical한 부분에서는 read 속도 때문에 문제가 되지 않도록 충분히 피해야 한다.



Last Look
- C++
- Optimized heavily
- Single threaded procs
- SSDs


Posted by 김용환 '김용환'