OSCON 2011, Adrian Cockcroft, "Data Flow at Netflix"

미국의 오프라인 DVD 매장을 사라지게 한 Netflix 온라인 싸이트의 기술 배경을 설명한다.
인터넷을 통해서 TV 나 DVD 를 볼 수 있도록 하는 서비스이다. webkit을 UI 프레임웍으로 쓰는 것으로만 알고 있었는데. 자료들을 보니. 아마존 클라우드를 이용해서 서비스가 되고 있었다.

관련 내용을 OSCON 2011에서 발표했다. 





발번역 시작한다.

* Data Plane
- S3에 Asset(HD Video, Audio, 자막)을 copy해 둔다.
- EC2을 이용해서 인코딩한다. (비디오/비디오 스피드, 포맷, 볼수 있는 50개의 파일로 분리)
- 많은 데이터들은 CDN(Akamai, LimeLight, LEVEL3)를 이용한다. 
- Performance 그래프
 


* Control Plane
- Metadata Curation (ynopsis, 장르, 태그, 번역) 을 다양한 언어로  보여준다. 
- in-house용 Mysql 기반의 Metadata Editor 작성 S3로 export함
- metadata는 S3에 저장하고 최대한 RAM에 올림
- 10개의 GB Head을 가진 Tomcat을 기반으로하는 플랫폼으로 가지고 있으며, Tomcat간에는 REST를 서로 호출한다. 
- s3 안에 petabyte 로그 정보가 있음.
  Hadoop 기반의 분산되어 있는 로그 파일을 수집하는 Chukwa와 Hive 분석 솔루션을 가지고 분석가능함


* 저장 툴
- Mysql
- Canssandra.
   1. 회원 관리에 사용. 세계 4군데로 나누어서 정보를 관리
   2. 북마킹
   3. 개인 정보 (선호, 보고싶은 영화)
- 로그 분석
   1. 로그 처리 및 데이터 추출 (AWS Elastic Map Reduce, Hive 이용)
   2. Cassandra / brisk 를 teradata로 추출



좀 더 자세한 정보를 보려고 했더니. slideshare에 있었다. 
Velocity Conference 2011에 발표했던 자료이다. 

Netflix Velocity Conference 2011