미국의 오프라인 DVD 매장을 사라지게 한 Netflix 온라인 싸이트의 기술 배경을 설명한다.
인터넷을 통해서 TV 나 DVD 를 볼 수 있도록 하는 서비스이다. webkit을 UI 프레임웍으로 쓰는 것으로만 알고 있었는데. 자료들을 보니. 아마존 클라우드를 이용해서 서비스가 되고 있었다.

관련 내용을 OSCON 2011에서 발표했다. 





발번역 시작한다.

* Data Plane
- S3에 Asset(HD Video, Audio, 자막)을 copy해 둔다.
- EC2을 이용해서 인코딩한다. (비디오/비디오 스피드, 포맷, 볼수 있는 50개의 파일로 분리)
- 많은 데이터들은 CDN(Akamai, LimeLight, LEVEL3)를 이용한다. 
- Performance 그래프
 


* Control Plane
- Metadata Curation (ynopsis, 장르, 태그, 번역) 을 다양한 언어로  보여준다. 
- in-house용 Mysql 기반의 Metadata Editor 작성 S3로 export함
- metadata는 S3에 저장하고 최대한 RAM에 올림
- 10개의 GB Head을 가진 Tomcat을 기반으로하는 플랫폼으로 가지고 있으며, Tomcat간에는 REST를 서로 호출한다. 
- s3 안에 petabyte 로그 정보가 있음.
  Hadoop 기반의 분산되어 있는 로그 파일을 수집하는 Chukwa와 Hive 분석 솔루션을 가지고 분석가능함


* 저장 툴
- Mysql
- Canssandra.
   1. 회원 관리에 사용. 세계 4군데로 나누어서 정보를 관리
   2. 북마킹
   3. 개인 정보 (선호, 보고싶은 영화)
- 로그 분석
   1. 로그 처리 및 데이터 추출 (AWS Elastic Map Reduce, Hive 이용)
   2. Cassandra / brisk 를 teradata로 추출



좀 더 자세한 정보를 보려고 했더니. slideshare에 있었다. 
Velocity Conference 2011에 발표했던 자료이다. 



Netflix Velocity Conference 2011

Posted by 김용환 '김용환'
올해 4월 아마존 AWS 에 대한 장애 자료를 링크를 남겨둔다.

http://www.bloter.net/archives/58253
 

http://dev.paran.com/2011/05/17/amazon-ec2-outage-lessons-learned/

http://blog.udanax.org/2011/04/ec2-ebs.html

http://status.heroku.com/incident/151

http://don.blogs.smugmug.com/2011/04/24/how-smugmug-survived-the-amazonpocalypse/

 
 
Posted by 김용환 '김용환'



올해 2월에 만듦. slideshare에 올려놓음.
아마존 Aws 서비스_연구
View more documents from knight76.tistory.com.
Posted by 김용환 '김용환'
TAG EC2, 아마존