최근 트위터에서 장비 구성을 소개하는 기술 블로그를 작성했다.
https://blog.twitter.com/2017/the-infrastructure-behind-twitter-scale
메소스 기반으로 서비스를 구성하고 있음을 느낄 수 있었다.
메소스를 많이 활용한 것으로 나타나는 데, 특징적인 것은 코드 라인이 줄어들고 있다는 점이다.
https://www.wired.com/2013/03/google-borg-twitter-mesos/에 따르면, 트위터의 메소스 역사를 살펴볼 수 있다.
These were Twitter engineers who had once worked at Google: John Sirois, Travis Crawford, and Bill Farner. They told Hindman that they missed Borg, and that Mesos seemed like the perfect way to rebuild it.
He and his fellow engineers continued to run Mesos as an open source software project, but at Twitter, he also worked to move the platform into the company’s data center and fashion something very similar to Google Borg.
트위터의 전직 구글 개발자는 메소스를 구글의 Borg(https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/43438.pdf)를 생각할 수 있다고 한다.
트위터에서 엔지니어링을 이끌었던 라이버가 트위터의 신규 서비스는 모두 메소스를 사용하도록 했다고 한다.
http://www.zdnet.co.kr/news/news_view.asp?artice_id=20140819141405
라이버트 CEO는 트위터의 엔지니어링을 이끌었던 인물이다. 그는 트위터의 신규 서비스에 모두 메소스를 사용하도록 했다. 트위터를 떠난 후 에어비앤비에서 메소스 상에 분석 환경을 구축했다. ETL 관리와 스케줄리을 위한 크로노스 아파치 메소스 프레임워크의 주요 저자기도 하다.
메소스의 특징을 한 장으로 표현하면 다음과 같다.
메소스는 다음과 같은 큰 특징이 있다.
- 효율성(Efficiency) : 운영 체제와 같은 메소스 스케쥴링 기능은 애플리케이션(프레임워크)에서 CPU와 메모리를 관리한다.
- 고가용성(High availability) : 아파치 주키퍼를 사용해 가용성을 높인다.
- 모니터링 인터페이스(Monitoring Interface) : 메소스에는 클러스터 모니터링을 위한 넌블러킹(non-blocking) 웹 UI가 있다.
- 자원 격리 : 리눅스와 도커(Docker) 컨테이너 아키텍처를 지원한다. multi tenancy를 지원한다.
- 확장성(Scalability) : 현재까지 현재 버전으로 최대 50,000개의 노드를 지원한다.
- 스케줄러(Scheduler) : 제공할 자원에 대한 결정을 내리고 클러스터의 현재 상태를 추적한다.
- 익스큐터(Executor) : 슬레이브 노드의 태스크 실행을 책임진다.
찾아보니 슬라이드 자료도 있다.
* API 정리
- registered : 익스큐터와 메소스와 연결되면 호출된다.
- reregistered : 익스큐터가 재시작된 슬레이브로 재등록할 때호출된다.
- disconnected : 익스큐터가 슬레이브와 끊어졌을 때 호출된다.
- launchTask : executor에서 작업이 시작될 때 호출된다.
- killTask : 익스큐터에서 실행중인 작업이 종료될 때 호출된다
- frameworkMessage : 프레임워크의 메시지가 익스큐터에 도착하면 호출된다
- shutdown : 익스큐터가 현재 실행 중인 모든 작업을 종료해야 할 때 호출된다
- error : 익스큐터와 익스큐터의 드라이버에서 치명적인 에러가 발생했을 때 호출된다
- start : 익스큐터 드라이버를 시작한다
- stop : executor 드라이버를 중지한다.
- abort : 드라이버를 중단하고 더 이상 익스큐터에 콜백을 만들 수 없도록 한다
- join : 드라이버가 중지되거나 중단될 때까지 대기한다
- run : 드라이버를 시작하고 즉시 join() 메서드를 호출한다.
- sendStatusUpdate : 프레임워크 스케줄러에 상태 변경를 보낸다.
- sendFrameworkMessage : 프레임워크 스케줄러에게 메시지를 보낸다.
- disconnected : 스케줄러가 마스터와의 연결이 끊어지면 호출된다
- error : 스케줄러 또는 드라이버에 복구 할 수 없는 에러가 발생하면 호출된다
- executorLost : 익스큐터가 종료되거나 종료될 때 호출된다
- frameworkMessage : 익스큐터가 메시지를 보낼 때 호출된다
- offerRescinded : 쿠폰이 더 이상 유효하지 않으면 호출된다
- registered : 스케줄러가 메소스 마스터에 성공적으로 등록할 때 호출된다
- reregistered : 스케줄러가 새로 선출된 메소스 마스터에 재등록할 때 호출된다
- resourceOffers : 자원이 프레임워크에 제공되었을 때 호출된다
- slaveLost : 슬레이브가 도달할 수 없다고 판단되면 호출된다
- statusUpdate : 작업 상태가 변경되면 호출된다
- abort : 더 이상 콜백이 스케줄러에 생성되지 않도록 드라이버를 중단한다
- acceptOffers : 주어진 제안을 허용하고 허용된 제안에 대한 일련의 작업을 수행한다
- acceptOffers : 상태 변경을 확인한다
- declineOffer : 제안을 전체적으로 거부한다
- declineOffer : 제안 전체를 거부하고 지정된 필터를 자원에 적용한다
- join : 드라이버가 멈추거나 중단될 때까지 대기하고 현재 스레드를 무기한 차단한다.
- killTask : 지정된 작업을 종료한다
- launchTasks : 주어진 작업 집합을 실행한다
- reconcileTasks : 해당 코드를 사용하면 프레임워크가 터미널이 아닌 작업의 상태를 확인할 수 있다
- requestResources : 메소스의 자원를 요청한다
- reviveOffers : 프레임워크에서 이전에 설정한 모든 필터를 삭제한다
- run : 드라이버를 시작하고 즉시 조인한다(예, 블럭).
- sendFrameworkMessage : 프레임워크에서 익스큐터 중 하나에게 메시지를 보낸다
- start : 스케줄러 드라이버를 시작한다
- stop : 해당코드는 스케줄러 드라이버를 중지한다. 또는 페일 오버(failover)가 없다고 가정하는 스케줄러 드라이버를 중지한다
- suppressOffers : 메소스 마스터에게 프레임워크에 대한 제안을 보내는 것을 중지하도록 알려준다
'scribbling' 카테고리의 다른 글
| [펌] 스칼라 컨퍼런스에서 Web과 Stream 선호도 (0) | 2017.04.10 |
|---|---|
| [펌] 메소스 - 컨테이너 자료 (0) | 2017.04.07 |
| [펌] 트위터 스트림 처리 서버 (heron) 최적화 내용 (0) | 2017.03.27 |
| [펌] 카산드라는 매달 출시 계획을 갖는다. (0) | 2017.03.21 |
| 머신러닝/딥러닝 링크 #1 (0) | 2017.02.15 |
