메소스(mesos) 공부

scribbling 2017. 3. 27. 14:31


최근 트위터에서 장비 구성을 소개하는 기술 블로그를 작성했다.


https://blog.twitter.com/2017/the-infrastructure-behind-twitter-scale


메소스 기반으로 서비스를 구성하고 있음을 느낄 수 있었다. 









메소스를 많이 활용한 것으로 나타나는 데, 특징적인 것은 코드 라인이 줄어들고 있다는 점이다. 




https://www.wired.com/2013/03/google-borg-twitter-mesos/에 따르면, 트위터의 메소스 역사를 살펴볼 수 있다.



These were Twitter engineers who had once worked at Google: John Sirois, Travis Crawford, and Bill Farner. They told Hindman that they missed Borg, and that Mesos seemed like the perfect way to rebuild it.



He and his fellow engineers continued to run Mesos as an open source software project, but at Twitter, he also worked to move the platform into the company’s data center and fashion something very similar to Google Borg.


트위터의 전직 구글 개발자는 메소스를 구글의 Borg(https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/43438.pdf)를 생각할 수 있다고 한다.






트위터에서 엔지니어링을 이끌었던 라이버가 트위터의 신규 서비스는 모두 메소스를 사용하도록 했다고 한다. 


http://www.zdnet.co.kr/news/news_view.asp?artice_id=20140819141405

라이버트 CEO는 트위터의 엔지니어링을 이끌었던 인물이다. 그는 트위터의 신규 서비스에 모두 메소스를 사용하도록 했다. 트위터를 떠난 후 에어비앤비에서 메소스 상에 분석 환경을 구축했다. ETL 관리와 스케줄리을 위한 크로노스 아파치 메소스 프레임워크의 주요 저자기도 하다.




메소스의 특징을 한 장으로 표현하면 다음과 같다.



출처 : https://www.slideshare.net/mesosphere/apache-mesos-and-mesosphere-live-webcast-by-ceo-and-cofounder-florian-li





메소스는 다음과 같은 큰 특징이 있다.


  • 효율성(Efficiency) : 운영 체제와 같은 메소스 스케쥴링 기능은 애플리케이션(프레임워크)에서 CPU와 메모리를 관리한다.
  • 고가용성(High availability) : 아파치 주키퍼를 사용해 가용성을 높인다.
  • 모니터링 인터페이스(Monitoring Interface) : 메소스에는 클러스터 모니터링을 위한 넌블러킹(non-blocking) 웹 UI가 있다.
  • 자원 격리 : 리눅스와 도커(Docker) 컨테이너 아키텍처를 지원한다. multi tenancy를 지원한다. 
  • 확장성(Scalability) : 현재까지 현재 버전으로 최대 50,000개의 노드를 지원한다.

메소스 프레임워크는 메소스와 애플리케이션 간의 인터페이스이다.

프레임워크는 작업이 스케쥴링되고 실행되는 계층(layer)이다. 

프레임워크 구현은 애플리케이션에 의존적이어서 프레임워크와 애플리케이션이라는 용어를 불명확하게 사용하고 있다.
메소스 v.0.19.0 이전에는 메소스 프레임워크는 C++ 라이브러리인 libmesos와 바인딩을 해서 개발되었다. Mesos v.0.19.0부터는 개발자가 libmesos 라이브러리 호출없이 원하는 언어를 사용할 수 있도록 HTTP 기반 프로토콜이 도입되었다.

메소스 API를 사용하면 프로그래머가 메소스에서 애플리케이션을 실행하기 위한 자체 프레임워크를 작성할 수 있다.

프레임워크는 스케줄러(scheduler)와 익스큐터(executor)의 두 부분으로 구성된다.

  • 스케줄러(Scheduler) : 제공할 자원에 대한 결정을 내리고 클러스터의 현재 상태를 추적한다. 
  • 익스큐터(Executor) : 슬레이브 노드의 태스크 실행을 책임진다. 

현재 메소스 프레임워크의 목록은 다음과 같다. (특이할 점은 hbase가 없다..)
http://mesos.apache.org/documentation/latest/frameworks/




좀 더 내용을 살펴보려면 메소스 소개자료 1을 참조한다.

Introduction to Apache Mesos from tomasbart


메소스 소개자료 2이다. 



앞의 두 자료를 이해했다면, 아래 슬라이드를 참조하면 좋을 것 같다. 


Introduction to Apache Mesos from Joe Stein


2페이지에서 자료에서 나오는 링크는 다음과 같다.

http://static.usenix.org/event/nsdi11/tech/full_papers/Hindman_new.pdf

https://www.youtube.com/watch?v=0ZFMlO98Jkc&feature=youtu.be

https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/41684.pdf




찾아보니 슬라이드 자료도 있다. 


Scaling Like Twitter with Apache Mesos from Mesosphere Inc.




* API 정리


메소스의 프로토콜 버퍼 api



Executor API
  • registered : 익스큐터와 메소스와 연결되면 호출된다.
  • reregistered : 익스큐터가 재시작된 슬레이브로 재등록할 때호출된다.
  • disconnected : 익스큐터가 슬레이브와 끊어졌을 때 호출된다.
  • launchTask : executor에서 작업이 시작될 때 호출된다.
  • killTask : 익스큐터에서 실행중인 작업이 종료될 때 호출된다
  • frameworkMessage : 프레임워크의 메시지가 익스큐터에 도착하면 호출된다
  • shutdown : 익스큐터가 현재 실행 중인 모든 작업을 종료해야 할 때 호출된다
  • error : 익스큐터와 익스큐터의 드라이버에서 치명적인 에러가 발생했을 때 호출된다



Executor Driver API

  • start : 익스큐터 드라이버를 시작한다
  • stop :  executor 드라이버를 중지한다.
  • abort :  드라이버를 중단하고 더 이상 익스큐터에 콜백을 만들 수 없도록 한다
  • join :  드라이버가 중지되거나 중단될 때까지 대기한다
  • run :  드라이버를 시작하고 즉시 join() 메서드를 호출한다.
  • sendStatusUpdate :  프레임워크 스케줄러에 상태 변경를 보낸다.
  • sendFrameworkMessage :  프레임워크 스케줄러에게 메시지를 보낸다.


Scheduler API

  • disconnected : 스케줄러가 마스터와의 연결이 끊어지면 호출된다
  • error : 스케줄러 또는 드라이버에 복구 할 수 없는 에러가 발생하면 호출된다
  • executorLost : 익스큐터가 종료되거나 종료될 때 호출된다
  • frameworkMessage : 익스큐터가 메시지를 보낼 때 호출된다
  • offerRescinded : 쿠폰이 더 이상 유효하지 않으면 호출된다
  • registered : 스케줄러가 메소스 마스터에 성공적으로 등록할 때 호출된다
  • reregistered : 스케줄러가 새로 선출된 메소스 마스터에 재등록할 때 호출된다
  • resourceOffers : 자원이 프레임워크에 제공되었을 때 호출된다
  • slaveLost : 슬레이브가 도달할 수 없다고 판단되면 호출된다
  • statusUpdate : 작업 상태가 변경되면 호출된다



Scheduler Driver API

  • abort : 더 이상 콜백이 스케줄러에 생성되지 않도록 드라이버를 중단한다
  • acceptOffers : 주어진 제안을 허용하고 허용된 제안에 대한 일련의 작업을 수행한다
  • acceptOffers : 상태 변경을 확인한다
  • declineOffer : 제안을 전체적으로 거부한다
  • declineOffer : 제안 전체를 거부하고 지정된 필터를 자원에 적용한다
  • join : 드라이버가 멈추거나 중단될 때까지 대기하고 현재 스레드를 무기한 차단한다.
  • killTask : 지정된 작업을 종료한다
  • launchTasks : 주어진 작업 집합을 실행한다
  • reconcileTasks : 해당 코드를 사용하면 프레임워크가 터미널이 아닌 작업의 상태를 확인할 수 있다
  • requestResources : 메소스의 자원를 요청한다
  • reviveOffers : 프레임워크에서 이전에 설정한 모든 필터를 삭제한다
  • run : 드라이버를 시작하고 즉시 조인한다(예, 블럭).
  • sendFrameworkMessage : 프레임워크에서 익스큐터 중 하나에게 메시지를 보낸다
  • start : 스케줄러 드라이버를 시작한다
  • stop : 해당코드는 스케줄러 드라이버를 중지한다. 또는 페일 오버(failover)가 없다고 가정하는 스케줄러 드라이버를 중지한다
  • suppressOffers : 메소스 마스터에게 프레임워크에 대한 제안을 보내는 것을 중지하도록 알려준다




Posted by 김용환 '김용환'

댓글을 달아 주세요


경험상, 통신 서버을 아무리 잘 만들어도 serialization/deserialization에서 성능 저하가 발생한다. 이 부분에 대한 trade off를 늘 고민해야 한다.




최근 트위터에서 스트림 처리 서버 관련 내용을 잘 설명해서 펌질 한다.



http://delivery.acm.org/10.1145/2750000/2742788/p239-kulkarni.pdf?ip=211.56.96.51&id=2742788&acc=TRUSTED&key=4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35%2EE47D41B086F0CDA3&CFID=743695794&CFTOKEN=58998503&__acm__=1490582784_82cd3df2ca63b6c7de75e31c941cdfac




https://blog.twitter.com/2017/optimizing-twitter-heron



  • Repeated Serialization - A tuple is represented as a collection of plain old Java objects. The Java objects are converted into byte arrays using either Kryo or Java serialization. The byte arrays are again serialized when included in a protocol buffers object used for data exchange between stream managers and Heron instances.
  • Eager Deserialization - The stream manager is responsible for receiving and routing protocol buffer tuples. When it receives a tuple, it eagerly deserializes it into a C++ object.
  • Immutability - To simplify the implementation and reasoning, stream manager does not reuse any protobuf objects. For each message received, it uses the malloc allocator to allocate a protobuf object, which it then releases back to the allocator once the operation is completed. Instead of modifying the protobuf in place, it copies the contents to a newly allocated message, makes the modification on the new message and releases the old one.




  • ~17% of the CPU is used to create/delete a protobuf object from memory allocator (not including those protobuf objects allocated on stack).
  • ~15% of the CPU is used to copy a new protobuf object instead of updating one in place.
  • ~18% of the CPU is used to eagerly deserialize a protobuf message, despite the fact that eager deserialization is not needed; instead we could just handle the byte array.




리팩토링 한 부분


  • Added a separate memory pool for each type of protobuf message thereby reducing the expensive cost to create/delete a protobuf message.
  • Changed an internal data structure that caches tuples from std::list to std::deque to facilitate preallocation of protobuf messages.
  • Optimized away the code that was duplicating the protobuf message to do in-place update whenever possible.
  • When a stream manager receives a message from another stream manager, instead of eagerly deserializing the inner tuple message, it now transfers the underlying serialized byte array directly to the instance.



Posted by 김용환 '김용환'

댓글을 달아 주세요





카산드라는 3.0부터는 매달 출시할 계획이라고 한다.  짝수 달은 버그 픽스를 포함하고 홀수 달은 버그만 하는 정책을 따른다고 한다. 인텔의 틱톡 모델(예전 아저씨들이 플랫폼 릴리즈를 할처럼 돌아갔다)처럼 간다고 한다. 



http://www.datastax.com/dev/blog/cassandra-2-2-3-0-and-beyond



After 3.0, we’ll take this even further: we will release 3.x versions monthly.  Even releases will include both bugfixes and new features; odd releases will be bugfix-only.  You may have heard this referred to as “tick-tock” releases, after Intel’s policy of changing process and architecture independently.

The primary goal is to improve release quality.  Our current major “dot zero” releases require another five or six months to make them stable enough for production.  This is directly related to how we pile features in for 9 to 12 months and release all at once.  The interactions between the new features are complex and not always obvious.  2.1 was no exception, despite DataStax hiring a full time test engineering team specifically for Apache Cassandra.

We need to try something different.  Tick-tock releases will dramatically reduce the number of features in each version, which will necessarily improve our ability to quickly track down any regressions.  And “pausing” every other month to focus on bug fixes will help ensure that we don’t accumulate issues faster than we can fix them.



http://www.intel.com/content/www/us/en/silicon-innovations/intel-tick-tock-model-general.html





Posted by 김용환 '김용환'

댓글을 달아 주세요


머신러닝/딥러닝 공부를 링크 모임



* 딥러닝 데모 

https://github.com/alexjc/neural-doodle





http://richzhang.github.io/colorization/

https://www.dropbox.com/s/sa8m3y1ymj0ihct/presentation_eccv_release.pptx?dl=0




https://github.com/satoshiiizuka/siggraph2016_colorization





만화 이미지 확대

http://waifu2x.udp.jp/





* 제프딘 발표 자료



http://www.slideshare.net/AIFrontiers/jeff-dean-trends-and-developments-in-deep-learning-research

Jeff Dean at AI Frontiers: Trends and Developments in Deep Learning Research from AI Frontiers



http://www.slideshare.net/hustwj/cikm-keynotenov2014


Large Scale Deep Learning Jeff Dean from Jun Wang


* 용어 이해


<한글>

http://clien.net/cs2/bbs/board.php?bo_table=lecture&wr_id=313552&sca=%5B%EC%83%9D%ED%99%9C%EC%83%81%EC%8B%9D%5D


http://slownews.kr/41461


<전문가용>

CNN : https://research.googleblog.com/2016/08/improving-inception-and-image.html

convolution layer : http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/

pooling layer : http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/

Convolutional Neural Network : https://research.googleblog.com/2016/08/improving-inception-and-image.html

Recurrent Neural Network - http://eric-yuan.me/rnn2-lstm/

ltsm의 이해 - https://medium.com/@shiyan/understanding-lstm-and-its-diagrams-37e2f46f1714#.erqeg37dd




* 데이터 사이언티스트를 위한 딥 러닝


http://www.slideshare.net/andrewgardner5811/deep-learning-for-data-scientists-dsatl-talk-alpharetta-20140108

Deep Learning for Data Scientists - Data Science ATL Meetup Presentation, 2014-01-08 from Andrew Gardner



* 딥러닝 개념



http://www.slideshare.net/0xdata/transform-your-business-with-ai-deep-learning-and-machine-learning

Transform your Business with AI, Deep Learning and Machine Learning from SriSatish Ambati



* 딥러닝 역사

http://www.andreykurenkov.com/writing/a-brief-history-of-neural-nets-and-deep-learning-part-4/



* RNN, LSTM, BPTT 용어 정리

https://deeplearning4j.org/kr/kr-lstm



* 각광받는 회사

nvidia : http://kr.nvidia.com/object/deep-learning-kr.html

주가가 작년에 비해 10배가 뜀

https://www.google.com/finance?chdnp=1&chdd=1&chds=1&chdv=1&chvs=maximized&chdeh=0&chfdeh=0&chdet=1487145848691&chddm=98923&chls=IntervalBasedLine&q=NASDAQ:NVDA&ntsp=0&ei=dQukWJCtC8Ls0gT-7avoDg



* 학습자료


https://github.com/oxford-cs-deepnlp-2017/lectures 


https://www.youtube.com/playlist?list=PLlJy-eBtNFt6EuMxFYRiNRS07MCWN5UIA

(자막 : https://github.com/aikorea/cs231n/tree/master/captions/En)




쿄세라

Andrew Ng - https://www.coursera.org/learn/machine-learning

Daphne Koller - https://www.coursera.org/learn/probabilistic-graphical-models

Geoffrey Hinton - https://www.coursera.org/learn/neural-networks


쿄세라 강의를 위한 좋은 가이드 - https://brunch.co.kr/@aidenswmo/2




* 텐서 플로우 공부를 가이드/공부 문서


https://github.com/jtoy/awesome-tensorflow



* POS tag - 어휘와 품사 정보

딥러닝에서 사용중임.

http://kkma.snu.ac.kr/documents/?doc=postag

http://ra2kstar.tistory.com/32

Posted by 김용환 '김용환'

댓글을 달아 주세요



https://earth.nullschool.net/#current/chem/surface/level/overlay=cosc/orthographic=-235.92,28.73,765/loc=126.718,37.315










Posted by 김용환 '김용환'

댓글을 달아 주세요

ndbench

scribbling 2017. 1. 11. 20:45


출처 

http://techblog.netflix.com/search/label/Cassandra


넥플릭스에서 cassandra와 elasticsearch의 성능을 테스트할 수 있는 오픈 소스인 ndbench(https://github.com/Netflix/ndbench)를 출시했었다. Grinder 또는 Load Runner과 비슷 나게 만들어진 듯 하다.


여기 문서에 따르면 Netflix가 2.0에서 2.1로 업그레이드할 때, 


Percentile 99%, 95% 정도의 지연을 볼 수 있었고,



또한, OS 업그레이드할때도 성능의 차이를 알 수 있었다고 한다. 



redis, cassandra, elasticsearch를 테스트할 때 도움이 될 것 같다. 





Posted by 김용환 '김용환'

댓글을 달아 주세요



많이 사용되는 쉘(shell)은 대표적으로 아래와 같다.


Stephen Bourne이 개발 한 오래된 Bourne 쉘, David Korn이 개발한 Korn 셸, 주로 리눅스 시스템에서 사용되는 Bash 쉘, Bill Joy가 개발한 C 쉘, 최근에 유행하는 각 쉘의 장점을 이용한 zsh이 있다. 




오늘 처음 안 내용이 있었는데, 내가 그렇게 좋아하는 쉘인 bash의 원 단어를 알았다!


bash shell이 Bourne again shell의 약자였다니!! 



bash 위키에 다음처럼 적혀 있다!!


배시 (Bash, Bourne-again shell, 본 어게인 셸)은 본 셸을 대체하는 자유 소프트웨어로서 GNU 프로젝트를 위해 브라이언 폭스(Brian Fox)가 작성한 유닉스 셸이다.[2][3] 1989년 발표되어 GNU 운영 체제와 리눅스맥 OS X 그리고 다윈 등 운영 체제의 기본 셸로 탑재되어 광범위하게 배포 되었다. 또한 DJGPP와 노벨 넷웨어에 의해 도스로 이식되었고 시그윈과 MinGW의 배포로 마이크로소프트 윈도로 이식되었다.






Posted by 김용환 '김용환'

댓글을 달아 주세요


오래된 버전의 cloudera hbase, pheonix를  다운받을 수 있는 장소 URL..




- cloudera hbase 다운받는 위치


https://repository.cloudera.com/artifactory/public/org/apache/hbase/hbase/




- apache pheonix 다운 받는 위치


https://archive.apache.org/dist/phoenix/




- cloudera hadoop 다운 받는 위치


https://repository.cloudera.com/artifactory/public/org/apache/hadoop/hadoop-hdfs/

Posted by 김용환 '김용환'

댓글을 달아 주세요


webpagetest.org를 EC2로 쉽게 포팅이 된다고 한다.






설치 관련 내용은 https://sites.google.com/a/webpagetest.org/docs/private-instances에 존재한다. 


Easy Deployment (on EC2)

There is an EC2 AMI available for the WebPageTest server that provides a lot of benefits:
  • No configuration required (up and running in 5 minutes).
  • Automatically starts and stops EC2 test agents in all of the EC2 regions as needed.
  • Automatically updates to the latest server and agent code.




https://sites.google.com/a/webpagetest.org/docs/using-webpagetest/quick-start-quide를 따라 하면 된다.




외부 클라우드에서 구축을 하면 Rest Api(https://sites.google.com/a/webpagetest.org/docs/advanced-features/webpagetest-restful-apis )로 외부에 오픈하는 서버를 확인할 수 있고, 성능도 확인할 수 있을 것 같다.


웹 페이지의 성능, 스크린샷을 확인할 수 있어서 좋은 듯 하다.

Posted by 김용환 '김용환'

댓글을 달아 주세요


kibana의 버전에 맞춰 elasticsearch, beats, logstatsh가 5.0으로 릴리즈 되었다. 


https://www.elastic.co/kr/v5



참고로 GA는 General availability (a release)의 약자이다. 안정적인 버전을 의미한다. 


Lucene의 compaction 이슈를 확인해보면 좋을 것 같다...



5.0에 대한 자세한 내용은 아래 링크에 있다. 

https://www.elastic.co/blog/elasticsearch-5-0-0-released


1. indexing 성능이 좋아졌다

2. Ingest 노드가 새로 생겼다.

3. 강력한 스크립트(Painless)가 생겼다.

4. 새로운 자료구조를 가졌다.

5. Search과 Aggregation이 좋아졌다. 

6. percolator도 좋아졌다.

7. Java Rest API를 지원한다.


Posted by 김용환 '김용환'

댓글을 달아 주세요