* storm 소개


역시 한글 자료

http://d2.naver.com/helloworld/484148


http://bcho.tistory.com/994 


큰 그림

https://blog.twitter.com/engineering/en_us/a/2011/a-storm-is-coming-more-details-and-plans-for-release.html


(paper) storm internals 부분

http://db.cs.berkeley.edu/cs286/papers/storm-sigmod2014.pdf




* apache storm 커미터인 임정택씨가 쓴 글


https://medium.com/@heartsavior/%EC%96%B4%EC%A9%8C%EB%8B%A4-%EB%82%98%EB%8A%94-open-source-committer-%EA%B0%80-%EB%90%98%EC%97%88%EB%82%98-3-apache-storm-and-more-7baf4d68cd20





* 트위터가 storm 대신 heron을 만들고 있음

좋은 성능과 클라우드 환경(yarn, mesos, aurora)을 지원


Heron is designed with the goal of operating in a cloud environment on top of a scheduling framework such as Aurora or YARN (although it can also run in local mode). As a result, it leverages the resource isolation mechanisms implemented by these frameworks. Storm, on the other hand implements parts of the functionality of the Heron Resource Manager, the Heron Scheduler and the underlying scheduling framework in the same abstraction.


https://www.infoq.com/news/2015/06/twitter-storm-heron 


https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.html


https://twitter.github.io/heron/docs/concepts/architecture/


https://blog.acolyer.org/2017/06/29/twitter-heron-towards-extensible-streaming-engines/


http://dl.acm.org/citation.cfm?id=2742788

Posted by 김용환 '김용환'


How Facebook’s News Feed Sorting Algorithm Works

https://www.howtogeek.com/290919/how-facebooks-news-feed-sorting-algorithm-works/



How Facebook News Feed Works

https://techcrunch.com/2016/09/06/ultimate-guide-to-the-news-feed/






Posted by 김용환 '김용환'




카카오 뱅크 내부 DB는 오라클 DB, Mysql+Percona(오라클의 RAC 대용)를 사용하고 언어는 Java로 사용한다. 


출처 

https://byline.network/2017/08/8-2/



데뷰 발표 자료.


[135] 오픈소스 데이터베이스, 은행 서비스에 첫발을 내밀다. from NAVER D2


Posted by 김용환 '김용환'



https://www.blue-granite.com/blog/bid/402596/top-five-differences-between-data-lakes-and-data-warehouses

Posted by 김용환 '김용환'


2017년 7월 12일 14th ACC에서 IBM 한국 담당자가 

Sysco 배송 회사에서 IBM Watson제품(클라우드 & 머신 러닝)을 IT 자동화로 혁신에 성공했다고 하는 내용을 들었다.


관련 내용을 살펴보니. 다음 자료가 나온다.


Sysco delivers for their customers with IBM Enterprise IT Automation Services

https://www.youtube.com/watch?v=1-XoTiOGU00




관련해서 tech republic에서도 공유하고 있다. 


http://www.techrepublic.com/article/ibm-watson-takes-on-it-services-with-new-automation-platform/



읽어볼 내용.

http://www.techrepublic.com/article/ibm-watson-six-lessons-from-an-early-adopter-on-how-to-do-machine-learning/

Posted by 김용환 '김용환'


아파치 쓰리프트(apache thrift)의 bool 타입은 true와 false만 사용할 수 있다.


https://thrift.apache.org/docs/types


  • bool: A boolean value (true or false)

만약 null이면 false로 이해한다.




만약 true, false, not_set의 의미로 3개의 상태 값을 갖게 하려면 byte(i32 등등) 또는 enum을 사용하는 것이 좋다.






Posted by 김용환 '김용환'



Devops 조직에는 주번이라는 제도가 있는데, 영어로 oncall이다. 


이런 주번 시스템을 링크드인에서 사용하고 있는데, 이를 오픈소스로 선보였다.




https://engineering.linkedin.com/blog/2017/06/open-sourcing-iris-and-oncall


https://oncall.tools/



Posted by 김용환 '김용환'


1. OLAP의 cube 개념, Druid소개, 트위터 Algebird 소개 


https://speakerdeck.com/vidma/data-cubing-made-simple-with-spark-algebird-and-hbase


다운로드 자료

https://speakerd.s3.amazonaws.com/presentations/55e816adbba64ab6847c5247a93d4ded/data_cubing_with_hbase.pdf





2. Apache 


우버에서 kappa 아키텍처 오픈소르를 내어놓음.


https://www.slideshare.net/databricks/incremental-processing-on-large-analytical-datasets-with-prasanna-rajaperumal-and-vinoth-chandar


Incremental Processing on Large Analytical Datasets with Prasanna Rajaperumal and Vinoth Chandar from Databricks


오랄리 Strata+hadoop 컨퍼런스에서도 발표했음.

https://conferences.oreilly.com/strata/strata-ca/public/schedule/detail/56511






3. 아파치 키린(apache kyrin)


http://www.zdnet.co.kr/news/news_view.asp?artice_id=20141027110506


아파치 키린 2.0에서 apache spark와 연동할 수 있다. 

Apache Kylin: Speed Up Cubing with Apache Spark with Luke Han and Shaofeng Shi from Databricks





4. OLAP for Big Data, Druid 설명이 잘 나옴.


https://www.slideshare.net/freepsw/olap-for-big-data-druid-vs-apache-kylin-vs-apache-lens

OLAP for Big Data (Druid vs Apache Kylin vs Apache Lens) from SANG WON PARK




Posted by 김용환 '김용환'

SRE 문화 만들기

scribbling 2017.06.14 17:36


링크드인에서 SRE 문화 만들기에 대한 내용이 있다. 읽어볼 만하다.


https://engineering.linkedin.com/blog/2017/05/building-the-sre-culture-at-linkedin






Posted by 김용환 '김용환'


스팍 2017 발표 자료 올라옴.


https://spark-summit.org/2017/schedule/

'scribbling' 카테고리의 다른 글

[펌] OLAP 빅 데이터 공부자료  (0) 2017.06.20
SRE 문화 만들기  (0) 2017.06.14
아파치 스파크 2017 발표 자료  (0) 2017.06.14
[펌] 스파크의 사용 환경 내용 - data bricks  (0) 2017.05.24
[성과] OKR  (0) 2017.05.23
[펌] uber 아키텍처  (0) 2017.05.22
Posted by 김용환 '김용환'