td-agent가 잘동작하는지 확인하려면 시스템 레벨에서 td-agent가 잘 동작하는지를 확인할 수 있을 것이다.

이외 td-agent에 기본적으로 설치된 24220 포트를 활성화하고 해당 서버의 포트를 체크한다.

대략 (파이썬을 사용해 ) ansible의 host 파일을 읽어 아래와 같이 모니터링할 수 있다. 

아무리 수정해도 sbt가 잘 동작하지 않으면, sbt의 로컬 디렉토리인  ~/.sbt 을 다시 지우고 시작하자!!

sbt 사용할 때 Exception이 fully하게 보여주지 않으니 답답한데..

-oD를 사용하니  기니 Exception이 fully 로 나온다. 속이 시원하다.

testOptions in Test += Tests.Argument(TestFrameworks.ScalaTest, "-oD")

> test-only org.acme.RedSuite -- -oD

sbt 에서 컴파일 속도가 나지 않는다고 계속 아래 커맨드를 사용하라고 로그가 나와서 

[warn] Getting the hostname Alvins-MacBook-Pro.local was slow (5003.850955 ms).
This is likely because the computer's hostname is not set.
You can set the hostname with the command:
  scutil --set HostName $(scutil --get LocalHostName).

아래 커맨드를 사용하니 잘 동작한다. 

참고할 내용

실제 코드 

https://github.com/sbt/sbt/pull/3766/files

질문 & 답

https://apple.stackexchange.com/questions/175320/why-is-my-hostname-resolution-taking-so-long

\

kudu 번역

https://blog.cloudera.com/apache-kudu-read-write-paths/

https://blog.cloudera.com/?s=kudu

spark을 이용하면 read, write, update가 가능하다.. 

Open JDK를 테스트하는데 일주일 걸리고, 한 번 테스트하는데 만불(1200만원) 걸린다고 한다.

=> 역시 구글은 테스트를 중요하게 생각한다.

http://www.mysqlkorea.com/gnuboard4/bbs/board.php?bo_table=develop_03&wr_id=73

semi-sync 에 자체적으로 timeout 이 있어 일정 횟수 실패하면, 자동으로 async 로 변경된다.

증분처리(update 포함) 가능한 DFS로 우버의 hoodie가 아파치 인큐베이터 프로젝트가 되었다.

https://eng.uber.com/hoodie/

https://github.com/apache/incubator-hudi

https://hudi.apache.org/concepts.html

실제 기존 소스를 보기 위해 https://github.com/uber/hudi 에 접근하면  https://github.com/apache/incubator-hudi 로 리디렉션된다.

데이터브릭스는 이와 비슷한 오픈소스가 있다.. 현재 0.4이다. 

https://databricks.com/product/databricks-delta

https://docs.delta.io/0.4.0/quick-start.html

https://github.com/delta-io/delta

https://delta.io/news/delta-lake-0-4-0-released/

둘 다 DFS에 update, 증분처리, timeline 기능을 갖고 있다.

https://www.aboutamazon.com/our-company/our-positions

https://www.cnbc.com/2019/10/11/amazon-posts-blog-on-big-topics-like-regulation-and-counterfeits.html

제일 좋은 점은 매뉴얼화였다.

어느 정도 회사가 규모화되고 공통화를 통해 효율을 달성하려면 문서가 반드시 필요하다.

상향 평준화하는 역할을 진행해야 한다. 그리고 문서는 계속 창조적으로 변경되면 좋을 것이다.

문서는 한번 작성되면 종료되는 것이 아니라 계속 살아 움직일 수 있도록 모두가

노력해야 개발문화가 제대로 동작되는 것 같다. 

위기에 처한 무인양품(無印良品)을 극적으로 회생시켜 글로벌기업으로 키운 마쓰이 타다미쓰 회장의 경영철학이 담긴 책이다. 핵심키워드는 ‘구조(構造)’. 저자는 조직의 근간은 구조이며, 구조가 제대로 구축되어 있지 않으면 아무리 구조조정을 해도 부진의 근본원인이 제거되지 않아 쇠퇴를 면하기 어렵다고 강조한다. 그러므로 모든 노하우를 표준화한 매뉴얼을 만들어 철저히 실행하라고 조언한다. 그 과정에서 노력이 성과로 이어지는 구조, 경험과 감(感)을 축적하는 구조, 낭비를 줄이는 구조가 만들어지고, 조직의 체질까지 바뀌게 된다는 주장이다.

무인양품의 ‘무지그램(MUJIGRAM)’은 이런 경영철학을 반영한 매뉴얼북이다. 제품과 서비스에 관한 노하우들을 표준화해 2000쪽에 걸쳐 정리한 것인데 현재까지 13권이 나왔다. 무지그램은 개선안이 나올 때마다 수정되며, 수정사항은 반드시 모든 점포에서 실행하도록 관리하고 있다. 본사 조직에는 ‘업무기준서’라는 매뉴얼북도 있다. 그 속에 담긴 ‘출점 기준서’는 매장 후보지 선정에 관한 것인데, 정교한 내용 덕분에 출점 성공률이 20%에서 80%로 뛰어올랐다고 한다. 책의 일부 내용을 소개한다.

매뉴얼에 의해 무인양품은 고객의 불만이나 제안이 들어오면 ‘의견내비게이션’이라는 소프트웨어에 입력한 뒤 매주 1회 체크해 상품에 반영할 지를 결정한다. ‘생활양품연구소’라는 사이트에서 고객과 소통하면서 상품을 개발하기도 한다. 연간 10만개씩 팔리는 ‘몸에 꼭 맞는 소파’는 고객의 목소리가 이 같은 구조를 거쳐 탄생했다. 무인양품은 사원의 적성을 파악할 때 상사의 개인적인 감정이 개입되는 것을 막기 위해 성격판단 프로그램을 만들어 활용하고 있다.

http://www.econovill.com/news/articleView.html?idxno=221656