김용환 블로그(2004-2020)

[2019] IT 전문서 올해의 IP 책 - 마이크로 서비스 클라우드 분야 - 4위

김용환 '김용환' — Mon, 13 Jan 2020 01:21:44 +0900

(이젠 업무에 바빠서 책 번역 외에는 블로그 할 시간이 점차 사라지고 있다)

교보문고 홈 페이지의 IT 전문서 올해의 IP 책 - 마이크로 서비스 클라우드 분야를 봤더니,

내가 번역한 실무자 관점에서 다룬 마이크로 서비스 아키텍처 (2판)이 4위를 차지했다.

고생한 것 만큼 정당한 대우를 독자들에게서 받아서 너무 좋다.

(이제서야 글을 봤고 어떤 사람에게도 부탁이 한적이 없다. 그만큼 의미가 있다!! )

1판 번역을 완료한 후 2판 번역까지 완료하고

거의 내 혼자 힘으로 (최종 편집까지) 꼼꼼하게 본 책이라 많은 기억이 남는 책이다.

http://www.kyobobook.co.kr/eventRenewal/eventViewByPid.laf?eventId=84458

지금 번역 중인 Docker in Practice (2nd), Seeking SRE 책도 예쁘게 번역하리라..

[대한민국학술원] - 2019년 우수학술도서 선정

김용환 '김용환' — Tue, 05 Nov 2019 18:46:22 +0900

내가 번역한 책

"빅데이터 분석을 위한 스칼라와 스파크 대용량 빅데이터 분석과 머신 러닝까지 활용하는." 책이 대한민국학술원에서 선정한 2019 우수학술도서가 되었다.

http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791161752402&orderClick=LAG&Kc=

http://www.nas.go.kr/info/notice/view.jsp?NP_Code=10000043&NP_DataCode=20000014&NGB_Code=10002646&searchKey=NGB_SUBJECT&searchVal=&pg=2

출판사에서 도와주신 것 같다.

[spark] Spark Streaming Job 모니터링 중요한 부분

김용환 '김용환' — Thu, 31 Oct 2019 08:52:01 +0900

Spark Streaming Job(Kafka-Consumer)의 성능을 높일 수 있다.

* Kafka topic의 파티션 개수 * 설정 파일의 spark.streaming.kafka.maxRatePerPartition 이다.

* 파티션 개수가 10개 * spark.streaming.kafka.maxRatePerPartition이 5 개이면 => 50 event /duration 성능이 나온다.

그러나 maxRatePerPartition이 너무 크면 OOM이 발생하거나 스트리밍 시스템(sink)에 영향을 줄 수 있다.

스트리밍이 제대로 동작되는지 확인하려면 2가지를 확인할 수 있다.

1) 52 completed batches, 653 records (동작안되면 0 completed batches 라고 뜬다)

2) Processing Time과 Total Delay 처리 Avg 시간을 확인한다. -로 나온다면 처리하는 것이 아니다.

td-agent 모니터링

김용환 '김용환' — Mon, 28 Oct 2019 18:29:43 +0900

td-agent가 잘동작하는지 확인하려면 시스템 레벨에서 td-agent가 잘 동작하는지를 확인할 수 있을 것이다.

이외 td-agent에 기본적으로 설치된 24220 포트를 활성화하고 해당 서버의 포트를 체크한다.

@type monitor_agent

bind 0.0.0.0

port 24220

</source>

대략 (파이썬을 사용해 ) ansible의 host 파일을 읽어 아래와 같이 모니터링할 수 있다.

failed_servers = []

for ansible_server in ansible_server_list:

url = f"http://{ansible_server}:24220/api/plugins.json"

try:

r = requests.get(url)

r.raise_for_status()

except (requests.exceptions.ConnectionError, requests.exceptions.Timeout, requests.exceptions.HTTPError):

failed_servers.append(ansible_server)

sbt 동작 이상

김용환 '김용환' — Mon, 21 Oct 2019 15:21:26 +0900

아무리 수정해도 sbt가 잘 동작하지 않으면, sbt의 로컬 디렉토리인 ~/.sbt 을 다시 지우고 시작하자!!

sbt compile/test 시 Full Exception을 다 보여주기

김용환 '김용환' — Mon, 21 Oct 2019 15:18:35 +0900

sbt 사용할 때 Exception이 fully하게 보여주지 않으니 답답한데..

-oD를 사용하니 기니 Exception이 fully 로 나온다. 속이 시원하다.

http://www.scalatest.org/user_guide/using_scalatest_with_sbt

Specifying ScalaTest Arguments

You can pass arguments to ScalaTest by using testOptions and Tests.Argument in your sbt build file:

testOptions in Test += Tests.Argument(TestFrameworks.ScalaTest, "-oD")

The -oD argument above will be pass to ScalaTest for all test runs, you can also pass arguments for individual runs by using test-only and placing them after --, like this:

> test-only org.acme.RedSuite -- -oD

[scala] sbt 컴파일 속도 올리기

김용환 '김용환' — Mon, 21 Oct 2019 15:17:44 +0900

sbt 에서 컴파일 속도가 나지 않는다고 계속 아래 커맨드를 사용하라고 로그가 나와서

[warn] Getting the hostname Alvins-MacBook-Pro.local was slow (5003.850955 ms).
This is likely because the computer's hostname is not set.
You can set the hostname with the command:
  scutil --set HostName $(scutil --get LocalHostName).

아래 커맨드를 사용하니 잘 동작한다.

$ scutil —set HostName $(scutil —get LocalHostName)

참고할 내용

실제 코드

https://github.com/sbt/sbt/pull/3766/files

질문 & 답

https://apple.stackexchange.com/questions/175320/why-is-my-hostname-resolution-taking-so-long