http://www.mysqlkorea.com/gnuboard4/bbs/board.php?bo_table=develop_03&wr_id=73



semi-sync 에 자체적으로 timeout 이 있어 일정 횟수 실패하면, 자동으로 async 로 변경된다.



Posted by 김용환 '김용환'

댓글을 달아 주세요


증분처리(update 포함) 가능한 DFS로 우버의 hoodie가 아파치 인큐베이터 프로젝트가 되었다.

https://eng.uber.com/hoodie/

https://github.com/apache/incubator-hudi

https://hudi.apache.org/concepts.html



실제 기존 소스를 보기 위해 https://github.com/uber/hudi 에 접근하면  https://github.com/apache/incubator-hudi 로 리디렉션된다.



데이터브릭스는 이와 비슷한 오픈소스가 있다.. 현재 0.4이다. 


https://databricks.com/product/databricks-delta

https://docs.delta.io/0.4.0/quick-start.html

https://github.com/delta-io/delta

https://delta.io/news/delta-lake-0-4-0-released/



둘 다 DFS에 update, 증분처리, timeline 기능을 갖고 있다.


Posted by 김용환 '김용환'

댓글을 달아 주세요


아마존에서 2019.10월 11일 회사 관련 주요 이슈에 대한 입장을 발표했다.

얼굴인식 기술 오용 가능성, 규제 필요성 주장,가품 판매자에 대한 조치 현황, 기후변화 대응, 직장 내 다양성 등에 대한 입장문을 발표했다.

https://www.aboutamazon.com/our-company/our-positions


https://www.cnbc.com/2019/10/11/amazon-posts-blog-on-big-topics-like-regulation-and-counterfeits.html

Posted by 김용환 '김용환'

댓글을 달아 주세요


제일 좋은 점은 매뉴얼화였다.

어느 정도 회사가 규모화되고 공통화를 통해 효율을 달성하려면 문서가 반드시 필요하다.

상향 평준화하는 역할을 진행해야 한다. 그리고 문서는 계속 창조적으로 변경되면 좋을 것이다.

문서는 한번 작성되면 종료되는 것이 아니라 계속 살아 움직일 수 있도록 모두가

노력해야 개발문화가 제대로 동작되는 것 같다. 



위기에 처한 무인양품(無印良品)을 극적으로 회생시켜 글로벌기업으로 키운 마쓰이 타다미쓰 회장의 경영철학이 담긴 책이다. 핵심키워드는 ‘구조(構造)’. 저자는 조직의 근간은 구조이며, 구조가 제대로 구축되어 있지 않으면 아무리 구조조정을 해도 부진의 근본원인이 제거되지 않아 쇠퇴를 면하기 어렵다고 강조한다. 그러므로 모든 노하우를 표준화한 매뉴얼을 만들어 철저히 실행하라고 조언한다. 그 과정에서 노력이 성과로 이어지는 구조, 경험과 감(感)을 축적하는 구조, 낭비를 줄이는 구조가 만들어지고, 조직의 체질까지 바뀌게 된다는 주장이다.


무인양품의 ‘무지그램(MUJIGRAM)’은 이런 경영철학을 반영한 매뉴얼북이다. 제품과 서비스에 관한 노하우들을 표준화해 2000쪽에 걸쳐 정리한 것인데 현재까지 13권이 나왔다. 무지그램은 개선안이 나올 때마다 수정되며, 수정사항은 반드시 모든 점포에서 실행하도록 관리하고 있다. 본사 조직에는 ‘업무기준서’라는 매뉴얼북도 있다. 그 속에 담긴 ‘출점 기준서’는 매장 후보지 선정에 관한 것인데, 정교한 내용 덕분에 출점 성공률이 20%에서 80%로 뛰어올랐다고 한다. 책의 일부 내용을 소개한다.


매뉴얼에 의해 무인양품은 고객의 불만이나 제안이 들어오면 ‘의견내비게이션’이라는 소프트웨어에 입력한 뒤 매주 1회 체크해 상품에 반영할 지를 결정한다. ‘생활양품연구소’라는 사이트에서 고객과 소통하면서 상품을 개발하기도 한다. 연간 10만개씩 팔리는 ‘몸에 꼭 맞는 소파’는 고객의 목소리가 이 같은 구조를 거쳐 탄생했다. 무인양품은 사원의 적성을 파악할 때 상사의 개인적인 감정이 개입되는 것을 막기 위해 성격판단 프로그램을 만들어 활용하고 있다.

http://www.econovill.com/news/articleView.html?idxno=221656




'After reading book' 카테고리의 다른 글

무인양품을 읽고  (0) 2019.10.15
'우버인사이드'를 읽고  (0) 2019.10.13
[펌] 넥슨, 플레이의 좋은 내용  (0) 2019.10.08
"쿠팡" - 우리가 혁신하는 이유  (0) 2019.10.05
구글을 움직이는 10가지 황금율  (0) 2019.08.17
파워풀  (0) 2019.07.25
Posted by 김용환 '김용환'

댓글을 달아 주세요


td-agent에서 kafka2 타입으로 연결하다 에러가 발생했다.



Send exception occurred: Could not connect to any of the seed brokers:

- kafka://1.1.1.1:9092 Connection error EOFError: EOFError



설정에서 topic_key 대신

topic_key ${토픽 이름}



으로 변경하니 더이상 에러도 안나고 잘 동작 했다.


default_topic  ${토픽 이름}


Posted by 김용환 '김용환'

댓글을 달아 주세요


우버인사이드에서 기억 나는 부분.. 


아마도 이 책의 거의 뒷부분이었을 것이다.


많은 사람이 우버에 놀라움을 나타내지만, 이 회사를 진정으로 좋아하는 사람은 그렇게 많지 않다"는 한 줄 요약은 제멋대로인 우버 창업자 칼라닉과도 그대로 겹친다. 

칼라닉은 저자와의 인터뷰에서 '비열하다'는 세평에 대해 "나는 비열한 사람이 아닙니다. 적어도 나 스스로는 확실히 믿어요"


이 책을 읽고 난 뒤.. 많이 씁쓸했다.. 




'After reading book' 카테고리의 다른 글

무인양품을 읽고  (0) 2019.10.15
'우버인사이드'를 읽고  (0) 2019.10.13
[펌] 넥슨, 플레이의 좋은 내용  (0) 2019.10.08
"쿠팡" - 우리가 혁신하는 이유  (0) 2019.10.05
구글을 움직이는 10가지 황금율  (0) 2019.08.17
파워풀  (0) 2019.07.25
Posted by 김용환 '김용환'

댓글을 달아 주세요




동료가 알려준 좋은 라이브러리인 pretty table 짱


운영 툴에 사용하기 엄청 좋다. 

https://pypi.org/project/PTable/



Pipfile 파일


[packages]
PTable = "==0.9.2"


파이썬 소스

from prettytable import 
x = PrettyTable()
x.field_names = ["City name", "Area", "Population", "Annual Rainfall"]
x.add_row(["Adelaide",1295, 1158259, 600.5])
x.add_row(["Brisbane",5905, 1857594, 1146.4])
print(x)

결과





Posted by 김용환 '김용환'

댓글을 달아 주세요


로그를 다루다 보면 java timstamp( 또는 unix timestamp)로 데이터를 검증해야 할 때가 있다.


하도 많아서 하나를 만들었다.


https://gist.githubusercontent.com/knight76/bbdb187fd0b6784fe810e1200f4ec2be/raw/8e82dd57e651352caf1d91e16b7dd618e6db56d1/ts2dt.go


package main

import (
    "fmt"
    "time"
    "strconv"
    "os"
)

func main() {
  fmt.Println(len(os.Args))
  if len(os.Args) == 1 {
    fmt.Println("----- usage")
    fmt.Println("ts2dt 0")
    fmt.Println("ts2dt 1570790541")
    return
  }

  if len(os.Args) > 2 {
    panic("error: only one timestmap")
  }

  ts := os.Args[1]

  i, err := strconv.ParseInt(ts, 10, 64)
  if err != nil {
    panic(err)
  }
  tm := time.Unix(i, 0)
  fmt.Println(tm)
}

// go build ts2dt.gio
// ./ts2dt 1570790541


'golang' 카테고리의 다른 글

ts2dt 타임스탬프를 날짜로 변경해주기  (0) 2019.10.11
go 언어의 gc 소개 자료.  (0) 2018.07.19
[golang] 고루틴(go routine) 예제  (0) 2017.09.08
[golang] 매개 변수 받기  (0) 2017.09.08
[golang] 에러(error) 예제  (0) 2017.09.07
[golang] defer 예제  (0) 2017.09.07
Posted by 김용환 '김용환'

댓글을 달아 주세요

jenkins 파이썬 라이브러리를 사용해 API를 호출할 때 사용할 수 있는 예시이다.


간단히 아래 문서를 통해 파이썬으로 사용할 수 있다.

https://python-jenkins.readthedocs.io/en/latest/examples.html#example-3-working-with-jenkins-jobs


예시에서는 토큰이 아니라 user 이름, password를 사용했다.  가벼운 배치이니.


server = jenkins.Jenkins(self.host, username=self.user, password=self.password)


그냥 사용하면 403에러가 난다. 

urllib.error.HTTPError: HTTP Error 403: Forbidden



제대로 동작시킬려면 configure security 수정이 필요하다.







Posted by 김용환 '김용환'

댓글을 달아 주세요


청와대 정책실장 김상조가 인터뷰한 것 중에 좋은 내용이 있어서 발췌한다.



https://news.v.daum.net/v/20191008063302499?f=m


◇ 정관용> 어쨌든 그런데 지금 지난 20년 동안을 보면 공정경제, 즉 재벌의 기득권 구조가 다른 신생 기업들의 성장을 상당히 가로막아온 측면이 강하다. 이건 분명히 인정할 수밖에 없는 거 아닙니까? 지난 20년 동안. 앞으로는 그게 없어질까요?

◆ 김상조> 그러니까 이제 그 공정경제를 통해서 우리 사회의 혁신 즉 역동성을 어떻게 다시 키울 건가라고 하는 그 방법론의 문제라고 생각을 합니다. 그래서 그날 제가 말씀드렸던 것도 우리가 생각하는 경제민주화, 재벌개혁, 공정경제의 상이 혹시나 30년 전에 만들어진 것이 아니냐 즉 한국 경제가 고도 성장하고 우리 기업들이 돈을 많이 벌 때 그 환경 속에서 생각했던 경제민주화의 방법론을 완전히 상황이 180도 달라진 지금에도 고집하고 있는 것이 아니냐라는 차원에서 제 생각을 말씀드리는 거였고요. 그러한 의미에서 우리가 필요한 국민의 생명, 안전과 관련된 그런 어떤 규제는 강화해야 되겠지만 또 한편으로는 시대에 뒤떨어진 또는 특히 4차 산업혁명시대에 맞지 않는 과거의 어떤 규제는 혁신하는 노력을 이걸 공정경제의 후퇴라고 이해하면 안 된다라고 말씀드린 거고 제가 지금 정책실장으로서 하고 있는 가장 중요한 일이 바로 이 혁신과 공정이라는 두 가지의 목표를 어떻게 조화할 것인가라고 하는 문제인데요. 제가 저가 아까 처음 시작할 때 이 경제정책보다도 사회정책 쪽이 더 어렵다고 하지 않았습니까. 바로 이 부문과 관련해서 우리 사회의 사회적 가치가 충돌하고 기득권이 충돌하는 부분이 너무나 많습니다. 그래서 이 부분에 관해서 제 결심은 딱 이거 하나입니다. 뭐가 정답인지는 솔직히 모릅니다. 그렇다고 해서 결정을 미루면 정부 부처가 움직이지 못하고 시장의 기업들은 혁신하지 못합니다. 그런 의미에서 늦지 않게 결정을 내려야 된다라고 하는 게 제가 정책실장으로 있는 동안 하고자 하는 가장 중요한 과제이자 원칙이라고 할 수가 있습니다.

◇ 정관용> 흔히 규제완화 그러면 재벌들 살기 좋은 세상들 만들어주는 거 아니냐는 오해가 있는데 김상조 실장은 그게 아니라는 거죠? 규제완화다 필요할 때는 해야 한다는 거잖아요. 그런데 그 규제완화의 혜택이 재벌이 아닌 신생 도전기업들에게 돌아갈 수 있는 그런 걸 만드는 게 중요한 거 아닌가요?

◆ 김상조> 맞습니다.

Posted by 김용환 '김용환'

댓글을 달아 주세요