매출채권의 개념에 대해서 잘 몰랐다.
회계 업무에 일부 참여하니. "accual 인식"이라는 용어를 사용하면서 매출 채권을 이해할 수 있었다..
참고 링크
https://coolestmoney.tistory.com/4
| 크루그먼 교수 - 양적 완화 (0) | 2019.09.09 |
|---|---|
| 종합소득세(지방세) 경정 청구 도전 (세무사 없이 도전) (0) | 2019.07.12 |
| 주식 투자 - 1조원 할아버지 (0) | 2018.08.24 |
| 소득 대비 평균 주택 가격 (0) | 2018.02.02 |
| 자산 가격과 GDP 간격 (거품론) (0) | 2017.12.07 |
오랜만에 make를 쓰다보니 실수한 게 있다.
아래와 같은 에러를 만나면 탭(tab) 대신 스페이스(space)가 코드에 안에 있다고 알린다.
스페이스를 없애고 탭을 추가하면 더 이상 에러가 발생하지 않는다.
:makefile:4: *** missing separator. Stop.
| Failed to instantiate type io.sentry.logback.SentryAppender 예외 해결하기 (0) | 2019.03.13 |
|---|---|
| sentry-logback 연동 (0) | 2019.03.12 |
| github의 SSH 키 지문(fingerprint) (0) | 2019.02.25 |
| [git] clone의 mirror옵션 (0) | 2018.12.31 |
| [mac] alias code='open $@ -a "Visual Studio Code"' (0) | 2018.11.22 |
구글 논문 - 코드 저장소는 단일화(monolithic)가 좋더라는 내용이 담겨 있다.
https://people.engr.ncsu.edu/ermurph3/papers/seip18.pdf
| 펌 - 참조할만한 kubernetes ci/cd (0) | 2019.03.11 |
|---|---|
| Proxy 테스트 코드 (0) | 2019.03.07 |
| CDC 소개 및 적용하기 위한 관련 자료 링크 모음 (0) | 2019.03.02 |
| 여러 컨슈머가 동일 토픽에서 메시지를 읽을 때 사용하는 주요 패턴 - 로드 밸런싱, 팬 아웃 (0) | 2019.03.02 |
| 일반적인 파티션이 DB와 Nosql에서 사용되는 용어 확인하기 (0) | 2019.02.27 |
큐의 스트림처리 방식으로는 stream stream-join이라는 개념이 있다.
apache spark에서는 watermark를 활용한다.
https://databricks.com/blog/2018/03/13/introducing-stream-stream-joins-in-apache-spark-2-3.html
https://dzone.com/articles/spark-stream-stream-join
https://blog.codecentric.de/en/2017/02/crossing-streams-joins-apache-kafka/
메모리 이슈가 있고 역시 타임아웃 이슈가 있어서 완벽히 진행하려면..
데이터를 스토리에 쌓고. 계속 데이터가 도착할 때마다 스토리지를 호출해 데이터가 다 들어올 때까지 쿼리를 날리는 수 밖에 없는 것 같다..
| kafka connect 설정 주의 사항 (0) | 2019.04.04 |
|---|---|
| kafka connect Creation of database history topic failed, please create the topic manually / TimeoutException 에러 (0) | 2019.03.19 |
| [펌] kafka burrow api (0) | 2018.11.20 |
| [kafka] enable.auto.commit , auto.commit.interval.ms (0) | 2018.10.22 |
| [kafka] lag 생긴다고 파티션 추가하는 것에 대해 (0) | 2018.08.31 |
CDC는 변경 데이터 캡처(Change Data Capture)의 약자로서 다른 소프트웨어가 이러한 변경 사항에 응답 할 수 있도록 데이터의 변경 사항을 모니터링하고 캡처하는 시스템의 오래된 용어이다.
데이터웨어 하우스에는 CDC 지원 기능이 내장되어 있다. 업스트림 OLTP 데이터베이스에서 데이터가 변경되면 데이터웨어 하우스를 최신으로 유지해야 한다.
대표적으로 Debezium(발음은 디비지움이라 함, https://debezium.io/docs/contribute/)이 요즘 뜨고 있는데.. 기본적으로 다양한 데이터베이스 시스템 모니터링을 지원 하는 현대적이고 분산 된 오픈 소스 변경 데이터 캡처 플랫폼이다.
(https://vladmihalcea.com/a-beginners-guide-to-cdc-change-data-capture/ 참고)
https://vladmihalcea.com/a-beginners-guide-to-cdc-change-data-capture/
https://developers.redhat.com/videos/youtube/QYbXDp4Vu-8/
https://www.youtube.com/watch?v=IOZ2Um6e430&feature=youtu.be
https://techmagie.wordpress.com/2018/04/01/accelerating-data-loading-into-data-lake-using-cdc/
https://www.ridicorp.com/blog/2017/10/30/binlog-collector/
https://www.linkedin.com/pulse/change-data-capture-postgresql-via-debezium-part-1-paolo-scarpino/
https://www.slideshare.net/ceposta/the-hardest-part-of-microservices-your-data
https://wecode.wepay.com/posts/streaming-databases-in-realtime-with-mysql-debezium-kafka
https://debezium.io/blog/2018/12/05/automating-cache-invalidation-with-change-data-capture/
<고민꺼리>
CDC를 실제로 구현하기 위한 작업이 만만치 않은 것 같다.
GTID, bin 포맷, 운영이슈(MHA 등), 아키텍처
| Proxy 테스트 코드 (0) | 2019.03.07 |
|---|---|
| 구글 논문 - 코드 저장소는 단일화(monolithic)가 좋더라.. (0) | 2019.03.06 |
| 여러 컨슈머가 동일 토픽에서 메시지를 읽을 때 사용하는 주요 패턴 - 로드 밸런싱, 팬 아웃 (0) | 2019.03.02 |
| 일반적인 파티션이 DB와 Nosql에서 사용되는 용어 확인하기 (0) | 2019.02.27 |
| 펌 김창준씨의 함께 자라기(애자일로 가는 길) - Aristotle Project (0) | 2019.02.27 |
여러 컨슈머가 동일 토픽에서 메시지를 읽을 때 사용하는 주요 패턴은 다음 2가지이다.
<로드 밸런싱(load balancing)>
각 메시지는 여러 컨슈머 중 특정 컨슈머에 전달된다. 따라서 컨슈머들(컨슈머 그룹)은 해당 토픽의 메시지를 처리하는 작업을 공유한다. 브로커는 메시지를 전달할 컨슈머를 임의로 지정한다. 이 패턴은 메시지를 처리하는 비용이 비싸서 처리를 병렬화하기 위해 컨슈머를 추가하고 싶을 때 유용하다. 또한 컨슈머가 죽으면 관련 컨슈머 그룹에서 나머지 실시간 컨슈머에게 나누어진다.
IBM 문서에 친절히 설명되어 있다.
AMQP는 같은 큐를 소비하는 클라이언트를 여러 개 둬서 로드 밸런싱을 구현할 수 있다. JMS에서는 이 방식을 shared subscription이라 한다. 카프카에서는 load share라고 한다.
<팬 아웃(fan out)>
각 메시지가 모든 컨슈머에 전달된다. 컨슈머가 브로드캐스팅된 동일한 메시지를 서로 간섭없이 들을 수 있다.
JMS에서는 토픽 구독, AMQP에서는 바인딩 교환이라는 용어를 사용한다. 카프카에서는 팬 아웃이라고 한다.
카프카의 경우, 컨슘될 때 카프카에서 메시지가 제거되지 않아서 소비자를 여럿 추가 할 수 있고 각 컨슈머는 자체 메시지 오프셋을 유지 관리할 수 있습니다. 물론 컨슈머는 서로 다른 컨슈머 그룹에 있어야 한다.
이 두 패턴은 함께 사용할 수 있다.
| 구글 논문 - 코드 저장소는 단일화(monolithic)가 좋더라.. (0) | 2019.03.06 |
|---|---|
| CDC 소개 및 적용하기 위한 관련 자료 링크 모음 (0) | 2019.03.02 |
| 일반적인 파티션이 DB와 Nosql에서 사용되는 용어 확인하기 (0) | 2019.02.27 |
| 펌 김창준씨의 함께 자라기(애자일로 가는 길) - Aristotle Project (0) | 2019.02.27 |
| ssh agent forwarding + sudo (0) | 2019.02.25 |
|
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
