fine grained transformation와 coarse grained transformation의 의미를 잘설명한 쿼라가 있어서 공유한다.



https://www.quora.com/What-is-the-difference-between-fine-grained-and-coarse-grained-transformation-in-context-of-Spark


If there is a dataset with a billion rows, A fine grained transaction is one applied on smaller set, may be a single row.

A coarse grained one is an operation applied on an entire dataset. 




코오스 그레인드 기법은 전체 데이터에 특정 오퍼레이션을 적용한 기법이며, time based 에서 자주 사용된다.


파인 그레인드 기법은 작은 집합에 적용되는 기법이며 한 엔티티당 기준으로 자주 사용된다.


'데이터 분석' 카테고리의 다른 글

apache zepplin 0.6.2 설치 - python, hive 연동  (0) 2016.10.22
Posted by '김용환'
,