[spark2] groupByKey를 쓰지 않도록 한다

spark에서 groupByKey를 사용할 때 성능에 많이 떨어질 수 있다. 

좋은 설명을 포함한 링크가 있다.

https://databricks.gitbooks.io/databricks-spark-knowledge-base/content/best_practices/prefer_reducebykey_over_groupbykey.html

groupByKey를 살펴보면, 키 값으로 분류를 하고 모든 계산을 하나씩 진행한다. 따라서 모든 데이터 복사가 많이 일어날 수 있다. 

반면 reduceByKey에서는 계산을 진행할때 데이터 셔플 전에 노드 내에서 조금 계산해놓는다. 따라서 불필요한 데이터가 전달되지 않기 때문에 네트웍 트래픽, 복사 비용이 groupByKey보다 줄어든다.

마치 map/reduce의 custom combiner와 비슷한 느낌으로 동작한다.

http://www.admin-magazine.com/HPC/Articles/MapReduce-and-Hadoop