[spark] [펌질] wide dependecy, narrow dependency

spark 코딩을 할 때 깊이 생각안하고 대충 짠 것을 후회했다. 그냥 동작만 되길 바라면서 했던 것들이 많이 기억났다. 

spark의 coursera 강의 중 wide dependency와 narrow dependency에 대한 설명이 나오는데, 많은 영감을 주어서 잘 펌질해본다.

https://github.com/rohitvg/scala-spark-4/wiki/Wide-vs-Narrow-Dependencies

Transformations with (usually) Narrow dependencies:

• map
• mapValues
• flatMap
• filter
• mapPartitions
• mapPartitionsWithIndex

Transformations with (usually) Wide dependencies: (might cause a shuffle)

• cogroup
• groupWith
• join
• leftOuterJoin
• rightOuterJoin
• groupByKey
• reduceByKey
• combineByKey
• distinct
• intersection
• repartition
• coalesce