[spark] 스파크 잡 튜닝 및 아키텍처 URL 펌질

spark job을 제출할 때 가장 중요한 요소는 메모리와 core 수이다.

관련 설정은 다음과 같은데. 아래 블로그에 잘 설명되어 있다.

http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/

이를 잘 이해하고 설명한 한글 내용은 다음 블로그에 있다.  

http://kysepark.blogspot.kr/2016/04/how-to-tune-your-apache-spark-jobs-part.html

그리고 스파크 내부 아키텍처에 관련 설명은 다음 url을 살펴본다.

https://0x0fff.com/spark-architecture/

https://0x0fff.com/spark-architecture-shuffle/