spark job을 제출할 때 가장 중요한 요소는 메모리와 core 수이다.




관련 설정은 다음과 같은데. 아래 블로그에 잘 설명되어 있다.





http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/



이를 잘 이해하고 설명한 한글 내용은 다음 블로그에 있다.  



http://kysepark.blogspot.kr/2016/04/how-to-tune-your-apache-spark-jobs-part.html





그리고 스파크 내부 아키텍처에 관련 설명은 다음 url을 살펴본다.


https://0x0fff.com/spark-architecture/

https://0x0fff.com/spark-architecture-shuffle/






Posted by 김용환 '김용환'

댓글을 달아 주세요