스파크 잡 관련 메모리 튜닝 정보이다.



https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-applications.html




gc 옵션과 RDD 관련 내용과 spark.storage.memoryFraction을 설명한다.



String 대신 숫자 또는 enum을 사용하는 것이 좋으며,


32GB 미만인 경우 JVM 플래그 -XX:+UseCompressedOops를 설정하여 포인터가 8바이트 대신 4바이트로 생성된다는 내용이 있다. 

Posted by 김용환 '김용환'