스파크 잡 관련 메모리 튜닝 정보이다.
https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-applications.html
gc 옵션과 RDD 관련 내용과 spark.storage.memoryFraction을 설명한다.
String 대신 숫자 또는 enum을 사용하는 것이 좋으며,
32GB 미만인 경우 JVM 플래그 -XX:+UseCompressedOops를 설정하여 포인터가 8바이트 대신 4바이트로 생성된다는 내용이 있다.
'scala' 카테고리의 다른 글
| [spark] 로컬 모드 아키텍처 [펌] (0) | 2018.03.29 |
|---|---|
| [spark] 스파크 잡 튜닝 및 아키텍처 URL 펌질 (0) | 2018.03.29 |
| [spark] log4j 직렬화하기 - org.apache.spark.SparkException: Task not serializable 해결하기 (0) | 2018.03.25 |
| [spark] 스파크 MLlib으로 비정상 데이터를 찾기에 좋은 참조 자료 (0) | 2018.03.14 |
| [spark] 여러 모드에서 스파크 잡 실행하기 예제 (0) | 2018.03.14 |
