spark-shell에서 RandomForest와 같은 알고리즘을 트레이닝할 때 메모리가 한참 부족해서 spakr이 crash나는 경우가 있다. 이럴 때는 메모리와 cpu를 넉넉히 설정하는 것이 좋다. 


예는 다음과 같다. 


spark-shell --driver-memory 16G --executor-memory 16G --executor-cores 8


Posted by '김용환'
,