spark-shell에서 RandomForest와 같은 알고리즘을 트레이닝할 때 메모리가 한참 부족해서 spakr이 crash나는 경우가 있다. 이럴 때는 메모리와 cpu를 넉넉히 설정하는 것이 좋다.
예는 다음과 같다.
spark-shell --driver-memory 16G --executor-memory 16G --executor-cores 8
'scala' 카테고리의 다른 글
| [spark] "랜덤 포레스트를 이용한 MNIST 데이터셋 분류" 예 (0) | 2018.06.01 |
|---|---|
| [spark] 로지스틱 회귀 분석을 이용한 멀티 클래스 분류 (0) | 2018.05.31 |
| [spark] 스파크 머신 러닝(ML) api을 사용하여 파이프 라인 개발하기 - 유방암 가능성 예측 (0) | 2018.05.31 |
| [spark] 머신러닝 - SGD(선형 회귀 기반 알고리즘) 적용 예 (0) | 2018.05.30 |
| [spark] 머신 러닝 - PCA 예 (0) | 2018.05.30 |
