[zepplin] 여러 spark context 사용하기

scala 2017. 2. 14. 10:52

zepplin에서 spark을 테스트하다가 아래와 같은 에러를 만날 수 있다. 

여러 spark context가 쓰인 이유인데, allowMultipleContext를 true로 설정하면 문제가 없다. 



org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at:


문제 해결


  val sparkConf = new SparkConf()

    .setAppName("abc")

    .set("spark.driver.allowMultipleContexts", "true");







저작자표시

'scala' 카테고리의 다른 글

[spark1.6] rdd를 dataframe으로 만드는 방법  (0) 2017.02.14
[spark] foreachPartition 예시  (0) 2017.02.14
[zepplin] 여러 spark context 사용하기  (0) 2017.02.14
scala에서 uuid 생성하는 방법  (0) 2017.02.09
[scala] spark에서 partition 줄이기 - repartition, coalesce  (0) 2017.02.08
[scala] List concatenation 리스트 결합 예시  (0) 2017.01.11
Posted by 김용환 '김용환'
트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요