zepplin에서 spark을 테스트하다가 아래와 같은 에러를 만날 수 있다. 

여러 spark context가 쓰인 이유인데, allowMultipleContext를 true로 설정하면 문제가 없다. 



org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at:


문제 해결


  val sparkConf = new SparkConf()

    .setAppName("abc")

    .set("spark.driver.allowMultipleContexts", "true");







Posted by 김용환 '김용환'

댓글을 달아 주세요