[spark] Utils: uncaught error in thread spark-listener-group-streams, stopping SparkContext java.lang.InterruptedException at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.reportInterruptAfterWait(AbstractQueuedSynchronizer.ja..
scala 2019. 1. 19. 00:26sbt test를 실행하다 다음과 같이 종료 에러가 나면.. (Intellij에서는 이상이 없다)
19/01/17 22:16:40 ERROR Utils: uncaught error in thread spark-listener-group-streams, stopping SparkContext
java.lang.InterruptedException
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.reportInterruptAfterWait(AbstractQueuedSynchronizer.java:2014)
build.sbt에 다음 파일을 추가한다.
fork in run := true
로 수정한다. info 로그를 error로 처리하는 것이 맘에 들지 않지만 .. 작동은 된다.
Intellij와 sbt를 함께 사용하고 있기 떄문에 그럴 수 있는데.
console 커맨드를 사용해 scala 코드를 실행하면 SBT와 동일한 가상 시스템에서 코드가 실행된다. 상황에 따라 System.exit 호출이나 종료되지 않은 스레드와 같이 SBT가 중단될 수 있다.
테스트 결과 JVM이 종료되면 SBT를 다시 시작해야 하는 상황을 피하기 위해 JVM을 포크하는 fork in run := true를 추가한다.
'scala' 카테고리의 다른 글
[scala/spark] scala-guice와 finatra의 TwitterModule injection 경험 (0) | 2019.01.29 |
---|---|
ujson (scala) 사용 예시 (0) | 2019.01.25 |
[spark] Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 22, localhost, executor driver): (0) | 2019.01.17 |
[spark] 셔플 관련 자료 (0) | 2018.12.04 |
[spark] 선형 회귀 , SGD, 평균 제곱 오차 (0) | 2018.12.01 |