spark / sbt 1.3.0-RC1를 사용 중이다. 

sbt test를 실행해

테스트 코드를 모두 완료하고 종료할 때 Java의 ShutdownHookManager에서 Can not access 또는 Can not load 예외가 발생할 수 있다. 

이는 jvm shutdown하면서 shutdownhook에서 정리할 내용보다 먼저 자원이 정리되면서 발생하는 문제이다. 

$ sbt test 


INFO: Illegal access: this web application instance has been stopped already.  Could not load org.apache.hadoop.util.ShutdownHookManager$2.  The eventual following stack trace is caused by an error thrown for debugging purposes as well as to attempt to terminate the thread which caused the illegal access, and has no functional impact.


  at org.apache.catalina.loader.WebappClassLoader.loadClass(

  at org.apache.catalina.loader.WebappClassLoader.loadClass(

  at org.apache.hadoop.util.ShutdownHookManager.getShutdownHooksInOrder(

  at org.apache.hadoop.util.ShutdownHookManager$

sbt 실행시 아래와 같은 설정을 추가한다. 더 이상 해당 에러는 발생하지 않는다. 


Posted by '김용환'

댓글을 달아 주세요