[spark] .java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
scala 2019. 2. 22. 04:05spark 앱을 로컬(Intellij)에서 테스트/실행할 때
아래와 같이 SparkDriver 를 바인딩하지 못해 에러가 나는 경우가 종종 발견할 수 있다.
WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
..java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
이럴 때는 다음 코드를 참조해서 SparkConf 인스턴스를 생성할 때 다음 코드로 수정한다. 더 이상 발생하지 않을 것이다.
lazy val sparkConf: SparkConf = new SparkConf().setMaster("local[1]") //상관없음
.setAppName("spark-test")
.set("spark.driver.host", "localhost"); // 반드시 필수
'scala' 카테고리의 다른 글
| [spark] monotonically_increasing_id 예시 (0) | 2019.02.25 |
|---|---|
| [spark] requirement failed: Currently correlation calculation for columns with dataType string not supported. 해결하기; (0) | 2019.02.25 |
| [spark] Unable to find encoder for type XXX 해결하기 (0) | 2019.02.20 |
| [scala] scala-guice/quill를 사용한 inject 예제 (0) | 2019.02.04 |
| [scala/spark] scala-guice와 finatra의 TwitterModule injection 경험 (0) | 2019.01.29 |
