[spark] EOFException:Cannot seek after EOF/java.lang.NumberFormatException: For input string: "" 해결하기

스파크에서 파일을 읽어 첫 번째 field의 값을 long으로 변환하는 코드가 있다고 하자.

val users = sc.textFile("users.txt").map{ line =>

 val fields = line.split(",")

 (fields(0).toLong, User(fields(1), fields(2)))

}

이전 예를 실행하고 난 후 

users.collect 호출 후 EOFException:Cannot seek after EOF 또는 java.lang.NumberFormatException: For input string: "" 에러가 발생하면 fields(0).toLong 대신 fields(0).toInt로 변경하면 에러가 발생하지 않을 수 있다. 

잘 보면. 

users.take(10) 할 때는 에러가 발생하지 않는데..

users.collect를 호출할 때 에러가 발생할 수 있다.

변환 문제 또는 원시 소스 이슈이다. 

이를 해결하기 위해서는 2가지 방법이 있다.

첫번째 원시 소스 이슈를 해결한다.  

두번째 첫 번째 방법은 사실, 대용량에서 자주 발생할 수 있어서 Try를 최대한 사용해 Option을 사용하는 것이 좋다. 

scala> def parseLong(s: String): Option[Int] = Try(s.toInt).toOption

parseLong: (s: String)Option[Int]

scala> parseLong("")

res24: Option[Int] = None

원시 파일이 문제가 없는지 살펴본다. 공백 라인이 있어도 안된다.