Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.im plicits._ Support for serializing other types will be added in future releases.
scala 2018. 10. 29. 19:35spark streaming을 처리할 때 Encoder를 잘 이해하지 못하면, 아래 에러를 많이 만나게 된다.
Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.im plicits._ Support for serializing other types will be added in future releases.
단순히 Serializable 이슈라 하기에는 좀..
spark을 더 공부할 수 있는 꺼리가 할 수 있다.
DataFrame 및 DataSet에 대한 이해도를 높일 수 있다.
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-Encoder.html
'scala' 카테고리의 다른 글
[spark] spark structured streaming + cassandra 연동 (0) | 2018.10.30 |
---|---|
[spark] StructType + Row value 를 함께 저장하는 예제 (0) | 2018.10.29 |
[spark] - spark streaming의 누산기 예시 (0) | 2018.10.25 |
[spark] 기본 파티션 개수 (0) | 2018.10.12 |
[spark] "랜덤 포레스트를 이용한 MNIST 데이터셋 분류" 예 (0) | 2018.06.01 |