sbt-spark을 개발하면서 중복 라이브러는 다음과 같이 사용했다.
sbt의 Merge 전략을 다음과 같이 변경했다.
assemblyMergeStrategy in assembly := {
case “META-INF/services/org.apache.spark.sql.sources.DataSourceRegister” => MergeStrategy.concat
case PathList(“META-INF”, “services”, “org.apache.hadoop.fs.FileSystem”) => MergeStrategy.filterDistinctLines
case “application.conf” => MergeStrategy.concat
case PathList(“META-INF”, xs @ _*) => MergeStrategy.discard
case x => MergeStrategy.first
}
