가상 클러스터 모드 (로컬 모드)의 아키텍처
https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-local.html
로컬 모드를 때때로 가상 클러스터(pseudocluster) 실행 모드라고 한다. 또한 해당 모드는 분산되지 않고 단일 JVM 기반 배포 모드로서 스파크는 드라이버 프로그램, 익스큐터, LocalSchedulerBackend, 마스터와 같은 모든 실행 컴포넌트를 단일 JVM에 배포한다. 로컬 모드는 드라이버 자체가 익스큐터로 사용되는 유일한 모드이다. 다음 그림은 스파크 잡 제출과 관련된 로컬 모드의 하이 레벨 아키텍처를 보여준다.
'scala' 카테고리의 다른 글
| [spark] spark-shell - Failed to start database 'metastore_db' with class loader 처리하기 (0) | 2018.05.28 |
|---|---|
| [spark] EOFException:Cannot seek after EOF/java.lang.NumberFormatException: For input string: "" 해결하기 (0) | 2018.05.12 |
| [spark] 로컬 모드 아키텍처 [펌] (0) | 2018.03.29 |
| [spark] 스파크 잡 튜닝 및 아키텍처 URL 펌질 (0) | 2018.03.29 |
| [spark] 스파크 애플리케이션 튜닝 방법 - 펌 (0) | 2018.03.26 |
| [spark] log4j 직렬화하기 - org.apache.spark.SparkException: Task not serializable 해결하기 (0) | 2018.03.25 |
댓글을 달아 주세요