Spark Job 1

Spark Job 1

• Spark Job이란 single machine에서 수행되기에는 너무 큰 task를 의미
• Spakr job은 여러 spark stage로 구분되어서 수행
  • 각 stage는 데이터의 각 파티션에서 병렬로 수행됨
  • 빠른 처리와 병렬성 제공
• Spakr Job은 다음과 같이 구성됨
  • 데이터 소스에서 데이터를 로드
  • 맵, 리듀스, 조인 등을 통해 데이터를 조작 및 변환
  • 처리된 데이터를 다시 저장

References

1. https://sparkbyexamples.com/spark/what-is-spark-job/