Spark Job 2

Spark Job 2

• Spark는 RDD 혹은 데이터프레임에서 Spark Action을 호출하면 Spark Job이 생성됨
  • Spark는 lazy 하게 연산하므로, map, filter와 같은 코드는 바로 실행되지 않음
  • 대신 DAG를 만들어서 논리적 실행 계획을 구축
  • 결과를 외부에 저장하거나, 값을 반환해야 하는 등 실제 연산이 필요한 시점에, Action이 실행됨
  • 이 Action이 Job을 생성하는 것
• Spark Job을 생성할 수 있는 Action 예시
  • count()
  • collect()
  • saveAsTextFile()
  • reduce()
  • foreach()

References

1. https://sparkbyexamples.com/spark/what-is-spark-job/