PySpark Storage Level
PySpark Storage Level
PySpark Storage Level
- 스파크의 데이터를 어디에 저장할지 결정하는 레벨
- 메모리를 사용할지, 디스크를 사용할 지 등을 결정
- 다음과 같은 상수들로 구성됨
- DISK_ONLY: 디스크만
- MEMORY_AND_DISK: 메모리랑 디스크 모두
- MEMORY_AND_DISK_DESER: 메모리랑 디스크 모두 사용하되, 직렬화하지 않은 형태로 저장
- MEMORY_ONLY: 메모리만