PySpark persist

PySpark persist

PySpark persist

  • DataFrame을 처음 계산후, DataFrame의 내용을 특정 스토리지 레벨로 유지하도록 설정하는 함수
  • 아무 옵션을 주지 않는 경우, 기본값은 MEMORY_AND_DISK_DESER

References

  1. https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.DataFrame.persist.html