PySpark Certain Column Null Count

PySpark Certain Column Null Count

PySpark Certain Column Null Count

  • PySpark에서 특정 열의 null 갯수를 세려면 다음과 같이 하면 됨
    • 다음과 같이 특정 column에 isNull 함수를 적용하는 조건을 filter 안에 두면 됨
from pyspark.sql.functions import col

df.filter(col("state").isNull()).count()

References

  1. https://sparkbyexamples.com/pyspark/pyspark-isnull/