parquet
parquet
parquet
- 데이터를 컬럼 방식으로 저장하는 데이터 파일 형식
- 행 기반으로 데이터를 저장하고 압축하는 기존 방식과 다름
- 처리 성능이 비약적으로 향상됨
- 데이터가 균일하므로, 압축 / 해제의 효율이 굉장히 높아짐
- 큰 규모의 데이터 저장에 적합
- 언어를 가리지 않음
- pandas에서도
read_parquet,to_parquet등의 메서드로 형식을 지원
- pandas에서도
read_parquet, to_parquet 등의 메서드로 형식을 지원