HDFS

September 12, 2023

Hadoop Distributed File System의 약자
하둡은 대용량 데이터를 분산 저장 가능한, 맵리듀스를 구현한 프레임워크
- 하둡의 데이터 저장소를 담당하는 분산 시스템이 HDFS
아주 큰 용량의 데이터를 분산 서버에 저장하고, 빠르게 처리할 수 있게 해 주는 파일 시스템
- 파일을 특정 크기의 블록으로 나누어 저장
- 현재는 128M을 블록 크기로 사용
- 대용량 데이터를 범용 서버(하드웨어)로 처리할 수 있게 해 줌
Scale-out을 통해 서버를 추가하면 확장 가능
데이터를 부분 수정 불가능하고, 랜덤 접근이 불가하다는 점 때문에, 고속 처리가 가능
여러개의 노드에 데이터를 복제해서 유지하므로, 데이터 손실 방지 가능
- 마스터 - 슬레이브 구조를 가짐

References