November 7, 2023

Apache Hue

Apache Hue Apache Hue Hadoop User Experience의 약자로, 하둡과 하둡 에코시스템을 지원하는 오픈소스 웹 인터페이스 다음 기능 제공 Hive 작업, Spark Job 실행 SQL 편집기 제공 쿼리 결과 시각화 HDFS 접근 Spark Job 스케줄링 References https://code-code.tistory.com/101 https://guide.ncloud-docs.com/docs/hadoop-chadoop-4-3 https://gethue.com/

November 6, 2023

Pyspark to_timestamp Wrong Time

Pyspark to_timestamp Wrong Time Pyspark to_timestamp Wrong Time pyspark에서 timestamp로 저장된 정수값이, milisecond 단위의 정수 값일 수 있음 이 값을 그대로 to_timestamp 함수를 적용하는 경우, 잘못된 시간이 저장될 수 있음 (55000년이 됨) 이 때는 다음과 같이 값을 1000으로 나누면 됨 df = df.withColumn("ts", to_timestamp(col("ts") / 1000))

November 5, 2023

PySpark persist

PySpark persist PySpark persist DataFrame을 처음 계산후, DataFrame의 내용을 특정 스토리지 레벨로 유지하도록 설정하는 함수 아무 옵션을 주지 않는 경우, 기본값은 MEMORY_AND_DISK_DESER References https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.DataFrame.persist.html

November 4, 2023

PySpark Storage Level

PySpark Storage Level PySpark Storage Level 스파크의 데이터를 어디에 저장할지 결정하는 레벨 메모리를 사용할지, 디스크를 사용할 지 등을 결정 다음과 같은 상수들로 구성됨 DISK_ONLY: 디스크만 MEMORY_AND_DISK: 메모리랑 디스크 모두 MEMORY_AND_DISK_DESER: 메모리랑 디스크 모두 사용하되, 직렬화하지 않은 형태로 저장 MEMORY_ONLY: 메모리만 References https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.StorageLevel.html

November 3, 2023

Pydantic BaseSetting Error

Pydantic BaseSetting Error Pydantic BaseSetting Error BaseSettings has been moved to the pydantic-settings package 에러에 대한 트러블슈팅 pydantic 패키지에서 BaseSetting이 다른 곳으로 옮겨졌기 때문에 발생하는 문제 pip install로 pydantic 패키지를 설치한 후, from pydantic-settings import BaseSettings를 수행하면 됨 References https://stackoverflow.com/questions/76664231/import-vaex-error-pydanticimporterror-basesettings-has-been-moved-to-the-py

November 2, 2023

Hadoop distcp

Hadoop distcp Hadoop distcp 하둡에서 여러 파일을 병렬으로 복사하는 명령어 MapReduce를 이용 너무 많은 mapper를 이용하는 경우, 네트워크 자원을 많이 사용할 수 있으므로 주의할 것 사용법 distcp hdfs://path/src hdfs://path/dst References https://wikidocs.net/25261

November 1, 2023

Apache Zeppelin

Apache Zeppelin Apache Zeppelin Apache Zeppelin이란 웹 기반의 노트북이며, 대화형 데이터 분석을 제공 SQL, Spark, 스칼라, 파이썬, R, shell script 등을 지원 데이터 추가, 발견, 분석, 시각화 등의 기능 역시 제공 내장된 spark 통합 기능이 있으므로, spark를 위한 별도의 모듈 및 플러그인을 구축할 필요 없음 References https://zeppelin.apache.org/

October 31, 2023

Pyspark join

Pyspark join Pyspark join Pyspark에서 두 데이터프레임을 Join할 때 쓰는 메서드 df1.join(df2, on = None, how = None) 형태로 사용 df1과 df2를 조인할 때 사용 on 에는 컬럼 이름 혹은 컬럼 이름의 리스트가 오며, 등식 형태의 조인 조건을 줘도 됨 컬럼 이름 혹은 리스트를 주는 경우에는 양 쪽의 데이터프레임에 동일한 컬럼이 존재햐야 함 how에는 조인 방식을 줌. cross, left, right 등이 올 수 있으며, default는 inner References https://spark.apache.org/docs/3.1.2/api/python/reference/api/pyspark.sql.DataFrame.join.html

October 30, 2023

Hadoop

Hadoop Hadoop 하둡이란 High Availability Distributed Object Oriented Platform의 약자 말 그대로 객체 지향적 작업을 분산해서 수행함으로 인해 고가용성을 확보 오픈 소스이며, Java 기반의 소프트웨어 플랫폼 애플리케이션용 데이터 처리 및 스토리지 관리 서버를 확장하기 쉬움 하둡 데이터는 HDFS에 저장됨 비구조적이므로 RDBMS와 다름 References https://www.databricks.com/kr/glossary/hadoop

October 29, 2023

Apache Kafka 개요

Apache Kafka 개요 Apache Kafka 개요 카프카란 오픈 소스 분산 이벤트 스트리밍 플랫폼 데이터 파이프라인 구축, 데이터 통합, 스트리밍 데이터 분석 등을 수행 핵심 기능 메시지 전달에 2ms 이하의 레이턴시를 가지는 높은 스루풋 수천개의 브로커, 수조 개의 메시지, 페타바이트 단위의 데이터를 수십만개의 파티션으로 확장 가능한 확장성 데이터 스트림을 내구성이 뛰어난 분산 클러스터에 저장 클러스터를 확장하거나 지리적으로 연결해서 높은 가용성을 보유 References https://kafka.apache.org/