December 12, 2023

Docker 1

Docker 1 Docker 란? 도커란 애플리케이션을 구축하고 배포할 수 있는 오픈 소스 가상화 SW 플랫폼 소프트웨어를 컨테이너라는 단위로 패키징함 컨테이너 내부에는 SW를 실행하는데 모든 것이 포함 애플리케이션 소스 코드 및 이 코드를 실행하기 위한 OS 라이브러리가 들어있다고 보면 됨 References https://aws.amazon.com/ko/docker/ https://www.ibm.com/kr-ko/topics/docker https://khj93.tistory.com/entry/Docker-Docker-%EA%B0%9C%EB%85%90

December 6, 2023

GLIBC 2.28 Not Found

GLIBC 2.28 Not Found GLIBC 2.28 Not Found 우분투 18.04 사용중,nvm을 통해 node 20을 설치 후 사용해 보려 함 다음과 같은 오류가 발생하면서 npm 및 node 사용 불가 node: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.28’ not found (required by node) 찾아보니 우분투 18은 gcc의 새 버전을 충분히 들고 있지 않아서, node 18부터의 지원을 종료했다고 함 해결책 node를 17 이전으로 설치 우분투를 20 이상으로 업그레이드 References https://github.com/GoogleCloudPlatform/buildpacks/issues/198

December 3, 2023

Null Device

Null Device Null Device OS에서 쓰기가 되는 모든 데이터를 버리지만, 쓰기 작업 자체는 성공이라고 보고하는 장치를 의미 Unix 계열 시스템에서는 /dev/null 이며, 각 운영체제마다 다른 이름을 가짐 [COMMAND] > /dev/null 2>&1 와 같이 출력 파일을 /dev/null로 지정하는 경우, 출력 자체를 모두 없앤다는 의미가 됨 References google.com/search?q=%2Fdev%2Fnull&oq=%2Fdev%2Fnull&sourceid=chrome&ie=UTF-8 https://en.wikipedia.org/wiki/Null_device

December 2, 2023

2>&1

2>&1 2>&1 stdout은 1, stderr은 2의 file descriptor를 가짐 명령 > 파일은 명령의 결과를 파일로 저장하라는 의미 즉, 2>&1 은 stderr를 stdout으로 보내라는 의미 이때 1 대신 &1이 붙은 이유는, 1 만 사용할 시 1 이라는 파일로 인식하게 됨 stdout임을 표시하기 위해서는 &1 으로 작성해야 함 보통 stdout이 파일로 변경되었을 때 사용 용례 [COMMAND] > log 2>log 라고 작성하면 명령어의 결과 및 에러가 log에 저장됨 [COMMAND] > log 2>&1 로 작성해도 동일 References https://inpa.

November 30, 2023

If Jupyter Notebook Reset Restore

If Jupyter Notebook Reset Restore If Jupyter Notebook Reset Restore 오늘 주피터 노트북의 모든 내용이 다 날아갔고, Undo 역시 먹히지 않는 상황이 발생함 이 때 노트북 kernel은 종료되지 않았기 때문에, 다음과 같은 방법 사용 _ih는 과거에 입력된 명령어를 리스트로 담고 있음 100은 예시이고, 실행된 명령어가 더 많다면, 더 큰 숫자를 입력하면 됨 이 방법으로는 실행되지 않은 내용은 복구 불가함 for i in _ih[-100:]: print(i) References https://tokensquant.medium.com/jupyter-lab-and-notebook-history-callback-quick-tip-9e09ece2f25d https://softhints.com/6-ways-recover-deleted-jupyter-notebook-including-jupyterlab/

November 21, 2023

PySpark Broadcast Timeout

PySpark Broadcast Timeout PySpark Broadcast Timeout PySpark에서 broadcast join을 실행하는데, 주어진 제한 시간보다 오래 걸릴때 다음과 같은 에러가 발생 could not execute broadcast in 300 secs와 같은 문구가 나오면서 중단됨 위와 같은 에러 문구가 제대로 나오지 않을 수도 있음! 주의할 것 해결책은 간단함. spark.sql.broadcastTimeout 값을 300보다 늘려주면 됨 단순히 시간이 오래 걸리는 쿼리였다면, 이 방법으로 해결됨 그러나 테이블이 너무 큰 경우, 이 방법으로도 근본적인 해결이 되지 않을 수 있음 이 경우 broadcast join을 사용하지 않는 방법을 통해 해결함 References https://spark.

November 19, 2023

ORC File Format

ORC File Format ORC File Format Optimized Row Columnar 의 약자로, Hive에 저장되는 파일 포맷 컬럼 단위로 파일을 기록하지만, 인덱스도 같이 기록함 행을 읽는 속도가 빠르므로, 기존 파일 포맷인 RC 형식에 비해 읽기 성능이 향상된다고 함 높은 압축률을 자랑 그러나 하이브에서만 지원하는 등 많은 제한이 존재 결국 다양한 플랫폼에서 사용 가능한 parquet 보다는 덜 쓰이는 것으로 보임 PySpark에서는 df.read.orc() 등으로 orc 파일을 읽을 수 있음 References https://box0830.tistory.com/207 https://zdnet.co.kr/view/?no=20131211140045

November 16, 2023

Apache Ranger

Apache Ranger Apache Ranger 하둡 클러스터 보안을 제공하는 프레임워크 보안 정책을 정의하고 관리, 운영 가능 HDFS, Hive, HBase, Knox, Kafka 등에서 액세스를 제어 Ranger 콘솔을 통해 쉽게 보안 정책을 관리 가능 References https://kr.cloudera.com/products/open-source/apache-hadoop/apache-ranger.html

November 14, 2023

Linux basename

Linux basename Linux basename 리눅스에서 전체 경로를 제거한 최하위 파일/폴더 이름만 돌려받고 싶을 때 사용하는 명령어 basename [파일 및 폴더 경로] [확장자] 이 명령어를 수행하면 경로의 마지막 /의 뒷부분을 반환 그리고 확장자 부분을 제거, 일반적인 확장자 뿐만 아니라 이름의 제거하고 싶은 마지막 부분의 아무 값이나 넣어도 됨 예시: basename /abc/xyz/cedf df 를 사용하는 경우, ce가 결과가 됨 References https://gregorio78.tistory.com/261

November 13, 2023

MapReduce-1

MapReduce-1 MapReduce-1 구글에서 발표한, 대용량 데이터를 분산 컴퓨팅 환경에서 처리하기 위한 소프트웨어 프레임워크 PB 이상의 대용량 데이터를 처리 가능 계산을 위한 Map 연산과 각 연산 결과를 합치는 Reduce 연산 두 가지로 구성됨 자바, C++ 등 여러 프로그래밍 언어에서 적용이 가능하도록 작성됨 가장 대표적인 예시가 하둡 References https://ko.wikipedia.org/wiki/%EB%A7%B5%EB%A6%AC%EB%93%80%EC%8A%A4 https://songsunbi.tistory.com/5