October 28, 2023

Apache Spark 개요

Apache Spark 개요 Apache Spark 개요 아파치 스파크란 데이터 엔지니어링을 실행하기 위한 multi-language 엔진 다음과 같은 기능 제공 배치 혹은 스트리밍 데이터를 다룰 수 있음 파이썬, SQL, 자바, R 등 각종 언어로 사용 가능 빠르고 분산된 SQL 수행 가능 PB 스케일 데이터에 대해서도 EDA 수행 가능 머신 러닝 알고리즘을 분산 클러스터에서 수행 가능 대용량 데이터를 위한 분산 SQL 엔진을 기반으로 구축됨 Spark SQL은 다음과 같은 특성 지원 적응형 쿼리를 통해 런타임에 실행 계획을 최적화 ANSI SQL 역시 지원 JSON, 이미지 등과 같이 비구조화된 데이터에 대한 지원도 됨 References https://spark.

October 23, 2023

Pythonic

Pythonic Pythonic 아주 잘 짜여진 파이썬 코드를 pythonic하다고 함 파이썬 작성 가이드라인을 잘 지킨 코드를 의미

October 20, 2023

ping 명령어

ping 명령어 ping 명령어 Packet INternet Grouper의 약자로, 네트워크 호스트의 상태를 점검할 때 쓰이는 명령어 리눅스 및 윈도우에서 사용 가능 ping [도메인 이름 및 IP] 형태로 입력하면, 네트워크 호스트로 요청 패킷을 보냄 호스트는 이 요청을 받으면, 응답 패킷을 반환함 윈도우에서는 4~5개의 요청만 전송하지만, 리눅스는 별도로 종료하기 전까지 계속되는 것으로 추정됨 리눅스에서는 -c 옵션을 통해 보낼 패킷의 수를 정할 수 있음 References https://bookfriend.tistory.com/entry/%EB%A6%AC%EB%88%85%EC%8A%A4Linux-ping-%EB%AA%85%EB%A0%B9%EC%96%B4-%EC%82%AC%EC%9A%A9%EB%B2%95%EA%B8%B0%EB%B3%B8-%EC%98%B5%EC%85%98%EB%A7%8C https://velog.io/@gaheekim610/Ping%EA%B0%9C%EB%85%90

October 19, 2023

wget

wget wget web get의 약자로, 리눅스에서 웹 상의 파일을 다운받을때 사용하는 명령어 GNU 프로젝트의 일부 HTTP, HTTPS, FTP 프로토콜을 지원 wget [옵션] [URL] 형태로 사용하면 됨 연결이 끊긴 상태에서도 다운받을 수 있음 References http://www.incodom.kr/Linux/%EA%B8%B0%EB%B3%B8%EB%AA%85%EB%A0%B9%EC%96%B4/wget https://ko.wikipedia.org/wiki/Wget

October 14, 2023

free 명령어

free 명령어 free 명령어 리눅스에서 메모리 현황을 살펴볼 수 있는 명령어 /proc/meminfo에서 정보를 가져와 분석 -h 옵션을 주면, 사람이 읽기 쉽도록 MB, GB 등의 단위로 제공 메모리와 스왑 메모리 정보를 제공하며, 각 메모리에 대해 다음 항목들을 제공 total: 전체 메모리 used: 사용중인 메모리 free: 사용하지 않은 메모리 shared: 여러 프로세스에서 사용 가능한 공유 메모리 (IPC에 나오는 그 shared memory) buff/cache: 시스템에서 캐시로 사용하는 메모리 available: 새 응용 프로그램을 사용할 때 swap 없이 사용 가능한 메모리 References https://brunch.

October 10, 2023

Dockerfile

Dockerfile Dockerfile 도커 이미지를 생성하는 데 사용되는 설정 파일 도커파일을 빌드해 도커 이미지를 만듦 docker build 명령어 사용 컨테이너에 설치해야 하는 패키지, 소스 코드, 명령어, 환경 변수 설정 등을 수행 키워드 FROM: 다른 이미지로부터 이미지 생성 가능 RUN: 명령어를 수행 가능 COPY: 컨테이너에 소스 코드 복사 가능 ENV: 환경 변수를 적용 가능 References https://fronquarry.tistory.com/33 https://velog.io/@ckstn0777/%EB%8F%84%EC%BB%A4%ED%8C%8C%EC%9D%BCDockerfile

October 9, 2023

MASE

MASE MASE Mean Absoulte Scaled Error의 약자 MAE는 데이터 값의 크기(스케일)에 따라 달라진다는 점이 있음 서로 다른 스케일의 데이터끼리 성능을 비교하기가 어려운 점이 있음 이에 따라 시계열 데이터 예측에서는, MASE를 활용해 데이터를 스케일링한 값을 척도로 사용 MAPE와 같이 실제 값을 기준으로 나누어도 되는데, 이 때 실제 값이 0 혹은 0에 가까워지는 경우 값이 매우 튀게 됨 MASE는 값이 0 근처로 가도 나누는 방식이 다르기 때문에 차이가 존재 원래 값보다 적게 혹은 많이 예측함에 있어서, 패널티를 동일하게 부여 (대칭성) 다른 척도는 대칭성이 부족한 경우가 많음 계산 방법 MAE를 계산 Training data에 1부터 T 까지의 time-series 데이터가 있다고 가정 2부터 T 까지의 i에 대해, |y_i - y_(i-1)| 의 값의 평균을 계산 MAE를 이 평균 값으로 나누면 MASE가 됨 Time-series가 아닌 경우에도 사용이 가능 |y_i - y_avg|를 계산하면 됨 y_avg는 모든 데이터의 평균 References https://en.

October 8, 2023

make

make make make란 프로그램 빌드 자동화 소프트웨어 MakeFile이라는 파일을 읽어서 해당 파일의 내용을 순차적으로 실행 이 MakeFile은 일종의 쉘 스크립트 언어처럼 되어 있음 반복적 명령을 자동화해서 공수를 줄여줌 MakeFile 기본 구조 MakeFile은 다음과 같은 블록들로 구성됨 target: dependency command command command target: command를 수행 후 결과를 저장할 파일 dependency: 목표 파일을 만들기 위한 파일들, 없어도 됨 command: 실행될 명령어 모음, shell에서 실행 가능한 명령어로 구성됨 다음과 같이 MACRO 기능을 사용해 변수를 사용할 수도 있음 MACRO = file1.

October 3, 2023

Mac Local 환경변수

Mac Local 환경변수 Mac Local 환경변수 Mac에서 Local 환경 변수 설정하는 방법 임시로 환경 변수 설정하는 방법 export VAR=3 shell이 종료되는 경우, 같이 사라짐 영구로 환경 변수 설정 echo $SHELL 명령어를 통해 현재 shell을 확인 zsh 인 경우 vi ~/.zshrc, bash인 경우 vi ~/.bashrc를 입력 파일 맨 밑에 export VAR=3를 입력 source ~/.zshrc로 적용시킴 이 경우, 쉘이 종료되어도 계속 값이 유지됨 환경 변수 적용 확인 echo $VAR을 통해 특정 환경 변수를 확인 가능 혹은 printenv를 통해 전체 환경 변수 확인하는 방법도 존재 리눅스에서도 똑같이 적용됨!

October 2, 2023

Unix Linux 차이

Unix Linux 차이 Unix Linux 차이 Unix 1960 ~ 70년대에 개발된 독점 운영 체제 Linux와 달리 구입이 필요하며, 보통 큰 기업에서 주로 사용 서버, 워크스테이션, 인프라 등에 주로 설치하며, 보안이 뛰어남 macOS, Linux 등은 모두 이 Unix 기반 Linux 1990년대에 Unix를 기반으로 해서 Linus Torvalds 가 만든 오픈 소스 운영 체제 누구나 소스 코드를 열람하거나 운영 체제를 사용 가능 모바일 폰 부터 슈퍼컴퓨터까지 다양한 하드웨어에 설치 가능 이 Linux 운영 체제 중 가장 인기있는 것이 Ubuntu References https://flaming.