October 1, 2023

SSH Config

SSH Config SSH Config ssh로 다른 서버에 접속하기 위해서는 다음과 같이 명령어를 사용 ssh 사용자 아이디@서버 이름:포트 번호 그러나 매번 이렇게 입력하기 귀찮으므로, ~/.ssh/config 파일에 미리 ssh 연결을 위한 정보를 설정 가능 다음과 같이 설정하면 됨 Host SSH 연결에 사용할 이름 HostName 서버 이름 (IP 주소) User 사용자 아이디 Port 포트 번호 IdentityFile (필요한 경우) 사용할 키 Host 뒤에 붙은 이름이 abc 인 경우, ssh abc 명령어를 통해 연결 가능 파일 내에서 여러 호스트애 대한 ssh 연결 설정을 할 수 있음.

September 28, 2023

init__.py

__init__.py __init__.py 파이썬에서 __init__.py는 존재하는 디렉터리가 패키지의 일부임을 알려주는 역할 특정 폴더를 패키지로 만들고 싶다면, __init__.py를 만들면 됨 그러면 해당 폴더 내의 python 파일을 import 해 올 수 있음 __init__.py 파일에는 패키지와 관련된 설정, 초기화 코드들을 포함 가능 만약 __init__.py 내에, 같은 폴더의 파이썬 클래스를 import했다고 가정 다른 위치에서 패키지만 가져와도, 해당 클래스를 바로 가져올 수 있음 (미리 import 했기 때문에) 또한 __init__.py 내에 패키지 내의 공통 변수, 함수 등을 설정 가능 물론 공통 변수나 함수를 사용할때는 import를 해야함 References https://mmjourney.

September 27, 2023

Python AP Scheduler

Python AP Scheduler Python AP Scheduler Python에서 스케줄을 제어하는 라이브러리 원하는 시간에 python 코드를 수행 가능 Cron과 같이 반복 작업을 수행 가능 다음 두 가지 스케줄러가 존재 BlockingScheduler: 파이썬 프로세스 내에서 다음 코드의 실행을 막음 BackgroundScheduler: 파이썬 프로세스 내에서 다음 코드의 실행을 막지 않음 BackgroundScheduler를 통해 스케쥴링해도, Python 프로세스가 종료되면 스케줄도 같이 종료됨 완전 백그라운드로 돌리고 싶다면 nohup등을 이용해 python 자체를 백그라운드에서 실행 시킬 것 References https://mkwilson.tistory.com/215 https://hello-bryan.tistory.com/216 https://ffoorreeuunn.tistory.com/466 기타 보강 및 내용 검수 필요

September 26, 2023

Pandas Feather

Pandas Feather Pandas Feather pandas에서는 to_feather 메서드를 이용해 데이터를 feather format으로 저장 가능 이 방식으로 저장하기 위해서는 default index 필요 Feather format은 내부적으로 Arrow IPC Format을 사gi용 csv보다 저장속도가 빠르고, 저장 공간이 적다고 함 (실험 필요) References https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_feather.html https://arrow.apache.org/docs/python/feather.html

September 23, 2023

Terminal Shell 차이

Terminal Shell 차이 Terminal Shell 차이 Terminal: 컴퓨터와 사용자와의 상호 작용이 가능한 인터페이스 키보드, 모니터 등의 HW를 의미하기도 함 그러나 텍스트를 입력할 수 있는 SW 프로그램으로 더 자주 사용됨 터미널을 이용해 서버에 원격으로 접속할 수 있음 Shell: 텍스트 명령을 해석하고 처리하는 소프트웨어 명령어를 전달 받아 다른 프로그램을 실행하고, 결과를 전달 받음 운영체제 기능 및 여러 서비스를 사용 가능 터미널이 쉘을 실행하는 형태 (터미널 위에 쉘이 있다고 생각) 쉘은 터미널 없이도 실행할 수 있기는 함 개인적인 이해 터미널은 쉘에게 입/출력을 전달하는 인터페이스이고, 쉘이 프로그램이라고 생각하자 References https://hanamon.

September 21, 2023

mermaid

mermaid mermaid 마크다운에서 기반한 자바스크립트 기반 다이어그램 툴 복잡한 다이어그램 및 차트를 그릴 수 있음 개발자의 다이어그램 그리는 시간 / 문서화 시간을 아껴줄 수 있음 개발자가 아니더라도 쉽게 작성 가능 플로우 차트, 시퀀스 다이어그램, 간트 차트, 클래스 다이어그램, 상태 다이어그램, 파이 차트 등을 그릴 수 있음 플로우 차트 기본 문법 flowchart LR / TD: 제일 처음 시작에 삽입, LR: 좌우, TD:상하 A[Hard]: Hard라는 네모를 그림, A라는 변수로 접근 가능 B(Round): Round라는 원을 그림 C{Decision}: Decision이라는 마름모를 그림 D[(Cylinder)]: Cylinder라는 원통 형태를 그림 (DB를 주로 표시) A — B : A와 B를 선으로 이음 A –> B : A와 B를 화살표로 이음 A –>|TEXT| B : A와 B를 화살표로 잇되, 중간에 TEXT라는 네모 상자를 둠 References https://github.

September 20, 2023

AutoML

AutoML AutoML Automated Machine Learning의 약자 머신러닝 모델을 학습하고 배포하는 과정을 자동화하는 기술 머신 러닝 전문가가 수행하던 영역 중 정형화된 과정을 자동화함 다음 두 가지 문제를 풀고자 함 CASH (Combined Algorithm Selection and Hyper-parameter optimization) 하이퍼파라미터들을 실험하고 성능을 비교해 최적의 하이퍼파라미터를 찾음 NAS (Neural Architecture Search) 문제에 적합한 architecture를 찾는 과정을 자동화 References https://medium.com/daria-blog/automl-%EC%9D%B4%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C-1af227af2075 https://data-minggeul.tistory.com/12

September 19, 2023

Docker Hub

Docker Hub Docker Hub Docker에서 운영하는, Docker 이미지 저장소 서비스 (GitHub를 생각하면 됨) Docker 클라이언트와 기본적으로 연동되어 있음 docker run 명령어로 바로 docker hub의 이미지를 가져다 쓸 수 있음 docker push 및 docker pull 명령어를 통해 docker hub 에 이미지를 업로드 / 다운로드 가능 누구나 이미지를 만들어서 올릴 수 있기 때문에, 아무 이미지나 사용해서는 안됨 References https://www.lainyzine.com/ko/article/understanding-docker-hub-and-docker-official-images/ https://galid1.tistory.com/324

September 18, 2023

Python GC

Python GC Python GC 파이썬에서는 참조 횟수가 0이 된 객체의 메모리를 해제하는 reference counting 방식 사용 그러나 reference counting 방식만으로는 순환 참조를 해제 불가 gc.collect()를 호출 해서 객체의 gc_refs 필드의 값을 이용, 순환 참조를 해제 가능 References https://medium.com/dmsfordsm/garbage-collection-in-python-777916fd3189 https://dw3232.tistory.com/71 기타 내용 보강 필요

September 17, 2023

nohup disown 차이

nohup disown 차이 nohup disown 차이 shell은 SIGHUP 이라는 신호를 받으면, 이를 프로세스에 보내고, 프로세스는 종료됨 disown은 프로세스를 shell의 job list에서 제거하지만, 터미널에 연결은 여전히 되어 있음 프로세스 실행 명령 뒤에 입력 nohup은 터미널에서의 프로세스 연결을 끊고, stdin과 stdout, stderr을 nohup.out으로 보냄 프로세스가 SIGHUP을 받지 못하게 함 프로세스 실행 명령 앞에 입력 References https://unix.stackexchange.com/questions/3886/difference-between-nohup-disown-and https://velog.io/@jakeseo_me/nohup-disown-%EB%8A%94-%EC%96%B8%EC%A0%9C-%EC%96%B4%EB%96%BB%EA%B2%8C-%EC%8D%A8%EC%95%BC%EB%90%A0%EA%B9%8C-9fjv7q9bz8