note

※ 반효경 교수님의 운영체제와 정보기술의 원리를 기반으로 작성하였습니다. 프로그램의 실행 프로그램의 실행(execution)이라고 함은 크게 두 가지 의미를 가진다. 첫 번째는 디스크에 존재하던 실행파일이 메모리에 적재되는 것이고, 두 번째는 프로그램이 CPU를 할당받고 명령(instruction)을 수행하고 있는 상태라는 것이다. 일반적인 컴퓨터 시스템에서 CPU는 하나만 존재하므로 매 시점 실행되는 프로그램은 한 개이지만, 여러 프로그램이 짧은 시간 동안 CPU를 나누어 쓰면서 메모리에 동시에 적재되어 있을 수 있으므로 여러 프로그램이 동시에 실행된다는 말을 보편적으로 사용한다. 메모리에 적재된다는 것을 프로그램 구조와 함께 조금 더 구체적으로 알아보자. 프로그램의 구조 컴퓨터 프로그램은 프로그래밍 ..

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. 딥러닝이 점점 발전해 오면서 모델의 크기는 점점 증가하고, 학습시간 및 추론시간도 점점 증가했다. 예를 들어 ImageNet 데이터셋으로 ResNet-50을 학습시키려면 14일이 소요된다고 한다. 이것은 새로운 아이디어를 반복하거나 parameter를 조절하여 실험하기 위해서 2주를 기다려야 한다는 의미이다. 학습에 걸리는 시간 또한 비용이므로 대규모 신경망의 학습 속도를 높이기 위해 분산처리 전략이 등장했다. Data parallism 데이터를 node(GPU)의 수로 나누어 각 node에 서로 다른 데이터를 할당해 학습시키는 방식이다. 주로 convolution layer가 관련된 것과 같이 가중치당 계산량이 많을 때 유리하다. 데이터 ..

※ 반효경 교수님의 운영체제와 정보기술의 원리를 기반으로 작성하였습니다. 컴퓨터 시스템의 구조 CPU 중앙처리장치로 Central Processing Unit의 줄임말이다. 컴퓨터를 제어하고 연산을 수행하는 기능을 한다. CPU는 크게 데이터 가져오기(Fetch), 디코딩(Decoding), 실행(Execute)의 세 단계로 나누어진다. 이진수로 된 데이터를 RAM으로부터 가져오는 것을 fetch라고 한다. 명령은 명령 해독기라는 회로를 통해서 이동하고, 작동을 위해 전달되는 신호로 변환되는데 이것을 디코딩이라고 한다. 마지막으로 실행단계에서 명령문은 CPU안에 관련된 부분으로 전달되어 연산을 수행하고 그 결과는 레지스터에 저장된다. Modebit 모드빗은 CPU내부에 존재하며, CPU의 상태를 나타내는..

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. Feature store Feature store는 말 그대로 feature를 저장하는 공간이다. 여기서 feature란 개별적으로 측정가능한 특성을 의미하며, 효율적인 ML 알고리즘을 만들기 위해 중요한 요소이다. Feature는 raw data로부터 feature engineering을 통해 얻어지며, 일관된 방식으로 계산되도록 ML엔지니어보다는 도메인 지식을 가진 사람이 제어하는 것이 좋다. 프로젝트의 규모가 커지고 데이터가 많아질수록 ad-hoc 방식에는 한계가 생긴다. 이러한 한계점을 해결하기 위해 feature store를 사용하며, feature engineering을 feature사용(모델링)에서 분리하여, feature 개발..