note

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. Feature store Feature store는 말 그대로 feature를 저장하는 공간이다. 여기서 feature란 개별적으로 측정가능한 특성을 의미하며, 효율적인 ML 알고리즘을 만들기 위해 중요한 요소이다. Feature는 raw data로부터 feature engineering을 통해 얻어지며, 일관된 방식으로 계산되도록 ML엔지니어보다는 도메인 지식을 가진 사람이 제어하는 것이 좋다. 프로젝트의 규모가 커지고 데이터가 많아질수록 ad-hoc 방식에는 한계가 생긴다. 이러한 한계점을 해결하기 위해 feature store를 사용하며, feature engineering을 feature사용(모델링)에서 분리하여, feature 개발..

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. 특징 해시 디자인 패턴이 카테고리형 입력 변수(강아지, 고양이처럼 분류가능한 입력)를 표현하는 방식은 다음과 같다. 카테고리를 고유한 문자열로 변환한다. 변환한 문자열에 대해 결정론적(random seed 없음)이며, 이식 가능한(동일한 알고리즘을 학습과 서빙에서 모두 사용 가능) 해시 알고리즘을 호출한다. 해시 결과를 원하는 버킷 수로 나누고, 절대값을 취한다.(해시 함수가 음수값을 반환할 수 있기 때문) 버킷 수는 경험적으로 하나의 버킷이 5개의 항목을 혼합하는 정도가 적절하다고 한다. 이와 같은 방식으로 feature를 나타내게 되면 복잡하고 개수가 많은 input을 적은 수의 숫자로 나타낼 수 있다. 따라서 이 패턴은 cardinal..