note

※ 이 포스트는 머신러닝 디자인 패턴을 기반으로 작성되었습니다. 일반적인 end-to-end ML워크플로는 데이터 수집 → 데이터 검증 → 데이터 전처리 → 모델 구축 → 학습 및 평가 → 모델 배포로 이루어진다. 규모가 작거나 혼자 작업한다면 모놀리식(monolithic) 환경에서 작업할 수 있지만, 규모가 점점 커지고 기여하고자 하는 사람이 많아진다면 모놀리식 환경은 오히려 작업을 느리게 만들 수 있다. 이런 경우, 마이크로 서비스 아키텍처(Microsevice Architecture, MSA) 환경을 사용하면 애플리케이션을 작은 부분으로 나누어 관리하므로 관리가 쉬워질 수 있다. (모놀리식과 MSA에 대한 조금 더 자세한 설명은 아래에) 아키텍처를 선택해 각 단계의 초기 개발이 완료되면 환경 변화에..

머신러닝 디자인 패턴 책을 공부하면서 여러 Machine Learing Pipeline을 소개해 정리해 보았다. TFX(TensorFlow Extended) TFX | ML 프로덕션 파이프라인 | TensorFlow 종단 간 프로덕션 ML 파이프라인을 구축하고 관리합니다. TFX 구성 요소는 확장 가능한 고성능 데이터 처리, 모델 교육 및 배포를 가능하게 합니다. www.tensorflow.org 구글에서 만든 플랫폼으로 이름에서도 알 수 있듯 TensorFlow에 기반하고 있다. ML 시스템을 정의하고, 실행하고, 모니터 하는데 필요한 component들을 통합하는 라이브러리이다. Orchestration은 Airflow나 Kubeflow 같은 다른 플랫폼을 사용하여 할 수도 있다(Orchestrati..