이 카테고리는 모델을 '금융 현장의 견고한 서비스(Production)'로 안전하게 이관하고 운영하는 전 과정을 함께 고민하는 것입니다.
AI의 '뇌'를 설계하는 것만큼이나 중요한, AI의 '심장과 척추'를 설계하는 영역이라고 생각합니다.
AI 플랫폼은 기존의 MSA를 위한 PaaS(서비스형 플랫폼)와는 조금 다른, 새로운 숙제들을 우리에게 줍니다.
- GPU 자원: "GPU 같은 비싸고 희소한 자원을 어떻게 여러 팀이 효율적으로 나눠 쓰고 격리할 것인가?"
- 모델 배포: "코드가 아닌, 수 GB에 달하는 'AI 모델'과 '데이터'를 어떻게 버전 관리하고 무중단 배포할 것인가?"
- 실시간 서빙: "1만 명이 동시에 AI 뱅커를 호출할 때, 어떻게 1초 안에 응답하는 'AI 서빙' 아키텍처를 만들 것인가?"
- 보안: "이 모든 파이프라인을 어떻게 '원칙 1(통제)'과 'AI 보안'에 맞게 설계할 것인가?"
이 카테고리는 이러한 숙제들을 풀기 위한 기술과 아키텍처, 즉 MLOps(Machine Learning Ops)와 AIOps를 '플랫폼 엔지니어링'의 관점에서 다루고자 합니다.
앞으로 다룰 내용들
'AI 플랫폼 엔지니어링'은 크게 4가지 영역으로 나눌 수 있습니다. 앞으로 우리가 함께 탐구할 이 카테고리의 '지도'를 한 장의 그림으로 표현하면 다음과 같습니다.
**'finaitech'**에서는 앞으로 이 4가지 구성 요소를 중심으로, 'finaitech'의 **' AI 금융 아키텍처 5원칙'**, 특히 **'원칙 5(견고하고 탄력적인 플랫폼)'**를 구체적으로 구현하는 여정을 공유하려 합니다.
- AI 서빙 아키텍처 (KServe, Triton 등)
- GPU 자원 효율화 (NVIDIA MIG, Time-Slicing)
- MLOps 파이프라인 구축 (Kubeflow, Argo, MLflow 등)
- AI를 위한 K8s 네트워크 보안 (Istio, NetworkPolicy)
'컨텍스트 엔지니어링'이 AI의 '지능'을 책임진다면, 'AI 플랫폼 엔지니어링'은 그 지능이 고객에게 안전하고 견고하게 전달되도록 보장하는 '신뢰'의 영역입니다.
이 카테고리에서 공유하는 저의 고민과 경험이, 금융 AI 아키텍처를 준비하시는 분들께 작은 도움이 되기를 바랍니다. 많은 의견과 토론을 부탁드립니다.