미국 은행이 그래디언트 부스팅으로 훈련된 신용 모델을 처음 출시했을 때, 검증 보고서는 모델 문서보다 4배 길었습니다. 그 비율은 여전히 유효합니다. 2026년, 미국 금융 시장을 위한 정량적 모델 구축은 대략 코드 20%, 데이터 작업 30%, 검증, 문서화 및 검토 50%로 구성됩니다. 이 가이드는 실제 메커니즘을 안내합니다.
미국은 자본과 인력 면에서 세계에서 가장 밀집된 퀀트 금융 시장입니다. 연방준비제도 감독 데이터에 따르면 연방 수준에서 규제되는 은행은 약 4,000개이며, 상위 30개 은행은 수만 개의 개별 모델을 보유하고 있습니다. 그 기반이 되는 방법론은 OCC의 SR 11-7 모델 위험 관리 게시판에 공식화되어 있으며, 미국 은행 업계 전체가 이를 표준으로 채택했습니다.
엔드투엔드 파이프라인
작동하는 퀀트 파이프라인은 데이터 수집, 특성 엔지니어링, 모델 훈련, 백테스팅, 검증, 프로덕션 모니터링의 6단계로 구성됩니다. 데이터 수집은 시장 피드, 거래 시스템, 신용 평가 기관, 내부 데이터 웨어하우스에서 과거 및 실시간 데이터를 가져옵니다. 특성 엔지니어링은 모델이 볼 입력(시차, 비율, 지표 변수 포함)을 구축합니다. 모델 훈련은 선택된 훈련 기간에 모델을 피팅합니다. 백테스팅은 표본 외 데이터에 대해 모델을 실행하여 일반화를 추정합니다. 검증은 별도 팀이 수행하며 모델이 정책을 충족하는지 확인합니다. 프로덕션 모니터링은 배포 후 모델의 동작을 추적합니다.
각 단계에는 자체 소프트웨어 스택이 있습니다. 대부분의 미국 기관에서 데이터는 Snowflake, Databricks 또는 Amazon Redshift에 저장됩니다. 특성 엔지니어링은 Python pandas 또는 PySpark로 실행됩니다. 모델 훈련은 scikit-learn, XGBoost, LightGBM 또는 PyTorch를 사용합니다. 백테스팅은 Python 또는 R 노트북에서 실행됩니다. 검증 보고서는 문서 저장소에 PDF 및 HTML로 저장됩니다. 프로덕션 모니터링은 Splunk, Datadog 또는 내부 도구로 구축된 대시보드에서 실행됩니다.
미국 은행 모델을 둘러싼 3단계 방어
미국 은행 모델 거버넌스 구조는 3단계 방어 접근법을 따릅니다. 1차 방어선은 모델을 소유하고 그 출력을 사용하는 사업 부서입니다. 2차 방어선은 모델 위험 관리 기능으로, 모델을 독립적으로 검증하고 가정에 도전하며 프로덕션 배포를 승인합니다. 3차 방어선은 내부 감사로, 1차 및 2차 활동을 검토합니다. 이 구조는 자산이 100억 달러를 초과하는 모든 미국 은행에 요구되며, 그 이하에서도 널리 채택됩니다.
SR 11-7은 통제 문서입니다. 이는 모델 위험을 정의하고, 모델 인벤토리를 요구하며, 개념적 건전성 검토와 지속적 모니터링을 포함한 검증을 의무화하고, 명시적 책임을 할당합니다. 연방준비제도 감독 시험은 모델 결함을 발견할 때 SR 11-7로 거슬러 올라갑니다. SR 11-7 기대치를 충족하지 못하는 은행은 주의 요구, 배상, 극단적인 경우 집행 조치에 직면합니다.
미국 핀테크와 은행이 실제로 사용하는 도구
도구 세트는 외부인이 생각하는 것보다 더 통합되어 있습니다. Python은 미국 기관에서 새로운 퀀트 작업을 위한 지배적인 언어이며, R은 보험계리 및 통계 보고 역할에서 점유율을 유지하고 있습니다. 프로덕션에서 실행되는 라이브러리에는 데이터 처리를 위한 NumPy 및 pandas, 계량경제학을 위한 statsmodels, 일반 머신러닝을 위한 scikit-learn, 그래디언트 부스팅을 위한 XGBoost 및 LightGBM, 딥러닝을 위한 PyTorch 및 TensorFlow, 최적화를 위한 CVXPY 또는 Gurobi가 포함됩니다. 배포 스택은 일반적으로 Kubernetes에서 실행되며, MLflow 또는 Weights and Biases가 실험을 추적하고 SageMaker 또는 Vertex AI가 프로덕션 모델을 호스팅합니다.
| 파이프라인 단계 | 일반적인 미국 도구 | 소유자 |
|---|---|---|
| 데이터 수집 | Snowflake, Databricks, Kafka | 데이터 엔지니어링 |
| 특성 엔지니어링 | pandas, PySpark, Feast | 모델링 팀 |
| 모델 훈련 | scikit-learn, XGBoost, PyTorch | 모델링 팀 |
| 백테스트 및 검증 | Jupyter, MLflow, 내부 | 모델 위험(2차 방어선) |
| 프로덕션 배포 | SageMaker, Vertex AI, 내부 | ML 엔지니어링 |
| 모니터링 | Datadog, Splunk, Arize | ML ops + 1차 방어선 |
출처: 공급업체 공개, OCC SR 11-7 프레임워크, 미국 은행 기술 공개 2024-2026.
사용 가능한 모델을 위한 데이터 규율
나쁜 데이터는 나쁜 수학보다 빠르게 정량적 작업을 파괴합니다. 모델링 데이터에 대한 미국 은행의 규율은 강화되었습니다. 시점 데이터로 훈련된 모델, 누수 테스트, 홀드아웃 기간, 클래스 균형은 이제 기본 기대치입니다. 잘못된 기간을 사용하거나 규제, 제품 또는 분포의 변화를 고려하지 못한 백테스팅은 검증 검토를 통과하지 못합니다. 대부분의 미국 기관은 이제 모델 소유자가 모델을 승격시키기 전에 데이터 계보를 종단 간 문서화하도록 요구합니다.
은행과 핀테크가 출시 후 모델을 운영하는 방법
프로덕션 모니터링은 대부분의 퀀트 프로그램이 조용히 실패하는 곳입니다. 백테스트에서 잘 수행된 모델은 인구 이동, 특성 드리프트, 상류 데이터 변경 등 여러 이유로 프로덕션에서 성능이 저하될 수 있습니다. 잘 운영되는 미국 기관의 규율은 입력 분포, 출력 분포, 다운스트림 비즈니스 결과를 일일 또는 주별 주기로 추적하는 것입니다. 이 중 하나가 임계값을 초과하면 모델이 재훈련되거나 챔피언-챌린저 대체 모델로 일시적으로 교체됩니다.
이를 진지하게 받아들이는 기관은 내부적으로 동일하게 보입니다: 소수의 정량 분석가와 모델 위험 검토자, 문서화된 인벤토리, 검증 이벤트 일정, 모든 프로덕션 모델의 상태를 보여주는 대시보드. 그 기반이 되는 수학은 때로는 단순하고 때로는 복잡합니다. 그 주변의 거버넌스는 항상 협상 불가능합니다.
