اولین باری که یک بانک آمریکایی یک مدل اعتباری آموزشدیده با گرادیان بوستینگ را ارسال کرد، گزارش اعتبارسنجی چهار برابر طولانیتر از مستندات مدل بود. این نسبت همچنان برقرار است. در سال ۲۰۲۶، ساخت یک مدل کمی برای بازار مالی ایالات متحده تقریباً ۲۰ درصد کد، ۳۰ درصد کار داده، و ۵۰ درصد اعتبارسنجی، مستندسازی و بازبینی است. این راهنما مکانیک واقعی را توضیح میدهد.
ایالات متحده متراکمترین بازار مالی کمی در جهان از نظر سرمایه و تعداد کارکنان است. دادههای نظارتی فدرال رزرو نشان میدهد که تقریباً ۴۰۰۰ بانک در سطح فدرال تنظیم میشوند و ۳۰ بانک بزرگ دهها هزار مدل مجزا در موجودی خود دارند. روشهای زیربنایی در بولتن مدیریت ریسک مدل SR 11-7 دفتر کنترل ارز (OCC) رسمیسازی شدهاند که کل صنعت بانکی ایالات متحده بر اساس آن استاندارد شده است.
خط لوله سرتاسری
یک خط لوله کمی فعال شش مرحله دارد: دریافت داده، مهندسی ویژگی، آموزش مدل، پسآزمایی، اعتبارسنجی، و نظارت بر تولید. دریافت داده دادههای تاریخی و زنده را از فیدهای بازار، سیستمهای تراکنش، دفاتر اعتباری و انبارهای داخلی جمعآوری میکند. مهندسی ویژگی ورودیهایی را که مدل خواهد دید، از جمله وقفهها، نسبتها و متغیرهای شاخص، میسازد. آموزش مدل مدل را بر روی یک دوره آموزشی انتخاب شده برازش میدهد. پسآزمایی مدل را در برابر دادههای خارج از نمونه برای تخمین تعمیمپذیری اجرا میکند. اعتبارسنجی توسط یک تیم جداگانه انجام میشود و تأیید میکند که مدل با خطمشی مطابقت دارد. نظارت بر تولید رفتار مدل را پس از استقرار دنبال میکند.
هر مرحله پشته نرمافزاری خاص خود را دارد. دادهها در Snowflake، Databricks یا Amazon Redshift در اکثر مؤسسات آمریکایی ذخیره میشوند. مهندسی ویژگی با Python pandas یا PySpark اجرا میشود. آموزش مدل از scikit-learn، XGBoost، LightGBM یا PyTorch استفاده میکند. پسآزمایی در نوتبوکهای Python یا R اجرا میشود. گزارشهای اعتبارسنجی در قالب PDF و HTML در مخازن اسناد ذخیره میشوند. نظارت بر تولید بر روی داشبوردهای ساخته شده در Splunk، Datadog یا ابزارهای داخلی اجرا میشود.
سه خط دفاعی پیرامون مدلهای بانکی ایالات متحده
ساختار حاکمیت مدل بانکی ایالات متحده از رویکرد سه خط دفاعی پیروی میکند. خط اول واحد تجاری است که مالک مدل بوده و از خروجی آن استفاده میکند. خط دوم عملکرد مدیریت ریسک مدل است که به طور مستقل مدل را اعتبارسنجی میکند، مفروضات را به چالش میکشد و استقرار در تولید را تأیید میکند. خط سوم حسابرسی داخلی است که فعالیتهای خط اول و دوم را بازبینی میکند. این ساختار برای هر بانک آمریکایی با دارایی بالای ۱۰ میلیارد دلار الزامی است و در زیر این آستانه نیز به طور گسترده پذیرفته شده است.
SR 11-7 سند حاکم است. این سند ریسک مدل را تعریف میکند، موجودی مدل را الزامی میکند، اعتبارسنجی شامل بررسی صحت مفهومی و نظارت مستمر را الزامی میکند، و مسئولیتپذیری صریح را تعیین میکند. امتحانات نظارتی فدرال رزرو در یافتن نقصهای مدل به SR 11-7 برمیگردد. بانکهایی که انتظارات SR 11-7 را برآورده نمیکنند با موارد نیازمند توجه، جبران خسارت، و در موارد شدید اقدامات اجرایی مواجه میشوند.
ابزارهایی که فینتکها و بانکهای آمریکایی واقعاً استفاده میکنند
جعبه ابزار بیش از آنچه خارجیها تصور میکنند، تثبیت شده است. Python زبان غالب برای کارهای کمی جدید در مؤسسات آمریکایی است، در حالی که R در نقشهای گزارشدهی آماری و بیمهای سهم دارد. کتابخانههایی که در تولید اجرا میشوند شامل NumPy و pandas برای مدیریت داده، statsmodels برای اقتصادسنجی، scikit-learn برای یادگیری ماشین عمومی، XGBoost و LightGBM برای گرادیان بوستینگ، PyTorch و TensorFlow برای یادگیری عمیق، و CVXPY یا Gurobi برای بهینهسازی هستند. پشته استقرار معمولاً بر روی Kubernetes اجرا میشود، با MLflow یا Weights and Biases برای ردیابی آزمایشها و SageMaker یا Vertex AI برای میزبانی مدلهای تولید.
| مرحله خط لوله | ابزار معمول آمریکایی | مالک |
|---|---|---|
| دریافت داده | Snowflake, Databricks, Kafka | مهندسی داده |
| مهندسی ویژگی | pandas, PySpark, Feast | تیم مدلسازی |
| آموزش مدل | scikit-learn, XGBoost, PyTorch | تیم مدلسازی |
| پسآزمایی و اعتبارسنجی | Jupyter, MLflow, داخلی | ریسک مدل (خط دوم) |
| استقرار تولید | SageMaker, Vertex AI, داخلی | مهندسی یادگیری ماشین |
| نظارت | Datadog, Splunk, Arize | عملیات یادگیری ماشین + خط اول |
منابع: افشای فروشندگان، چارچوب OCC SR 11-7، افشای فناوری بانکهای آمریکایی ۲۰۲۴-۲۰۲۶.
انضباط داده پشت یک مدل قابل استفاده
داده بد کار کمی را سریعتر از ریاضی بد نابود میکند. انضباط بانک آمریکایی پیرامون دادههای مدلسازی سختتر شده است. مدلهای آموزشدیده بر روی دادههای نقطهای، آزمایش نشت، دورههای نگهداری و تعادل کلاس اکنون یک انتظار پایهای هستند. پسآزمایی که از افق اشتباه استفاده کند، یا تغییرات در مقررات، محصول یا توزیع را در نظر نگیرد، از بازبینی اعتبارسنجی جان سالم به در نخواهد برد. اکثر مؤسسات آمریکایی اکنون از مالکان مدل میخواهند که قبل از ارتقای مدل، نسب داده را سرتاسر مستند کنند.
چگونه بانکها و فینتکها مدل را پس از راهاندازی عملیاتی میکنند
نظارت بر تولید جایی است که بیشتر برنامههای کمی بیصدا شکست میخورند. مدلی که در پسآزمایی خوب عمل کرده است میتواند در تولید به دلایل زیادی از جمله تغییر جمعیت، رانش ویژگی و تغییرات در دادههای بالادستی تخریب شود. انضباط در مؤسسات آمریکایی خوب مدیریتشده ردیابی توزیعهای ورودی، توزیعهای خروجی و نتایج تجاری پاییندستی با فرکانس روزانه یا هفتگی است. اگر هر یک از اینها از یک آستانه عبور کند، مدل دوباره آموزش داده میشود یا به طور موقت با یک بازگشت قهرمان-چالشگر جایگزین میشود.
مؤسساتی که این را جدی میگیرند از داخل یکسان به نظر میرسند: یک گروه کوچک از تحلیلگران کمی همراه با بازبینان ریسک مدل، یک موجودی مستند، یک تقویم از رویدادهای اعتبارسنجی، و یک داشبورد که سلامت هر مدل تولیدی را نشان میدهد. ریاضی زیربنایی گاهی ساده، گاهی پیچیده است. حاکمیت پیرامون آن همیشه غیرقابل مذاکره است.
