چگونه در عصر هوش مصنوعی یک مدل امتیازدهی اعتباری پایدار بسازیم؟ راهنمای عملی انتخاب مدل با لجستیک رگرسیون

در حالی‌که ابزارهای هوش مصنوعی مانند ChatGPT، Codex و GitHub Copilot فرآیند کدنویسی، آموزش مدل و مقایسه شاخص‌های آماری را سریع‌تر کرده‌اند، متخصصان ریسک اعتباری همچنان با یک چالش مهم روبه‌رو هستند: چگونه مدلی انتخاب کنند که فقط روی داده‌های آموزشی خوب نباشد، بلکه در زمان، نمونه‌های جدید و محیط عملیاتی نیز پایدار، قابل تفسیر و قابل دفاع باشد؟ مقاله‌ای که در ۲۰ خرداد ۱۴۰۵ منتشر شد، یک چارچوب عملی برای آموزش، ارزیابی و انتخاب مدل نهایی امتیازدهی اعتباری ارائه کرده است.

هوش مصنوعی سرعت ساخت مدل‌های امتیازدهی اعتباری را افزایش داده است؛ اما آیا این سرعت به معنای انتخاب مدل بهتر است؟ پاسخ کوتاه این است: نه همیشه.

در سال‌های اخیر، ابزارهای مولد هوش مصنوعی توانستند بخش بزرگی از کارهای تکراری متخصصان علم داده را خودکار کنند؛ از تولید کد پایتون و اجرای مدل‌های لجستیک رگرسیون گرفته تا محاسبه شاخص‌هایی مانند AUC، Gini، Recall، Precision، F1-Score و PR-AUC. با این حال، در حوزه حساس ریسک اعتباری، اجرای موفق یک الگوریتم به‌تنهایی کافی نیست.

یک مدل امتیازدهی اعتباری حرفه‌ای باید علاوه بر دقت آماری، پایدار، قابل تفسیر، منطبق با منطق کسب‌وکار، قابل پایش پس از استقرار و قابل دفاع در برابر تیم‌های ریسک، اعتبار، فناوری اطلاعات و نهادهای نظارتی باشد.

مقاله‌ای که توسط Junior Jumbong در تاریخ ۲۰ خرداد ۱۴۰۵ منتشر شد، به یکی از مهم‌ترین مراحل توسعه مدل‌های اعتباری پرداخت: آموزش مدل‌های کاندید، مقایسه عملکرد، آزمون پایداری و انتخاب مدل نهایی. با توجه به اینکه این تاریخ پیش از امروز، ۲۷ خرداد ۱۴۰۵، بوده است، گزارش حاضر با رویکرد خبری و تحلیلی به بررسی آنچه در این مقاله ارائه شد، می‌پردازد.

در این پروژه، تمام کدهای مربوط به منطق کسب‌وکار و توابع مدل‌سازی در مسیر زیر قرار گرفتند:

src/selection/logit_model_selection.py

همچنین تحلیل‌ها و نتایج در فایل زیر مستند شدند:

08_logistic_model_selection.qmd

مسئله اصلی: چرا بهترین مدل همیشه دقیق‌ترین مدل نیست؟

بسیاری از فعالان حوزه اعتبارسنجی، بانکداری، فین‌تک و ریسک اعتباری هنگام ساخت مدل Credit Scoring با یک خطای رایج روبه‌رو می‌شوند: انتخاب مدلی که بیشترین عملکرد را روی داده‌های آموزشی دارد.

این رویکرد خطرناک است؛ زیرا ممکن است مدل روی نمونه آموزشی عملکرد بالایی داشته باشد، اما در داده‌های تست یا نمونه‌های مربوط به دوره زمانی آینده، افت شدیدی نشان دهد. این پدیده معمولاً نشانه بیش‌برازش یا وابستگی بیش از حد مدل به شرایط دوره توسعه است.

راهکار پیشنهادی مقاله این بود که انتخاب مدل نهایی نباید فقط براساس یک شاخص مانند AUC یا Gini انجام شود. در عوض، مدل باید از چند منظر ارزیابی شود:

• اعتبار آماری مدل
• قدرت تفکیک ریسک
• پایداری روی نمونه‌های مختلف
• قابلیت تفسیر ضرایب
• سازگاری با منطق کسب‌وکار
• کنترل هم‌خطی چندگانه
• سادگی و قابلیت پیاده‌سازی عملیاتی

داده‌های مورد استفاده در مدل‌سازی

برای نمایش این روش، از یک مجموعه‌داده متن‌باز در Kaggle با عنوان Credit Scoring Dataset استفاده شد. این دیتاست شامل ۳۲٬۵۸۱ مشاهده و ۱۲ متغیر مربوط به وام‌های اعطاشده به افراد حقیقی بود.

در مراحل قبلی این پروژه، داده‌ها پاک‌سازی، تحلیل اکتشافی، آماده‌سازی، پیش‌انتخاب متغیرها، آزمون پایداری زمانی و گسسته‌سازی متغیرهای پیوسته شدند. در نهایت، ۶ متغیر توضیحی دسته‌ای برای مرحله انتخاب مدل نهایی باقی ماندند.

متغیر هدف، loan_status بود که وضعیت نکول را نشان می‌داد:

• مقدار ۱: وام‌گیرنده نکول کرده است.
• مقدار ۰: وام‌گیرنده نکول نکرده است.

هدف مدل، برآورد احتمال نکول هر متقاضی وام براساس ویژگی‌های مشاهده‌شده او بود؛ یعنی:

احتمال نکول مشروط به متغیرهای توضیحی مشتری.

در نهایت، امتیاز اعتباری به‌عنوان تبدیلی از این احتمال نکول ساخته شد.

تقسیم داده‌ها؛ گام حیاتی برای جلوگیری از بیش‌برازش

در این روش، داده‌ها به سه بخش اصلی تقسیم شدند:

نمونه آموزش:

برای تخمین ضرایب مدل‌های کاندید استفاده شد. این نمونه همچنین به چهار Fold تقسیم شد تا پایداری مدل در زیرنمونه‌های مختلف بررسی شود.

نمونه تست:

برای ارزیابی عملکرد مدل روی داده‌هایی استفاده شد که در فرایند تخمین ضرایب دخالت نداشتند. این نمونه نشان داد که مدل تا چه حد روی جمعیتی مشابه نمونه توسعه، قابلیت تعمیم دارد.

نمونه خارج از زمان یا Out-of-Time:

برای ارزیابی پایداری زمانی مدل استفاده شد. این بخش در مدل‌های ریسک اعتباری اهمیت زیادی دارد، زیرا یک مدل خوب باید نه‌فقط در زمان توسعه، بلکه در دوره‌های زمانی بعدی نیز عملکرد قابل قبول داشته باشد.

این تفکیک به متخصصان ریسک کمک می‌کند تا بفهمند آیا مدل واقعاً الگوی ریسک را یاد گرفته است یا صرفاً روی داده‌های گذشته بیش‌برازش شده است.

چرا لجستیک رگرسیون هنوز مدل مرجع در امتیازدهی اعتباری است؟

با وجود پیشرفت مدل‌های پیچیده مانند Random Forest، Gradient Boosting و شبکه‌های عصبی، لجستیک رگرسیون همچنان یکی از مدل‌های مرجع در اعتبارسنجی و ریسک اعتباری است.

دلیل این موضوع روشن است: در مدل‌های اعتباری، تفسیرپذیری به اندازه عملکرد اهمیت دارد.

لجستیک رگرسیون برای متغیر هدف دودویی طراحی شده است و رابطه بین متغیرهای توضیحی و لگاریتم نسبت شانس نکول را مدل‌سازی می‌کند. این مدل مزایای مهمی دارد:

• ضرایب آن قابل تفسیر هستند.
• جهت اثر هر متغیر روی ریسک قابل بررسی است.
• برای تیم‌های ریسک، اعتبار و فناوری اطلاعات قابل فهم است.
• پیاده‌سازی آن در محیط عملیاتی ساده‌تر است.
• مستندسازی و دفاع از آن در فرآیندهای حاکمیتی آسان‌تر است.

بنابراین، هرچند هوش مصنوعی می‌تواند روند ساخت مدل را سریع‌تر کند، اما الزامات اصلی مدل‌سازی اعتباری را تغییر نمی‌دهد: مدل باید دقیق، پایدار، قابل تفسیر و قابل اعتماد باشد.

آماده‌سازی متغیرهای دسته‌ای برای مدل لجستیک

از آنجا که متغیرهای توضیحی در این پروژه دسته‌ای بودند، پیش از ورود به مدل لجستیک به متغیرهای Dummy تبدیل شدند.

اگر یک متغیر دارای n طبقه باشد، با n-۱ متغیر ساختگی نمایش داده می‌شود و یک طبقه به‌عنوان گروه مرجع باقی می‌ماند. این کار از هم‌خطی کامل بین طبقات جلوگیری می‌کند.

در این پروژه، طبقه مرجع به‌صورت هوشمند انتخاب شد: کم‌ریسک‌ترین طبقه، یعنی طبقه‌ای که در نمونه آموزشی کمترین نرخ نکول را داشت.

این انتخاب باعث شد تفسیر ضرایب ساده‌تر شود. در چنین حالتی، ضرایب مثبت نشان می‌دهند که طبقه موردنظر نسبت به گروه مرجع، ریسک نکول بیشتری دارد.

روش آموزش مدل‌های کاندید

پس از پیش‌انتخاب متغیرها، تمام ترکیب‌های معنادار متغیرهای کاندید بررسی شدند. برای هر ترکیب، یک مدل لجستیک رگرسیون روی نمونه آموزشی تخمین زده شد و عملکرد آن در Foldهای اعتبارسنجی، نمونه تست و نمونه خارج از زمان ارزیابی شد.

در این مرحله، هدف فقط یافتن مدلی با بالاترین Gini نبود. هدف انتخاب مدلی بود که بتواند همزمان چند شرط کلیدی را برآورده کند:

• از نظر آماری معنادار باشد.
• با منطق کسب‌وکار سازگار باشد.
• قدرت تفکیک مناسبی داشته باشد.
• روی نمونه‌های مختلف پایدار بماند.
• تعداد متغیرهای آن معقول باشد.
• دچار هم‌خطی شدید نباشد.
• تفسیر آن برای ذی‌نفعان آسان باشد.

اینجا همان نقطه‌ای بود که ابزارهایی مانند Codex نقش مهمی ایفا کردند. این ابزار توانست در تولید حلقه‌های مدل‌سازی، اجرای ترکیب‌های مختلف متغیرها، ذخیره ضرایب، محاسبه معیارهای عملکرد و ساخت جدول‌های مقایسه‌ای کمک کند.

معیارهای اعتبارسنجی آماری مدل

۱. معناداری کلی مدل

برای بررسی اینکه آیا متغیرهای توضیحی واقعاً اطلاعات مفیدی درباره متغیر هدف ارائه می‌کنند یا نه، از آزمون نسبت درست‌نمایی استفاده شد. این آزمون مدل کامل را با مدل Null، یعنی مدلی که فقط عرض از مبدأ دارد، مقایسه می‌کند.

اگر مدل کامل نسبت به مدل Null بهبود معناداری نداشته باشد، حتی اگر برخی شاخص‌های توصیفی آن قابل قبول به نظر برسند، نباید به‌عنوان مدل نهایی انتخاب شود.

۲. معناداری متغیرها و طبقات

در این روش، متغیرهای انتخاب‌شده باید در سطح ۵ درصد معنادار باشند. علاوه بر خود متغیرها، طبقات آن‌ها نیز بررسی شدند تا مشخص شود آیا هر طبقه به تفکیک ریسک کمک می‌کند یا خیر.

این موضوع مهم است، زیرا ممکن است یک متغیر در ظاهر مفید باشد، اما برخی طبقات آن ضعیف، ناپایدار یا غیرقابل تفسیر باشند.

۳. جهت ریسک و منطق کسب‌وکار

یکی از نکات کلیدی در مدل‌های اعتباری، سازگاری ضرایب با انتظار تجاری است. اگر یک طبقه از نظر کسب‌وکار پرریسک‌تر تلقی می‌شود، ضریب آن نیز باید افزایش احتمال نکول را نشان دهد.

مدلی که از نظر آماری قوی اما از نظر منطق ریسک غیرقابل توجیه باشد، برای محیط حرفه‌ای اعتبارسنجی مناسب نیست.

۴. کنترل هم‌خطی چندگانه با VIF

هم‌خطی چندگانه می‌تواند ضرایب مدل را ناپایدار و تفسیر آن‌ها را دشوار کند. در این پروژه، از شاخص Variance Inflation Factor یا VIF استفاده شد.

قاعده تصمیم‌گیری چنین بود:

VIF باید کمتر از ۱۰ باشد.

برای متغیرهای دسته‌ای، VIF روی متغیرهای Dummy محاسبه شد. سپس برای هر متغیر یک وضعیت ساده گزارش شد:

• OK: همه طبقات محدودیت VIF را رعایت کردند.
• KO: حداقل یک طبقه دارای VIF برابر یا بالاتر از ۱۰ بود.

این روش کمک کرد مدل‌هایی که متغیرهای بیش از حد وابسته یا تکراری داشتند حذف شوند.

معیارهای عملکرد مدل

برای ارزیابی عملکرد مدل، دو زاویه اصلی در نظر گرفته شد:

نخست، قدرت تفکیک مدل؛ یعنی توانایی مدل در رتبه‌بندی مشتریان کم‌ریسک و پرریسک.

دوم، کیفیت پیش‌بینی طبقه نکول؛ به‌ویژه در شرایطی که داده‌ها نامتوازن هستند.

شاخص‌های اصلی مورد استفاده عبارت بودند از:

• ROC Curve
• AUC
• Gini
• Recall
• Precision
• F1-Score
• PR-AUC

AUC و Gini؛ معیارهای اصلی رتبه‌بندی ریسک

منحنی ROC رابطه بین نرخ تشخیص صحیح نکول‌ها و نرخ هشدار کاذب را در آستانه‌های مختلف نشان می‌دهد.

AUC مساحت زیر منحنی ROC است. هرچه AUC به ۱ نزدیک‌تر باشد، مدل در تفکیک مشتریان پرریسک و کم‌ریسک بهتر عمل می‌کند. AUC نزدیک به ۰.۵ نشان‌دهنده عملکردی نزدیک به انتخاب تصادفی است.

شاخص Gini نیز از AUC به‌دست می‌آید:

Gini = 2 × AUC – 1

در اعتبارسنجی، Gini یکی از مهم‌ترین شاخص‌ها برای سنجش قدرت رتبه‌بندی مدل است.

Recall، Precision و F1-Score؛ تمرکز روی نکول‌ها

وقتی هدف مدل، شناسایی نکول است و طبقه نکول نسبتاً کم‌تعدادتر از طبقه عدم نکول است، شاخص‌هایی مانند Recall، Precision و F1-Score اهمیت بیشتری پیدا می‌کنند.

Recall نشان می‌دهد چه نسبتی از نکول‌های واقعی توسط مدل شناسایی شده‌اند.

Precision نشان می‌دهد از میان مشتریانی که مدل آن‌ها را پرریسک تشخیص داده، چه نسبتی واقعاً نکول کرده‌اند.

F1-Score میانگین هارمونیک Precision و Recall است و زمانی کاربرد دارد که تحلیلگر بخواهد بین شناسایی نکول و کنترل هشدارهای کاذب تعادل برقرار کند.

PR-AUC؛ شاخص مهم در داده‌های نامتوازن

منحنی Precision-Recall عملکرد مدل را برای طبقه مثبت، یعنی نکول، بررسی می‌کند. در داده‌های نامتوازن، PR-AUC معمولاً دید بهتری نسبت به کیفیت شناسایی نکول‌ها ارائه می‌دهد.

در این پروژه، نرخ نکول در نمونه آموزشی حدود ۲۲ درصد بود. بنابراین PR-AUC مدل باید به‌طور معناداری بالاتر از این سطح پایه باشد تا مدل ارزش عملی داشته باشد.

پایداری مدل؛ معیار تعیین‌کننده در انتخاب نهایی

یکی از مهم‌ترین پیام‌های این مقاله آن بود که مدل اعتباری نباید صرفاً روی داده‌های آموزش عملکرد خوبی داشته باشد. مدل باید روی چند نمونه مختلف پایدار باقی بماند:

• نمونه آموزش
• نمونه تست
• نمونه خارج از زمان
• Foldهای اعتبارسنجی

برای ارزیابی این موضوع، از معیار Gini جریمه‌شده استفاده شد:

Gini جریمه‌شده = میانگین Gini در Foldها – فاصله Gini آموزش و تست – فاصله Gini آموزش و Out-of-Time

این معیار، مدل‌هایی را ترجیح می‌دهد که علاوه بر عملکرد مناسب، افت شدید بین نمونه‌ها نداشته باشند.

همین منطق را می‌توان برای Recall، Precision، F1-Score و PR-AUC نیز به کار برد.

انتخاب تعداد بهینه متغیرها

پس از حذف مدل‌های نامعتبر، عملکرد مدل‌ها براساس تعداد متغیرهای آن‌ها مقایسه شد. هدف، یافتن کوچک‌ترین مدلی بود که عملکرد و پایداری قابل قبول ارائه دهد.

در مدل‌سازی اعتباری، مدل پیچیده‌تر همیشه بهتر نیست. افزودن متغیرهای بیشتر ممکن است Gini را کمی افزایش دهد، اما همزمان می‌تواند پایداری را کاهش دهد، خطر بیش‌برازش را بالا ببرد و تفسیر مدل را دشوارتر کند.

بنابراین مدل نهایی باید بین پنج عامل تعادل برقرار کند:

• عملکرد
• پایداری
• تفسیرپذیری
• سادگی
• سازگاری با منطق کسب‌وکار

نتیجه نهایی: چرا مدل چهارمتغیره انتخاب شد؟

براساس نتایج گزارش‌شده، مدل شماره ۴ به‌عنوان مدل نهایی انتخاب شد. این مدل بهترین توازن را میان قدرت تفکیک، پایداری و تفسیرپذیری ارائه کرد.

دلایل انتخاب مدل ۴ عبارت بودند از:

• بالاترین Gini جریمه‌شده را با مقدار حدود ۵۶.۰۱ درصد ثبت کرد.
• نسبت به مدل ۳ بهبود معناداری داشت، زیرا متغیر cb_person_default_on_file را اضافه کرد.
• PR-AUC جریمه‌شده آن حدود ۴۸.۴۴ درصد بود که به‌طور معناداری بالاتر از نرخ نکول ۲۲ درصدی نمونه آموزش بود.
• تنها از ۴ متغیر استفاده کرد و بنابراین برای تیم‌های کسب‌وکار، ریسک و حاکمیت مدل قابل توضیح باقی ماند.
• در نمونه‌های آموزش، تست و خارج از زمان، افت شدید عملکرد نشان نداد.

اگر هدف اصلی، تشخیص عملیاتی نکول‌ها براساس یک آستانه طبقه‌بندی بود، مدل ۵ نیز گزینه‌ای جذاب محسوب می‌شد؛ زیرا در معیارهایی مانند PR-AUC جریمه‌شده، Recall جریمه‌شده و F1-Score جریمه‌شده عملکرد خوبی داشت.

اما برای مدل امتیازدهی اعتباری، معیار اصلی رتبه‌بندی ریسک است؛ یعنی همان چیزی که Gini بهتر از بسیاری شاخص‌های دیگر نشان می‌دهد. به همین دلیل، مدل ۴ به‌عنوان انتخاب نهایی معرفی شد.

نقش هوش مصنوعی در توسعه مدل‌های امتیازدهی

در این پروژه، از Codex با مدل استدلال پیشرفته برای تولید کد، ساخت نمودارها، اجرای مدل‌ها و مستندسازی استفاده شد.

اما نکته مهم این است که هوش مصنوعی جایگزین قضاوت آماری و تخصصی نشد. نقش آن، تسریع کارهای فنی و تکراری بود.

هوش مصنوعی می‌تواند در این موارد بسیار مفید باشد:

• آماده‌سازی داده‌ها
• تولید کد مدل‌سازی
• اجرای ترکیب‌های مختلف متغیرها
• محاسبه شاخص‌های ارزیابی
• تولید جدول‌های مقایسه‌ای
• ترسیم نمودارهای عملکرد
• مستندسازی فرآیند انتخاب مدل
• بررسی اولیه پایداری و خطاهای احتمالی

اما تصمیم نهایی درباره انتخاب مدل باید توسط متخصص انجام شود. دلیل آن روشن است: تفسیر ضرایب، بررسی جهت ریسک، تحلیل پایداری، کنترل منطق کسب‌وکار و پذیرش مدل در محیط حرفه‌ای نیازمند قضاوت انسانی است.

راهکارهای عملی برای فعالان حوزه اعتبارسنجی

برای بانک‌ها، فین‌تک‌ها، شرکت‌های لندتک و تیم‌های علم داده که قصد ساخت مدل امتیازدهی اعتباری دارند، این چارچوب چند توصیه عملی دارد:

۱. مدل را فقط با AUC انتخاب نکنید.

AUC مهم است، اما برای انتخاب مدل نهایی کافی نیست. پایداری، تفسیرپذیری، Gini، PR-AUC و سازگاری با منطق کسب‌وکار را هم بررسی کنید.

۲. نمونه Out-of-Time را جدی بگیرید.

اگر مدل روی داده‌های دوره آینده افت شدید دارد، احتمالاً برای استقرار عملیاتی مناسب نیست.

۳. مدل ساده‌تر را دست‌کم نگیرید.

یک مدل چهارمتغیره پایدار و قابل تفسیر می‌تواند از یک مدل پیچیده‌تر با عملکرد کمی بالاتر، ارزش عملی بیشتری داشته باشد.

۴. برای متغیرهای دسته‌ای گروه مرجع را درست انتخاب کنید.

انتخاب کم‌ریسک‌ترین طبقه به‌عنوان مرجع باعث می‌شود ضرایب مدل خواناتر و قابل دفاع‌تر باشند.

۵. شاخص PR-AUC را کنار Gini تحلیل کنید.

اگر نرخ نکول پایین یا داده نامتوازن است، PR-AUC تصویر دقیق‌تری از کیفیت شناسایی نکول‌ها ارائه می‌دهد.

۶. هوش مصنوعی را ابزار کمکی بدانید، نه تصمیم‌گیرنده نهایی.

ChatGPT، Codex و Copilot می‌توانند کدنویسی و تحلیل را سریع کنند، اما انتخاب نهایی مدل باید با تحلیل آماری، دانش کسب‌وکار و کنترل ریسک انجام شود.

جمع‌بندی

این گزارش نشان داد که در عصر هوش مصنوعی، ساخت مدل امتیازدهی اعتباری سریع‌تر از گذشته شده است؛ اما اصول حرفه‌ای مدل‌سازی تغییر نکرده‌اند. یک مدل Credit Scoring باید علاوه بر عملکرد مناسب، پایدار، قابل تفسیر، منطبق با منطق ریسک و قابل استقرار در محیط واقعی باشد.

در مطالعه بررسی‌شده، مدل چهارمتغیره لجستیک رگرسیون بهترین توازن را میان Gini، PR-AUC، پایداری زمانی و سادگی ارائه کرد. این مدل با Gini حدود ۶۰ درصد و PR-AUC حدود ۴۹ درصد، عملکردی معنادار بالاتر از نرخ نکول پایه ۲۲ درصدی داشت.

پیام اصلی برای متخصصان علم داده و ریسک اعتباری روشن است: هوش مصنوعی می‌تواند توسعه مدل را سریع‌تر، منظم‌تر و مستندتر کند؛ اما انتخاب مدل نهایی همچنان نیازمند قضاوت انسانی، کنترل آماری و درک عمیق از کسب‌وکار است.

پرسش‌های متداول(FAQ)

سؤال: مدل امتیازدهی اعتباری چیست؟

پاسخ: مدل امتیازدهی اعتباری مدلی آماری یا یادگیری ماشین است که احتمال نکول مشتری را براساس ویژگی‌های فردی، مالی و اعتباری او برآورد می‌کند و سپس این احتمال را به یک امتیاز قابل استفاده در تصمیم‌گیری اعتباری تبدیل می‌کند.

سؤال: چرا لجستیک رگرسیون در اعتبارسنجی پرکاربرد است؟

پاسخ: چون برای متغیر هدف دودویی مناسب است، ضرایب قابل تفسیر دارد، جهت اثر متغیرها را نشان می‌دهد، پیاده‌سازی آن ساده است و برای تیم‌های ریسک و نهادهای نظارتی قابل دفاع‌تر از بسیاری مدل‌های پیچیده است.

سؤال: تفاوت AUC و Gini در مدل اعتباری چیست؟

پاسخ: AUC مساحت زیر منحنی ROC است و توان مدل در تفکیک مشتریان پرریسک و کم‌ریسک را نشان می‌دهد. Gini از فرمول Gini = ۲ × AUC – ۱ محاسبه می‌شود و در صنعت اعتبارسنجی به‌عنوان شاخص رایج قدرت تفکیک استفاده می‌شود.

سؤال: چرا نمونه Out-of-Time مهم است؟

پاسخ: نمونه Out-of-Time پایداری زمانی مدل را بررسی می‌کند. اگر مدل در دوره‌های زمانی بعدی عملکرد ضعیفی داشته باشد، ممکن است بیش‌برازش شده باشد یا به شرایط خاص دوره توسعه وابسته باشد.

سؤال: آیا هوش مصنوعی می‌تواند مدل امتیازدهی اعتباری را به‌تنهایی انتخاب کند؟

پاسخ: خیر. هوش مصنوعی می‌تواند کدنویسی، مقایسه مدل‌ها و مستندسازی را تسریع کند، اما انتخاب مدل نهایی باید توسط متخصص ریسک و علم داده و براساس معیارهای آماری، تجاری و عملیاتی انجام شود.

نویسنده : JUNIOR JUMBONG

خلاصه کوتاه:

هوش مصنوعی فرآیند ساخت مدل‌های اعتبارسنجی را سریع‌تر کرده، اما انتخاب مدل نهایی همچنان به تحلیل آماری، آزمون پایداری و قضاوت تخصصی نیاز دارد. در این گزارش، روش آموزش و انتخاب یک مدل امتیازدهی اعتباری با لجستیک رگرسیون، معیارهای AUC، Gini، PR-AUC و نقش Codex در خودکارسازی فرآیند مدل‌سازی بررسی شده است.