《风险管理教学课件》6--2--内部评级模型验证

《风险管理教学课件》6--2--内部评级模型验证

内部评级模型验证 第一节 模型验证制度 随着商业银行风险计量模型开发数量的增加和业务涉及面的扩大，为银行的风险量化管理提供了有力的工具，但是，由于模型本身的复杂性以及对模型的不当使用，将可能导致模型风险的产生。

美国次贷危机对众多金融机构造成了不同程度的损失，次贷危机发生的其中一个原因是相关金融机构、风险评级机构对各种风险计量模型和定价模型的模型风险未能加以有效控制相关金融机构、风险评级机构对各种风险计量模型和定价模型的模型风险未能加以有效控制。

商业银行应该通过制定相应的制度来规范模型的开发流程，控制模型风险，保证模型质量。

一、 模型风险分析 模型风险可能来源于 数据清晰、模型开发、测试部署、运行和维护阶段的整个模型生命周期，产生的原因主要包括：

1. 对模型中影响结果的风险驱动因素考虑不全面。

真实世界要远远复杂与任何能够创建的模型，因此选取的风险驱动因素不足以描述真实世界时，既存在该种风险。

以评分卡为例，由于国内区域经济发展程度、信用水平的差异，导致区域因素是影响评分的主要因素，如果没有加以考虑，就可能导致模型风险。

1 / 7

2. 在风险驱动因素考虑全面的情况下，有可能对其本身的运作规律以及分布假设不正确在风险驱动因素考虑全面的情况下，有可能对其本身的运作规律以及分布假设不正确，如将短期利率运动过程假设为几何布朗运动，这在给大多数利率衍生品定价是不太恰当。 3. 对解释变量和被解释变量之间的传导关系假设错误。 此处指的是因变量和自变量之间的经济含义假设不正确。 比如一般认为高收入者的违约率较高的假设是不正确的。 4. 原本有效的模型随着时间推移而失效。

一是建模时对模型关系尉健行考虑不足，而是模型本身稳健性足够，但是随着时间的变化，输入变量整体分布发生了漂移。 如评分卡上线几年后，申请人群的风险因素的分布特征发生了漂移，只是就需要重新开发评分卡。

5. 模型架构正确，但是参数估计错误。

如期权定价模型中重要的参数是波动率，有多重方法可估计该参数，对参数的不当估计将是模型结构差异极大，可能给银行带来损失。 6. 建模样本的数据不正确或者不具备代表性也可能导致模型风险。

7. 模型在部署实施和使用过程中发生的一些错误，一般也归属于模型风险。

如模型部署实施过程中的编码错误，未经规定发布模型；模型测试风险；模型使用者未能正确使用模型，如模型运行过程中模型的输入错误，也属于模型风险，如系统上限以后客户经历输入错误的数据

---------------------------------------------------------------最新资料推荐------------------------------------------------------

进行评分。

二、 模型验证原则 1. 独立性原则。

模型验证的独立性非常重要，为确保验证结果的有效性和监管合规性，模型验证必须由完全独立于模型开发队伍的人员来执行，确保验证人员在形式上和实质上具备独立性。 2. 全面性原则。

从模型风险分析中可以看到，风险来自于方方面面，所以墨香验证的内容要全面，以避免遗落而发生的模型风险。 3. 持续性原则。

随着时间推移，模型的应用环境(包括业务状况、数据情况、经济环境、IT系统)也不断发生变化，模型是否还依然有效，需要持续地进行模型的验证工作。

三、 模型验证流程 模型验证分为 投产前验证、持续监控和投产后验证。

模型投产前验证是模型开发结束后，投入运行前的验证。 验证内容：

计量模型方法的合理性、关键定义的合理性、数据的真是完整性、计量体系区分风险和校准风险的有效性计量模型方法的合理性、关键定义的合理性、数据的真是完整性、计量体系区分风险和校准风险的有效性。

模型持续性监控是通过一系列检测指标评估计量模型和应用体

3 / 7

系的表现，确保计量模型得到合理应用，有关计量模型分发现区分和稳定性衡量指标达到设计要求模型持续性监控是通过一系列检测指标评估计量模型和应用体系的表现，确保计量模型得到合理应用，有关计量模型分发现区分和稳定性衡量指标达到设计要求。

在模型的持续监控中，如果相关监控指标超过预先设定的界限或者模型应用环境发生重大变化，应该及时发出预警。 模型的持续监控包括但不限于以下内容：

1. 计量系统运作情况 2. 计量结果和相关政策的执行情况； 3. 数据质量、村祝贺管理、维护情况； 4. 计量模型使用的变量的稳定性和预测性； 5. 计量模型的奉贤区分能力、风险校准能力和稳定性等相关衡量指标表现； 6. 模型应用的外部条件( 包括业务变动。

市场环境) 是否发生重大变化。

模型投产后验证包括定期验证和不定期验证。

定期验证的频率一般为每年检验一次，不定期验证有持续监控的预警出发。

模型投产后验证的重点在于检验计量模型在当前环境下是否仍然有效，具体内容：

计量模型方法和关键定义的当前适用性、数据的真是完整性、计量模型区分风险和校准风险的有效性、模型运行环境或假设条件发生的变化对模型结果的影响计量模型方法和关键定义的当前适用性、数据的真是完整性、计量模型区分风险和校准风险的有效性、模型运行

---------------------------------------------------------------最新资料推荐------------------------------------------------------

环境或假设条件发生的变化对模型结果的影响等。 模型投产后验证可采用的方法包括：

数据处理、单变量检验、模型检验、返回检验数据处理、单变量检验、模型检验、返回检验等。

四、 模型验证内容 主要定量和定性两部分。

定量验证一般通过统计技术和算法对比计量模型估计值与实践结果，得到模型的定量评价指标。

定性验证指的是通过专家评估等方法，对计量模型开发过程、模型设计结果、数据、文档管理、模型结果运用等评估定性验证指的是通过专家评估等方法，对计量模型开发过程、模型设计结果、数据、文档管理、模型结果运用等评估。

第二节 模型验证定量指标 一、 简述 定量验证部分主要分为 风险区分能力、估计准确性、模型稳定性三个方面。

风险区分能力指模型能够有效识别违约和为违约客户的能力，即模型对于好坏的排序能力。

排序能力强不一定代表违约概率估计准确。

估计准确性指的是模型能够准确估计平均违约概率的能力。 模型稳定性指的是模型在不同环境下、不同时点下仍然保持良好的精准性。

二、 KS 指标 KS(Kolmogorov--Smironov)检验指标是常见的统计量，通过衡量不同类别的累计分布之间举例的最大差距来验证模

5 / 7

型对于两分类问题的区分能力，在评级模型中，即甄别正常客户和违约客户的风险区分能力通过衡量不同类别的累计分布之间举例的最大差距来验证模型对于两分类问题的区分能力，在评级模型中，即甄别正常客户和违约客户的风险区分能力。

KS 指标值介于 0 和 1 之间，模型的 KS 越高，模型的风险区分能力越强。

KS 指标的计算步骤 1. 按照模型评分结果，对客户进行排序，随着评分增加，分别计算正常客户和违约客户在各评分段下各自的累计比率。

假设正常客户和违约客户的总数分别为1N 和2N ，则分值小于 S 的正常客户和违约客户数分别为1n 和2n ，则分值 S对应的各自的累计比率分别为11Nn和22Nn； 2. 计算各对累计比率的差值，最大的累计比率之差即为 KS 值。

一般而言，模型的 KS 达到 0.2 表示可以接受，达到 0.4 表示模型区分能力良好，0.5 以上表示模型区分能力很强。

如果 KS 值非常高，例如 0.75 以上，虽然理论上表示模型区分能力超强，但实际上极有可能是模型建设出了问题，例如自变量中包括了因变量，导致因变量自己解释自己。

三、 ROC 曲线 ROC(Receiver Operating Characteristic)曲线也是衡量模型风险区分能力的指标。

ROC 曲线是两分类建模问题非常常见的检验指标，在社会科学和临床医学实证研究中应用很广。

---------------------------------------------------------------最新资料推荐------------------------------------------------------

类似于 KS 指标，按照模型评分结果对客户进行排序，随着评分增加，分别计算正常客户和违约客户在各自评分段下各自的累计比率。

ROC 曲线的横坐标为正常客户的累计比率，纵坐标为对应的违约客户的累计比率，通过描点，把这些点连接起来，并进行光滑就形成了 ROC曲线。

如果模型的风险区分能力强，ROC 曲线越王左上角靠近，ROC 曲线下方面积越大。

ROC 曲线下的面积称为 ROC 值，介于 0。 5 到 1 之间，越接近于 1，表示模型越好。

7 / 7