Riesgo de modelos9 de abril de 20269 min de lectura

Riesgo de modelos bajo SR 11-7: guía de la gestión del riesgo de modelos

SR 11-7 es la guía supervisora estadounidense que define la gestión del riesgo de modelos para los bancos. Plantea el riesgo de modelos como la posibilidad de consecuencias adversas por errores o uso indebido de los modelos, y exige validación, gobernanza e inventario.

APor GeneSecure
La respuesta corta

SR 11-7 es la guía supervisora publicada en 2011 por la Reserva Federal de EE. UU. y la Oficina del Contralor de la Moneda (como OCC 2011-12) que fija las expectativas sobre la gestión del riesgo de modelos en las organizaciones bancarias. Define un modelo como un método cuantitativo que convierte datos de entrada en estimaciones, y el riesgo de modelos como la posibilidad de consecuencias adversas derivadas de decisiones basadas en modelos erróneos o mal utilizados. SR 11-7 se apoya en tres pilares. El primero es un desarrollo, una implantación y un uso sólidos: diseño, documentación y pruebas rigurosos. El segundo es una validación eficaz: un cuestionamiento independiente y continuo de la solidez conceptual del modelo, un análisis de su desempeño a lo largo del tiempo (incluidos benchmarking y backtesting) y un análisis de resultados. El tercero es una gobernanza, unas políticas y unos controles sólidos: un inventario de modelos, roles claramente asignados, supervisión del consejo y la alta dirección, y cuestionamiento efectivo. El principio rector es el «cuestionamiento efectivo»: el análisis crítico por partes objetivas y competentes con la autoridad y el incentivo para plantear objeciones. Aunque se dirige a los bancos, SR 11-7 se ha convertido en el estándar global de facto para gestionar el riesgo de modelos, y cada vez se extiende más a los modelos de aprendizaje automático e IA.

Cómo define SR 11-7 un modelo y su riesgo

SR 11-7 define modelo de forma amplia: cualquier método, sistema o enfoque cuantitativo que aplique teorías estadísticas, económicas, financieras o matemáticas para convertir datos de entrada en estimaciones cuantitativas. Eso abarca las tarjetas de puntuación crediticia, los modelos de valoración, los motores de capital y de pruebas de resistencia, los modelos de gestión de activos y pasivos, la monitorización de transacciones para prevención de blanqueo y, cada vez más, los modelos de aprendizaje automático.

El riesgo de modelos es el riesgo de consecuencias adversas —pérdida financiera, malas decisiones, daño reputacional o regulatorio— por modelos con errores fundamentales, o usados incorrectamente, o para fines para los que no se diseñaron. La guía es explícita: incluso un modelo técnicamente sólido genera riesgo si se aplica en el contexto equivocado.

Primer pilar: desarrollo, implantación y uso

Una gestión sólida del riesgo de modelos empieza en el desarrollo. Un modelo debe apoyarse en una teoría defendible, usar datos apropiados y estar documentado con suficiente detalle para que una parte independiente pueda entenderlo y reproducirlo. Las pruebas deben examinar su comportamiento, sus limitaciones y su sensibilidad a las hipótesis antes de que entre en producción.

SR 11-7 insiste en que la documentación no es burocracia: es lo que hace un modelo mantenible y revisable cuando sus desarrolladores originales ya no están. El «uso» también importa: quienes se apoyan en la salida de un modelo deben entender sus hipótesis y limitaciones.

Segundo pilar: validación y cuestionamiento efectivo

La validación es el conjunto de actividades independientes que verifican que un modelo funciona según lo previsto. SR 11-7 describe tres elementos centrales: una evaluación de la solidez conceptual (¿son sólidos el diseño y la teoría?), una monitorización continua (¿sigue funcionando, mediante benchmarking y verificación de procesos?) y un análisis de resultados (¿coinciden sus salidas con la realidad, mediante backtesting?).

Todo ello se sostiene sobre el «cuestionamiento efectivo»: el análisis crítico por partes independientes del desarrollo, técnicamente competentes y con la posición y el incentivo para objetar. La validación debe ser genuinamente independiente; el responsable de un modelo no puede validar su propio modelo. La profundidad de la validación debe escalar con la materialidad y complejidad del modelo.

Tercer pilar: gobernanza, inventario y roles

El tercer pilar es la maquinaria organizativa: supervisión del consejo y la alta dirección, políticas escritas, roles definidos (responsables, desarrolladores, validadores, funciones de control) y, en el centro, un inventario completo de modelos. El inventario registra cada modelo en uso, su finalidad, su responsable, su estado de validación, sus limitaciones y su nivel de riesgo.

Un inventario vigente es lo que permite a una entidad responder a las preguntas que hacen los examinadores: qué modelos están en uso, cuándo se validaron por última vez, cuáles tienen hallazgos abiertos y cuáles alimentan cifras regulatorias. Sin él, la gestión del riesgo de modelos resulta inmanejable a escala.

De SR 11-7 a la gobernanza de la IA

SR 11-7 es anterior a la ola del aprendizaje automático, pero sus principios se trasladan bien. Solidez conceptual, monitorización continua, análisis de resultados, cuestionamiento independiente e inventario vivo son exactamente los controles que un supervisor quiere ver alrededor de un modelo de aprendizaje automático o de IA, sumados a preocupaciones más nuevas como la deriva de datos, la explicabilidad y el sesgo.

El reto práctico es el volumen y el ritmo. Una entidad moderna puede tener cientos o miles de modelos, y el desarrollo de IA avanza más rápido que los ciclos anuales de validación. Ejecutar el inventario de modelos, el flujo de validación, la monitorización y las evidencias sobre una única plataforma gobernada —en lugar de hojas de cálculo y correo— es lo que hace sostenible una gobernanza al nivel de SR 11-7 conforme crece la población de modelos.

Preguntas frecuentes

Preguntas frecuentes, respondidas.

Lo que los equipos de evaluación quieren saber antes de una demo, respondido con claridad.

SR 11-7 es la guía supervisora publicada en 2011 por la Reserva Federal de EE. UU. y la OCC que establece las expectativas sobre la gestión del riesgo de modelos en los bancos, abarcando el desarrollo, la validación y la gobernanza de modelos.

Un desarrollo, implantación y uso sólidos de los modelos; una validación eficaz (solidez conceptual, monitorización continua y análisis de resultados); y una gobernanza, políticas y controles sólidos, incluidos un inventario de modelos y roles claros.

El cuestionamiento efectivo es el análisis crítico de un modelo por partes objetivas y competentes, independientes de su desarrollo y con la autoridad y el incentivo para objetar su diseño, sus hipótesis y su uso. Es el principio que da sentido a la validación.

SR 11-7 es anterior al aprendizaje automático moderno, pero sus principios se aplican ampliamente a los modelos de IA y aprendizaje automático. Los supervisores esperan la misma validación, monitorización y gobernanza, ampliadas con controles para cuestiones como la deriva de datos, la explicabilidad y el sesgo.

Vea esto funcionando con sus datos.

Reserve una sesión de 30 minutos y le mostraremos a GeneSecure gestionando exactamente el marco sobre el que acaba de leer, fundamentado en su propio grafo de riesgo.

Riesgo de modelos bajo SR 11-7: guía de la gestión del riesgo de modelos | GeneSecure