Marcos de referencia

IA en el proveedor de GRC: cómo evaluar su gobernanza y seguridad

· 14 min de lectura ·

Cuando una plataforma de GRC o de gestión de riesgos incorpora inteligencia artificial, esa IA pasa a leer lo más sensible de la organización: el mapa de riesgos, las vulnerabilidades abiertas, los contratos con proveedores y las evidencias de auditoría. Por eso debe evaluarse como cualquier otro componente de terceros, con preguntas, evidencias y cláusulas contractuales, y no solo por la calidad de la demostración.

Este artículo trata una pregunta concreta: cómo hacer la due diligence de la IA que viene dentro de un producto de GRC o de riesgo que usted está comprando. Los criterios generales de compra están en Software GRC: qué es y cómo elegirlo y en Plataforma de IA empresarial para GRC: qué evaluar. La diferencia entre IA nativa y acoplada está en Plataforma nativa de IA: qué significa para GRC, y la gobernanza de los modelos que la propia empresa desarrolla u opera, en Software de gobernanza de IA: qué es y cómo elegirlo. Aquí el foco es el proveedor.

Por qué la IA del proveedor es riesgo de terceros

El NIST AI Risk Management Framework (AI RMF 1.0, NIST AI 100-1), publicado en enero de 2023 y de uso voluntario, señala los riesgos de software, hardware y datos de terceros entre los desafíos de medición del riesgo: las métricas de quien desarrolla el sistema pueden no coincidir con las de quien lo opera, y quien lo desarrolla puede no ser transparente sobre los métodos que usó. El marco aborda el tema en dos categorías. GOVERN 6 pide políticas y procedimientos para los riesgos de software, datos y cadena de suministro de terceros, incluidos procesos de contingencia ante fallas o incidentes en sistemas de IA de terceros considerados de alto riesgo. MANAGE 3 pide que esos riesgos se monitoreen con regularidad y que los controles se apliquen y documenten, también para los modelos preentrenados usados en el desarrollo.

En una plataforma de GRC, la cadena suele tener más de un eslabón. El proveedor puede usar un modelo de lenguaje de otra empresa, alojado en la nube de una tercera, y cada eslabón recibe parte de sus datos. Conviene señalar que, según la página del NIST, el AI RMF 1.0 está en revisión en el marco del plan de acción de IA del gobierno de Estados Unidos. Hasta que salga una nueva versión, la 1.0 es la referencia publicada.

Los riesgos de IA generativa que importan en GRC

En julio de 2024, el NIST publicó el NIST AI 600-1, perfil de IA generativa del AI RMF, con 12 riesgos que la IA generativa crea o agrava. No todos se aplican a una herramienta de GRC. Cinco orientan bien la evaluación:

  • Confabulación. Contenido erróneo presentado con seguridad, lo que suele llamarse alucinación. En GRC aparece como un mapeo entre controles que no existe, un artículo de una norma citado con el número equivocado o un resumen de evidencia que dice más que el documento.
  • Privacidad de datos. Filtración, uso o divulgación no autorizados de datos personales o sensibles. Las evidencias de auditoría y los registros de incidentes suelen contener ambos.
  • Seguridad de la información. El perfil recuerda que la propia IA generativa amplía la superficie de ataque, porque es vulnerable a la inyección de prompts, incluso indirecta, con instrucciones ocultas en datos que el sistema va a recuperar. En GRC, un cuestionario respondido por un proveedor o un PDF de evidencia enviado por un tercero es exactamente ese tipo de dato.
  • Cadena de valor e integración de componentes. Integración poco transparente o no rastreable de componentes de terceros y verificación inadecuada de proveedores a lo largo del ciclo de vida de la IA.
  • Configuración humano-IA. Sesgo de automatización y exceso de confianza, cuando la persona empieza a aceptar la sugerencia de la máquina sin revisarla.

Para cada riesgo, la pregunta al proveedor es la misma: qué control existe y qué evidencia demuestra que funciona.

Gobernanza de modelos y datos: qué preguntar

  1. Qué modelos y proveedores hay en la cadena. Pida la lista de modelos por función, quién los suministra y dónde se ejecutan. El perfil del NIST sugiere inventariar a los terceros con acceso al contenido de la organización y mantener listas de proveedores de IA aprobados (GV-6.1-007).
  2. Si sus datos entrenan modelos. Pregunte si los datos del cliente, los prompts o las respuestas se usan para entrenar o ajustar modelos del proveedor o del tercero, y dónde consta eso en el contrato, no solo en la política de privacidad.
  3. Retención. Cuánto tiempo se guardan los prompts, las respuestas, los registros (logs) y los índices derivados de sus documentos, y cómo se eliminan al terminar el contrato.
  4. Separación entre clientes. Cómo garantiza el proveedor que el contexto recuperado para responder a un cliente nunca incluya documentos de otro.
  5. Evaluación y pruebas. Qué pruebas miden el error en las tareas que ejecuta la IA, como clasificar, mapear y resumir, y si se comparten los resultados. El AI RMF pide que el modelo sea explicado, validado y documentado (MEASURE 2.9) y que la seguridad, la resiliencia y el riesgo de privacidad se evalúen y documenten (MEASURE 2.7 y 2.10).
  6. Gestión de cambios. Cómo y con cuánta antelación se avisa al cliente cuando cambia el modelo o el proveedor. El AI RMF incluye la gestión de cambios, la respuesta a incidentes y la desactivación en los planes de monitoreo posteriores al despliegue (MANAGE 4.1).
  7. Defensa contra la inyección. Cómo trata la plataforma las instrucciones incrustadas en documentos enviados por terceros y si la IA puede ejecutar acciones o solo sugerir.

Transparencia y supervisión humana verificables

“Human-in-the-loop” se ha vuelto una frase de catálogo. El AI RMF pide que los procesos de supervisión humana se definan, evalúen y documenten (MAP 3.5) y que existan mecanismos y responsables para reemplazar, desconectar o desactivar sistemas de IA con un desempeño incompatible con el uso previsto (MANAGE 2.4). En la demostración, eso se traduce en cuatro comprobaciones:

  • Cada sugerencia muestra de qué datos partió y por qué llegó a esa conclusión.
  • El rechazo o el ajuste de una sugerencia queda registrado, con autor y fecha.
  • El administrador puede desactivar una función de IA sin detener el resto de la plataforma.
  • La interfaz deja claro qué generó la IA y qué aprobó una persona, lo que ayuda a contener el sesgo de automatización.

Las pruebas de arquitectura, como cambiar un dato y ver si cambia la prioridad, están en Plataforma nativa de IA. Aquí la pregunta es si la supervisión puede auditarse.

También hay un punto jurídico. El art. 20 de la LGPD, la Ley General de Protección de Datos Personales de Brasil, da al titular el derecho a solicitar la revisión de decisiones tomadas únicamente con base en el tratamiento automatizado de datos personales que afecten sus intereses, y el § 1 obliga al responsable a informar con claridad los criterios y procedimientos utilizados, respetando los secretos comercial e industrial. La mayor parte del uso de IA en GRC decide sobre controles y riesgos, no sobre personas. Si alguna función empieza a decidir sobre personas físicas, la organización, como responsable del tratamiento, debe poder explicar la decisión, y eso depende de lo que documente el proveedor.

Datos, residencia y LGPD

En la mayoría de los contratos, el proveedor de GRC trata datos personales por cuenta del cliente y actúa como encargado (operador), que, según el art. 39 de la LGPD, debe seguir las instrucciones del responsable. Cuando el modelo de lenguaje pertenece a otra empresa, esta se convierte en un eslabón más de la cadena de tratamiento, un subencargado. Cuatro puntos de la ley ganan peso cuando hay IA:

  • Transferencia internacional (art. 33). Si la inferencia ocurre fuera de Brasil, la transferencia debe encajar en uno de los supuestos del artículo, como un país con nivel de protección adecuado o cláusulas contractuales tipo. La Resolución CD/ANPD n.º 19/2024 de la ANPD, la Autoridad Nacional de Protección de Datos de Brasil, aprobó el reglamento y el texto de las cláusulas tipo. Pregunte dónde se ejecuta el modelo, no solo dónde está la base de datos.
  • Seguridad desde el diseño (art. 46). Los agentes de tratamiento deben adoptar medidas de seguridad técnicas y administrativas, y el § 2 dice que deben observarse desde la fase de concepción del producto o del servicio.
  • Registro de las operaciones (art. 37). Responsable y encargado deben mantener un registro de las operaciones de tratamiento que realicen, lo que incluye lo que la IA recibe y devuelve.
  • Incidentes (art. 48). Quien comunica a la ANPD y al titular es el responsable. El contrato debe obligar al proveedor a avisar con rapidez los incidentes que involucren a la IA o al proveedor del modelo, para que la comunicación pueda hacerse a tiempo.

El alojamiento, los subencargados y la transferencia para el GRC en su conjunto están en Plataforma de GRC en Brasil: cómo elegir la adecuada, y los plazos y resoluciones de la ANPD, en Reglamentos de la ANPD. En el sector financiero, la Resolución n.º 4.893/2021 del CMN (Consejo Monetario Nacional de Brasil) tiene reglas propias para la contratación de servicios de procesamiento, almacenamiento de datos y computación en la nube, tratadas en Riesgo de terceros y la Resolución CMN 4.893.

ISO/IEC 42001: qué demuestra un certificado

La ISO/IEC 42001:2023 especifica requisitos para establecer, implementar, mantener y mejorar continuamente un sistema de gestión de IA en organizaciones que desarrollan, suministran o usan sistemas de IA. Es una norma voluntaria y certificable, con la estructura común de las normas de sistemas de gestión de ISO, la misma de la ISO/IEC 27001. Un certificado dice que el sistema de gestión fue auditado. No dice que cada respuesta de la IA sea correcta. Al recibir uno, compruebe:

  • el alcance: si el producto que va a contratar y sus funciones de IA están incluidos;
  • quién lo emitió y si el organismo de certificación está acreditado;
  • la vigencia y la fecha de la última auditoría;
  • si el proveedor del modelo de lenguaje, cuando es otra empresa, quedó fuera del alcance.

El NIST AI RMF no tiene programa de certificación. “Alineado con el NIST AI RMF” es una declaración del propio proveedor, que usted puede poner a prueba pidiendo el mapeo entre las funciones GOVERN, MAP, MEASURE y MANAGE y los controles que aplica.

Cláusulas que conviene llevar al contrato

El perfil de IA generativa del NIST incluye acciones sugeridas que se convierten en cláusulas con poca adaptación:

  • contratos y acuerdos de nivel de servicio que definan la propiedad del contenido, los derechos de uso, los estándares de calidad, los requisitos de seguridad y las expectativas de procedencia (GV-6.1-004);
  • el derecho a evaluar los procesos y estándares de IA generativa del tercero (GV-6.1-006);
  • un plan de respuesta a incidentes para tecnologías de IA generativa de terceros, con responsables definidos, ensayos periódicos y revisión frente a las leyes de notificación y de protección de datos (GV-6.2-003);
  • el registro de los incidentes que involucren datos y sistemas de IA de terceros (GV-6.2-002).

Añada las cláusulas de privacidad que valen para cualquier encargado, detalladas en Riesgo de terceros y LGPD: cómo proteger sus datos, y alinee el aviso de incidentes con su plan de respuesta a incidentes.

Cuestionario resumido para el proveedor

TemaPreguntaEvidencia a pedirReferencia
Cadena de modelos¿Qué modelos y proveedores, por función?Lista de proveedores y subencargados, con ubicaciónAI RMF GOVERN 6; AI 600-1 GV-6.1-007
Uso de los datos¿Los datos, prompts o respuestas entrenan modelos?Cláusula contractualAI 600-1 GV-6.1-004; LGPD art. 39
Retención¿Cuánto tiempo se guardan prompts, respuestas y logs?Política de retención y procedimiento de eliminaciónAI 600-1, privacidad de datos
Residencia¿Dónde se realiza la inferencia?Regiones de procesamiento y mecanismo de transferenciaLGPD art. 33; Res. CD/ANPD n.º 19/2024
Calidad¿Cómo se mide el error de la IA en las tareas de GRC?Resultados de pruebas y limitaciones conocidasAI RMF MEASURE 2.9; AI 600-1, confabulación
Seguridad¿Cómo resiste la plataforma la inyección de prompts en documentos de terceros?Pruebas de seguridad que cubran la IAAI 600-1, seguridad de la información; LGPD art. 46
Supervisión¿Se registran los rechazos? ¿Se puede desactivar la IA?Demostración y pista de auditoríaAI RMF MAP 3.5 y MANAGE 2.4
Cambios¿Cómo se avisa al cliente de un cambio de modelo o proveedor?Procedimiento de gestión de cambiosAI RMF MANAGE 4.1
Incidentes¿En cuánto tiempo avisa el proveedor un incidente que involucre a la IA?Cláusula y plan de respuestaAI 600-1 GV-6.2-003; LGPD art. 48
Certificación¿El certificado ISO/IEC 42001 cubre este producto?Certificado con alcanceISO/IEC 42001:2023

Cómo se posiciona Eagle ante estas preguntas

Eagle, la plataforma de Enterprise Risk Intelligence de Futture, debe pasar por la misma guía. Según el sitio, la IA de Eagle apoya la clasificación, la identificación de relaciones, la priorización contextual y las recomendaciones; el usuario revisa, aprueba, rechaza o ajusta cada resultado relevante; y cada recomendación conserva su contexto, el origen de los datos, la justificación, el nivel de confianza y el historial de decisiones (cómo funciona la IA en Eagle). En seguridad y gobernanza, el sitio menciona control de acceso por roles, entornos segregados por organización y pista de auditoría, con la salvedad de que las capacidades pueden variar según el entorno y el alcance contratado (seguridad y gobernanza). Los modelos y proveedores utilizados, el lugar de la inferencia y la política de retención no figuran en el sitio. Son preguntas para hacer por escrito, también a nosotros.

Próximo paso

Antes de la próxima demostración, convierta la tabla anterior en un anexo de su cuestionario de due diligence y envíelo junto con el de seguridad de la información. Las respuestas por escrito, y no la demostración, son lo que va al expediente del proveedor y lo que un auditor pedirá después. Para el ciclo completo de evaluación de terceros, vea Gestión de riesgo de proveedores: buenas prácticas.

Para profundizar: Software de gobernanza de IA: qué es y cómo elegirlo, Plataforma nativa de IA: qué significa para GRC y Plataforma de GRC en Brasil: cómo elegir la adecuada.

Preguntas frecuentes

¿Por qué evaluar por separado la IA del proveedor de GRC?

Porque lee datos sensibles, como riesgos, vulnerabilidades, contratos y evidencias, y a menudo depende de un modelo de otra empresa. El NIST AI RMF trata este escenario como riesgo de terceros (GOVERN 6 y MANAGE 3), con políticas, monitoreo y planes de contingencia propios.

¿Qué preguntas no pueden faltar en la due diligence?

Qué modelos y proveedores se usan, si sus datos entrenan modelos, cuánto tiempo se guardan los prompts y las respuestas, dónde se realiza la inferencia, cómo se registra la supervisión humana y cómo se avisa al cliente de cambios de modelo y de incidentes.

¿Basta con un certificado ISO/IEC 42001?

Por sí solo, no. Demuestra que el proveedor tiene un sistema de gestión de IA auditado dentro del alcance declarado. Compruebe que el producto y sus funciones de IA estén en el alcance, quién lo emitió y si el proveedor del modelo quedó fuera. El certificado no garantiza que cada respuesta de la IA sea correcta.

¿Usar la IA de un proveedor con servidores fuera de Brasil infringe la LGPD?

No necesariamente. La transferencia internacional de datos personales está permitida en los supuestos del art. 33 de la LGPD, como las cláusulas contractuales tipo aprobadas por la Resolución CD/ANPD n.º 19/2024. Lo importante es saber dónde se realiza la inferencia y qué mecanismo cubre la transferencia.

Referencias oficiales

Sobre el autor

Founder, Futture.ai | CISSP

Especialista en ciberseguridad, gobernanza y gestión de riesgos, con más de 25 años de experiencia en el sector. CISSP, fundador de Network Secure y Futture.ai.

Lee también

← Volver al blog