Frameworks

IA no fornecedor de GRC: como avaliar governança e segurança

· 13 min de leitura ·

Quando uma plataforma de GRC ou de gestão de riscos traz inteligência artificial embutida, a IA passa a ler o que a organização tem de mais sensível: o mapa de riscos, as vulnerabilidades abertas, os contratos com fornecedores e as evidências de auditoria. Por isso ela precisa ser avaliada como qualquer componente de terceiro, com perguntas, evidências e cláusulas de contrato, e não só pela qualidade da demonstração.

Este artigo trata de uma pergunta específica: como fazer a due diligence da IA que vem dentro de um produto de GRC ou de risco que você está comprando. Os critérios gerais de compra estão em Software GRC: o que é e como escolher e em Plataforma de IA empresarial para GRC: o que avaliar. A diferença entre IA nativa e acoplada está em Plataforma nativa de IA: o que significa para GRC, e a governança dos modelos que a própria empresa desenvolve ou opera, em Software de governança de IA: o que é e como escolher. Aqui o foco é o fornecedor.

Por que a IA do fornecedor é risco de terceiro

O NIST AI Risk Management Framework (AI RMF 1.0, NIST AI 100-1), publicado em janeiro de 2023 e de uso voluntário, aponta os riscos de software, hardware e dados de terceiros entre os desafios de medição de risco: as métricas de quem desenvolve o sistema podem não coincidir com as de quem o opera, e quem desenvolve pode não ser transparente sobre os métodos que usou. O framework trata o tema em duas categorias. GOVERN 6 pede políticas e procedimentos para riscos de software, dados e cadeia de suprimentos de terceiros, incluindo processos de contingência para falhas ou incidentes em sistemas de IA de terceiros considerados de alto risco. MANAGE 3 pede que esses riscos sejam monitorados com regularidade e que os controles sejam aplicados e documentados, inclusive para os modelos pré-treinados usados no desenvolvimento.

Em uma plataforma de GRC, a cadeia costuma ter mais de um elo. O fornecedor pode usar um modelo de linguagem de outra empresa, hospedado na nuvem de uma terceira, e cada elo recebe parte dos seus dados. Vale registrar que, segundo a página do NIST, o AI RMF 1.0 está sendo revisado no âmbito do plano de ação de IA do governo dos Estados Unidos. Até sair uma nova versão, a 1.0 é a referência publicada.

Os riscos de IA generativa que importam em GRC

Em julho de 2024, o NIST publicou o NIST AI 600-1, perfil de IA generativa do AI RMF, com 12 riscos que a IA generativa cria ou agrava. Nem todos se aplicam a uma ferramenta de GRC. Cinco orientam bem a avaliação:

  • Confabulação. Conteúdo errado apresentado com confiança, o que se costuma chamar de alucinação. Em GRC, aparece como um mapeamento entre controles que não existe, um artigo de norma citado com número errado ou um resumo de evidência que diz mais do que o documento.
  • Privacidade de dados. Vazamento, uso ou divulgação não autorizados de dados pessoais ou sensíveis. Evidências de auditoria e registros de incidentes costumam conter os dois.
  • Segurança da informação. O perfil lembra que a própria IA generativa amplia a superfície de ataque, porque é vulnerável a prompt injection, inclusive indireta, com instruções escondidas em dados que o sistema vai recuperar. Em GRC, um questionário respondido por um fornecedor ou um PDF de evidência enviado por terceiro é exatamente esse tipo de dado.
  • Cadeia de valor e integração de componentes. Integração pouco transparente ou não rastreável de componentes de terceiros e verificação inadequada de fornecedores ao longo do ciclo de vida da IA.
  • Configuração humano-IA. Viés de automação e excesso de confiança, quando a pessoa passa a aceitar a sugestão da máquina sem revisar.

Para cada risco, a pergunta ao fornecedor é a mesma: qual controle existe e qual evidência mostra que ele funciona.

Governança de modelo e de dados: o que perguntar

  1. Quais modelos e provedores estão na cadeia. Peça a lista de modelos por funcionalidade, quem os fornece e onde rodam. O perfil do NIST sugere inventariar os terceiros com acesso ao conteúdo da organização e manter listas de provedores de IA aprovados (GV-6.1-007).
  2. Se os seus dados treinam modelos. Pergunte se dados do cliente, prompts ou respostas são usados para treinar ou ajustar modelos do fornecedor ou do provedor, e onde isso está no contrato, não só na política de privacidade.
  3. Retenção. Por quanto tempo prompts, respostas, registros (logs) e índices derivados dos seus documentos ficam guardados, e como são apagados ao fim do contrato.
  4. Segregação entre clientes. Como o fornecedor garante que o contexto recuperado para responder a um cliente nunca inclua documentos de outro.
  5. Avaliação e testes. Que testes medem o erro nas tarefas que a IA executa, como classificar, mapear e resumir, e se os resultados são compartilhados. O AI RMF pede que o modelo seja explicado, validado e documentado (MEASURE 2.9) e que segurança, resiliência e risco de privacidade sejam avaliados e documentados (MEASURE 2.7 e 2.10).
  6. Gestão de mudanças. Como e com que antecedência o cliente é avisado quando o modelo ou o provedor muda. O AI RMF inclui gestão de mudanças, resposta a incidentes e desativação nos planos de monitoramento pós-implantação (MANAGE 4.1).
  7. Defesa contra injeção. Como a plataforma trata instruções embutidas em documentos enviados por terceiros e se a IA pode executar ações ou apenas sugerir.

Transparência e supervisão humana verificáveis

“Human-in-the-loop” virou frase de catálogo. O AI RMF pede que os processos de supervisão humana sejam definidos, avaliados e documentados (MAP 3.5) e que existam mecanismos e responsáveis para substituir, desligar ou desativar sistemas de IA com desempenho incompatível com o uso pretendido (MANAGE 2.4). Na demonstração, isso vira quatro verificações:

  • Cada sugestão mostra de quais dados partiu e por que chegou à conclusão.
  • A rejeição ou o ajuste de uma sugestão fica registrado, com autor e data.
  • O administrador consegue desligar uma funcionalidade de IA sem parar o restante da plataforma.
  • A interface deixa claro o que foi gerado pela IA e o que foi aprovado por uma pessoa, o que ajuda a conter o viés de automação.

Os testes de arquitetura, como alterar um dado e ver se a prioridade muda, estão em Plataforma nativa de IA. Aqui a pergunta é se a supervisão pode ser auditada.

Há também um ponto jurídico. O art. 20 da LGPD dá ao titular o direito de pedir a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, e o § 1º obriga o controlador a fornecer informações claras sobre os critérios e procedimentos usados, observados os segredos comercial e industrial. A maior parte do uso de IA em GRC decide sobre controles e riscos, não sobre pessoas. Se alguma funcionalidade passar a decidir sobre pessoas físicas, a organização, como controladora, precisa conseguir explicar a decisão, e isso depende do que o fornecedor documenta.

Dados, residência e LGPD

Na maioria dos contratos, o fornecedor de GRC trata dados pessoais em nome do cliente e atua como operador, que, pelo art. 39 da LGPD, deve seguir as instruções do controlador. Quando o modelo de linguagem é de outra empresa, ela entra como mais um elo da cadeia de tratamento, o chamado suboperador. Quatro pontos da lei ganham peso quando há IA:

  • Transferência internacional (art. 33). Se a inferência acontece fora do Brasil, a transferência precisa se enquadrar em uma das hipóteses do artigo, como país com grau de proteção adequado ou cláusulas-padrão contratuais. A Resolução CD/ANPD nº 19/2024 aprovou o regulamento e o texto das cláusulas-padrão. Pergunte onde o modelo roda, não só onde fica o banco de dados.
  • Segurança desde a concepção (art. 46). Os agentes de tratamento devem adotar medidas de segurança técnicas e administrativas, e o § 2º diz que elas devem ser observadas desde a fase de concepção do produto ou do serviço.
  • Registro das operações (art. 37). Controlador e operador devem manter registro das operações de tratamento que realizarem, o que inclui o que a IA recebe e devolve.
  • Incidentes (art. 48). Quem comunica a ANPD e o titular é o controlador. O contrato precisa obrigar o fornecedor a avisar com rapidez incidentes que envolvam a IA ou o provedor do modelo, para que a comunicação possa ser feita no prazo.

Hospedagem, suboperadores e transferência para o GRC como um todo estão em Plataforma de GRC no Brasil: como escolher a ideal, e os prazos e as resoluções da ANPD, em Regulamentos da ANPD. No setor financeiro, a Resolução CMN nº 4.893/2021 tem regras próprias para a contratação de processamento, armazenamento de dados e computação em nuvem, tratadas em Risco de terceiros e a Resolução CMN 4.893.

ISO/IEC 42001: o que um certificado prova

A ISO/IEC 42001:2023 especifica requisitos para estabelecer, implementar, manter e melhorar continuamente um sistema de gestão de IA em organizações que desenvolvem, fornecem ou usam sistemas de IA. É uma norma voluntária e certificável, com a estrutura comum às normas de sistema de gestão da ISO, a mesma da ISO/IEC 27001. Um certificado diz que o sistema de gestão foi auditado. Não diz que cada resposta da IA está correta. Ao receber um, confira:

  • o escopo: se o produto que você vai contratar e as funcionalidades de IA estão dentro dele;
  • quem certificou e se o organismo certificador é acreditado;
  • a validade e a data da última auditoria;
  • se o provedor do modelo de linguagem, quando é outra empresa, ficou fora do escopo.

O NIST AI RMF não tem programa de certificação. “Alinhado ao NIST AI RMF” é uma declaração do próprio fornecedor, que você pode testar pedindo o mapeamento entre as funções GOVERN, MAP, MEASURE e MANAGE e os controles que ele aplica.

Cláusulas que valem ir para o contrato

O perfil de IA generativa do NIST traz ações sugeridas que viram cláusula com pouca adaptação:

  • contratos e acordos de nível de serviço que definam propriedade do conteúdo, direitos de uso, padrões de qualidade, requisitos de segurança e expectativas de proveniência (GV-6.1-004);
  • direito de avaliar os processos e padrões de IA generativa do terceiro (GV-6.1-006);
  • plano de resposta a incidentes para tecnologias de IA generativa de terceiros, com donos definidos, ensaios regulares e revisão frente às leis de notificação e de proteção de dados (GV-6.2-003);
  • registro dos incidentes que envolvam dados e sistemas de IA de terceiros (GV-6.2-002).

Some a isso as cláusulas de privacidade que valem para qualquer operador, detalhadas em Risco de terceiros e LGPD: como proteger seus dados, e alinhe o aviso de incidente ao seu plano de resposta a incidentes.

Questionário resumido para o fornecedor

TemaPerguntaEvidência a pedirReferência
Cadeia de modelosQuais modelos e provedores, por funcionalidade?Lista de provedores e suboperadores, com localizaçãoAI RMF GOVERN 6; AI 600-1 GV-6.1-007
Uso dos dadosDados, prompts ou respostas treinam modelos?Cláusula contratualAI 600-1 GV-6.1-004; LGPD art. 39
RetençãoPor quanto tempo prompts, respostas e logs ficam guardados?Política de retenção e procedimento de eliminaçãoAI 600-1, privacidade de dados
ResidênciaOnde a inferência acontece?Regiões de processamento e mecanismo de transferênciaLGPD art. 33; Res. CD/ANPD nº 19/2024
QualidadeComo o erro da IA é medido nas tarefas de GRC?Resultados de testes e limites conhecidosAI RMF MEASURE 2.9; AI 600-1, confabulação
SegurançaComo a plataforma resiste a prompt injection em documentos de terceiros?Testes de segurança que cubram a IAAI 600-1, segurança da informação; LGPD art. 46
SupervisãoRejeições ficam registradas? A IA pode ser desligada?Demonstração e trilha de auditoriaAI RMF MAP 3.5 e MANAGE 2.4
MudançasComo o cliente é avisado de troca de modelo ou provedor?Procedimento de gestão de mudançasAI RMF MANAGE 4.1
IncidentesEm quanto tempo o fornecedor avisa um incidente que envolva a IA?Cláusula e plano de respostaAI 600-1 GV-6.2-003; LGPD art. 48
CertificaçãoO certificado ISO/IEC 42001 cobre este produto?Certificado com escopoISO/IEC 42001:2023

Como o Eagle se posiciona nessas perguntas

O Eagle, plataforma de Enterprise Risk Intelligence da Futture, deve passar pelo mesmo roteiro. Segundo o site, a IA do Eagle apoia classificação, identificação de relações, priorização contextual e recomendações; o usuário revisa, aprova, rejeita ou ajusta cada resultado relevante; e cada recomendação mantém contexto, origem dos dados, justificativa, nível de confiança e histórico de decisão (como a IA funciona no Eagle). Em segurança e governança, o site cita controle de acesso por papéis, ambientes segregados por organização e trilha de auditoria, com a ressalva de que as capacidades podem variar conforme o ambiente e o escopo contratado (segurança e governança). Modelos e provedores usados, local da inferência e política de retenção não estão no site. São perguntas para fazer por escrito, inclusive a nós.

Próximo passo

Antes da próxima demonstração, transforme a tabela acima em um anexo do seu questionário de due diligence e envie-o junto com o de segurança da informação. As respostas escritas, e não a demonstração, são o que vai para o dossiê do fornecedor e o que um auditor vai pedir depois. Para o ciclo completo de avaliação de terceiros, veja Gestão de risco de fornecedores: boas práticas.

Para aprofundar: Software de Governança de IA: O Que É e Como Escolher, Plataforma nativa de IA: o que significa para GRC e Plataforma de GRC no Brasil: como escolher a ideal.

Perguntas frequentes

Por que avaliar a IA do fornecedor de GRC separadamente?

Porque ela lê dados sensíveis, como riscos, vulnerabilidades, contratos e evidências, e muitas vezes depende de um modelo de outra empresa. O NIST AI RMF trata esse cenário como risco de terceiros (GOVERN 6 e MANAGE 3), com políticas, monitoramento e planos de contingência próprios.

Quais perguntas não podem faltar na due diligence?

Quais modelos e provedores são usados, se os seus dados treinam modelos, por quanto tempo prompts e respostas ficam guardados, onde a inferência acontece, como a supervisão humana é registrada e como o cliente é avisado de mudanças de modelo e de incidentes.

Um certificado ISO/IEC 42001 basta?

Sozinho, não. Ele mostra que o fornecedor tem um sistema de gestão de IA auditado dentro do escopo declarado. Confira se o produto e as funcionalidades de IA estão no escopo, quem certificou e se o provedor do modelo ficou de fora. O certificado não atesta que cada resposta da IA está correta.

Usar a IA de um fornecedor com servidores fora do Brasil fere a LGPD?

Não necessariamente. A transferência internacional de dados pessoais é permitida nas hipóteses do art. 33 da LGPD, como as cláusulas-padrão contratuais aprovadas pela Resolução CD/ANPD nº 19/2024. O que importa é saber onde a inferência acontece e qual mecanismo cobre a transferência.

Referências oficiais

Sobre o autor

Founder, Futture.ai | CISSP

Especialista em Cibersegurança, Governança e Gestão de Riscos, com mais de 25 anos de experiência no setor. CISSP, fundador da Network Secure e da Futture.ai.

Leia também

← Voltar para o blog