Base legal: Artigo 9.º (Sistema de gestão de risco), Artigo 15.º (Exatidão, robustez e cibersegurança) e Artigo 43.º (Avaliação de conformidade) do Regulamento (UE) 2024/1689 (AI Act).
1. Objetivo e âmbito
Esta política estabelece os procedimentos e requisitos para teste e validação de sistemas de IA classificados como alto risco nos termos do Artigo 6.º do AI Act, assegurando que cumprem os requisitos de exatidão, robustez e cibersegurança antes da colocação no mercado e durante todo o ciclo de vida.
1.1 Âmbito de aplicação
Todos os sistemas de IA de alto risco desenvolvidos ou implementados pela organização
Sistemas de IA que são componentes de segurança de produtos regulados (Anexo I)
Sistemas de IA com casos de uso listados no Anexo III
Testes durante desenvolvimento, pré-produção, produção e pós-mercado
1.2 Sistemas abrangidos
ID Sistema
Nome do sistema
Categoria (Anexo III)
Papel da organização
Nível de criticidade
[ID]
[Nome]
[Categoria]
[Provider/Deployer]
[Alto/Crítico]
[ID]
[Nome]
[Categoria]
[Provider/Deployer]
[Alto/Crítico]
2. Tipos de teste obrigatórios
2.1 Testes de exatidão (Art. 15.º, n.º 1)
Os sistemas devem atingir níveis adequados de exatidão para a sua finalidade prevista.
Tipo de teste
Métricas
Limiar mínimo
Frequência
Precisão do modelo
Accuracy, Precision, Recall, F1-Score
[Definir]
Antes de cada release + mensal
Teste de viés e equidade
Disparate Impact, Equal Opportunity Difference
[Definir]
Trimestral
Teste de representatividade
Cobertura demográfica, distribuição dos dados
[Definir]
A cada atualização de dados
Teste de calibração
Brier Score, Calibration Error
[Definir]
Mensal
2.2 Testes de robustez (Art. 15.º, n.º 4)
Os sistemas devem ser resilientes face a erros, falhas e inconsistências nos inputs.
Tipo de teste
Descrição
Critério de aceitação
Teste adversarial
Verificar resiliência a ataques adversariais (data poisoning, evasion, model extraction)
[Definir]
Teste de stress
Comportamento sob carga extrema, inputs inesperados, dados corrompidos
[Definir]
Teste de degradação
Desempenho com dados parciais, ruidosos ou fora da distribuição
[Definir]
Teste de failover
Comportamento em caso de falha de componentes (fallback, graceful degradation)
[Definir]
2.3 Testes de cibersegurança (Art. 15.º, n.º 5)
Tipo de teste
Descrição
Frequência
Teste de penetração
Avaliação de vulnerabilidades na infraestrutura e APIs do sistema
Anual + após alterações significativas
Data poisoning
Verificação de integridade dos dados de treino e pipelines
A cada re-treino
Model extraction
Testes de proteção contra extração ou replicação do modelo
Semestral
Prompt injection
Para sistemas com interface de linguagem natural
Mensal
2.4 Testes funcionais
Teste de funcionalidade da supervisão humana (Art. 14.º) - verificar que operadores podem intervir e parar o sistema
Teste de logging (Art. 12.º) - verificar que registos automáticos são gerados corretamente
Teste de transparência (Art. 13.º) - verificar que informação ao utilizador é adequada e acessível
Teste de integração - verificar interação com outros sistemas e componentes
Teste de aceitação do utilizador (UAT) - validação por utilizadores finais
3. Fases de teste
3.1 Teste em ambiente de desenvolvimento
[Descrever procedimentos de teste unitário e de integração durante o desenvolvimento, incluindo ferramentas utilizadas, cobertura mínima de código e critérios de aprovação]
3.2 Teste em ambiente de pré-produção (staging)
[Descrever procedimentos de teste em ambiente controlado que replica produção, incluindo testes de performance, segurança e compatibilidade]
3.3 Teste em condições reais (Art. 57.º)
Atenção: Testes em condições reais de sistemas de alto risco devem cumprir o Artigo 57.º do AI Act, incluindo plano de teste aprovado, consentimento informado dos participantes, supervisão adequada e registo na sandbox regulatória quando aplicável.
[Descrever condições e procedimentos para testes em ambiente real, incluindo salvaguardas para proteção dos direitos fundamentais dos sujeitos de teste]
3.4 Monitorização contínua em produção
[Descrever procedimentos de monitorização contínua, incluindo métricas monitorizadas, alertas configurados, frequência de revisão e critérios para intervenção]
4. Gestão de dados de teste
4.1 Requisitos dos conjuntos de dados de teste
Representatividade: dados refletem a população-alvo e contextos de utilização previstos
Diversidade: cobertura adequada de grupos demográficos e cenários de utilização
Independência: dados de teste separados dos dados de treino e validação
Atualidade: dados refletem condições atuais de utilização
Anotação: dados corretamente rotulados e verificados
Conformidade RGPD: base legal para utilização de dados pessoais em testes
5. Critérios de aprovação e rejeição
Resultado
Critério
Ação
APROVADO
Todos os limiares atingidos, sem vulnerabilidades críticas
Aprovação para produção/colocação no mercado
APROVAÇÃO CONDICIONAL
Limiares atingidos com observações menores
Aprovação com plano de ação e prazo para resolução
REJEITADO
Limiares não atingidos ou vulnerabilidades críticas identificadas
Retorno ao desenvolvimento, resolução obrigatória
6. Documentação e rastreabilidade
Cada ciclo de teste deve produzir documentação incluindo:
Identificação do sistema, versão e ambiente de teste
Plano de teste com objetivos, métricas e critérios de aceitação
Conjuntos de dados utilizados (descrição, origem, representatividade)
Resultados quantitativos e qualitativos por tipo de teste
Vulnerabilidades identificadas e classificação de severidade
Decisão de aprovação/rejeição com justificação
Plano de ação para questões identificadas
Assinaturas dos responsáveis
Toda a documentação deve ser retida por um período mínimo de [10 anos] após a retirada do sistema do mercado.
7. Responsabilidades
Papel
Responsabilidades
Responsável de testes IA
Planear, executar e documentar testes; reportar resultados; recomendar aprovação/rejeição
Equipa de desenvolvimento
Corrigir problemas identificados; implementar testes automatizados; manter ambientes de teste
Responsável de conformidade
Validar cobertura dos requisitos AI Act; aprovar planos de teste; supervisionar documentação
DPO
Verificar conformidade RGPD nos dados de teste; aprovar utilização de dados pessoais
CISO
Validar testes de cibersegurança; aprovar resultados de pentesting