Volume e finalidade do investimento
A Anthropic e a Accenture planeiam investir pelo menos 2 mil milhões de dólares ao longo de cinco anos em avaliação independente, red teaming e verificação da segurança de modelos de IA avançados.
Cada empresa pretende destinar pelo menos mil milhões de dólares ao desenvolvimento de capacidades de teste da segurança da IA e de supervisão. São planos de investimento, não uma confirmação de fundos já gastos.
Os principais parâmetros da iniciativa são o montante mínimo anunciado, o período de cinco anos e a área a que os investimentos se destinam.
Como será feita a avaliação independente
Os parceiros escolheram a abordagem de avaliação integrada (embedded evaluation): os avaliadores independentes trabalharão dentro da Anthropic. O seu acesso será comparável ao dos funcionários.
Os avaliadores poderão:
- verificar o trabalho da empresa e o cumprimento dos seus compromissos de segurança;
- identificar pontos cegos e comunicar incidentes;
- proporcionar ao público uma visão mais informada dos benefícios e riscos.
O critério prático desta avaliação não é apenas a participação de avaliadores externos, mas também o seu acesso ao trabalho da empresa.
As funções da Accenture Faculty
A empresa especializada em IA da Accenture, a Accenture Faculty, liderará a parceria. Avaliará os modelos da Anthropic e realizará testes de red teaming.
As suas funções incluirão também avaliações de conformidade e testes dos mecanismos de proteção dos modelos. Fica assim definida a área de atuação concreta da Accenture Faculty no âmbito da parceria.
Por que motivo esta abordagem ainda está em desenvolvimento
A Anthropic descreve a avaliação integrada como uma área em desenvolvimento. A empresa está a discutir projetos-piloto com a organização de avaliação sem fins lucrativos METR e outras organizações.
A Anthropic espera que, com o tempo, surjam normas comuns num ecossistema de avaliação mais amplo. A parceria surge num contexto de atenção crescente por parte de reguladores, investigadores e empresas à proteção de modelos mais poderosos.
As normas comuns são aqui apresentadas como uma direção esperada, não como um resultado já alcançado.
