Os agentes de IA modernos lidam razoavelmente bem com tarefas de escritório típicas, mas como verificar se estão prontos para trabalhar em um ambiente corporativo complexo — por exemplo, em telecomunicações? Aqui, testes genéricos não bastam: são necessários cenários realistas com documentos reais, bancos de dados e perguntas de usuários atípicas. Foi exatamente para isso que o Telco-GAIA foi criado — um benchmark multimodal bilíngue construído em torno de dados de uma operadora de telecomunicações real. Ele permite avaliar o quão bem um agente de IA consegue raciocinar, usar ferramentas e extrair informações de diferentes fontes.
Por que um benchmark assim é necessário
A maioria dos testes abertos para agentes de IA parece quebra-cabeças: ou são sintéticos demais, ou não exigem trabalho real com dados corporativos. O Telco-GAIA preenche essa lacuna. Suas perguntas foram elaboradas para que o agente enfrente tarefas familiares aos funcionários de operadoras de telecomunicações: encontrar informações em um site, cruzá-las com registros em um banco de dados, verificar detalhes em documentos de arquivo. Não se trata de testar a memória do modelo, mas sim a capacidade de trabalhar com múltiplas fontes e tirar conclusões.
O benchmark é bilíngue: todas as tarefas estão formuladas em inglês e árabe. Essa escolha não é casual — ela reflete as necessidades reais das operadoras na região, onde o árabe é o idioma de trabalho, mas grande parte da documentação interna permanece em inglês.
O que há dentro do Telco-GAIA
O benchmark inclui 100 tarefas de perguntas e respostas, cada uma verificada por um humano. É importante destacar que as tarefas não exigem uma resposta de uma palavra, mas uma série de etapas lógicas — em média, 4,2 etapas. Todas as perguntas são divididas por tipos de modalidade: texto, tabelas e gráficos. Isso significa que o modelo deve trabalhar com a mesma confiança tanto com um documento PDF quanto com uma imagem ou a estrutura de uma consulta SQL.
Para resolver a tarefa, o agente precisa acessar três fontes heterogêneas:
- Snapshot estático do site da operadora — páginas HTML, imagens e PDFs relacionados.
- Banco de dados relacional sintético — sua estrutura imita o sistema interno da operadora, mas os dados são seguros para publicação.
- Arquivos web externos — materiais adicionais que podem ser necessários para verificar fatos ou esclarecer o contexto.
Como a avaliação funciona
Um dos principais princípios do Telco-GAIA é a objetividade. Os autores abandonaram os modernos LLM-judges, onde um modelo avalia as respostas de outro. Em vez disso, é usada uma comparação normalizada e exata de strings, e todo o benchmark é empacotado em um ambiente Docker isolado. Isso significa que o resultado não depende de uma máquina específica ou versão de bibliotecas: execute o contêiner — obtenha os mesmos números. Essa abordagem torna a avaliação determinística e reproduzível, o que é crítico para pesquisas e comparação de diferentes modelos.
O que os testes mostraram
Os desenvolvedores executaram no benchmark um agente de referência com doze modelos diferentes — tanto comerciais quanto abertos. Os resultados foram modestos: até o modelo mais forte conseguiu apenas 71% das tarefas. Se o orçamento para chamadas de ferramentas for reduzido a um nível moderado, o resultado cai para cerca de 40%. Em outras palavras, o agente começa a "cortar caminhos" visivelmente: não dá passos extras, não verifica detalhes e erra com mais frequência em casos não padronizados.
Os modelos têm um desempenho especialmente fraco nas categorias que exigem o uso de informações visuais — imagens e gráficos. O resultado médio lá é inferior a 30%. Isso mostra que a compreensão de documentos com imagens ainda é um ponto crítico de crescimento para agentes de IA. No geral, o Telco-GAIA registra uma lacuna significativa entre as expectativas em relação a um agente corporativo e as capacidades reais dos LLMs modernos.
Conclusões
O Telco-GAIA não é apenas mais um benchmark para pesquisa. É uma ferramenta prática para empresas que estão construindo seus próprios agentes de IA e querem entender suas limitações antecipadamente. Graças ao ambiente reproduzível e às tarefas validadas, ele pode ser usado como um padrão interno de qualidade.
Além disso, a abordagem incorporada no Telco-GAIA é facilmente adaptável a outros domínios fechados — de bancos à logística. O formato oferece um modelo pronto: pegar dados reais, anonimizá-los cuidadosamente, dividi-los em fontes independentes e montar um ambiente onde o agente deve demonstrar suas habilidades de raciocínio. Essa é exatamente a mudança que o mercado precisa: de testes genéricos de conhecimento para a verificação de competências práticas em dados corporativos plausíveis.
