Otimização econômica de agentes de LLM para infraestrutura crítica: recursos sob medida para a tarefa, e não "para todos os casos"

27 agosto 202613 visualizações

Pesquisadores propuseram selecionar o acesso e as ferramentas do agente LLM de acordo com a tarefa específica, em vez de disponibilizar todas as capacidades de uma vez. Essa abordagem reduz o consumo de tokens mantendo a precisão e mostra que diferentes domínios têm seu próprio equilíbrio entre qualidade e custos.

Otimização econômica de agentes de LLM para infraestrutura crítica: recursos sob medida para a tarefa, e não "para todos os casos"

Campo: content Idioma-alvo: Português (pt)

Introdução: o problema do provisionamento excessivo

Os agentes de LLM modernos estão cada vez mais assumindo o controle de infraestruturas críticas — desde sistemas de refrigeração até redes elétricas. Mas, para que um agente funcione, ele precisa de um ambiente (harness) que define os dados disponíveis, as ferramentas e as ações permitidas. Na maioria dos sistemas, esse ambiente é o mesmo para todas as tarefas: conjunto completo de permissões, todas as informações disponíveis, todas as funções possíveis.

Essa abordagem parece universal, mas tem desvantagens significativas. Primeiro, há custos desnecessários: cada solicitação ao conjunto completo de ferramentas processa um grande volume de dados, gastando tokens e tempo. Segundo, o excesso de capacidades pode atrapalhar: o agente pode se "perder" em informações irrelevantes ou escolher a ferramenta errada. Terceiro, o gerenciamento de permissões e a segurança também sofrem quando o agente tem acesso a tudo de uma vez.

Abordagem: correspondência entre recursos da tarefa e capacidades

A ideia-chave dos pesquisadores é tratar a configuração do harness como uma tarefa de correspondência de recursos. Cada tarefa tem requisitos de dados, ferramentas e ações, e o ambiente tem capacidades oferecidas. É preciso encontrar a correspondência ideal, e não fornecer o conjunto máximo "para todos os casos".

Para isso, as tarefas que surgem no gerenciamento de infraestrutura crítica são classificadas com base na descrição matemática do sistema controlado. Por exemplo, a tarefa de controle de temperatura em refrigeração líquida difere da tarefa de balanceamento de carga em uma rede elétrica: elas têm parâmetros, escalas de tempo e riscos diferentes.

As configurações de harness, por sua vez, são classificadas pela quantidade e pelo tipo de informação que fornecem ao agente. Assim, forma-se um mapa dos possíveis "graus de liberdade" para cada categoria de tarefa.

De onde vêm os mapas de correspondência

Os mapas "tarefa — harness" são construídos de duas maneiras. A primeira é a análise da literatura especializada: o que os agentes normalmente usam ao resolver tarefas específicas? A segunda é a medição do comportamento real dos agentes em experimentos controlados: o que é realmente necessário e o que não afeta o resultado. Isso fornece uma base mais confiável do que suposições puramente teóricas.

Algoritmo de escalada controlada

Com base nesses mapas, os autores propõem o algoritmo map-guided escalation. O agente recebe primeiro o conjunto mínimo de permissões que corresponde à sua tarefa de acordo com o mapa. Após concluir o trabalho, o agente realiza uma autoverificação: os recursos foram suficientes? A tarefa foi resolvida corretamente? Se a autoverificação indicar falha, o harness é expandido — possivelmente para o próximo nível ou para o completo. Esse ciclo se repete até que a tarefa seja resolvida com sucesso ou o máximo seja atingido.

A beleza da abordagem é que ela não exige escolher configurações a priori para cada tarefa — a escalada ocorre automaticamente e somente quando necessário. Tarefas simples quase sempre são resolvidas com o conjunto mínimo, enquanto tarefas complexas recebem recursos adicionais conforme a necessidade.

Experimentos: o que os testes mostraram

Os pesquisadores testaram a abordagem em dois cenários. Na refrigeração líquida, a precisão do agente usando o novo método foi de 0.715, superior aos 0.652 do provisionamento completo. Além disso, o gasto de tokens foi quase pela metade — uma economia de 48%. Mais ainda, a precisão se mostrou comparável ao conhecido método de autocorreção Reflexion, mas sem seu custo elevado.

Nas redes elétricas, os resultados foram diferentes. O conjunto completo de ferramentas ainda oferece precisão máxima, portanto, abandoná-lo não é aconselhável se a qualidade for crítica. No entanto, o provisionamento baseado em mapas oferece alternativas mais baratas — para tarefas em que uma pequena redução de qualidade é aceitável em troca de economia de recursos.

Conclusões e recomendações práticas

A principal conclusão: não existe uma configuração única e correta para todos. Cada domínio tem sua própria fronteira de Pareto — o equilíbrio ideal entre precisão e custo. Para alguns domínios, configurações econômicas vencem; para outros, o conjunto completo permanece necessário.

Aos profissionais, recomenda-se:

  • construir e manter mapas de correspondência entre tarefas e harness;
  • começar com o conjunto mínimo suficiente, expandindo-o somente após uma autoverificação malsucedida;
  • tomar decisões sobre o ótimo não "em média", mas para o domínio específico.

Essa abordagem ajuda a economizar recursos sem perder qualidade onde a redundância não se justifica e a manter o conjunto completo nos casos em que ele é realmente necessário.

Perguntas mais frequentes

Otimização econômica de agentes de LLM para infraestrutura crítica: recursos sob medida para a tarefa, e não "para todos os casos"