37 materiais
Um novo benchmark oferece 100 cenários de perguntas e respostas em inglês e árabe, construídos em torno de dados reais do operador: site, banco SQL e arquivo web. Testes em 12 modelos mostraram que até o melhor resolve apenas 71% das tarefas, e em categorias visuais o resultado cai abaixo de 30%.
Pesquisadores propuseram uma abordagem que avalia modelos não pelo volume de conhecimento nem isoladamente da realidade, mas por meio de tarefas que exigem simultaneamente raciocínio, controle de contexto e trabalho com restrições. O benchmark incluiu 820 tarefas autorais, e seus autores também estudaram como as configurações de "reflexão" e outros parâmetros dos modelos influenciam o resultado.
Pesquisadores identificaram um grave desequilíbrio interlinguístico na segurança de grandes modelos de linguagem: seu alinhamento é configurado principalmente para o inglês, portanto, em outros idiomas, os modelos contornam mais facilmente as restrições e reproduzem preconceitos prejudiciais. O novo benchmark INCLUDE, testado em dez modelos e seis idiomas indianos, mostrou que o nível de viés varia consideravelmente dependendo do idioma e do tipo de modelo.
Os autores propuseram um protótipo de sistema de apoio à decisão que analisa seis indicadores dos diários de voo e os converte em um índice metamórfico do estado das hélices. Em um experimento retrospectivo com dados do DronePropA, o sistema separou corretamente o caso saudável de três níveis de falha e indicou quando é necessária inspeção ou manutenção.
O chefe da Stripe chama o acordo de um passo em direção à singularidade, mas o motivo real é bem mais terreno: por meio do roteador de modelos, a empresa ganha acesso aos orçamentos de IA dos desenvolvedores e a um novo centro de fluxos de caixa.
O autor propõe uma auditoria sem limiar de modelos de pesos abertos, com base em um par de sinais complementares dentro do artefato. Em testes com 273 checkpoints, o método atinge AUROC 0,95, mas permanece como uma triagem, e não como uma proteção contra contornos deliberados.
Os pesquisadores reuniram mais de 11 mil testes baseados em propriedades de projetos Python reais e os transformaram automaticamente em milhares de especificações formais em Lean 4. O benchmark aberto resultante permite avaliar o quão bem modelos e agentes lidam com a verificação de código real.
Sindicato de comissários de bordo e defensores de direitos humanos estão preocupados com o acordo pelo qual o Google adquiriu em leilão um gigantesco conjunto de documentos de trabalho da Spirit Airlines — de dados salariais a correspondências corporativas. Eles temem que a desidentificação não proteja os funcionários da reexposição de suas informações pessoais quando os dados forem usados para treinar IA.
Com o aumento da autonomia dos agentes de LLM na ciência de dados, as interfaces padrão não oferecem uma visão clara do raciocínio do sistema nem a possibilidade de intervenção em tempo hábil. O AdaLens visualiza o processo analítico como uma linha narrativa: planos, progresso e resultados intermediários ficam visíveis, e o analista pode redirecionar o andamento do trabalho.
