O que é ShowTellArena
ShowTellArena é um protocolo de benchmark e um conjunto de dados público. Avalia a compreensão de processos empresariais após uma demonstração com comentários. A versão v1.0 inclui 50 tarefas de processos empresariais. O conjunto inclui gravações, capturas de ecrã, narração, sementes de fixtures e 502 perguntas. As tarefas abrangem finanças, recrutamento, compras, decisões relativas a clientes, inventário e logística.
Conclusão: o benchmark testa a aprendizagem de um processo específico, não conhecimentos gerais sobre negócios.
Como funciona o protocolo
O cenário do processo empresarial e o teste são fixos. Cada produto pode realizar a formação através da sua própria interface. Esta abordagem mantém as mesmas perguntas para todos os participantes. No entanto, as condições de formação dependem da interface do produto.
As perguntas avaliam quatro grupos de competências.
| Grupo de avaliação | O que é avaliado |
|---|---|
| Regras operacionais | Compreensão da ordem das ações no processo |
| Limites | Compreensão dos limites de aplicabilidade da regra |
| Exceções | Tratamento de casos atípicos |
| Erros em automações | Identificação de etapas incorretas nos cenários propostos |
Conclusão: o protocolo separa o conteúdo da avaliação da forma de formação, mas não uniformiza as interfaces dos produtos.
O que inclui o conjunto de dados
A versão v1.0 contém 50 tarefas. Cada tarefa descreve um processo empresarial. O conjunto de dados inclui gravações, capturas de ecrã, narração, sementes de fixtures e 502 perguntas. Os temas das tarefas abrangem seis áreas: finanças, recrutamento, compras, decisões relativas a clientes, inventário e logística.
Conclusão: o conjunto de dados fornece uma base pronta para avaliar a compreensão de processos em diferentes departamentos.
O que revelou o piloto
O artigo analisa 218 tentativas-piloto selecionadas. Estas abrangem 39 cenários de fluxos de trabalho. 28 cenários foram concluídos por todos os três sistemas avaliados. Os resultados revelam erros nas respostas e incapacidade de concluir a formação. O piloto selecionado não constitui uma comparação controlada dos produtos.
Conclusão: o piloto evidencia falhas pontuais, mas não estabelece uma classificação final dos sistemas.
Limitações
Os autores descrevem lacunas na validação do conjunto de dados. Assinalam a cobertura desigual do piloto, as exclusões e a proveniência das avaliações. O piloto não constitui uma comparação controlada. Estes fatores influenciam a interpretação dos resultados.
Conclusão: os resultados não podem ser extrapolados para todos os produtos, processos ou condições de formação.
Critério prático de seleção
Ao escolher uma ferramenta de IA para automatizar processos empresariais, é útil avaliar os limites e as exceções. Estes grupos de perguntas mostram se o sistema compreende os limites das regras. A capacidade de concluir a formação é outro indicador. Se o sistema não concluir a formação, isso limita a sua utilização. Também é importante ter em conta que o piloto não constitui uma comparação controlada.
Conclusão: ShowTellArena ajuda a avaliar a compreensão do processo, mas não substitui a avaliação da ferramenta por iniciativa própria.
