Qu’est-ce que ShowTellArena
ShowTellArena est un protocole de benchmark et un jeu de données public. Il évalue la compréhension des processus métier à partir d’une démonstration commentée. La version v1.0 comprend 50 tâches portant sur des processus métier. Le jeu de données contient des enregistrements, des captures d’écran, des narrations, des graines de fixtures et 502 questions. Les tâches couvrent la finance, le recrutement, les achats, les décisions concernant les clients, la gestion des stocks et la logistique.
Conclusion : le benchmark évalue l’assimilation d’un processus précis, et non les connaissances générales en gestion.
Fonctionnement du protocole
Le scénario de processus métier et le test sont fixes. Chaque produit peut assurer la formation par le biais de sa propre interface. Cette approche garantit que les mêmes questions sont posées à tous les participants. En revanche, les conditions de formation dépendent de l’interface du produit.
Les questions évaluent quatre groupes de compétences.
| Groupe d’évaluation | Ce qui est évalué |
|---|---|
| Règles opérationnelles | Compréhension de l’ordre des étapes du processus |
| Limites | Compréhension du champ d’application d’une règle |
| Exceptions | Gestion des cas inhabituels |
| Erreurs d’automatisation | Repérage des étapes incorrectes dans les scénarios proposés |
Conclusion : le protocole distingue le contenu de l’évaluation de la méthode de formation, mais ne met pas les interfaces des produits sur un pied d’égalité.
Contenu du jeu de données
La version v1.0 contient 50 tâches. Chaque tâche décrit un processus métier. Le jeu de données contient des enregistrements, des captures d’écran, des narrations, des graines de fixtures et 502 questions. Les tâches couvrent six domaines : la finance, le recrutement, les achats, les décisions concernant les clients, la gestion des stocks et la logistique.
Conclusion : le jeu de données fournit une base prête à l’emploi pour évaluer la compréhension des processus dans différents services.
Résultats du projet pilote
L’article analyse 218 tentatives sélectionnées lors du projet pilote. Elles couvrent 39 scénarios de processus de travail. 28 scénarios ont été réalisés par les trois systèmes évalués. Les résultats mettent en évidence des erreurs dans les réponses et une incapacité à terminer la formation. Le projet pilote sélectionné ne constitue pas une comparaison contrôlée des produits.
Conclusion : le projet pilote révèle des défaillances isolées, mais ne fournit pas de classement définitif des systèmes.
Limites
Les auteurs décrivent les lacunes dans la validation du jeu de données. Ils soulignent la couverture inégale du projet pilote, les exclusions et la provenance des évaluations. Le projet pilote ne constitue pas une comparaison contrôlée. Ces facteurs influent sur l’interprétation des résultats.
Conclusion : les résultats ne peuvent pas être généralisés à tous les produits, processus ou contextes de formation.
Critère pratique de sélection
Lors du choix d’un outil d’IA pour automatiser des processus métier, il est utile d’examiner la vérification des limites et des exceptions. Ces groupes de questions indiquent si le système comprend les limites des règles. La capacité à terminer la formation constitue un autre indicateur. Si le système ne termine pas la formation, cela limite son utilisation. Il importe également de tenir compte du fait que le projet pilote ne constitue pas une comparaison contrôlée.
Conclusion : ShowTellArena aide à évaluer la compréhension d’un processus, mais ne remplace pas l’évaluation de l’outil par vos propres soins.
