Что такое ShowTellArena
ShowTellArena — это протокол бенчмарка и публичный датасет. Он оценивает понимание деловых процессов после показа с комментариями. Релиз v1.0 включает 50 задач бизнес-процессов. В набор входят записи, скриншоты, narration, fixture seeds и 502 вопроса. Задачи покрывают финансы, найм, закупки, решения о клиентах, инвентаризацию и логистику.
Вывод: бенчмарк проверяет усвоение конкретного процесса, а не общие знания о бизнесе.
Как устроен протокол
Сценарий бизнес-процесса и тест фиксированы. Каждому продукту разрешено проводить обучение через собственный интерфейс. Такой подход сохраняет одинаковые вопросы для всех участников. При этом условия обучения зависят от интерфейса продукта.
Вопросы проверяют четыре группы навыков.
| Группа проверки | Что оценивают |
|---|---|
| Операционные правила | Понимание порядка действий в процессе |
| Границы | Понимание пределов применимости правила |
| Исключения | Обработка нестандартных случаев |
| Ошибки в автоматизациях | Поиск некорректных шагов в предложенных сценариях |
Вывод: протокол отделяет содержание проверки от способа обучения, но не уравнивает интерфейсы продуктов.
Что входит в датасет
Релиз v1.0 содержит 50 задач. Каждая задача описывает бизнес-процесс. В датасет входят записи, скриншоты, narration, fixture seeds и 502 вопроса. Тематика задач охватывает шесть направлений: финансы, найм, закупки, решения о клиентах, инвентаризацию и логистику.
Вывод: датасет даёт готовую основу для проверки понимания процессов в разных отделах.
Что показал пилот
В статье проанализированы 218 отобранных пилотных попыток. Они охватывают 39 сценариев рабочих процессов. 28 сценариев прошли все три оцениваемые системы. Результаты выявляют ошибки в ответах и неспособность завершить обучение. Выбранный пилот не является контролируемым сравнением продуктов.
Вывод: пилот показывает отдельные сбои, но не даёт итогового рейтинга систем.
Ограничения
Авторы описывают пробелы в проверке датасета. Они отмечают неравномерный охват пилота, исключения и происхождение оценок. Пилот не является контролируемым сравнением. Эти факторы влияют на интерпретацию результатов.
Вывод: результаты нельзя переносить на все продукты, процессы или условия обучения.
Практический критерий выбора
При выборе AI-инструмента для автоматизации деловых процессов полезно смотреть на проверку границ и исключений. Эти группы вопросов показывают, понимает ли система пределы правил. Отдельный сигнал — способность завершить обучение. Если система не завершает обучение, это ограничивает её применение. Также важно учитывать, что пилот не является контролируемым сравнением.
Вывод: ShowTellArena помогает проверить понимание процесса, но не заменяет собственную проверку инструмента.
