Apa itu ShowTellArena
ShowTellArena adalah protokol benchmark dan dataset publik. Protokol ini menilai pemahaman proses bisnis setelah demonstrasi yang disertai komentar. Rilis v1.0 mencakup 50 tugas proses bisnis. Dataset ini berisi rekaman, tangkapan layar, narasi, fixture seeds, dan 502 pertanyaan. Tugas-tugasnya mencakup keuangan, perekrutan, pengadaan, keputusan tentang pelanggan, inventaris, dan logistik.
Kesimpulan: benchmark ini menguji penguasaan proses tertentu, bukan pengetahuan umum tentang bisnis.
Cara kerja protokol
Skenario proses bisnis dan pengujiannya ditetapkan. Setiap produk diizinkan memberikan pelatihan melalui antarmukanya sendiri. Pendekatan ini memastikan semua peserta mendapat pertanyaan yang sama. Namun, kondisi pelatihan bergantung pada antarmuka produk.
Pertanyaan menguji empat kelompok keterampilan.
| Kelompok pengujian | Hal yang dinilai |
|---|---|
| Aturan operasional | Pemahaman tentang urutan langkah dalam proses |
| Batasan | Pemahaman tentang batas penerapan suatu aturan |
| Pengecualian | Penanganan kasus yang tidak biasa |
| Kesalahan dalam otomatisasi | Menemukan langkah yang tidak tepat dalam skenario yang diusulkan |
Kesimpulan: protokol ini memisahkan materi pengujian dari metode pelatihan, tetapi tidak menyamakan antarmuka produk.
Isi dataset
Rilis v1.0 berisi 50 tugas. Setiap tugas menjelaskan suatu proses bisnis. Dataset ini berisi rekaman, tangkapan layar, narasi, fixture seeds, dan 502 pertanyaan. Topik tugas mencakup enam bidang: keuangan, perekrutan, pengadaan, keputusan tentang pelanggan, inventaris, dan logistik.
Kesimpulan: dataset ini menyediakan landasan siap pakai untuk menguji pemahaman proses di berbagai departemen.
Hasil uji coba
Artikel ini menganalisis 218 percobaan uji coba yang dipilih. Percobaan tersebut mencakup 39 skenario alur kerja. Sebanyak 28 skenario dijalankan oleh ketiga sistem yang dinilai. Hasilnya menunjukkan kesalahan dalam jawaban dan ketidakmampuan menyelesaikan pelatihan. Uji coba yang dipilih bukanlah perbandingan produk yang terkontrol.
Kesimpulan: uji coba ini menunjukkan beberapa kegagalan, tetapi tidak memberikan peringkat akhir sistem.
Keterbatasan
Para penulis menjelaskan kekurangan dalam validasi dataset. Mereka mencatat cakupan uji coba yang tidak merata, pengecualian, dan asal-usul penilaian. Uji coba ini bukanlah perbandingan yang terkontrol. Faktor-faktor ini memengaruhi interpretasi hasil.
Kesimpulan: hasilnya tidak dapat digeneralisasi untuk semua produk, proses, atau kondisi pelatihan.
Kriteria praktis untuk memilih
Saat memilih alat AI untuk otomatisasi proses bisnis, ada baiknya memeriksa batasan dan pengecualian. Kelompok pertanyaan ini menunjukkan apakah sistem memahami batas penerapan aturan. Indikator lainnya adalah kemampuan menyelesaikan pelatihan. Jika sistem tidak menyelesaikan pelatihan, hal ini membatasi penggunaannya. Penting juga untuk mempertimbangkan bahwa uji coba ini bukanlah perbandingan yang terkontrol.
Kesimpulan: ShowTellArena membantu menguji pemahaman proses, tetapi tidak menggantikan pengujian alat secara mandiri.
