"Pajak Alat":
Setiap panggilan ke model bahasa besar tidak hanya melibatkan permintaan itu sendiri, tetapi juga seluruh konteks yang masuk ke dalamnya. Ketika seorang agen terhubung ke server Model Context Protocol (MCP), model ini menerima katalog lengkap dari perangkat yang tersedia pada setiap langkah: nama mereka, deskripsi, parameter, dan skema. Bahkan jika agen tidak pernah menggunakan sebagian besar dari mereka, token untuk memproses mereka sudah dihabiskan - sebelum model bahkan memutuskan untuk memanggil apa pun. Di Okta, efek ini disebut pajak alat, dan tumbuh dengan jumlah alat dan pengguna.
Masalahnya bukan hanya tentang uang. Agen melihat definisi dari semua alat, termasuk mereka tidak memiliki akses ke. Sebuah upaya untuk menggunakan alat tersebut akan diblokir pada waktu eksekusi, tetapi token untuk memprosesnya dalam prompt telah dikonsumsi - mereka tidak dapat dikembalikan. Jadi dari baik keamanan dan sudut pandang ekonomi, Anda perlu memotong kelebihan sebelum informasi mencapai model.
Bagaimana Okta Proposes untuk Cut Costs
Solusi Okta dibangun pada membatasi daftar alat berdasarkan identitas. Alih-alih memberikan agen seluruh katalog server MCP, administrator menentukan melalui dashboard Okta yang perangkat diperbolehkan untuk agen tertentu atau pengguna di belakangnya. Okta kembali hanya ini set berkurang, dan itulah yang masuk ke model 's prompt di setiap langkah. Selain itu, sistem pemeriksaan hak akses pada waktu eksekusi, tepat sebelum panggilan yang sebenarnya.
Pada dasarnya, ini menerapkan prinsip hak istimewa paling sedikit pada tingkat alat. Agen tidak boleh tahu tentang sumber daya, database, atau tindakan itu tidak memiliki izin eksplisit untuk. Dan karena sebuah alat tidak membuatnya menjadi prompt, tidak ada token yang dihabiskan untuk skema nya. Dibandingkan dengan pendekatan sebelumnya, di mana akses hanya bisa dibatasi ke seluruh server, ini mempersempit lingkup ke perangkat individu dalam server. Sebagai contoh, dengan integrasinya Google Workspace, Slack, atau server MCP internal, seorang agen dapat diberikan akses baca-saja ke email tapi tidak diizinkan untuk mengirim pesan.
Apa Modeling Menunjukkan dan Bagaimana Pendekatan Differs dari Gateways
Okta belum merilis data dari penyebaran nyata - perkiraan didasarkan pada model internal. Di dalam perusahaan, mereka mengumpulkan katalog alat-alat perusahaan, memetakannya ke lingkup OAuth, dan membagi pengguna menjadi peran-peran biasa: dari spesialis dukungan dengan hak baca hanya untuk superadmin. Dalam beberapa skenario, jumlah alat yang terlihat berkurang lebih dari 90%, dan biaya skema mereka dijatuhkan kira-kira proporsi yang sama. Nilai absolut dalam token atau dolar tidak diungkapkan, karena hasil yang sangat tergantung pada katalog, distribusi, ukuran skema rata-rata, permintaan volume, dan harga dari model spesifik.
Pencitraan berdasarkan identitas harus dibedakan dari kontrol biaya gerbang. Gateways dapat membatasi anggaran oleh kunci, tim, atau kelompok, dan menyediakan batasan dan routing, tetapi mereka menendang setelah model telah membuat keputusan yang mahal. Hak berdasarkan identitas menentukan perangkat yang sangat tersedia di muka, pada agen dan tingkat pengguna, bukan untuk sebuah kelompok secara keseluruhan. Ini tidak hanya menyimpan token tetapi juga menghapus dari pandangan agen segala sesuatu yang seharusnya tidak memiliki akses ke.
Tampaknya Okta melihat mekanisme ini sebagai bagian dari strategi yang lebih luas untuk lingkungan agentic yang aman. Seberapa efektif itu akan dalam praktek akan menjadi jelas setelah proyek pilot dengan klien, tetapi gagasan itu sendiri - menghapus kelebihan dari prompt sebelum Anda membayar untuk itu - tampak seperti langkah logis dalam memerangi berbengkak agen AI konteks.
