"工具税":AI代理为何浪费托肯斯
对一个大语言模型的呼唤不仅涉及请求本身,而且涉及进入它的整个背景。 当一个代理连接到模型背景协议(MCP)服务器时,该模型在每个步骤上都会收到可用工具的完整目录:它们的名称,描述,参数,以及计划. 即使代理商从未使用过其中的大部分,处理它们的代币也已经用完了——在模型甚至决定调用任何东西之前. 在奥克塔语中,这种效果被称为"工具税",随着工具和用户数量的增长.
问题不只在于钱 特工看到了所有工具的定义,包括那些它无法访问的工具. 使用这种工具的尝试将在执行时被阻止,但在即时处理工具的符号已经消耗——它们不能还原. 因此,从安全角度和经济角度来说, 在信息到达模型之前,你需要切断过量。
Okta如何提议削减费用
Okta的解决方案基于基于身份限制工具列表. 管理员通过Okta仪表板为特定代理或背后的用户指定了哪些工具。 Okta只返回这个缩小的集合,这就是模型在每一步的提示. 此外,系统在实际通话前检查执行时间的许可。
从根本上说,这是在工具一级适用最少特权的原则。 代理商不应该知道资源,数据库,或者它没有明确许可的行动. 而且由于一个工具无法进入提示,所以没有符号花在它的计画上. 与之前的方法相比,在之前的方法中,访问只能局限于整个服务器,这缩小了服务器内单个工具的范围. 例如,随着Google Workspace,Slack,或内部MCP服务器的集成,一个代理可以被赋予只读访问电子邮件的权限,但不能被允许发送消息.
模型展示的内容和途径与网关的差异
奥克塔还没有发布来自真实部署的数据——这些估计是基于内部模型. 在公司内部,他们编集了企业工具目录,将其映射到OAuth范围,并将用户分为典型角色:从只读权利的支持专家到超级管理员. 在某些设想中,可见工具的数量减少了90%以上,其计划成本下降了大约相同的比例。 绝对值没有以符号或美元披露,因为结果在很大程度上取决于目录、权限分配、平均计划大小、请求量和定价 具体型号。
基于身份的定义应与网关成本控制区分开来。 网关可以按密钥,团队,或团体来限制预算,提供费率限制和路由,但在模型已经做出昂贵的决定后,它们便可以启动. 基于身份的许可预先确定一套可用的工具 ,在代理和用户层面,而不是整个组。 这不仅可以省下信物,还可以从代理的视线中删除一切它不应该接触到的东西.
看来,奥克塔认为这一机制是更广泛的安全代理环境战略的一部分。 在与客户进行试点项目后,实际效果会有多大,但想法本身——在支付费用之前从提示中去掉多余部分——看来是对抗膨胀的AI代理背景的合乎逻辑的步骤.
