本地运行 AI 智能体:Perplexity 和 NVIDIA 押注设备端数据处理

21 九月 202616 视图

多家公司推出了 Portable Computer——一个让智能体、工具和代码执行都在用户自有硬件上运行的环境,只有在用户明确同意后才会将数据传输至云端。目前该方案面向搭载 NVIDIA GPU(显存不低于 24 GB VRAM)的 Linux 系统,包括 DGX Spark,而 Windows 支持则计划在更晚的时间推出。

本地运行 AI 智能体:Perplexity 和 NVIDIA 押注设备端数据处理

Perplexity 和 NVIDIA 发布了什么

Perplexity 和 NVIDIA 推出了 Portable Computer。这是一款用于在设备上本地运行 AI 智能体的工具。

  • Portable Computer 直接在设备上运行 AI 智能体。
  • 该工具让用户对数据拥有更大的控制权。
  • 它需要强大的 NVIDIA 硬件并支持 Linux。
  • 便携性使其无需依赖云服务即可工作。
  • Windows 版本有望推出。

此次合作反映了本地 AI 处理的趋势。结论:Portable Computer 适合本地工作,但依赖硬件。

本地处理如何保护数据

本地运行减少了对将数据发送到云端的需要。如果任务不需要云服务,信息将保留在设备上。

  • 设备执行代码并使用各种工具。
  • 应用会请求上传到云端的权限。
  • 用户选择是否上传数据。
  • 该方法适用于个人和专业数据。

结论:本地处理让用户掌控数据,但并不能取代云端。

硬件和平台要求

Portable Computer 需要 Linux。需要配备至少 24GB VRAM 的 NVIDIA GPU。

  • 这是该工具的主要限制。
  • 该工具适合专业人士和高端系统用户。
  • 目前 Portable Computer 在 NVIDIA DGX Spark 上运行。
  • 它很快将在 NVIDIA RTX GPU PC 上运行。
  • Windows 支持有望推出。

结论:运行它需要先进的 NVIDIA 硬件。该工具面向拥有能够运行高要求模型硬件的用户。

模型和访问条件

系统支持多个模型。首个版本面向 NVIDIA DGX Spark 上的 Pro 和 Max 订阅用户开放。

  • Qwen 3.8 27B
  • PPLX 27B
  • NVIDIA Nemotron 3.5 Lightning 将出现在模型选择中。

结论:模型选择已经存在,但访问受订阅和硬件限制。

本地运行还是云端:选择标准

比较本地和云端方法有助于选择策略。Portable Computer 在设备上运行。

标准Portable Computer传统云端 AI 服务
任务执行位置在用户设备上在云服务器上
数据控制用户选择是否上传到云端云服务要求上传数据
硬件要求Linux、NVIDIA GPU、至少 24GB VRAM适合没有强大 NVIDIA 硬件的用户
可用性NVIDIA DGX Spark 上的 Pro 和 Max 订阅用户;最初为 Linux对没有强大硬件的用户更广泛可用

结论:对于机密文件和强大硬件,Portable Computer 是合适之选。对于其他情况,云端 AI 服务更实用。

常问问题

本地运行 AI 智能体:Perplexity 和 NVIDIA 押注设备端数据处理