当前位置: 首页> 校园网> 正文

Phi-3 WebGPU:允许用户直接在浏览器本地运行Phi-3模型

  Phi-3 WebGPU:允许用户直接在浏览器本地运行Phi-3模型

Phi-3 WebGPU:允许用户直接在浏览器本地运行Phi-3模型

  Phi-3WebGPU是一款由Xenova提供的AI模型,允许用户在浏览器中本地运行AI模型,结合了Transformers.js和onnxruntime-web,提供私密且高效的AI体验。用户发现英文回答效果满意,中文回答存在幻觉现象。首次运行需下载2.3GB模型文件,提高工作效率,确保数据处理私密性。

  亮点提要:

  本地数据处理: 确保用户隐私安全

  WebGPU加速: 处理速度超过20t/s

  模型缓存: 避免重复下载