博客 ·
永不离开您电脑的 AI:Gemini Nano 和 Ollama
合同、病历、敏感邮件?借助 Gemini Nano 或 Ollama,Weightless AI 直接在您自己的电脑上运行 AI。没有任何内容会发送到互联网,也无需创建任何密钥。
当您请 AI 修改一封邮件时,文本通常会被发送到某家在线服务商。如果只是一张购物清单,这无关紧要。但如果是一份合同、一张工资单或一条非常私人的消息,您大概更希望文本留在自己手里。
这正是 Weightless AI 中本地 AI 的作用:模型在您的电脑上运行,您的文本永远不会离开您的设备。
两种本地 AI,任您选择
在助手中(Alt + W),点击窗口顶部的引擎选择器:引擎分为两组,“本地(私密)”和“在线”。第一组包括:
- Gemini Nano,Google Chrome 内置的 AI:除了模型本身,无需安装任何东西,没有密钥,也不用注册账户;
- Ollama,一款安装在您电脑上的免费开源软件,可以运行开放模型(Llama、Mistral、Gemma……)。
而且,由于每个对话标签页都保留自己的引擎,您可以在一个标签页中用在线 Gemini 做搜索,同时在下一个标签页中用 Nano 处理机密文本。
Gemini Nano:Chrome 里现成的 AI
Gemini Nano 无需密钥,也无需联网。您需要:
- 电脑版 Google Chrome 148 或更高版本(装有 Google Chrome 的 Windows、Mac 或 Linux;Chromebook 仅限性能强劲的新机型,普通 Chromebook 不支持;手机不支持);
- 约 20 GB 可用磁盘空间,模型本身大小为 2.7 至 4 GB。
在助手的设置中,点击 “下载模型” 按钮即可开始下载,只需下载一次。之后,即使离线,Nano 也能作答。
小贴士:如果模型连续 30 天未被使用,或者磁盘可用空间低于 5 GB,Chrome 会自动将其删除。届时重新下载即可。
Nano 是一个小模型:回答更短,能处理的文本也更短(约 4,000 个页面字符),不能搜索网络,也不能读取 PDF。不过,用来修改、改写或翻译一条消息,已经绰绰有余。
Ollama:属于您自己的 AI 服务器
Ollama 可以安装在 Windows、Mac、Linux 上,甚至可以安装在 Chromebook 的 Linux 环境中。Weightless AI 会在常用地址(http://localhost:11434)自动检测到它,并选择一个已安装的模型。
只有一点需要注意:要允许扩展程序与它通信。助手内置的常见问题解答为每个系统提供了确切的命令,例如在 Mac 和 Windows 上:
OLLAMA_ORIGINS=chrome-extension://*
在 Chromebook 上,“Ollama 地址(本地)” 设置中要填写的地址是 http://penguin.linux.test:11434,常见问题解答还提供了一条现成的命令,可直接粘贴到 Linux 终端中。
使用 Ollama,您可以处理比 Nano 更长的文本(约 8,000 个页面字符),具体取决于您电脑的性能。
什么时候选择本地 AI?
- 合同、健康、人力资源、客户数据:本地 AI(Nano 或 Ollama);
- 日常邮件:两者皆可,看您的喜好;
- 时事问题、需要附带来源的搜索:在线 Gemini;
- 需要总结的长篇 PDF:在线 Gemini。
那 Weightless AI 呢?
无论您选择在线引擎还是本地引擎,Weightless AI 都没有服务器:我们根本没有任何地方可以接收您的文本。使用本地 AI 时,整个链条短到不能再短:您的键盘、您的电脑,仅此而已。