回复于:使用Ollama和LM Studio部署Qwen\deepseek等开源大模型的流程
› VFX大学 › VFX Pipeline | 数字创意工作流 › 使用Ollama和LM Studio部署Qwen\deepseek等开源大模型的流程 › 回复于:使用Ollama和LM Studio部署Qwen\deepseek等开源大模型的流程
2025-02-27 - 22:44 #128109

追光
参与者
方法一:使用 Ollama 部署模型
Ollama 是一个支持本地部署的 LLM 系统,它可以方便地部署多种开源模型。
1 安装 Ollama(适用于macOS、Linux和Windows)
通过官方渠道(例如官方网站或 Homebrew)安装 Ollama。进入官网下载ollama
也可以通过terminal输入命令安装:
brew install ollama
下载玩ollama后,双击图标启动后,需要权限(输入密码)即可。ollama是个服务端,没有界面,只需要启动即可。
2 启动后ollama后需要下载Ai模型。
启动ollama后,在Terminal输入:(根据内存大小选择其中一个命令行执行,电脑上内存大小要大于模型)
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:14b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
3 下载完模型后,就进入运行状态了,可以在terminal中直接进行对话。
要退出对话,需按下Command+D,重新在Terminal中进入对话:
ollama run deepseek-r1:版本号
4、安装一个嵌入模型:用于嵌入我们自己的文档知识库。
在Terminal中输入
ollama pull bge-m3
5、在terminal中对话也可以用,但没有个操作界面,也不方便保存对话记录,所以我们可以使用 Ollama 进行局域网调用,通过客户端配置模型接口,通过局域网进行调用,可以使用任何支持 HTTP 请求的客户端进行通信。这里我们使用Anything llm这个软件,在下文我们再来说。
备注:删除模型和删除ollama配置的方法
停止ollama服务:
ollama serve stop
# 移除服务文件(可能需要管理员权限)
sudo rm -rf /usr/local/bin/ollama
sudo rm -rf ~/.ollama