回复于:使用Ollama和LM Studio部署Qwen\deepseek等开源大模型的流程

VFX大学 VFX Pipeline | 数字创意工作流 使用Ollama和LM Studio部署Qwen\deepseek等开源大模型的流程 回复于:使用Ollama和LM Studio部署Qwen\deepseek等开源大模型的流程

#128109

追光
参与者

方法一:使用 Ollama 部署模型

Ollama 是一个支持本地部署的 LLM 系统,它可以方便地部署多种开源模型。

1 安装 Ollama(适用于macOS、Linux和Windows)
通过官方渠道(例如官方网站或 Homebrew)安装 Ollama。进入官网下载ollama
也可以通过terminal输入命令安装:

brew install ollama

下载玩ollama后,双击图标启动后,需要权限(输入密码)即可。ollama是个服务端,没有界面,只需要启动即可。

2 启动后ollama后需要下载Ai模型。

启动ollama后,在Terminal输入:(根据内存大小选择其中一个命令行执行,电脑上内存大小要大于模型)

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:14b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b

3 下载完模型后,就进入运行状态了,可以在terminal中直接进行对话。

要退出对话,需按下Command+D,重新在Terminal中进入对话:

ollama run deepseek-r1:版本号

4、安装一个嵌入模型:用于嵌入我们自己的文档知识库。

在Terminal中输入

ollama pull bge-m3

5、在terminal中对话也可以用,但没有个操作界面,也不方便保存对话记录,所以我们可以使用 Ollama 进行局域网调用,通过客户端配置模型接口,通过局域网进行调用,可以使用任何支持 HTTP 请求的客户端进行通信。这里我们使用Anything llm这个软件,在下文我们再来说。


备注:删除模型和删除ollama配置的方法
停止ollama服务:

ollama serve stop

# 移除服务文件(可能需要管理员权限)

sudo rm -rf /usr/local/bin/ollama
sudo rm -rf ~/.ollama