使用 Anything LLM 进行局域网调用模型，并按知识库回复

三、使用 Anything LLM 进行局域网调用模型，并按照知识库回复

Anything LLM 是一个可视化的用于模型调用的工具，支持通过局域网进行高效的数据交互，并提供简洁的和模型对话的窗口，还可以上传自己的文档作为知识库，并可以选择对话方式：与Ai模型交流、仅仅使用ai模型中嵌入的知识库作为回复（适合定向领域回复）。

1、安装 Anything LLM
安装 Anything LLM 工具，安装好软件后打开软件，跳过界面引导，点击左下角的设置按钮进入设置。

2、配置 Anything LLM调用模型

安装完 Anything LLM 后，需要配置它与本地部署的模型进行连接。使用 Ollama 或 LM Studio 部署了模型后， Anything LLM 可以让用户通过配置文件来设置本地服务器地址、端口、模型信息等，就可与 Ollama 或 LM Studio 部署的模型进行交互。

anything-llm-model-choose

进入设置界面—llm人工智能服务商—-llm首选项–点击即可选择服务端，如使用 Ollama 或 LM Studio 部署了模型，则选择 Ollama 或 LM Studio，然后在下方的base url中检查链接是否正确：

LM Studio Base URL（默认地址端口）：http://127.0.0.1:1234/v1 或者http://服务器ip：端口号/v1

Ollama Base URL（默认地址端口）：http://127.0.0.1:11434

3、配置嵌入模型：

anything-llm-choose-embed-model

进入设置界面—llm人工智能服务商—嵌入首选项：选择Ollama 或 LM Studio。

bge-m3 或者 embed-text-v1.5，选择在ollama或者lm studio中安装的嵌入模型。

保存配置后，在左上角新建工作区，就可以进行对话了。

4、上传自建知识库

点击工作区上方的上传按钮，在弹出的界面上即可上传文件 docs、pdf、以及php等文件，然后将上传的文件添加到工作区、保存即可。

5、设置仅使用上传的文件作为回复

点击工作区旁边的设置按钮—聊天设置—选择查询（默认是聊天），然后在下方update work area即可。这样在对话界面中，仅让Ai智能通过我们上传的资料作为数据库回复。