使用 LM Studio 部署模型的详细步骤：支持mlx与gguf
方法二、使用 LM Studio 部署模型的详细步骤
LM Studio 提供了一个图形化界面，使得部署和管理本地 LLM 模型变得更加简单。以下是详细的步骤：
1. 安装 LM Studio
首先，确保你的 macOS 上已经安装了 LM Studio。如果没有安装，可以按照以下步骤进行安装：
1.访问 LM Studio 官方网站（或 GitHub 页）下载适用于 macOS 的版本。
2.下载完成后，打开 .dmg 文件并将 LM Studio 拖动到 Applications 文件夹。
3.打开 LM Studio，如果 macOS 提示安全警告，点击 打开 继续。
3. 下载并导入模型到 LM Studio
Screenshot
如果是 DeepSeek 等基于 Hugging Face 的模型，你可以从lm studio的搜索图标选择模型，并在右下角点击下载，即可下载模型到指定目录，之后在 LM Studio顶部选择模型加载即可。导入时，LM Studio 会自动检测模型的结构和配置。如果是常见的开源模型，它都能够自动识别。
Hugging Face需要外网环境才能下载，在中国区域可以使用hf-mirror.com进行下载，如果没有外网环境，我们可以使用atom或者其他代码编辑工具批量替换lm studio中的文件：
huggingface.co
替换为
hf-mirror.com3. 配置 LM Studio 环境
打开 LM Studio 后，你需要进行一些基本的配置来确保模型能够正确加载和运行：
1.设置内存和线程数：
•LM Studio 默认会根据系统配置自动调整内存和线程数，但你可以根据需要调整设置。
•点击 Preferences（偏好设置）进行内存分配和 CPU 线程的调整，以确保模型能够高效运行。
配置模型参数
1.在开发者栏选择推理引擎：根据你导入的模型类型，选择合适的推理引擎。有些模型可能需要 CUDA 支持（如果使用 GPU），而其他模型可能仅支持 CPU。
2.设置输入和输出格式：根据你的任务需求设置输入和输出格式。例如，对于语言模型，输入可能是文本，输出是生成的文本。
3.内存和并行设置：如果你的模型非常大，可以在此处设置更多的内存分配或者并行化处理。调整设置以确保高效运行。
如果你只想使用本地人工智能进行一些翻译、写作、代码分析这些，那么到这步就可以直接在lm studio的对话窗口中使用了。如果还想在局域网中使用，那我们还需要继续配置
将模型设置为局域网服务
Screenshot
1.配置网络端口：
如果希望其他设备在局域网中调用此模型，确保在 LM Studio 中设置正确的端口号。
可以在lm studio左侧的开发者页面的顶部找到相关的网络设置选项，例如 “Network Settings” 或 “API Settings”，然后配置模型监听的 IP 地址和端口。
2.开启服务器模式：当lm studio软件关闭时，仍在后台提供网络运行模型的服务（相当于ollama的作用）
在 LM Studio 中点击底部的设置 勾选：Local LLM Service (headless)。
默认情况下，关闭软件就会同步关闭模型服务，而启动这一项后使用LM Studio的大型语言模型（LLM）服务器而不必一直保持LM Studio应用程序打开的问题
3.防火墙设置：
确保 macOS 的防火墙允许外部设备访问模型服务。在 “System Preferences” → “Security & Privacy” → “Firewall” 中检查防火墙设置，并允许 LM Studio 使用指定端口。
使用 LM Studio 部署 DeepSeek 等开源模型非常方便，特别适合不想手动操作命令行的用户。LM Studio 提供了简洁的图形界面、灵活的配置选项和推理测试功能，帮助我们快速部署和调试模型。一旦模型启动并配置好，局域网内的其他用户也可以进行远程调用，实现在其他设备上进行交互。
工信部备