Update nexus: fix conflicts and sync local changes
This commit is contained in:
Shen Wei
@@ -1,86 +1,86 @@
|
||||
---
|
||||
title: "详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决 1"
|
||||
type: source
|
||||
tags: []
|
||||
date: 2026-04-23
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[AI/详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决 1.md]]
|
||||
|
||||
## Summary（用中文描述）
|
||||
- 核心主题：如何在本地机器上离线部署和运行大语言模型（LLM），使用 Ollama + DeepSeek + Open WebUI 实现私有化 AI 服务
|
||||
- 问题域：国内网络环境下 LLM 部署面临的下载慢、无 API Key、数据隐私等挑战
|
||||
- 方法/机制：
|
||||
- Ollama：跨平台（macOS/Windows/Linux/Docker）本地 LLM 运行框架
|
||||
- DeepSeek-R1 系列蒸馏模型：1.5B~671B 参数多个版本
|
||||
- Open WebUI：基于浏览器的开源 Web 界面，集成 Ollama API
|
||||
- 离线方案：通过第三方（魔塔社区/HuggingFace Mirror/夸克网盘）下载模型文件后用 `ollama create` 导入
|
||||
- 局域网访问：通过环境变量 OLLAMA_HOST=0.0.0.0 配置
|
||||
- API 安全：通过 nginx 反向代理 + Bearer Token 保护云服务器部署
|
||||
- 结论/价值：提供完整的国内环境本地 LLM 部署实操指南，覆盖安装、下载、调优、安全配置的完整闭环
|
||||
|
||||
## Key Claims（用中文描述）
|
||||
- Ollama 提供简洁的跨平台 LLM 部署方案，4GB RAM 跑 1.5B 模型，32GB RAM 跑 33B 模型
|
||||
- DeepSeek-R1:32b 及以下模型可在 Apple M2 Max Mac Studio 上流畅运行
|
||||
- 模型下载速度开始快后变慢可通过间隔重启下载进程解决
|
||||
- Docker 部署 Ollama 可实现 GPU 加速（`--gpus=all`）
|
||||
- 云服务器部署必须配置 API KEY 保护（nginx + Bearer Token）防止被恶意调用
|
||||
- Open WebUI 可通过 docker-compose 一键部署，集成 DeepSeek-R1:8b 和 bge-m3 嵌入模型
|
||||
|
||||
## Key Quotes
|
||||
> "你应该至少有 4 GB 的 RAM 来运行 1.5B 模型，至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，以及 32 GB 的 RAM 来运行 33B 模型。" — Ollama 硬件要求参考
|
||||
> "假若需要本地私有化部署具有实用性的模型，应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行，但生成速度很慢，仅适用于本地开发调试体验一下。" — 实用部署建议
|
||||
> "如果你是在云服务器等拥有公网IP的环境上部署，请谨慎做此设置（OLLAMA_HOST=0.0.0.0），否则可能导致 API 服务被恶意调用。" — 云服务器安全警告
|
||||
|
||||
## Key Concepts
|
||||
- [[Local LLM Deployment]]：在本地机器上离线运行大语言模型，确保数据隐私，无需 API Key 费用
|
||||
- [[Ollama]]：开源本地 LLM 运行框架，提供简单命令行和 API 接口
|
||||
- [[Open WebUI]]：开源 Web 界面工具，为 Ollama 等 LLM 提供图形化交互体验
|
||||
- [[RAG]]：检索增强生成，Open WebUI 使用 bge-m3 嵌入模型构建本地知识库
|
||||
- [[Docker LLM Deployment]]：通过 Docker 容器化部署 Ollama 和 Open WebUI
|
||||
- [[Model Quantization]]：GGUF 格式量化模型，通过 `ollama create` 导入本地文件
|
||||
|
||||
## Key Entities
|
||||
- [[Ollama]]：开源本地 LLM 框架，支持 macOS/Windows/Linux/Docker，官方站 ollama.com，中文站 ollama.org.cn
|
||||
- [[DeepSeek]]：深度求索 AI 公司，发布 DeepSeek-R1 系列开源推理模型（1.5B~671B），ollama 官方模型库支持
|
||||
- [[Open WebUI]]：开源大模型 Web 界面项目（ghcr.io/open-webui/open-webui），通过 Ollama API 集成多种 LLM，支持 RAG 知识库和联网搜索
|
||||
- [[HuggingFace Mirror]]（hf-mirror.com）：HuggingFace 国内镜像站，解决模型下载速度问题
|
||||
- [[魔塔社区]]（modelscope.cn）：阿里达摩院模型库，ollama 支持直接从魔塔下载模型
|
||||
- [[夸克网盘]]：第三方离线模型下载渠道，deepseek-r1 模型夸克链接共享
|
||||
|
||||
## Connections
|
||||
- [[Ollama]] ← runs ← [[DeepSeek]]
|
||||
- [[Ollama]] ← hosts ← [[Open WebUI]]
|
||||
- [[Open WebUI]] ← uses ← [[RAG]]（bge-m3 嵌入模型）
|
||||
- [[Local LLM Deployment]] ← solved_by ← [[Ollama]] + [[DeepSeek]] + [[Open WebUI]]
|
||||
- [[Docker LLM Deployment]] ← extends ← [[Docker]]（Ollama 的 Docker 部署模式）
|
||||
|
||||
## Contradictions
|
||||
- 无已知冲突页面
|
||||
|
||||
## DeepSeek-R1 模型规格参考
|
||||
|
||||
| 参数版本 | 模型大小 | 建议内存 | 建议显存 | 特点 |
|
||||
|---------|---------|---------|---------|------|
|
||||
| deepseek-r1:1.5b | 1.1GB | 4~8G | 4GB | 轻量级，速度快 |
|
||||
| deepseek-r1:7b | 4.7GB | 16G | 14GB | 性能较好，硬件适中 |
|
||||
| deepseek-r1:8b | 4.9GB | 16G | 14GB | 略强于 7b，精度更高 |
|
||||
| deepseek-r1:14b | 9GB | 32G | 26GB | 高性能，复杂任务 |
|
||||
| deepseek-r1:32b | 20GB | 64G | 48GB | 专业级，高精度 |
|
||||
| deepseek-r1:70b | 43GB | 128G | 140GB | 顶级模型，大规模计算 |
|
||||
| deepseek-r1:671b | 404GB | 512G | 1342GB | 超大规模，推理速度快 |
|
||||
|
||||
## Ollama 常用命令
|
||||
|
||||
| 命令 | 功能 |
|
||||
|------|------|
|
||||
| `ollama --version` | 验证安装 |
|
||||
| `ollama serve` | 启动服务 |
|
||||
| `ollama run <model:size>` | 下载并运行模型 |
|
||||
| `ollama pull <model:size>` | 拉取模型 |
|
||||
| `ollama create <name> -f <Modelfile>` | 从 Modelfile 导入本地模型 |
|
||||
| `ollama list` | 列出所有模型 |
|
||||
| `ollama show <model>` | 显示模型详情 |
|
||||
| `ollama ps` | 列出运行中的模型 |
|
||||
| `ollama rm <model>` | 删除模型 |
|
||||
---
|
||||
title: "详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决 1"
|
||||
type: source
|
||||
tags: []
|
||||
date: 2026-04-23
|
||||
---
|
||||
|
||||
## Source File
|
||||
- [[AI/详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决 1.md]]
|
||||
|
||||
## Summary（用中文描述）
|
||||
- 核心主题：如何在本地机器上离线部署和运行大语言模型（LLM），使用 Ollama + DeepSeek + Open WebUI 实现私有化 AI 服务
|
||||
- 问题域：国内网络环境下 LLM 部署面临的下载慢、无 API Key、数据隐私等挑战
|
||||
- 方法/机制：
|
||||
- Ollama：跨平台（macOS/Windows/Linux/Docker）本地 LLM 运行框架
|
||||
- DeepSeek-R1 系列蒸馏模型：1.5B~671B 参数多个版本
|
||||
- Open WebUI：基于浏览器的开源 Web 界面，集成 Ollama API
|
||||
- 离线方案：通过第三方（魔塔社区/HuggingFace Mirror/夸克网盘）下载模型文件后用 `ollama create` 导入
|
||||
- 局域网访问：通过环境变量 OLLAMA_HOST=0.0.0.0 配置
|
||||
- API 安全：通过 nginx 反向代理 + Bearer Token 保护云服务器部署
|
||||
- 结论/价值：提供完整的国内环境本地 LLM 部署实操指南，覆盖安装、下载、调优、安全配置的完整闭环
|
||||
|
||||
## Key Claims（用中文描述）
|
||||
- Ollama 提供简洁的跨平台 LLM 部署方案，4GB RAM 跑 1.5B 模型，32GB RAM 跑 33B 模型
|
||||
- DeepSeek-R1:32b 及以下模型可在 Apple M2 Max Mac Studio 上流畅运行
|
||||
- 模型下载速度开始快后变慢可通过间隔重启下载进程解决
|
||||
- Docker 部署 Ollama 可实现 GPU 加速（`--gpus=all`）
|
||||
- 云服务器部署必须配置 API KEY 保护（nginx + Bearer Token）防止被恶意调用
|
||||
- Open WebUI 可通过 docker-compose 一键部署，集成 DeepSeek-R1:8b 和 bge-m3 嵌入模型
|
||||
|
||||
## Key Quotes
|
||||
> "你应该至少有 4 GB 的 RAM 来运行 1.5B 模型，至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，以及 32 GB 的 RAM 来运行 33B 模型。" — Ollama 硬件要求参考
|
||||
> "假若需要本地私有化部署具有实用性的模型，应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行，但生成速度很慢，仅适用于本地开发调试体验一下。" — 实用部署建议
|
||||
> "如果你是在云服务器等拥有公网IP的环境上部署，请谨慎做此设置（OLLAMA_HOST=0.0.0.0），否则可能导致 API 服务被恶意调用。" — 云服务器安全警告
|
||||
|
||||
## Key Concepts
|
||||
- [[Local LLM Deployment]]：在本地机器上离线运行大语言模型，确保数据隐私，无需 API Key 费用
|
||||
- [[Ollama]]：开源本地 LLM 运行框架，提供简单命令行和 API 接口
|
||||
- [[Open WebUI]]：开源 Web 界面工具，为 Ollama 等 LLM 提供图形化交互体验
|
||||
- [[RAG]]：检索增强生成，Open WebUI 使用 bge-m3 嵌入模型构建本地知识库
|
||||
- [[Docker LLM Deployment]]：通过 Docker 容器化部署 Ollama 和 Open WebUI
|
||||
- [[Model Quantization]]：GGUF 格式量化模型，通过 `ollama create` 导入本地文件
|
||||
|
||||
## Key Entities
|
||||
- [[Ollama]]：开源本地 LLM 框架，支持 macOS/Windows/Linux/Docker，官方站 ollama.com，中文站 ollama.org.cn
|
||||
- [[DeepSeek]]：深度求索 AI 公司，发布 DeepSeek-R1 系列开源推理模型（1.5B~671B），ollama 官方模型库支持
|
||||
- [[Open WebUI]]：开源大模型 Web 界面项目（ghcr.io/open-webui/open-webui），通过 Ollama API 集成多种 LLM，支持 RAG 知识库和联网搜索
|
||||
- [[HuggingFace Mirror]]（hf-mirror.com）：HuggingFace 国内镜像站，解决模型下载速度问题
|
||||
- [[魔塔社区]]（modelscope.cn）：阿里达摩院模型库，ollama 支持直接从魔塔下载模型
|
||||
- [[夸克网盘]]：第三方离线模型下载渠道，deepseek-r1 模型夸克链接共享
|
||||
|
||||
## Connections
|
||||
- [[Ollama]] ← runs ← [[DeepSeek]]
|
||||
- [[Ollama]] ← hosts ← [[Open WebUI]]
|
||||
- [[Open WebUI]] ← uses ← [[RAG]]（bge-m3 嵌入模型）
|
||||
- [[Local LLM Deployment]] ← solved_by ← [[Ollama]] + [[DeepSeek]] + [[Open WebUI]]
|
||||
- [[Docker LLM Deployment]] ← extends ← [[Docker]]（Ollama 的 Docker 部署模式）
|
||||
|
||||
## Contradictions
|
||||
- 无已知冲突页面
|
||||
|
||||
## DeepSeek-R1 模型规格参考
|
||||
|
||||
| 参数版本 | 模型大小 | 建议内存 | 建议显存 | 特点 |
|
||||
|---------|---------|---------|---------|------|
|
||||
| deepseek-r1:1.5b | 1.1GB | 4~8G | 4GB | 轻量级，速度快 |
|
||||
| deepseek-r1:7b | 4.7GB | 16G | 14GB | 性能较好，硬件适中 |
|
||||
| deepseek-r1:8b | 4.9GB | 16G | 14GB | 略强于 7b，精度更高 |
|
||||
| deepseek-r1:14b | 9GB | 32G | 26GB | 高性能，复杂任务 |
|
||||
| deepseek-r1:32b | 20GB | 64G | 48GB | 专业级，高精度 |
|
||||
| deepseek-r1:70b | 43GB | 128G | 140GB | 顶级模型，大规模计算 |
|
||||
| deepseek-r1:671b | 404GB | 512G | 1342GB | 超大规模，推理速度快 |
|
||||
|
||||
## Ollama 常用命令
|
||||
|
||||
| 命令 | 功能 |
|
||||
|------|------|
|
||||
| `ollama --version` | 验证安装 |
|
||||
| `ollama serve` | 启动服务 |
|
||||
| `ollama run <model:size>` | 下载并运行模型 |
|
||||
| `ollama pull <model:size>` | 拉取模型 |
|
||||
| `ollama create <name> -f <Modelfile>` | 从 Modelfile 导入本地模型 |
|
||||
| `ollama list` | 列出所有模型 |
|
||||
| `ollama show <model>` | 显示模型详情 |
|
||||
| `ollama ps` | 列出运行中的模型 |
|
||||
| `ollama rm <model>` | 删除模型 |
|
||||
|
||||
Reference in New Issue
Block a user