手动更新

wiki/concepts/Docker-LLM-Deployment.md

@@ -0,0 +1,83 @@
+---
+title: "Docker LLM Deployment"
+type: concept
+tags: []
+last_updated: 2026-04-23
+---
+
+# Docker LLM Deployment
+
+## Definition
+通过 Docker 容器化方式部署本地大语言模型运行时（LLM）及其周边工具（Web 界面、RAG 引擎等），实现环境隔离、可移植性和便捷管理的部署模式。
+
+## Core Patterns
+
+### Pattern 1: Ollama 独立容器
+```bash
+# CPU 模式
+docker run -d -p 11434:11434 \
+  -v /data/ollama:/root/.ollama \
+  --name ollama ollama/ollama
+
+# GPU 模式（需 nvidia-container-toolkit）
+docker run --gpus=all -d -p 11434:11434 \
+  -v /data/ollama:/root/.ollama \
+  --name ollama ollama/ollama
+```
+
+### Pattern 2: Ollama + Open WebUI 联合部署
+```yaml
+services:
+  ollama:
+    image: ollama/ollama
+    volumes:
+      - /data/ollama:/root/.ollama
+    # GPU 模式
+    deploy:
+      resources:
+        reservations:
+          devices:
+            - driver: nvidia
+              count: all
+              capabilities: [gpu]
+
+  open-webui:
+    image: ghcr.io/open-webui/open-webui:main
+    environment:
+      - OLLAMA_API_BASE_URL=http://ollama:11434/api
+    ports:
+      - 8080:8080
+    depends_on:
+      - ollama
+```
+
+## Key Advantages
+| 优势 | 说明 |
+|------|------|
+| 环境隔离 | 避免依赖冲突，不污染宿主机 |
+| GPU 直通 | `--gpus=all` 直接利用宿主 GPU |
+| 便捷迁移 | 镜像导出/导入实现跨机器部署 |
+| 统一管理 | `docker compose up/down` 控制启停 |
+| 卷挂载 | 模型数据持久化到宿主机目录 |
+
+## Key Environment Variables
+| 变量 | 说明 | 示例 |
+|------|------|------|
+| OLLAMA_MODELS | 模型存储路径 | `/data/ollama/models` |
+| OLLAMA_HOST | API 绑定地址 | `0.0.0.0:11434` |
+| OLLAMA_ORIGINS | 允许的跨域来源 | `*` |
+| HF_ENDPOINT | HuggingFace 镜像 | `https://hf-mirror.com` |
+
+## China Environment Best Practices
+- 设置 `HF_ENDPOINT=https://hf-mirror.com` 加速镜像拉取
+- 预先拉取镜像：`docker pull ollama/ollama ghcr.io/open-webui/open-webui:main`
+- 通过 volume 挂载宿主机模型目录避免重复下载
+- 模型目录规划：`/data/ollama/models` 集中管理所有 GGUF 文件
+
+## Related Concepts
+- [[Local LLM Deployment]]：Docker 部署是本地 LLM 的一种实现方式
+- [[Ollama]]：Ollama Docker 镜像是核心运行时
+- [[Open WebUI]]：Ollama 的 Web 界面伴侣
+
+## Sources
+- [[详细-离线部署大模型-ollama-deepseek-open-webui安装使用方法及常见问题解决-1]]