2.3 KiB
2.3 KiB
title, type, tags, date
| title | type | tags | date |
|---|---|---|---|
| Ollama DeepSeek OpenWebui 离线部署大模型 | source | 2025-03-14 |
Source File
Summary
- 核心主题：Ollama + DeepSeek + Open WebUI 的本地大模型离线部署完整指南
- 问题域：如何在国内网络环境下实现大模型的本地私有化部署，确保数据隐私和控制权
- 方法/机制：Ollama 提供模型运行框架，支持本地部署多种模型；Open WebUI 提供 Web 界面；通过 Docker 或直接安装；支持从魔塔社区/HuggingFace 镜像下载模型
- 结论/价值：纯 CPU 模式可运行 1.5B 模型（4GB RAM），GPU 模式可流畅运行 7B-32B 模型；本地部署确保数据不出网
Key Claims
- Ollama 支持 macOS、Windows、Linux 及 Docker 部署，模型管理命令丰富（run/pull/list/ps/rm 等）
- 硬件需求参考：1.5B 模型需 4GB RAM，7B 需 8GB RAM+14GB 显存，14B 需 32GB RAM+26GB 显存，32B 需 64GB RAM+48GB 显存
- 国内下载加速：支持从魔塔社区（modelscope.cn）和 HuggingFace 镜像站（hf-mirror.com）直接拉取模型
- Open WebUI：开源 Web 界面，支持 ollama、OpenAI 等 API，可实现聊天机器人、本地知识库、图像生成等功能
- API 安全建议：云服务器部署时增加 nginx API KEY 保护，避免服务被恶意调用
- Docker 部署参考：docker-compose.yml 配置 OLLAMA_API_BASE_URL、WEBUI_NAME、ENABLE_OPENAI_API 等环境变量
Key Quotes
"ollama 是一个开源的本地大语言模型运行框架，让用户可以十分方便地在本地机器上部署和运行大型语言模型" — 核心定位
Key Concepts
Key Entities
- Ollama：开源本地大模型运行框架
- Open-Webui：开源 Web UI，为本地 LLM 提供图形化界面
- DeepSeek：此文档重点部署的模型系列（DeepSeek-R1）
- Docker：容器化部署工具，用于 ollama 和 open-webui 的便捷管理
Connections
Contradictions
- 无已知冲突