1.9 KiB
1.9 KiB
title, type, tags, date
| title | type | tags | date | ||||
|---|---|---|---|---|---|---|---|
| Ollama+DeepSeek+OpenWebUI离线部署大模型 | source |
|
2025-03-14 |
Source File
Summary
- 核心主题:Ollama + DeepSeek + OpenWebUI的完整本地大模型部署方案
- 问题域:本地私有化部署大模型,确保数据隐私和离线使用
- 方法/机制:Docker Compose编排,Ollama提供推理服务,OpenWebUI提供图形界面,集成代理访问
- 结论/价值:Mac Studio M2 Max可流畅运行32B及以下模型,离线部署成本可控
Key Claims
- Ollama安装:支持macOS/Windows/Linux,提供离线安装方案(下载tgz+install.sh)
- 硬件要求:1.5B需4GB RAM,7B需16GB RAM,32B需64GB RAM,70B需128GB RAM
- DeepSeek-R1各版本大小:1.5B=1.1GB,7B=4.7GB,14B=9GB,32B=20GB,70B=43GB,671B=404GB
- 模型下载加速:间隔重启下载脚本、从夸克网盘下载、HF国内镜像(hf-mirror.com)
- OpenWebUI部署:Docker Compose,含RAG知识库、图像生成、联网搜索功能
- Ollama API访问:允许局域网需设置OLLAMA_HOST=0.0.0.0,通过nginx增加API KEY保护
Key Concepts
- 本地大模型部署:Ollama+OpenWebUI的离线部署架构
- DockerCompose编排:多容器协同的服务编排
- RAG知识库:OpenWebUI集成的本地知识库检索增强生成
Key Entities
Connections
- Ollama-DeepSeek-OpenWebUI离线部署大模型 ← implements ← 本地大模型部署
- 本地大模型部署 ← orchestrated_by ← DockerCompose编排
Contradictions
- 无冲突