51 lines
2.5 KiB
Markdown
51 lines
2.5 KiB
Markdown
---
|
||
title: "详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决"
|
||
type: source
|
||
tags: []
|
||
date: 2025-04-18
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/AI/详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决 1.md]]
|
||
|
||
## Summary
|
||
- 核心主题：本地离线部署大语言模型运行环境，实现免费私密的 LLM 使用体验
|
||
- 问题域：大模型本地部署、网络环境受限场景下的离线安装
|
||
- 方法/机制：Ollama 安装、Docker 部署、模型离线下载、API 配置、WebUI 集成
|
||
- 结论/价值：通过 Ollama + DeepSeek + Open-WebUI 组合，可在本地搭建完整的私有 AI 对话基础设施
|
||
|
||
## Key Claims
|
||
- Ollama 是开源的本地大语言模型运行框架，可便捷在本地部署和运行大型语言模型
|
||
- 通过 Docker 部署 Ollama 可实现便捷的安装、更新与启停管理
|
||
- DeepSeek-R1 模型提供从 1.5B 到 671B 多种参数规模，可根据硬件配置选择
|
||
- Open-WebUI 提供基于浏览器的图形化界面，方便与本地 LLM 交互
|
||
- 国内网络环境可通过网盘、魔塔社区、HF 镜像站等渠道解决模型下载问题
|
||
|
||
## Key Quotes
|
||
> "你应该至少有 4 GB 的 RAM 来运行 1.5B 模型，至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，以及 32 GB 的 RAM 来运行 33B 模型。" — 硬件配置建议
|
||
|
||
> "假若需要本地私有化部署具有实用性的模型，应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行，但生成速度很慢，仅适用于本地开发调试体验一下。" — GPU 推荐
|
||
|
||
> "如果是在云服务器等拥有公网IP的环境上部署，请谨慎做此设置，否则可能导致 API 服务被恶意调用。" — 安全警告
|
||
|
||
## Key Concepts
|
||
- [[Ollama]]：本地大语言模型运行环境框架
|
||
- [[DeepSeek]]：中国开发的大语言模型，以开源和高效著称
|
||
- [[Open-WebUI]]：开源的大语言模型 Web UI 界面
|
||
- [[Docker]]：容器化部署技术
|
||
- [[RAG]]：检索增强生成，本地知识库构建技术
|
||
- [[向量嵌入]]：RAG 使用的文本向量化技术
|
||
- [[bge-m3]]：中文嵌入模型，用于 RAG 知识库构建
|
||
|
||
## Key Entities
|
||
- [[DeepSeek]]：模型提供商，提供 DeepSeek-R1 系列模型
|
||
- [[Ollama]]：开源 LLM 运行框架
|
||
- [[Open WebUI]]：开源 Web 界面项目
|
||
|
||
## Connections
|
||
- [[Ollama]] ← runs ← [[DeepSeek-R1]]
|
||
- [[Open-WebUI]] ← connects_to ← [[Ollama]]
|
||
- [[Ollama]] ← hosts ← [[API Service]]
|
||
|
||
## Contradictions
|
||
- （暂无） |