2.8 KiB
2.8 KiB
title, type, tags, date
| title | type | tags | date | ||||||
|---|---|---|---|---|---|---|---|---|---|
| 在 Ubuntu 安装 Ollama 并运行 Qwen2.5-Coder 7B | source |
|
2025-01-15 |
Source File
Summary
- 核心主题：Ubuntu 本地部署 Ollama + Qwen2.5-Coder 7B 大语言模型推理服务
- 问题域：如何在无 GPU 或有 NVIDIA GPU 的 Ubuntu 服务器上快速部署本地 AI 推理能力
- 方法/机制：Ollama 官方安装脚本 → systemd 服务管理 → REST API 暴露 → Python/NodeJS SDK 调用
- 结论/价值：3 条命令完成本地 AI 部署；qwen2.5-coder:7b 比普通 qwen2.5:7b 更适合 DevOps/SQL/Kubernetes 等工程任务
Key Claims
- Ollama 官方安装脚本自动完成 CLI 安装、systemd 服务创建和 API 启动
- Qwen2.5-Coder 7B 模型大小约 4.5GB，最低 4 核 CPU + 8GB RAM，无需 GPU 即可运行
- NVIDIA GPU + CUDA 环境下 Ollama 自动使用 GPU 加速，无需额外配置
- 开放远程 API（OLLAMA_HOST=0.0.0.0）后，可被 n8n/OpenClaw/OpenWebUI 等外部工具调用
- Qwen2.5-Coder 在 Shell/Python/SQL 理解和 Repo 级代码理解上优于通用 Qwen2.5 模型
Key Quotes
"比普通 qwen2.5:7b 更适合工程任务" — 原因：Tool usage 能力强、Shell/Python/SQL 理解强、Repo 级代码理解
Key Concepts
- Ollama：本地大语言模型推理引擎，通过官方安装脚本一键部署，自动管理 systemd 服务
- Qwen（通义千问）：阿里巴巴开源大语言模型系列，Qwen2.5-Coder 是其代码专精分支
- 本地AI推理：在自有硬件上运行 LLM 推理，避免云服务依赖和 API 费用
- GPU加速推理：NVIDIA CUDA + Ollama 自动调度 GPU资源，无需手动配置
- REST API for LLM：Ollama 提供 http://localhost:11434 REST API，支持 chat/completion/generate 端点
Key Entities
- Ollama：本地 LLM 推理平台，安装地址 ollama.com，CLI + REST API + SDK
- Qwen：阿里巴巴通义千问大模型家族，Qwen2.5-Coder 是代码专精版本
- Ubuntu：目标服务器操作系统，22.04/24.04 均支持
- NVIDIA GPU：可选硬件加速，运行 nvidia-smi 验证 CUDA 环境
Connections
- Ollama ← extends ← Qwen（Qwen 是 Ollama 支持的模型之一）
- 在Ubuntu安装Ollama并运行Qwen2.5-Coder7B ← 推荐搭配 ← n8n（AI automation 工作流）
- 在Ubuntu安装Ollama并运行Qwen2.5-Coder7B ← 推荐搭配 ← OpenWebUI（本地 ChatGPT 风格 UI）
- OpenClaw ← 可配置使用 ← Ollama（通过 ollama/qwen2.5-coder:7b 接入）
- Qwen ← 专精分支 ← Qwen2.5-Coder（代码能力强化版）
Contradictions
- 与 vLLM：Ollama 适合快速原型和轻量部署；vLLM 适合高并发企业级服务，需要更多配置