49 lines
2.8 KiB
Markdown
49 lines
2.8 KiB
Markdown
---
|
||
title: "在 Ubuntu 安装 Ollama 并运行 Qwen2.5-Coder 7B"
|
||
type: source
|
||
tags: [ollama, qwen, qwen-coder, ubuntu, 本地AI, 大语言模型]
|
||
date: 2025-01-15
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/Home Office/在 Ubuntu 安装 Ollama 并运行 Qwen2.5‑Coder 7B.md]]
|
||
|
||
## Summary
|
||
- 核心主题：Ubuntu 本地部署 Ollama + Qwen2.5-Coder 7B 大语言模型推理服务
|
||
- 问题域：如何在无 GPU 或有 NVIDIA GPU 的 Ubuntu 服务器上快速部署本地 AI 推理能力
|
||
- 方法/机制：Ollama 官方安装脚本 → systemd 服务管理 → REST API 暴露 → Python/NodeJS SDK 调用
|
||
- 结论/价值：3 条命令完成本地 AI 部署；qwen2.5-coder:7b 比普通 qwen2.5:7b 更适合 DevOps/SQL/Kubernetes 等工程任务
|
||
|
||
## Key Claims
|
||
- Ollama 官方安装脚本自动完成 CLI 安装、systemd 服务创建和 API 启动
|
||
- Qwen2.5-Coder 7B 模型大小约 4.5GB，最低 4 核 CPU + 8GB RAM，无需 GPU 即可运行
|
||
- NVIDIA GPU + CUDA 环境下 Ollama 自动使用 GPU 加速，无需额外配置
|
||
- 开放远程 API（OLLAMA_HOST=0.0.0.0）后，可被 n8n/OpenClaw/OpenWebUI 等外部工具调用
|
||
- Qwen2.5-Coder 在 Shell/Python/SQL 理解和 Repo 级代码理解上优于通用 Qwen2.5 模型
|
||
|
||
## Key Quotes
|
||
> "比普通 qwen2.5:7b 更适合工程任务" — 原因：Tool usage 能力强、Shell/Python/SQL 理解强、Repo 级代码理解
|
||
|
||
## Key Concepts
|
||
- [[Ollama]]：本地大语言模型推理引擎，通过官方安装脚本一键部署，自动管理 systemd 服务
|
||
- [[Qwen]]（通义千问）：阿里巴巴开源大语言模型系列，Qwen2.5-Coder 是其代码专精分支
|
||
- [[本地AI推理]]：在自有硬件上运行 LLM 推理，避免云服务依赖和 API 费用
|
||
- [[GPU加速推理]]：NVIDIA CUDA + Ollama 自动调度 GPU资源，无需手动配置
|
||
- [[REST API for LLM]]：Ollama 提供 http://localhost:11434 REST API，支持 chat/completion/generate 端点
|
||
|
||
## Key Entities
|
||
- [[Ollama]]：本地 LLM 推理平台，安装地址 ollama.com，CLI + REST API + SDK
|
||
- [[Qwen]]：阿里巴巴通义千问大模型家族，Qwen2.5-Coder 是代码专精版本
|
||
- [[Ubuntu]]：目标服务器操作系统，22.04/24.04 均支持
|
||
- [[NVIDIA GPU]]：可选硬件加速，运行 nvidia-smi 验证 CUDA 环境
|
||
|
||
## Connections
|
||
- [[Ollama]] ← extends ← [[Qwen]]（Qwen 是 Ollama 支持的模型之一）
|
||
- [[在Ubuntu安装Ollama并运行Qwen2.5-Coder7B]] ← 推荐搭配 ← [[n8n]]（AI automation 工作流）
|
||
- [[在Ubuntu安装Ollama并运行Qwen2.5-Coder7B]] ← 推荐搭配 ← [[OpenWebUI]]（本地 ChatGPT 风格 UI）
|
||
- [[OpenClaw]] ← 可配置使用 ← [[Ollama]]（通过 ollama/qwen2.5-coder:7b 接入）
|
||
- [[Qwen]] ← 专精分支 ← [[Qwen2.5-Coder]]（代码能力强化版）
|
||
|
||
## Contradictions
|
||
- 与 [[vLLM]]：Ollama 适合快速原型和轻量部署；vLLM 适合高并发企业级服务，需要更多配置
|