关于 Ollama
让本地 AI 像运行容器一样简单
Ollama 是一款开源的本地大模型运行工具，用一行命令即可在自有设备上下载、运行与管理开源 LLM，并提供兼容 OpenAI 格式的本地 API，数据无需上云。
它底层基于高性能的 llama.cpp 推理引擎，自动处理模型量化、显存管理与 API 服务，屏蔽了 CUDA、依赖安装等底层细节。启动后默认在 localhost:11434 提供兼容 OpenAI 的 REST API，可被各类客户端与开发框架直接对接。
核心功能一览
六大核心能力，覆盖创作全流程
一行命令运行模型
ollama run qwen3 即可自动下载并启动模型，无需配置 Python 或 CUDA 环境。
丰富模型库
内置数百个开源模型：Llama、Gemma、Qwen、DeepSeek、Mistral、Phi 等，也可拉取自定义 GGUF。
OpenAI 兼容 API
本地 11434 端口提供与 OpenAI 兼容的接口，ChatBox、Dify、Continue 等可无缝接入。
硬件加速
自动利用 Apple Metal、NVIDIA CUDA、AMD ROCm 进行 GPU 加速，无 GPU 时回退 CPU。
Modelfile 自定义
通过简单配置文件固化系统提示词、上下文窗口与温度等默认参数，构建专属模型。
零基础快速上手
4 步完成你的第一件 AI 作品，无需任何设计经验
安装 Ollama
macOS / Linux 终端运行 curl -fsSL https://ollama.com/install.sh | sh；Windows 从 ollama.com/download 下载安装包。
下载并运行模型
执行 ollama run llama3.2（或 qwen3、deepseek-r1）即可自动下载并进入交互对话。
用 API 调用
向 http://localhost:11434/api/generate 发送请求，即可用兼容 OpenAI 的方式在本地推理。
管理与定制
用 ollama list / pull / rm 管理模型，或用 Modelfile 创建自定义模型与系统提示词。
常见问题解答
遇到问题？这里可能有你想要的答案
运行 Ollama 需要 GPU 吗？
不需要。Ollama 默认用 CPU 推理，小模型（1B–7B）在现代 CPU 上即可运行；有 GPU 时自动加速。
数据会离开本机吗？
不会。模型在本地运行与推理，仅首次下载权重时需要联网，之后可完全离线使用。
支持哪些模型？
官方库含数百个开源模型（Llama、Qwen、DeepSeek、Gemma、Mistral 等），也可加载任意自定义 GGUF。
同类对比
和同类工具横向对比，帮你选对工具。
| 对比维度 | Ollama | LM Studio | vLLM |
|---|---|---|---|
| 运行方式 | 命令行 + 本地服务 | 桌面 GUI 应用 | Python 推理服务框架 |
| 上手门槛 | 低（一行命令） | 低（图形界面） | 较高（需 Python 环境） |
| OpenAI 兼容 API | 是（:11434） | 是 | 是 |
| 量化 GGUF | 是 | 是 | 否（原生权重） |
同类推荐工具
发现更多优质 AI 创作工具，找到最适合你的那一款
AI21 Labs
AI21 Labs 是 2017 年成立的独立基础模型公司，主打 Jamba 系列开源权重大模型——采用 Mamba-Transformer 混合架构、支持 256K 上下文，并以 Maestro 编排平台服务金融、医疗等受监管行业。
阿里云百炼
阿里云百炼（Model Studio）是一站式大模型开发平台，集成通义千问全 系列与 DeepSeek、Kimi、智谱 GLM 等三方模型，提供模型推理、微调（SFT/CPT/DPO）、部署、Agent 开发、RAG 知识库与 MCP 注册能力，并兼容 OpenAI 接口。
Anyscale
Anyscale 是 Ray 原创团队创立的托管式 AI 计算平台，为分布式模型训练、批量推理、RAG 管线、智能体编排与强化学习后训练提供生产级基础设施。基于 Ray 这一被 OpenAI、Uber、Shopify 等广泛使用的开源分布式引擎，支持多云（AWS / GCP / Azure 等）与 Bring-Your-Own-Cloud，按用量计费，新用户赠 $100 额度。
Apache Airflow
Apache 顶级开源项目，用 Python 代码定义有向无环图（DAG）来编排批处理工作流，拥有 1500+ 算子与庞大生态，是数据管道调度领域的事实标准。