关于 Unsloth
让微调大模型不再依赖昂贵算力
Unsloth 是一个开源框架，用于运行与训练大语言模型。它通过手写 Triton 内核与算法优化，在 NVIDIA、AMD、Intel GPU 以及 CPU、Mac 上实现约 2 倍更快的训练吞吐与约 70% 更低的显存占用，且不需要牺牲精度。
Unsloth 支持 500+ 模型，覆盖文本、音频、嵌入与视觉等多种模态，提供全量微调、预训练、4-bit/16-bit/FP8 训练，以及 LoRA、QLoRA、GRPO、DPO 等主流微调与强化学习算法。
它提供三种使用形态：Unsloth Desktop 原生桌面应用、Unsloth Studio 网页 UI，以及 Unsloth Core 的代码库版本，可把本地模型通过 OpenAI 兼容 API 对外提供，并接入 Claude Code、Codex 等智能体进行本地推理与工具调用。
核心功能一览
六大核心能力，覆盖创作全流程
2× 训练加速
自定义 Triton 内核带来约 2 倍训练吞吐，配合 Flash Attention 2 进一步提速。
70% 显存节省
QLoRA 等量化训练让 70B 级别模型也能在单张消费级显卡上微调。
500+ 模型覆盖
文本、音频、嵌入、视觉与扩散模型均可运行与训练，持续跟进主流开源模型。
本地推理与 API
本地跑模型并通过 OpenAI 兼容 API 暴露，支持联网搜索、RAG 与 MCP 工具。
多形态使用
桌面端、网页 Studio 与代码库三种形态，Windows/macOS/Linux 全平台可用。
零基础快速上手
4 步完成你的第一件 AI 作品，无需任何设计经验
选择形态
下载 Unsloth Desktop（Windows/macOS/Linux），或用 pip 安装 Unsloth Core，也可拉取 unsloth/unsloth Docker 镜像。
安装运行
桌面端按平台下载安装包；Core 执行 pip install unsloth；容器方式运行 unsloth/unsloth 并映射 8888 端口访问 Studio。
载入模型
在 Desktop/Studio 中搜索并下载模型（GGUF、LoRA、safetensors 等），或连接本地 GPU 与多 GPU 环境。
开始微调
用 Notebook 或 Studio 选择数据集，配置 LoRA/QLoRA/GRPO 后开始训练，实时观察 loss、显存与 GPU 占用。
导出与部署
将模型导出为 GGUF / NVFP4 / FP8 等格式，或经 OpenAI 兼容 API 远程调用与部署。
常见问题解答
遇到问题？这里可能有你想要的答案
Unsloth 收费吗？
Unsloth Desktop 与 Core 均为开源免费；Unsloth 另有面向企业的 API 与云服务，具体以官网为准。个人本地微调无需付费。
Unsloth 和 LLaMA-Factory 有什么区别？
两者都能微调主流开源 LLM。Unsloth 主打手写 Triton 内核带来的训练加速与显存压缩，上手更轻；LLaMA-Factory 以可视化 Web UI 与丰富训练模板见长。
没有专业显卡能用吗？
可以。Unsloth 支持 NVIDIA、AMD、Intel GPU 以及 CPU 与 Mac， 借助 4-bit/QLoRA 量化，消费级显卡也能微调较大的模型。
与同类微调框架对比
和同类工具横向对比，帮你选对工具。
| 对比维度 | Unsloth | LLaMA-Factory | Hugging Face PEFT | Axolotl |
|---|---|---|---|---|
| 加速方式 | 自定义 Triton 内核 | 基于 PEFT/Transformers | 标准 LoRA/适配器 | Accelerate/DeepSpeed |
| 显存优化 | 70%↓（QLoRA） | 依赖量化 | 依赖量化 | 依赖量化 |
| 使用形态 | 桌面端/Studio/pip/CLI | Web UI + CLI | Python 库 | YAML 配置 |
| 上手门槛 | 低 | 中 | 中高 | 高 |
同类推荐工具
发现更多优质 AI 创作工具，找到最适合你的那一款
AI21 Labs
AI21 Labs 是 2017 年成立的独立基础模型公司，主打 Jamba 系列开源权重大模型——采用 Mamba-Transformer 混合架构、支持 256K 上下文，并以 Maestro 编排平台服务金融、医疗等受监管行业。
阿里云百炼
阿里云百炼（Model Studio）是一站式大模型开发平台，集成通义千问全 系列与 DeepSeek、Kimi、智谱 GLM 等三方模型，提供模型推理、微调（SFT/CPT/DPO）、部署、Agent 开发、RAG 知识库与 MCP 注册能力，并兼容 OpenAI 接口。
Anyscale
Anyscale 是 Ray 原创团队创立的托管式 AI 计算平台，为分布式模型训练、批量推理、RAG 管线、智能体编排与强化学习后训练提供生产级基础设施。基于 Ray 这一被 OpenAI、Uber、Shopify 等广泛使用的开源分布式引擎，支持多云（AWS / GCP / Azure 等）与 Bring-Your-Own-Cloud，按用量计费，新用户赠 $100 额度。
Apache Airflow
Apache 顶级开源项目，用 Python 代码定义有向无环图（DAG）来编排批处理工作流，拥有 1500+ 算子与庞大生态，是数据管道调度领域的事实标准。