DVC

DVC

开源 ML 数据版本控制

DVC

DVC 把数据集、流水线、实验与模型以 Git 元数据方式管理,大文件落盘远程存储,带来可复现、可协作的 ML 工作流。

Git 元数据
数据版本存于 Git
DAG 流水线
可复现工作流
免费开源
Apache 2.0 永久免费

免费试用 · 无需下载即可在线体验

关于 DVC

数据科学的版本控制基石

DVC(Data Version Control)是面向数据科学的开源版本控制工具,解决 Git 无法直接管理大文件与数据集的问题:它把数据版本以轻量元数据(.dvc 文件)写入 Git,真实的大文件存放到远程存储,仓库永不膨胀。

除了数据版本化,DVC 引入类似 Makefile 的构建系统来定义、执行与追踪数据流水线——把清洗、特征工程、训练等步骤串成有向无环图(DAG),任意一步输入或代码变更都能被精确追踪与复现。

DVC 还把实验管理融入 Git 工作流:参数、指标与产物作为文本文件版本化,可像代码一样比较与恢复历史实验,无需额外数据库或在线服务(可视化由姊妹项目 DVC Studio 补充)。

核心功能一览

六大核心能力,覆盖创作全流程

🗂️

数据版本控制

dvc add 跟踪大文件,元数据入 Git,支持分支/标签/差异对比,GB~TB 数据集也轻量可追溯。

🔁

可复现流水线

dvc.yaml 声明各阶段依赖与产出,自动构建 DAG,输入变更才重算,避免重复训练。

🧪

实验管理

dvc exp 把参数、指标、产物作为代码版本化,可对比、恢复与跨团队共享实验状态。

☁️

远程存储接入

对接 S3、GCS、Azure、SSH 等,dvc push/pull 同步数据,内容寻址仅上传增量改动。

📚

数据注册表

把数据集作为可共享、可版本化的来源,在团队与项目间复用同一份权威数据。

零基础快速上手

4 步完成你的第一件 AI 作品,无需任何设计经验

1

安装 DVC

用 pip install dvc 或 conda/pip/brew 安装;在 Git 仓库内运行 dvc init 完成初始化。

2

版本化数据

用 dvc add data/ 跟踪数据目录,生成 .dvc 文件后 git add 并 commit,再 dvc push 到远程存储。

3

定义流水线

用 dvc stage add 把各处理脚本声明为阶段,写入 dvc.yaml,dvc repro 即可复现整条 DAG。

4

管理实验

用 dvc exp run -n 命名实验、调整参数,dvc exp show 比较指标,git checkout 恢复历史状态。

全平台客户端下载

支持网页端、桌面端、移动端及浏览器插件,随时随地开启创作

获取与文档

官方网站
下载 / 介绍
下载
文档
教程 / 命令
下载
GitHub
源码 / 贡献
下载
SpeedAIAD

常见问题解答

遇到问题?这里可能有你想要的答案

1

DVC 免费吗?

是的,DVC 基于 Apache 2.0 永久免费开源,可自托管使用,无需任何在线服务。

2

DVC 和 Git LFS 有什么区别?

两者都解决大文件版本化,但 DVC 额外提供可复现流水线(dvc.yaml DAG)与实验管理,更适合 ML 工作流。

3

DVC 需要运行服务吗?

不需要。DVC 是纯命令行工具,无守护进程与服务器,数据版本以 Git 元数据形式存在。

同类对比

和同类工具横向对比,帮你选对工具。

对比维度DVCGit LFSlakeFS
定位ML 数据/流水线版本Git 大文件扩展数据湖 Git 化
元数据位置Git 内文本文件Git 内指针控制面(对象存储)
流水线 DAG原生支持不支持不支持
实验管理内置(exp)无无
适用规模GB~TB 仓库级任意PB 级数据湖