关于 DVC
数据科学的版本控制基石
DVC(Data Version Control)是面向数据科学的开源版本控制工具,解决 Git 无法直接管理大文件与数据集的问题:它把数据版本以轻量元数据(.dvc 文件)写入 Git,真实的大文件存放到远程存储,仓库永不膨胀。
除了数据版本化,DVC 引入类似 Makefile 的构建系统来定义、执行与追踪数据流水线——把清洗、特征工程、训练等步骤串成有向无环图(DAG),任意一步输入或代码变更都能被精确追踪与复现。
DVC 还把实验管理融入 Git 工作流:参数、指标与产物作为文本文件版本化,可像代码一样比较与恢复历史实验,无需额外数据库或在线服务(可视化由姊妹项目 DVC Studio 补充)。
核心功能一览
六大核心能力,覆盖创作全流程
数据版本控制
dvc add 跟踪大文件,元数据入 Git,支持分支/标签/差异对比,GB~TB 数据集也轻量可追溯。
可复现流水线
dvc.yaml 声明各阶段依赖与产出,自动构建 DAG,输入变更才重算,避免重复训练。
实验管理
dvc exp 把参数、指标、产物作为代码版本化,可对比、恢复与跨团队共享实验状态。
远程存储接入
对接 S3、GCS、Azure、SSH 等,dvc push/pull 同步数据,内容寻址仅上传增量改动。
数据注册表
把数据集作为可共享、可版本化的来源,在团队与项目间复用同一份权威数据。
零基础快速上手
4 步完成你的第一件 AI 作品,无需任何设计经验
安装 DVC
用 pip install dvc 或 conda/pip/brew 安装;在 Git 仓库内运行 dvc init 完成初始化。
版本化数据
用 dvc add data/ 跟踪数据目录,生成 .dvc 文件后 git add 并 commit,再 dvc push 到远程存储。
定义流水线
用 dvc stage add 把各处理脚本声明为阶段,写入 dvc.yaml,dvc repro 即可复现整条 DAG。
管理实验
用 dvc exp run -n 命名实验、调整参数,dvc exp show 比较指标,git checkout 恢复历史状态。

常见问题解答
遇到问题?这里可能有你想要的答案
DVC 免费吗?
是的,DVC 基于 Apache 2.0 永久免费开源,可自托管使用,无需任何在线服务。
DVC 和 Git LFS 有什么区别?
两者都解决大文件版本化,但 DVC 额外提供可复现流水线(dvc.yaml DAG)与实验管理,更适合 ML 工作流。
DVC 需要运行服务吗?
不需要。DVC 是纯命令行工具,无守护进程与服务器,数据版本以 Git 元数据形式存在。
同类对比
和同类工具横向对比,帮你选对工具。
| 对比维度 | DVC | Git LFS | lakeFS |
|---|---|---|---|
| 定位 | ML 数据/流水线版本 | Git 大文件扩展 | 数据湖 Git 化 |
| 元数据位置 | Git 内文本文件 | Git 内指针 | 控制面(对象存储) |
| 流水线 DAG | 原生支持 | 不支持 | 不支持 |
| 实验管理 | 内置(exp) | 无 | 无 |
| 适用规模 | GB~TB 仓库级 | 任意 | PB 级数据湖 |
同类推荐工具
发现更多优质 AI 创作工具,找到最适合你的那一款
AI21 Labs
AI21 Labs 是 2017 年成立的独立基础模型公司,主打 Jamba 系列开源权重大模型——采用 Mamba-Transformer 混合架构、支持 256K 上下文,并以 Maestro 编排平台服务金融、医疗等受监管行业。
阿里云百炼
阿里云百炼(Model Studio)是一站式大模型开发平台,集成通义千问全 系列与 DeepSeek、Kimi、智谱 GLM 等三方模型,提供模型推理、微调(SFT/CPT/DPO)、部署、Agent 开发、RAG 知识库与 MCP 注册能力,并兼容 OpenAI 接口。
Anyscale
Anyscale 是 Ray 原创团队创立的托管式 AI 计算平台,为分布式模型训练、批量推理、RAG 管线、智能体编排与强化学习后训练提供生产级基础设施。基于 Ray 这一被 OpenAI、Uber、Shopify 等广泛使用的开源分布式引擎,支持多云(AWS / GCP / Azure 等)与 Bring-Your-Own-Cloud,按用量计费,新用户赠 $100 额度。
Apache Airflow
Apache 顶级开源项目,用 Python 代码定义有向无环图(DAG)来编排批处理工作流,拥有 1500+ 算子与庞大生态,是数据管道调度领域的事实标准。