TubeletGraph:物体被切开、剥皮之后,视频追踪还能记住它
NeurIPS 2025 官方实现:组合 SAM 2.1、FC-CLIP 与 GPT-4.1 零样本追踪物体形态变化,首帧标注后自动生成状态图。
项目资料
GitHub Ecosystem- 许可证
- MIT
- 主语言
- Python
- 星标
- 269
- 核查时间
- 2026-11-20
以上快照资料以核查当日为准,可能随版本或运营策略变化。
跟踪物体变形态的视频,比跟踪行人过马路难得多:一个苹果被切开、一块布被撕开、一只虾被剥壳,画面里的”形状数量”都会变化,传统追踪模型(包括 SAM 2 系列)很容易跟丢或者把分身当成新物体。TubeletGraph 是 NeurIPS 2025 论文《Tracking and Understanding Object Transformations》的官方实现,专门处理这类”物体变了形、分了身”的追踪。GitHub API 在 2026 年 11 月 20 日显示 269 颗星。
核心功能
- 零样本组合现有模型:不重新训练,直接组合 SAM 2.1(带多掩码预测)、FC-CLIP 与 GPT-4.1 等预训练模型;首帧标注目标后,后续帧自动追踪。
- 记录”变化”而不只是”位置”:除了逐帧掩码,框架会生成状态图(state graph),记录每个子对象何时、因何动作、从哪个母体分离——例如”切开”、“剥皮”、“倒出”。
- 面向形态变化的评测:论文在 VOST、VSCOS 与 M³-VOS 三类基准上评测,覆盖物体被切开、撕开、移除部分等场景;仓库给出对应的评测脚本与可视化。
- 可扩展数据:提供自定义数据集的接入方式与示例,方便把同一套追踪流程套到质检、机器人操作等新场景。
与 SAM 2 的关系也容易误解:TubeletGraph 不是替代 SAM 2,而是把它的多掩码预测、FC-CLIP 的语义能力与 GPT-4.1 的视觉语言判断编成一个「观察—判定—记录」的循环。哪些帧触发分离判定、状态图如何合并,细节都在论文与项目页面里。评测口径同样需要留意:VOST 等基准评的是给定首帧掩码后的追踪质量,不覆盖检测与分割的前置误差,而 GPT-4.1 的参与意味着额外的推理成本与网络依赖。
典型使用场景
- 工业质检与食品加工:切分、去皮、分装过程中的物体状态变化,可以用状态图记录”哪一块来自哪里”,比纯检测框更适合追溯。
- 机器人与具身研究:抓取、切割等操作会改变物体拓扑;状态图为下游策略提供”物体历史”,而不只是当前帧。
- 视频数据标注与剪辑辅助:自动生成带来源关系的对象轨迹,方便后期挑选与合成素材。若关注 AI 直接剪片的工作流,可对照 OpenFilm。
快速上手
README 给出的环境流程基于 conda 与 PyTorch 2.7(CUDA 12.6):
conda create -n tubeletgraph python=3.10 -y
conda activate tubeletgraph
pip install torch==2.7.0 torchvision==0.22.0 --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt
随后按 README 安装带多掩码预测的 SAM 2、CropFormer(detectron2)与 FC-CLIP,并把 OpenAI API Key 设为环境变量(GPT-4.1 查询需要)。仓库提供 Quick Start 与 notebook,先用示例视频跑通再换自有数据。
小结
TubeletGraph 的定位是研究代码而非即插即用的产品:依赖链较长(SAM 2、detectron2、FC-CLIP 与 OpenAI API),需要 GPU 环境与一定动手能力。但它解决的是一个真实痛点——现有追踪模型假设物体形状不变,而现实里的切割、剥皮、倾倒都会打破这个假设。GitHub API 在 2026 年 11 月 20 日报告:Python、MIT、269 颗星、未归档,最近推送 2026 年 11 月 20 日。
本条目基于 README 与论文摘要整理,未实际部署或复现实验;评测数字与场景效果以论文与项目页面为准,生产使用前请在自己的视频上验证。