AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。
随着人工智能的发展，语言模型和生成模型获得了大量的成功并且在设计模型的过程中，模型的参数量也越来越大。对于细粒度理解任务，模型参数量也同样在增加。然而目前现有的数据集存在规模和精度的矛盾，例如 SA-1B 数据集中 99.1% 的 mask 都是机器生成的，但没有赋予语义的标签，而其他一些公开数据集也同样存在精度问题并且这些数据集的规模一般都比较小。
近期，字节跳动提出了新一代细粒度理解的数据集，针对当代深度学习模型的设计需求，给总量为 383K 的图片进行了全景分割的人工标注，最后达到了 5.18M 张 mask，是至今最大规模的带人工标签的全景分割理解数据集，命名为 COCONut。该成果已入选 CVPR2025。
-
论文链接：https://arxiv.org/abs/2404.08639
-
代码和数据集链接: https://xdeng7.github.io/coconut.github.io/
视频展示了 COCONut 的单张图片的 mask 密度以及语义类别的统计，可以看出，数据集的语义丰富以及 mask 分割粒度精细。该数据集还支持多种理解任务，例如全景分割，实例分割，语义分割，目标检测，语义控制生成和开放词汇分割，在多项任务上，仅通过替换数据集就达到了明显的性能提升。
通常只采用人工标注是非常昂贵的，这也是目前现存的大多数公开数据集规模上不去的一个重要原因。还有一些数据集直接使用模型生成的标签，但往往这种生成的标签对模型的训练不会有太大的提高，本文也验证了这一点。所以本文提出了一种新颖的标注方式，结合人工的半自动标签生成。既能保证数据标注的精度又能实现人工劳动力的节省成本，同时还能加速标注过程。
研究者把 COCONut 和 COCO 在同一张图上的标注进行对比。从下图的对比可以看到本文提出的标注方法达到了和纯人工用 Photoshop 标注几乎一致的精度，但是在标注速度上提高了 10 倍以上。
和已有的 COCO 数据集相比，数据集各个类别的分布比较相近，但是在每张图的 mask 总量上是超过 COCO 数据集的，尤其是有大量单张图片有超过 100 张 mask 的情况，由此说明了 COCONut 的标注更为精细，粒度分割更密集。
除了提出一个更好的训练集，研究者还发现现有的验证集不能很好的体现模型性能的提升，因此本文还提出了一个更加富有挑战性的、可以反映模型的提升的测试集，命名为 COCONut-val. 从下表可以看到，仅替换数据集，更高精度的训练集可以带来模型很大的提升，例如在全景分割上达到超过 4 个点的 PQ。然而当训练集的规模增加了之后，可以发现，用现有的测试集做测试并不能反映出模型的提升，而 COCONut-val 则能反映出模型在增加了训练集数据量之后仍然有明显的提升。
下图为验证集语义类别和 mask 密度的对比，可以看出新提出的验证集更具有挑战性，更能反映模型的提升。
了解更多实验结果可参考原论文，团队后续将在 GitHub 主页提供数据集和相应的模型公开下载。
智能创作团队是字节跳动 AI & 多媒体技术团队，覆盖了计算机视觉、音视频编辑、特效处理等技术领域，借助公司丰富的业务场景、基础设施资源和技术协作氛围，实现了前沿算法 - 工程系统 - 产品全链路的闭环，旨在以多种形式为公司内部各业务提供业界前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。
目前，智能创作团队已通过字节跳动旗下的云服务平台火山引擎向企业开放技术能力和服务。更多大模型算法相关岗位开放中。
以上就是CVPR 2025 | 字节提出新一代数据集COCONut，比COCO粒度分割更密集的详细内容，更多请关注视野AI【www.syai.cn】。
感谢网友zyh0403、Coje_He、Domado、破壁者、不一样的体验的线索投递！ 7月6日消息，字节跳动旗下北京字跳网络技术有限公司今年陆续将“咕咕嘎嘎”“刀盾狗”“香蕉猫”等网络热梗登记为美术作品著作权，今日引发网络热议。▲咕咕嘎嘎▲刀盾狗▲香蕉猫从登记信息获悉，北京字跳网络技术有限公司登记...
感谢网友HH_KK、取什么名的线索投递！ 6月24日消息，据路透社报道，四位知情人士透露，高通正洽谈为字节跳动提供芯片设计服务。这家美国企业此举意在降低对智能手机市场的依赖，智能手机业务是其最大收入来源。若谈判顺利落地，字节跳动将成为高通芯片设计业务的首批客户。高通是全球最大的智能手机基带芯片供应商...
感谢网友取什么名的线索投递！ 6月24日消息，据彭博社今日援引知情人士消息，字节跳动正与多家银行进行初步磋商，寻求一笔规模约200亿美元（注：现汇率约合1360.08亿元人民币）的海外贷款，成为字节跳动历史上规模最大的离岸融资项目。据悉，字节跳动已接洽多家银行，拟筹组一笔期限为3年的贷款安排，同时附...
感谢网友HH_KK的线索投递！ 6月23日消息，据日经亚洲6月22日报道，字节跳动近期不太可能上市。报道援引两位知情人士消息称，字节跳动董事会在5月初的一次会议上得出了这一结论。一位直接了解董事会想法的人士说，字节跳动的估值只会越来越高，张一鸣为什么要上市呢？字节跳动的股票在非公开市场上的估值超过6...
感谢网友Domado、麻辣清补凉的线索投递！ 6月23日消息，据每日经济新闻报道，字节跳动旗下火山引擎总裁谭待今日在2026火山引擎FORCE原动力大会上正式公布了豆包视频生成模型Seedance2.5。该模型目前处于全球企业内测阶段，预计将于7月初正式上线。据现场介绍，Seedance2.5在多项...
感谢网友GreatMOLA、Domado的线索投递！ 6月23日消息，据小伙伴反馈，字节跳动悄悄在火山引擎官网上线了豆包Seed2.1系列模型，包括Pro和Turbo版本，Seed-Evolving模型也进行了迭代。根据官方介绍，Doubao-Seed-2.1是面向Coding和Agent时代打造的...
感谢视野AI网友取什么名、不一样的体验的线索投递！ 视野AI6月19日消息，据财闻今日报道，日前，荣耀正密集起诉多家手机壳电商，理由为商标侵权，本次荣耀起诉力度较大，或涉及超400家手机壳电商公司。报道提到，具体来看，荣耀认为这些手机壳厂商在商品的标题中和介绍页面大量使用“荣耀”二字或“Honor”...
感谢视野AI网友斯文当不了饭吃、files的线索投递！ 视野AI6月15日消息，据路透社今日援引知情人士消息，字节跳动正与总部位于上海的天数智芯（IluvatarCoreX）洽谈，欲购买AI推理芯片，同时也在考虑与百度达成类似合作。据悉，如果本次交易达成，那么天数智芯将成为字节跳动第三家国产GPU主...
感谢视野AI网友冰可乐_、F宝、新注册的游客的线索投递！ 视野AI6月12日消息，前天，字节跳动旗下AI应用豆包已针对付费订阅开放灰度测试，除此之外，当时还有另一个“任务模式”也开启测试。直到今天，豆包“任务模式”已经大范围上线。视野AI实测发现，大部分用户打开豆包首页就能看到官方提示。用户打开豆包...
感谢视野AI网友华南吴彦祖的线索投递！ 视野AI6月11日消息，据ZFinance今日报道，多方信源确认，字节跳动AI硬件团队Ocean核心成员、豆包手机硬件产品负责人林夕已于近期离职。这是字节自2024年启动AI手机项目以来，首位出走的核心硬件负责人。报道提到，林夕此前长期任职于华为终端，是Pur...
