首页 > 体育知识 > 体育知识 > 用155万模拟视频给模型上课!GVE模型一次学会9种视频检索技能

用155万模拟视频给模型上课!GVE模型一次学会9种视频检索技能

发布时间:2025-11-14 20:05:17

当前视频检索研究正陷入一个闭环困境:以MSRVTT为代表的窄域基准,长期主导模型在粗粒度文本查询上的优化,导致训练数据有偏、模型能力受限,难以应对真实世界中细粒度、长上下文、多模态组合等复杂检索需求。

要突破这一瓶颈,亟需重构视频检索的范式——从“专用”走向“通用”。

在这一“大一统”愿景下,香港科技大学(广州)联合阿里巴巴通义实验室展开系统性探索,首次提出通用视频检索概念,并构建了包含16个数据集、覆盖多任务与多领域的综合评测基准UVRB;合成了155万条高质量、多模态、任务多样化的视频-语言训练对;并为多模态大模型底座量身设计了任务金字塔课程训练策略。

由此推出的通用视频嵌入模型GVE(含3B与7B两个版本),在严格零样本设置下全面超越现有14个主流模型,展现出卓越的泛化能力。

这项工作不仅带来了当前性能最强的视频嵌入模型,更通过基准—数据—训练的全链条创新,为视频检索的通用化奠定了方法论基础。



问题动机:高分模型为何难以应对真实视频检索需求?

当前主流视频检索模型(如微软的CLIP4Clip、上海AI Lab的InternVideo2和快手的Unite等)在MSRVTT等经典基准上表现优异,但其能力边界往往局限于粗粒度的文本-视频匹配任务。

这类基准通常使用简短、泛化的文本描述(如“一个人在跳舞”),评估模型是否能从候选集中找到大致对应的视频。然而,真实世界中的用户需求远比这复杂。

例如,用户可能希望通过“文字 + 参考图像”组合查询特定视频,用一段视频片段作为示例进行相似性检索,精确指定空间关系(如“画面左侧穿红衣者”),时间动态(如“从跳跃到落地的连续动作”)或部分相关性(如“只要视频中提及”无人机”即视为相关”)等等。

遗憾的是,现有模型和评测体系对这类多模态输入和细粒度语义理解支持有限,根本原因在于:当前训练数据多源自网络爬取的噪声标签,任务设计高度单一,且评估指标未能反映模型在复杂场景下的鲁棒性与泛化性。

相比之下,图像检索领域已逐步走向统一的多模态表征框架,能够灵活支持文本、图像乃至属性等多种查询形式。

这一趋势表明,通用性(universality)正成为视觉检索系统的核心目标。

受此启发,团队主张将视频检索从“针对特定任务优化”的范式,转向支持多任务、多粒度、多域的通用建模。

团队不仅关注模型在标准测试集上的性能,更致力于构建一个能真正编码复杂视频语义、适应多样化检索需求的系统性解决方案。

迈向视频检索通用化:评测-数据-模型三位一体的全新范式

体育知识更多>>

空中技巧混团决赛 中国队315.02分排名第2晋级第二轮 五朝元老齐广璞冬奥谢幕 妻子:你已经是传奇! 自由式滑雪空中技巧混合团体 中国队夺铜美国队卫冕 宁忠岩:从没想过三次站上领奖台 下一个梦想一定是卫冕 冬奥速度滑冰男子集体出发 40岁荷兰老将摘金吴宇第15名 冬奥早报:空中技巧混团中国摘铜 速滑集体出发杨滨瑜第7 冬奥会女子双人雪车:德国组合卫冕 中国车队第11名完赛 冬奥会男子冰壶-加拿大第9局拿3分逆转 9-6英国夺冠 商务部:2025年消费者购买一级能/水效家电产品数量比上年增长20% 华硕天选Air 2026系列新品上市双重补贴更优惠 iPhone越贵越好卖!iPhone18没有单打孔 REDMI Turbo 5跑分出炉:新一代神U天玑8500加持 最高立省1000元,Apple新春限时优惠1月24日开启,覆盖iPhone16、iPad等 realme真我Neo8参数汇总,今晚发布 OPPO Find N6突然入网:2亿像素镜头+多光谱摄像头,手写笔也来了 微信上线15周年,腾讯张军:要不开个QQ许愿池? 文心大模型5.0正式版上线 复旦、上海创智学院等发布前沿大模型安全报告,覆盖六大领先模型 当智能家居挑战者MOVA闯入硅谷AI腹地 保时捷设计推C-Seed折叠电视,售价超三台911 这是一组iPhone 17系列的数据,看完后你们想说什么 荣耀Magic8 Air与荣耀Magic 8 RSR:外观、参数,均没有悬念了! B站百大UP主名单出炉,优质内容创作者集聚上海,沪九条半年来,有哪些改变 清华Nature发布惊人结论:AI写论文3倍速,但科学边界被锁死 “大起”被防住后,下周A股怎么走? 猎头黄仁勋的2025:高管从巨头挖,干活钟爱华人创业团队 新本田飞度上市,限时6.68万,限量3000台,发动机变速箱终身质保 27岁指挥官乃阿森纳之本!131场20球27助,有他在阿尔特塔很自信 曝前CBA外援布莱克尼打假球 23年3月打广东消极比赛 主场惨遭40分血洗! 广东不敌上海3连胜终结