苹果复旦联手打造StreamBridge-突破端侧视频大语言模型理解瓶颈
作者：敖祯十七手游网时间：2025-05-15 09:35:43
近期，科技界传来一则令人瞩目的合作消息。据科技媒体报道，苹果公司携手复旦大学，共同推出了名为StreamBridge的端侧视频大语言模型（Video-LLMs）框架，该框架专注于提升AI对直播流视频的理解能力。
在探讨直播流视频理解的需求与挑战时，我们不得不提及传统视频大语言模型的局限性。尽管它们在处理静态视频方面表现出色，但在诸如机器人技术和自动驾驶等需要实时感知的领域，却显得力不从心。这些场景要求模型能够迅速理解直播视频流的内容，并据此作出反应。
当前，模型面临的主要难题包括多轮实时理解和主动响应。多轮实时理解意味着模型在处理最新视频片段时，需要保留历史视觉和对话上下文，而主动响应则要求模型能够像人类一样主动监控视频流，并在没有明确指令的情况下及时输出反馈。
为了攻克这些难题，苹果公司与复旦大学的研究团队共同开发了StreamBridge框架。该框架通过创新的内存缓冲区和轮次衰减压缩策略，实现了长上下文交互的支持。这一特性使得模型能够更有效地处理连续的视频流信息。
StreamBridge框架还引入了一个轻量化的独立激活模型，该模型能够无缝集成到现有的视频大语言模型中，从而赋予模型主动响应的能力。研究团队还精心打造了一个名为Stream-IT的数据集，该数据集包含约60万个样本，融合了视频与文本序列，并支持多样化的指令格式。Stream-IT数据集的推出，旨在进一步提升流式视频的理解能力。
为了验证StreamBridge框架的有效性，研究团队在主流离线模型上进行了测试，包括LLaVA-OV-7B、Qwen2-VL-7B和Oryx-1.5-7B等。测试结果显示，Qwen2-VL在OVO-Bench和Streaming-Bench上的平均分分别提升至71.30和77.04，这一成绩甚至超越了GPT-4o和Gemini 1.5 Pro等专有模型。Oryx-1.5也取得了显著的进步，而LLaVA-OV的性能虽然略有下降，但经过Stream-IT数据集的微调后，所有模型的表现都得到了进一步的提升。
相关文章
-
苹果复旦联手打造StreamBridge-突破端侧视频大语言模型理解瓶颈近期，科技界传来一则令人瞩目的合作消息。据科技媒体报道，苹果公司携手复旦大学，共同推出了名为StreamBridge的端侧视频大语言模型（Video-LLMs）框架，该框架专注于提升AI对直播流视频的
-
恶灵技能搭配攻略大揭秘（掌握关键技巧，打造无敌恶灵阵容）恶灵是一款热门游戏中的强力角色，拥有多种技能可以组合搭配，打造出无敌的阵容。但是，要想在游戏中充分发挥恶灵的威力，需要精确地搭配和运用不同的技能。本文将为大家揭秘恶灵技能搭配的关键要点，帮助玩家在游戏
-
三轴增稳-+-磁吸折叠：大疆-Osmo-Mobile-SE-手机云台-217-元国补新低感谢本站网友 瑶池青莲 的线索投递！ 大疆 Osmo Mobile SE 手机云台稳定器发布于 2022 年 9 月份，官方首发价为 599 元。京东 618 大促期间，按下方步
-
探索骇客追忆技能攻略（解锁黑客世界的密码，助你成为顶尖骇客）在数字时代，黑客已经成为一个令人着迷的职业。拥有骇客追忆技能的能力，不仅可以让我们深入了解黑客的世界，还可以帮助我们提升网络安全意识和防范能力。本文将带领读者一起探索骇客追忆技能攻略，帮助读者成为顶尖
-
SpaceX猎鹰9号火箭再创纪录-28次复用成功发射28颗星链卫星SpaceX再度发力，于美国东部时间5月13日凌晨1时02分，即北京时间同日13时02分，自佛罗里达州肯尼迪航天中心成功发射了一枚猎鹰9号火箭。此次发射将28颗星链互联网卫星送入了近地轨道，进一步壮大
-
精灵盛典手游攻略（揭秘女巫技能的威力，让你成为最强玩家！）精灵盛典是一款备受玩家喜爱的手游，而女巫作为其中一个强大的职业，她们独特的技能让人神往。本文将带你一探女巫技能的威力和使用技巧，助你在游戏中成为最强玩家。1 女巫职业简介：了解女巫的基本属性和特点，包
