类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
23
-
浏览
55
-
获赞
63992
热门推荐
-
平分秋色!近一个月3次碰面,阿森纳、利物浦各取1胜1平1负
2月5日讯 英超第23轮,阿森纳3-1利物浦。近一个月3次碰面,阿森纳、利物浦各取1胜1平1负。12月24日,英超第18轮:利物浦1-1阿森纳1月8日,足总杯第3轮:阿森纳0-2利物浦2月5日,英超第为什么说射杀晁盖的事情,肯定是梁山内部人干的?
《水浒传》是我国历史上第一部以农民起义为题材的章回体小说。作者为元末明初的施耐庵。它的原型是北宋末年山东人宋江领导的农民起义。那么下面趣历史小编就为大家带来关于射杀晁盖的是史文恭还是另有其人的详细介绍四川省医学会激光医学专委会成立 蒋献教授当选主任委员
2023年11月3日,四川省医学会激光医学专委会成立大会在成都召开。经过选举,我院皮肤性病科主任蒋献教授当选主任委员,我院眼科徐筑萍教授当选候任主任委员。会议审议通过了四川省医学会激光医学专业委员会章《龙之家族》剧集第二季6月开播 将出现5条新龙
近日《龙之家族》剧集制作人Ryan Condal确认,第二季中将出现五条新龙。以下为新龙介绍:“蓝女王”特塞里恩(骑手:戴伦·坦格利安),一头漂亮的蓝色母龙,喷出的火焰也是钴蓝色。在空中战斗时非常轻盈李维斯 x Denim Tears 联名 Vintage 牛仔工装系列发售
潮牌汇 / 潮流资讯 / 李维斯 x Denim Tears 联名 Vintage 牛仔工装系列发售2020年02月17日浏览:3901 既携手星战9打造别注丹宁夹克之晋阳起兵是怎么回事?李渊起兵反隋的原因是什么?
公元617年,中国历史上最大的事件莫过于李渊父子的“晋阳起兵”。“晋阳起兵”加速了隋朝的灭亡,历史上关于晋阳起兵的主角,存在着非议,有些认为是李世民,而有人认为是李渊,近些来诸多中外学者对相关史料进行尤氏为什么拦住李纨,不让她为自己打抱不平?
《红楼梦》,中国古代章回体长篇小说,中国古典四大名著之一,通行本共120回,一般认为前80回是清代作家曹雪芹所著,后40回作者为无名氏,整理者为程伟元、高鹗。小说以贾、史、王、薛四大家族的兴衰为背景,清朝正红旗主要是干什么的?有哪些姓氏?
还不知道:清朝正红旗主要是干什么的?有哪些姓氏?正红旗,建于明万历二十九年(1601年),因旗色为红纯红而得名,正红旗是下五旗,为下五旗之首。分为满洲、蒙古、汉军三部分,由诸王,贝勒和贝子分统。至清末没有落后的产业,只有落后的技术
在人类历史的长河中,科技进步始终是推动社会发展和变革的关键因素。从远古是时代的简单工具到现代的尖端技术,每一次重大的科技突破,都如同璀璨的星辰,照亮了人类前行的道路。在时代的浪潮中,人们常常会对产业有朱紫国国王得了什么病?为何全国的医生都治不好?
《西游记》是明代吴承恩创作的中国古代第一部浪漫主义章回体长篇神魔小说。该小说主要讲述了孙悟空出世跟随菩提祖师学艺及大闹天宫后,遇见了唐僧、猪八戒、沙僧和白龙马,西行取经,一路上历经艰险,降妖除魔,经历林冲等人脸上的金印,为什么不紧随着宋江也去掉?
《水浒传》是我国历史上第一部以农民起义为题材的章回体小说。作者为元末明初的施耐庵。它的原型是北宋末年山东人宋江领导的农民起义。那么下面趣历史小编就为大家带来关于宋江把脸上的金印去掉时,为什么不把林冲等“小孟尝”这个绰号,为何对柴进来说是非常合适的?
《水浒传》是我国历史上第一部以农民起义为题材的章回体小说。作者为元末明初的施耐庵。它的原型是北宋末年山东人宋江领导的农民起义。那么下面趣历史小编就为大家带来关于柴进还有个“小孟尝”的绰号是怎么来的详细足总杯第5轮,利物浦将在2月28日主场迎战南安普顿
2月7日讯 利物浦足总杯第5轮赛程确定,红军将在2024年2月28日20:00坐镇安菲尔德球场对阵南安普顿。足总杯第4轮,利物浦5-2击败英冠球队诺维奇。马东宇)标签:利物浦南安普顿诺维奇菲尔德太平洋建设领导与新疆昌吉回族自治州水利局党组副书记、局长会谈
2月23日,太平洋建设总裁、未来城市董事局主席宋少庭与新疆昌吉州水利局党组副书记、局长李桥会谈,双方就昌吉州东部县域水生态保护修复项目合作深入交流。粤商建设董事局主席张翔出席会议。 宋少上海静安寺苹果新店开业!果粉黄牛通宵排队拼体力!限量纪念礼品被炒到400元!
晚上7点开业,早上10:30就已截排!有人为限量纪念礼品,有人单纯为了热爱......制作者:韩佳艳