一段AI生成的体操视频,引发近百万网友围观,LeCun等一众大佬还因为它吵起来了。

  通过视频右上角的水印,此段视频正是由那个一度被认为是“下一代”文生视频的Dream Machine(来自Luma AI)生成的。

  大伙儿看后纷纷坐不住,围绕此讨论的,是AI视频领域的一个熟悉的话题:AI是否理解物理规律。

  华盛顿大学计算机科学教授Pedro Domingos看后也“摇了摇头”:

  自Sora问世以来,“AI是否理解物理规律”这个话题就被越来越多人关注。

  下面这段Sora生成的“寄居蟹用灯泡当外壳的夜间场面”是个经典的例子,海浪与沙滩的互动非常细腻,寄居蟹腿上的纤毛也活灵活现。

  最近Luma AI的Dream Machine也一样,生成的第一视角探废弃房子真实感拉满:

  由此,不少人认为Sora、LUMA等的视频生成模型已经理解了简单的物理规律。

  他还进一步解释,Sora或者其它视频生成模型都有类似的问题,视频生成技术无疑也肯定会随时间推移而进步。

  真正理解物理的学习系统并不会具有生成性。就像鸟类、哺乳动物等比任何视频生成系统更了解物理。然而,它们都不能生成详细的视频。

  即使AI视频生成模型之后会进化的很好,生成的视频质量“完美”,那么就意味着它理解物理了?

  这就像是展示一个由几年前的DallE mini生成的图像,然后称当前的图像生成方式注定失败一样。

  有网友认为是缺乏体操表演数据,还有网友认为是身体部位的模糊处理,使得模型无法理解人体结构,继而不能保证肢体动作的连贯性。

  视频生成在计算上更为复杂,并且具有高度的上下文相关性,对详细标注的训练数据有更大的需求,这些需求现在还未得到充分满足。

  前段时间SD 3翻车,同样对人体生成效果不好,网友也讨论过这一问题,过于严格的数据审核,可能误删了一些无害的成人图像,影响了模型对人体结构的理解。