设计师看呆！印象派插画转视频 揭秘Luma AI生成模型隐藏玩法

　　原标题：设计师看呆！印象派插画转视频 揭秘Luma AI生成模型隐藏玩法 

　　刚玩过Pika 2.0这款“最 的免费AI视频生成工具”后，网友又有新乐子了。

　　昨晚，我在微博上看到了设计师@Simon_阿文 po出了一组AI生成的图片。本来他想为难一下这个名叫“Dream Machine”的大模型，但……小丑张嘴说话，旋转木马开始旋转，独角兽开始奔跑，po主直呼“我疯了”。

　　▲“马戏团”静帧生成视频（来源：Simon_阿文）

　　我也惊了，这 是迄今为止第一个能把风格化图片转成合理视频的模型。（风格化是一种模拟真实艺术手法的创作方式，会有绘画或印象派的效果，而不注重写实。）

　　Dream Machine（造梦机）是2021年成立的Luma AI昨天免费开放的视频生成大模型，这家公司在A轮B轮中都拿到了英伟达的投资。Luma AI模型可以在120秒以内生成120帧影像（5秒视频）。

　　从官网效果视频来看，“人紧闭双眼在水下呼吸”、“北极熊在雪野中慵懒地匍匐前行”、“房间瞬时发生了爆破”……生成视频动感、逼真、流畅，甚至有一些故事的延伸感！

　　▲Luma.AI官方视频效果

　　全球互联网的热情一下子被点燃，大量用户涌入Luma AI网站，乃至今天上午我试用时也出现了排队的情况。我承认，Luma AI生成模型终于能用了，虽然视频帧率远不如Sora，细节上还是问题很多，但比Pika半年推出的模型进步了一大截。

　　实测：风格化表现力好，但画面质量太有问题

　　Luma AI的造梦机大模型用起来非常的简单，只要登入官网（https://lumalabs.ai/dream-machine）后注册，通过输入文字提示词，等待约2两分钟，就可以获得一段5秒的视频。

　　我先后将一些风景照片、影视截图、Coser高清美照等等投给Luma AI，120s的时间说长不长，如果你能忍受偶尔几次的卡顿，模型能消化各种风格，交出一些生动有趣的“电影级”画面。

　　首先，这个模型对提示词的要求低，哪怕你说“将图片转化成视频”，Luma AI也可以自由发挥。比如我将电影《教父》的画面给到模型，你能想象AI会怎么“续写”吗？视频中，老教父站起身来，他旁边的侍从一脸凝重地拉住了他，这画面引人遐想，仿佛暴风雨前的蓄势待发。

▲电影《教父》画面生成视频

一直以来，过去人们对图生视频模型的印象大概是超写实还行，但风格化表现极差，这一次Luma AI却表现真的不一样。

相对来说，文生视频的效果就会差一些。我直接使用Luma AI给出的参考文本生成视频，可以看到视频中的熊突然跳跃到空地上，然后对一个不断变形的吉他使出了“无影爪”……运动幅度不是很流畅。

　　▲文本“一只戴着墨镜的泰迪熊在一片美丽的大瀑布前的丛林里，弹着电吉他、跳着舞、晃着头。”生成视频

　　我承认，Luma AI在做画面补充上是有一手，但是也会翻车在这一点上，出现完全不符合内容逻辑的情况。比如，我将《楚门的世界》结局时的经典微笑画面交给大模型，视频闪现了两张一群人簇拥“楚门”的画面，离谱！第二个画面不知道是AI从哪里学来的，有种可恶的熟悉感。

　　▲电影《楚门的世界》画面生成视频，提示词为“这个男人开心地笑了起来并挥手再见的镜头”

　　另外，理解物理世界对于Luma AI来说仍然是未被解决的问题。当某网友将美剧《生活大爆炸》中Sheldon的剧照投给Dream Machine，生成视频中Sheldon的动作细节不符合物理。这个是AI视频生成的老毛病了。

　　▲《生活大爆炸》中Sheldon生成视频

　　最最严重的问题其实是画面质量。Luma AI生成视频的粒子效果尚可，不过这本来难度就不大，但是视频帧率较低，想必是计算能力一般，画面纹理和材质差，多为低渲染素材，细节表现失真。

　　这令我也很疑惑，Luma AI画面逼真度比Sora差了怎么这么多？Luma AI模型的标定是2分钟120帧，为了保证这个输出速度，图片质量就会比较低，渲染速度快就会出现低渲染素材。那如果我们用分辨率稍低一点的素材试一下，比如我用电影《五星级大鼠》可能效果就会……还是不怎么样。

　　▲电影《五星级大鼠》画面生成视频

　　总的来说，Luma.AI表现得最好的部分是运动平滑度、运动程度，它还有一定的内容表现力，例如可以在5s视频中补充与风格、内容一致的动态画面。画面不仅仅只是动作流畅，还比原来更有趣、更有故事性。

　　尽管运动和内容表现力不错，Luma.AI也坦率承认，目前模型存在着重现自然动作、变形效果和文本方面的困难。不过我认为，成像质量才是Luma.AI最大的问题，视频的帧率较低，画面纹理和材质经不起细看，细节表现失真。

　　▲Luma.AI评分（来源：乌鸦智能说）

　　人类学构图时 学的是物理逻辑，而AI的学习路径大大不同。无论是Sora的刷屏视频出现多处失误，还是Luma “自爆”还需要改进的各种问题，当前我对Luma大模型表达惊艳的同时，也意识到了模拟真实世界仍需闯关。

　　画面几乎不可用，实际价值待解

　　除了生成效果，视频生成长度（约5s）、产品易得性（完全免费）也都是Luma AI模型的亮点。

　　要知道OpenAI“重磅弹”Sora虽然能根据提示词生成1 ，但还未开发公测。此外，开放的Pika、Runway和PixVerse等文生视频产品基于原创模型，生成视频长度也只有3-4秒，部分产品仍有付费门槛。

　　那么，更易得、完全免费的Luma AI有没有更实际的案例价值呢？

　　对于创意视频生成、广告创作、电影特效这类较专业的案例来说，答案是：Luma AI不行，Sora也不行。影视从业者江江告诉乌鸦君，Luma AI生成视频的画面质量太低，几乎不可用。今年2月，第一财经的一篇报道也提到，某纪录片从业者认为Sora还不能直接用于影视作品，因为精细度还不够。

　　Luma AI视频工具对于艺术表现这一块也不见得打得通。上文提到的设计师@Simon_阿文也开始反思AI对作品的二创，他认为生成的视频导致风格偏离，得不偿失，“比如这只熊…感觉串片场了”。设计师的风格暂时还不能被AI视频生成精细地复制。

　　▲@Simon_阿文 作品中的狮子突然变成了卡通版本

　　英伟达看好，开放打法是否有效？

　　AI生成视频赛道打得火热，资本市场也展现出对视频生成领域的疯狂，今年3月，三个华人创立的AI视频生成创企（Haiper、爱诗科技、HeyGen）扎堆获得了融资，而且融资额都过了千万美金。

　　Luma AI的融资历程也非常顺利，截至今年1月份，Luma AI已融资超7000万美元。A轮融资2000万美元，投资方包括Amplify Partners、英伟达、General Catalyst等。B轮融资4300万美元，a16z领投，Anjey Midha、Amplify、Matrix、英伟达等参投。

　　Luma AI的开放策略，使得Dream Machine对所有人都可用，这可能会使其在建立开发者和创作者社区方面占据显著优势。据了解，Luma AI计划发布API和插件，将Dream Machine与流行的创意软件集成，进一步扩大其影响力。

　　从另一个角度来讲，Luma团队可能是没有能够收集到足够的信息训练，所以只能开放，以此收集数据。而做得比较好的视频生成项目可能不会开放，因为他们担心垃圾数据会降低AI的训练度。

　　▲Luma在网站支持模型现有的问题

　　结语：AI视频生成正在普及化

　　过去我们无法想象，AI视频可以精细到如Sora、Luma这种程度，从文生文到文生视频、图生视频，也不过才用了一年时间。Luma AI的视频的质量令人惊叹，但目前，它们除了作为展示AI潜力的范例作用外，实用落地价值仍待观察。

　　Luma等AI生成视频工具的开放和收费，预示AI视频工具商业化将提速。影视从业者江江也对乌鸦君表示，Ta从视频制作者的角度来看，原以为会成为技术难关的东西，AI都已经突破或者有突破的迹象了。或许AI视频生成普及化到实际落地的那一天不会让我们等太久。