主页 > 互联网+ > 正文

设计师看呆!印象派插画转视频 揭秘Luma AI生成模型隐藏玩法

2024-06-17 23:01来源:钛媒体APP编辑:沫小朵

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

  原标题:设计师看呆!印象派插画转视频 揭秘Luma AI生成模型隐藏玩法 

  刚玩过Pika 2.0这款“最 的免费AI视频生成工具”后,网友又有新乐子了。

  昨晚,我在微博上看到了设计师@Simon_阿文 po出了一组AI生成的图片。本来他想为难一下这个名叫“Dream Machine”的大模型,但……小丑张嘴说话,旋转木马开始旋转,独角兽开始奔跑,po主直呼“我疯了”。

  ▲“马戏团”静帧生成视频(来源:Simon_阿文)

  我也惊了,这 是迄今为止第一个能把风格化图片转成合理视频的模型。(风格化是一种模拟真实艺术手法的创作方式,会有绘画或印象派的效果,而不注重写实。)

  Dream Machine(造梦机)是2021年成立的Luma AI昨天免费开放的视频生成大模型,这家公司在A轮B轮中都拿到了英伟达的投资。Luma AI模型可以在120秒以内生成120帧影像(5秒视频)。

  从官网效果视频来看,“人紧闭双眼在水下呼吸”、“北极熊在雪野中慵懒地匍匐前行”、“房间瞬时发生了爆破”……生成视频动感、逼真、流畅,甚至有一些故事的延伸感!

  ▲Luma.AI官方视频效果

  全球互联网的热情一下子被点燃,大量用户涌入Luma AI网站,乃至今天上午我试用时也出现了排队的情况。我承认,Luma AI生成模型终于能用了,虽然视频帧率远不如Sora,细节上还是问题很多,但比Pika半年推出的模型进步了一大截。

  实测:风格化表现力好,但画面质量太有问题

  Luma AI的造梦机大模型用起来非常的简单,只要登入官网(https://lumalabs.ai/dream-machine)后注册,通过输入文字提示词,等待约2两分钟,就可以获得一段5秒的视频。

  我先后将一些风景照片、影视截图、Coser高清美照等等投给Luma AI,120s的时间说长不长,如果你能忍受偶尔几次的卡顿,模型能消化各种风格,交出一些生动有趣的“电影级”画面。

  首先,这个模型对提示词的要求低,哪怕你说“将图片转化成视频”,Luma AI也可以自由发挥。比如我将电影《教父》的画面给到模型,你能想象AI会怎么“续写”吗?视频中,老教父站起身来,他旁边的侍从一脸凝重地拉住了他,这画面引人遐想,仿佛暴风雨前的蓄势待发。

▲电影《教父》画面生成视频

一直以来,过去人们对图生视频模型的印象大概是超写实还行,但风格化表现极差,这一次Luma AI却表现真的不一样。

相对来说,文生视频的效果就会差一些。我直接使用Luma AI给出的参考文本生成视频,可以看到视频中的熊突然跳跃到空地上,然后对一个不断变形的吉他使出了“无影爪”……运动幅度不是很流畅。

  ▲文本“一只戴着墨镜的泰迪熊在一片美丽的大瀑布前的丛林里,弹着电吉他、跳着舞、晃着头。”生成视频

  我承认,Luma AI在做画面补充上是有一手,但是也会翻车在这一点上,出现完全不符合内容逻辑的情况。比如,我将《楚门的世界》结局时的经典微笑画面交给大模型,视频闪现了两张一群人簇拥“楚门”的画面,离谱!第二个画面不知道是AI从哪里学来的,有种可恶的熟悉感。

  ▲电影《楚门的世界》画面生成视频,提示词为“这个男人开心地笑了起来并挥手再见的镜头”

  另外,理解物理世界对于Luma AI来说仍然是未被解决的问题。当某网友将美剧《生活大爆炸》中Sheldon的剧照投给Dream Machine,生成视频中Sheldon的动作细节不符合物理。这个是AI视频生成的老毛病了。

  ▲《生活大爆炸》中Sheldon生成视频

  最最严重的问题其实是画面质量。Luma AI生成视频的粒子效果尚可,不过这本来难度就不大,但是视频帧率较低,想必是计算能力一般,画面纹理和材质差,多为低渲染素材,细节表现失真。

  这令我也很疑惑,Luma AI画面逼真度比Sora差了怎么这么多?Luma AI模型的标定是2分钟120帧,为了保证这个输出速度,图片质量就会比较低,渲染速度快就会出现低渲染素材。那如果我们用分辨率稍低一点的素材试一下,比如我用电影《五星级大鼠》可能效果就会……还是不怎么样。

  ▲电影《五星级大鼠》画面生成视频

  总的来说,Luma.AI表现得最好的部分是运动平滑度、运动程度,它还有一定的内容表现力,例如可以在5s视频中补充与风格、内容一致的动态画面。画面不仅仅只是动作流畅,还比原来更有趣、更有故事性。

  尽管运动和内容表现力不错,Luma.AI也坦率承认,目前模型存在着重现自然动作、变形效果和文本方面的困难。不过我认为,成像质量才是Luma.AI最大的问题,视频的帧率较低,画面纹理和材质经不起细看,细节表现失真。

  ▲Luma.AI评分(来源:乌鸦智能说)

  人类学构图时 学的是物理逻辑,而AI的学习路径大大不同。无论是Sora的刷屏视频出现多处失误,还是Luma “自爆”还需要改进的各种问题,当前我对Luma大模型表达惊艳的同时,也意识到了模拟真实世界仍需闯关。

  画面几乎不可用,实际价值待解

  除了生成效果,视频生成长度(约5s)、产品易得性(完全免费)也都是Luma AI模型的亮点。

  要知道OpenAI“重磅弹”Sora虽然能根据提示词生成1 ,但还未开发公测。此外,开放的Pika、Runway和PixVerse等文生视频产品基于原创模型,生成视频长度也只有3-4秒,部分产品仍有付费门槛。

  那么,更易得、完全免费的Luma AI有没有更实际的案例价值呢?

  对于创意视频生成、广告创作、电影特效这类较专业的案例来说,答案是:Luma AI不行,Sora也不行。影视从业者江江告诉乌鸦君,Luma AI生成视频的画面质量太低,几乎不可用。今年2月,第一财经的一篇报道也提到,某纪录片从业者认为Sora还不能直接用于影视作品,因为精细度还不够。

  Luma AI视频工具对于艺术表现这一块也不见得打得通。上文提到的设计师@Simon_阿文也开始反思AI对作品的二创,他认为生成的视频导致风格偏离,得不偿失,“比如这只熊…感觉串片场了”。设计师的风格暂时还不能被AI视频生成精细地复制。

  ▲@Simon_阿文 作品中的狮子突然变成了卡通版本

  英伟达看好,开放打法是否有效?

  AI生成视频赛道打得火热,资本市场也展现出对视频生成领域的疯狂,今年3月,三个华人创立的AI视频生成创企(Haiper、爱诗科技、HeyGen)扎堆获得了融资,而且融资额都过了千万美金。

  Luma AI的融资历程也非常顺利,截至今年1月份,Luma AI已融资超7000万美元。A轮融资2000万美元,投资方包括Amplify Partners、英伟达、General Catalyst等。B轮融资4300万美元,a16z领投,Anjey Midha、Amplify、Matrix、英伟达等参投。

  Luma AI的开放策略,使得Dream Machine对所有人都可用,这可能会使其在建立开发者和创作者社区方面占据显著优势。据了解,Luma AI计划发布API和插件,将Dream Machine与流行的创意软件集成,进一步扩大其影响力。

  从另一个角度来讲,Luma团队可能是没有能够收集到足够的信息训练,所以只能开放,以此收集数据。而做得比较好的视频生成项目可能不会开放,因为他们担心垃圾数据会降低AI的训练度。

  ▲Luma在网站支持模型现有的问题

  结语:AI视频生成正在普及化

  过去我们无法想象,AI视频可以精细到如Sora、Luma这种程度,从文生文到文生视频、图生视频,也不过才用了一年时间。Luma AI的视频的质量令人惊叹,但目前,它们除了作为展示AI潜力的范例作用外,实用落地价值仍待观察。

  Luma等AI生成视频工具的开放和收费,预示AI视频工具商业化将提速。影视从业者江江也对乌鸦君表示,Ta从视频制作者的角度来看,原以为会成为技术难关的东西,AI都已经突破或者有突破的迹象了。或许AI视频生成普及化到实际落地的那一天不会让我们等太久。

     投稿邮箱:jiujiukejiwang@163.com   详情访问99科技网:http://www.fun99.cn

相关推荐
雷士致东方|家居不懂布置?跟着设计师学 雷士致东方|家居不懂布置?跟着设计师学

原标题:雷士致东方|家居不懂布置?跟着设计师学 家是城市的一方净土,容

互联网+2018-10-15

捷克设计师利用区块链技术解决服装的售后维修 捷克设计师利用区块链技术解决服装的售后维修

原标题:捷克设计师利用区块链技术解决服装的售后维修等问题 据福布斯报道

互联网+2018-07-30

苹果首席设计师:关注历史上发生的事情 会让你 苹果首席设计师:关注历史上发生的事情 会让你

原标题:苹果首席设计师:关注历史上发生的事情 会让你相信你能找到解决办

互联网+2017-11-18

国外设计师设想了一个以自动驾驶汽车为形式的 国外设计师设想了一个以自动驾驶汽车为形式的

原标题:国外设计师设想了一个以自动驾驶汽车为形式的按需医疗系统 现如今

互联网+2017-10-20