ControlNet颠覆AI绘画新玩法

AIGC向可控靠近

以(yǐ)AI绘画为代表的AIGC上(shàng)一次爆火(huǒ)的时候，还(hái)是2022年8月，在美国科(kē)罗拉多州举办的新兴(xīng)数字(zì)艺(yì)术家竞赛(sài)中，一(yī)幅名为《太(tài)空歌剧院》的作品(pǐn)获奖。

随(suí)后(hòu)各大(dà)厂商的AI绘画软(ruǎn)件被广大网友熟知(zhī)并体验，Stable Diffusion便是其中(zhōng)代表。

用户们可(kě)以在应用中输入(rù)一组关键词或(huò)者一张照片，就能获得一幅AI创作(zuò)的(de)画作。

作(zuò)画的关键就是所输入的文本。同一组关键词也可以(yǐ)创作出很多(duō)张风格不(bù)一(yī)样的(de)画作，这让创(chuàng)作的过(guò)程就像开盲盒。

很多用(yòng)户很喜欢(huān)这种(zhǒng)不确定的惊(jīng)喜，他们会将生成的美(měi)图当做头(tóu)像。而另一部分喜欢(huān)翻(fān)看(kàn)AI绘(huì)画(huà)的(de)“翻(fān)车”作品。在(zài)社交媒体上，许多用户分享AI“翻车现场(chǎng)”，例(lì)如，一位网友(yǒu)的(de)小狗照片被AI画成了“肌肉男”，还有(yǒu)网友的(de)个(gè)人(rén)照片被(bèi)AI识(shí)别成(chéng)了建(jiàn)筑。

而如今随着ControlNet的出现与加持，以往(wǎng)AI绘(huì)画的填写关键词游戏(xì)可能要被颠(diān)覆(fù)了(le)。

ControlNet是一位(wèi)正在斯(sī)坦福读(dú)博的中国人张吕敏创作的一(yī)种基于(yú)控制点的图像变形(xíng)算法，主(zhǔ)要用于(yú)数(shù)字图像处理、计算机视(shì)觉和计算机图形学等(děng)领域。

其SD插件一经(jīng)发(fā)布(bù)，在短短的两天内便(biàn)成为了AI绘画(huà)领域最新的(de)热(rè)点。

在此(cǐ)之前(qián)，大家(jiā)用了很(hěn)多方法想让AI生成(chéng)的结(jié)果尽可能的(de)符合要(yào)求，但(dàn)是都不尽如人意(yì)，它的(de)出现代表着AI生成开始进入真正的(de)可控时期(qī)。

因为ControlNet可(kě)以(yǐ)直接(jiē)提取画面的构图，人(rén)物的姿势和(hé)画(huà)面的深度信息等。有了它的(de)帮助，就不用(yòng)频(pín)繁的用提(tí)示词来(lái)碰运气，抽(chōu)盲盒式的创作了。

通俗的说ControlNet相当(dāng)于(yú)给AI绘画加了“魔法”，不少博主的作(zuò)品已经获(huò)得(dé)了大量的(de)浏览量，“viggo”就是其(qí)中之一，他用朋友(yǒu)的照片直(zhí)接带她们走(zǒu)进动漫世界(jiè)。

viggo先用(yòng)StableDiffusion图片转(zhuǎn)文(wén)字。

再用Text2Prompt插件拓展找到对应的(de)关(guān)键词(cí)；最(zuì)后用(yòng)ControlNet插件绑定(dìng)骨骼开始换(huàn)关键词试效果。

通过图片就可以看出来(lái)，效果(guǒ)十分惊艳(yàn)。

更厉害(hài)的是，除了真(zhēn)实的照(zhào)片，草图也可以加上(shàng)“魔(mó)法”，知(zhī)乎大牛“DevPoint”和“逗砂”介绍到ControlNet还能实(shí)现线稿转全彩图。大(dà)神张吕敏其本尊也亲自回应(yīng)。

不(bù)得不说(shuō)当下AIGC已经变得越来越强(qiáng)大，甚至输出的(毁掉一个老师最好的办法de)作品都已经能(néng)以假乱真了(le)。

02

难(nán)辨虚实(shí)，AIGC技(jì)术力爆发

警惕(tì)安全问题

近日，“苏州(zhōu)金(jīn)鸡(jī)湖有游艇party”的消息(xī)火遍网(wǎng)络，而(ér)经过警方(fāng)辟谣这所谓(wèi)的“party”可能是全国第一起AI绘图诈骗。

由于这个活动里面(miàn)给出(chū)的美女照片(piàn)都是AI制(zhì)作(zuò)的真人照片(piàn)绘图，因为太(tài)逼(bī)真，被大家当成真事传播了(le)。

不过(guò)仔细(xì)观(guān)察可以(yǐ)发(fā)现(xiàn)，活动发起者提供的(de)照片中有个很(hěn)大的漏洞可以发(fā)现并非真人，而是AI绘图，那便是图(tú)片中女性的手指部分有的存在异常。

有行业人事(shì)表示：“现在因为手指部分(fēn)的绘画算法比较复(fù)杂，AI还(hái)不太会画人的手(shǒu)，但最新看到的(de)图片已经有(yǒu)越来越(yuè)完美的AI模型出现，以后可能就完全没(méi)有漏洞了(le)。”

类(lèi)似的AI作(zuò)图诈骗在(zài)国(guó)外(wài)也已有发生。据英国广播公司报道，土耳其地震期(qī)间，有(yǒu)Tiktok用户(hù)使(shǐ)用AI合成了(le)儿童受灾的假照片(piàn)发布到网(wǎng)络，以此诱骗(piàn)善良的人(rén)打赏(shǎng)“捐助”从而实施诈骗。

目前随着技术(shù)发展，AIGC已(yǐ)经能做出真人照片般的绘图效果，如果这(zhè)样的图片(piàn)被(bèi)用来(lái)诈骗，将非(fēi)常可(kě)怕。

此(cǐ)外AIGC还引(yǐn)发了(le)很多(duō)担忧，一方面，批(pī)判者认为AI在“学习(xí)”了大量前(qián)人的作品之后(hòu)，其创作(zuò)没有任何(hé)情(qíng)绪和灵魂，难以和人(rén)类(lèi)的艺术创(chuàng)作(zuò)相(xiāng)提并论。

另(lìng)一方面，AIGC背后的版权(quán)、目前都并没(méi)有得到有(yǒu)效的解(jiě)决(jué)，还(hái)有AIGC会不会代替人类“至(zhì)高(gāo)无上”的创意。

马斯克(kè)也强调(diào)，人工(gōng)智能的(de)安全问题需(xū)要(yào)得(dé)到重(zhòng)视，太晚(wǎn)就(jiù)来不及(jí)了(le)。

03

AIGC下一站(zhàn)除了视频(pín)，还有远(yuǎn)方

技(jì)术都是有两(liǎng)面性(xìng)的，潜在(zài)的危害并不能掩盖其光(guāng)辉的贡献。现在看(kàn)来，人工智能技(jì)术将是(shì)第四次(cì)工(gōng)业(yè)革命的核心(xīn)驱(qū)动力量，将创造新的增长奇迹。

过去一(yī)年(nián)，人工智能在技术和商业层面都(dōu)有了(le)巨大进展，AI绘画就是人工(gōng)智能技术发(fā)生方向性改变的一个(gè)代表。其下一站或许就(jiù)是视频(pín)。

此前，Meta和谷(gǔ)歌先后发布(bù)了几条引(yǐn)爆科技圈的(de)短视(shì)频。这些(xiē)视频(pín)引发关注并非内(nèi)容做得多优秀，反而都非常简单(dān)，比(bǐ)如一(yī)匹正在喝水的马(mǎ)，一(yī)只画画的玩具熊，或者(zhě)一(yī)段骑摩托车的第一视角录像，随(suí)便一(yī)个(gè)有手机(jī)的(de)人都可(kě)以随手(shǒu)录下一(yī)段。

但这些短视频的创(chuàng)作方式(shì)非常简单，创作(zuò)者仅仅(jǐn)需要向AI输(shū)入一段(duàn)话(huà)，甚(shèn)至(zhì)只是说一下(xià)要求(qiú)，AI就可以根据需要生(shēng)成一段视频。

谷歌(gē)发(fā)布的两个AI生(shēng)成视(shì)频分别来自于(yú)Imagen Video和Phenaki，前者主(zhǔ)要突(tū)出(chū)的是高清，与Meta的(de)Make-A-Video没有太多(duō)的差别。

在(zài)Make-A-Video公(gōng)布了AI生成(chéng)的视频后，AI圈就(jiù)已经玩了一波梗，一个能够做(zuò)出更(gèng)高清视频的AI还不足以在短(duǎn)时间内戳中兴奋点。

Phenaki更加(jiā)令人震惊的地(dì)方在于，它可以制(zhì)作出(chū)超过2分钟的连(lián)贯的也有确(què)切内容的视频，这才(cái)是真正让(ràng)人们感到惊喜的地方。因为无(wú)论AI生成的视频(pín)多么高清，也只能(néng)是(shì)为内容生(shēng)产者提供一(yī)个灵感(gǎn)，一个(gè)素材，一个(gè)过场动画。

不过能(néng)够(gòu)制作出有具(jù)体剧情内(nèi)容(róng)的视频就意味着，一些视频创作由AI代替人工完成已(yǐ)经初步有了可(kě)能(néng)。

当(dāng)下AI的(de)发展速(sù)度已经超过大部分人的想(xiǎng)象。内容产业的(de)本质是供给创造需求，AIGC作(zuò)为全新的内容生(shēng)产方式，可以为内容产业(yè)带来更(gèng)新的内容风格、更(gèng)快(kuài)的生产速度，更低的(de)生产成本，这无(wú)疑会驱动内容产业的大爆发。

除了AI绘(huì)图(tú)、视频，AIGC技术还能应用(yòng)于音乐、代码(mǎ)、机(jī)器人动作等多种(zhǒng)内容(róng)形(xíng)式(shì)的(de)生成。不难发现该(gāi)项技(jì)术不仅在游戏等行业能(néng)得到有效应用，对于(yú)下一(yī)代(dài)互联网各种元素的构(gòu)建亦有关(guān)键意(yì)义。

从商业化的角度来看，文化娱(yú)乐、教育、传媒(méi)等诸多领域(yù)，本身就对基于AI的可视化内容有(yǒu)强(qiáng)烈需求。

因此，AI绘画及视频(pín)或不是结果，而只是(shì)AI进程中(zhōng)的一块重要(yào)拼图，有望在(zài)技术更(gèng)新的加(jiā)持下实现更大(dà)的应用(yòng)价值。

AI从理解内(nèi)容(róng)，走向(xiàng)了可(kě)以生成内容，甚至能够创造出(chū)独立(lì)价值和(hé)独立视角的内容。AIGC的再次出(chū)圈，更代表(biǎo)着(zhe)未来的(de)先进生产力即将到来(lái)。

04

紧抓(zhuā)大模型与算(suàn)力，牢固AIGC底座

从技术的发(fā)展也可以看出，在语言大模型、图像大模型之(zhī)后，多模(mó)态大模型已经成为了新的(de)趋势。

大模型被誉为当前人(rén)工智(zhì)能发(fā)展(zhǎn)的智(zhì)能底座，是全球(qiú)竞争(zhēng)最激烈的研(yán)究方向之(zhī)一，包括谷歌、亚马逊(xùn)、百(bǎi)度、阿里、腾讯等(děng)众多头部(bù)企业都在竞相发力。

不过(guò)训练大模型(xíng)的确价格(gé)不菲，以(yǐ)国盛证券发布的《ChatGPT需要(yào)多少(shǎo)算力》报告估(gū)算，GPT-3训练一次的成本约为140万美(měi)元。而对于一些更大(dà)的(de)LLM(大型语(yǔ)言模型(xíng))，训(xùn)练成本则介于200万美元至(zhì)1200万美元高(gāo)价之间。

以(yǐ)ChatGPT在(zài)2023年1月(yuè)的独(dú)立访客平(píng)均(jūn)数(shù)1300万(wàn)计算，其对应芯(xīn)片需求为3万多片英(yīng)伟达A100 GPU，初始投入成(chéng)本约为8亿美元，每日仅电费就(jiù)在5万美元(yuán)左右。

此外不(bù)论是ChatGPT还是AIGC，都离不(bù)开庞(páng)大算力支持。在关注各(gè)类大模型的发(fā)展同时，更(gèng)应该关注算力网络的建设。

算力网(wǎng)络正驱动AI产业发(fā)展进入(rù)史诗级加速(sù)进程，让(ràng)AIGC及通用(yòng)AI这一人工智能发(fā)展的终(zhōng)极目标离得更近。

因为算力(lì)可以对突破(pò)性技术(shù)创新提供大力的支持(chí)。这方面(miàn)，多模态大模型是典型。作为面向未来强人工智能、通用(yòng)人工智(zhì)能的重要技术创新，多模态大模型(xíng)已经在人工智(zhì)能领域提出(chū)了很多年，业(yè)界也有不(bù)少技术突破，但(dàn)是，多模态大模型进(jìn)一步(bù)往下走，算力需(xū)求呈几(jǐ)何式(shì)上升，一般的(de)算(suàn)力基础设施很快将难(nán)以胜任。

从图像、文字、语音单独一项的(de)训练，到双(shuāng)模(mó)态、三模态的跃(yuè)迁，让人工智能可以灵活应对不(bù)同模态(tài)的转化、像(xiàng)人与世界交互一(yī)样自然，这(zhè)方(fāng)面(miàn)，由算力网络来驱动将有(yǒu)明显(xiǎn)优势(shì)。

此外，还有很多(duō)需要爆发(fā)式增长的算力来支撑的技术创新，将在(zài)人工(gōng)智能(néng)算力网络(luò)支撑(chēng)下快(kuài)速推进(jìn)。

AIGC已(yǐ)经露出曙光(guāng)，期(qī)待在大模型和大(dà)算(suàn)力的(de)支持下AIGC能持续(xù)颠覆内(nèi)容生产的方式，将(jiāng)创造的(de)边际成本降低，让万众受(shòu)益。

未经允许不得转载：绿茶通用站群 毁掉一个老师最好的办法