在大家沉迷于Midjourney、Stable Diffusion 技術(shù)中無(wú)法自拔時(shí)，一時(shí)被人遺忘的GAN又帶著新技術(shù)重出江湖了?，F(xiàn)在P圖，你只需要“輕輕點(diǎn)兩下”，AI就能迅速理解你的想法，秒速生成結(jié)果圖。
DragGAN是由Max Planck研究所開(kāi)發(fā)的一種新的人工智能工具，它允許用戶通過(guò)幾個(gè)點(diǎn)擊和拖動(dòng)來(lái)真實(shí)地修改照片，目前還未對(duì)外開(kāi)源。但王道控股旗下的“李白實(shí)驗(yàn)室”算法團(tuán)隊(duì)搶先重現(xiàn)了DragGAN的效果。
【資料圖】
目前，可直接使用的模型能夠讓你輕松掌控圖片中的人物和動(dòng)物，通過(guò)拖拽控制點(diǎn)和目標(biāo)點(diǎn)來(lái)調(diào)整他們的位置、形狀、姿勢(shì)等等?，F(xiàn)在已經(jīng)可以在 Hugging Face 上直接使用了。
體驗(yàn)入口：
https://huggingface.co/spaces/wuutiing2/DragGAN_pytorch
幾個(gè)點(diǎn)擊，輕松生成結(jié)果圖
修改微笑弧度，讓一張嚴(yán)肅的照片變成露牙甜美笑
放大圖片中小哥哥的眼睛
拍照臉型不好看，一鍵瘦臉，毫無(wú)PS痕跡
覺(jué)得貓咪太瘦不夠可愛(ài)，可以給它拉大臉龐，增加可愛(ài)度。
發(fā)際線拯救神器，這簡(jiǎn)直就是禿頭星人的救命工具
輕輕一拖，在不影響美觀的情況下，可以讓貓咪的耳朵縮小
讓獅子向右側(cè)方向移動(dòng)，是不是和“大象轉(zhuǎn)身”的操作很接近
可以隨意改變模特的發(fā)型，短發(fā)變長(zhǎng)發(fā)；本來(lái)雙腳分開(kāi)站立的模特，可以瞬間把腿拉至并攏
原理揭秘：基于GAN的圖像編輯方法
雖然上述的效果展示很多，但是其實(shí)DragGAN也就兩個(gè)技術(shù)原理：
1、基于特征的運(yùn)動(dòng)監(jiān)督，驅(qū)動(dòng)手柄點(diǎn)向目標(biāo)位置移動(dòng)；
2、一個(gè)新的點(diǎn)追蹤方法，利用鑒別性的發(fā)生器特征，不斷定位手柄點(diǎn)的位置。
DragGAN是一種基于GAN的圖像編輯方法，可以實(shí)現(xiàn)運(yùn)動(dòng)監(jiān)督和精確點(diǎn)跟蹤。任何人都可以通過(guò)DragGAN對(duì)像素進(jìn)行精確的控制，進(jìn)而編輯如動(dòng)物、汽車、人類、風(fēng)景等多種類別的姿態(tài)、形狀、表情和布局。
DragGAN還允許用戶選擇感興趣的區(qū)域以執(zhí)行特定于區(qū)域的編輯，而不需要依賴其他網(wǎng)絡(luò)。李白實(shí)驗(yàn)室復(fù)現(xiàn)的“DragGAN”只需要幾秒就能完成效果，你可以選擇不同的迭代步數(shù)，步數(shù)越多效果越夸張，其生成時(shí)間就越慢。
此外，DragGAN的無(wú)損優(yōu)化功能可以讓用戶輸入二進(jìn)制掩碼，指示圖像中的可移動(dòng)區(qū)域，從而實(shí)現(xiàn)更細(xì)致的控制，避免損壞圖片的原屬性。
與傳統(tǒng)PS的液化功能相比，DragGAN在編輯圖片時(shí)可以更好地保持圖片的原始屬性，并且具有更廣泛的應(yīng)用范圍。例如，可以使用DragGAN來(lái)改變圖片中車輛的位置、大小和輪胎的形狀等。這種方法可以在幾次鼠標(biāo)拖動(dòng)的時(shí)間內(nèi)完成，非常方便快捷。
聚焦圖像處理：從大項(xiàng)目到“小”工具
此次復(fù)現(xiàn)了DragGAN的“李白實(shí)驗(yàn)室”是一個(gè)年輕的人工智能技術(shù)團(tuán)隊(duì)，其中主創(chuàng)始人唐勇博士，畢業(yè)于美國(guó)賓夕法尼亞州立大學(xué)，在美國(guó)知名500強(qiáng)企業(yè)擔(dān)任技術(shù)學(xué)科專家，高級(jí)工程師等。其他成員均畢業(yè)于國(guó)內(nèi)外知名高校，清華、北大、浙大、英國(guó)*理工和美國(guó)常青藤范圍等。
在開(kāi)啟創(chuàng)業(yè)之路之前，唐勇曾在美國(guó)的知名研究機(jī)構(gòu)以及世界五*企業(yè)工作。他主導(dǎo)并參與了眾多社會(huì)、環(huán)境和能源的相關(guān)項(xiàng)目，這些項(xiàng)目的合作伙伴包括美國(guó)環(huán)保署，美國(guó)國(guó)家海洋和大氣管理局以及全球*能源公司。他專注于運(yùn)用數(shù)學(xué)物理模型、高性能計(jì)算、多目標(biāo)優(yōu)化以及人工智能技術(shù)，解答現(xiàn)實(shí)世界中大尺度、多模態(tài)、多變量的復(fù)雜難題，這其中包括洪水預(yù)報(bào)、氣候變化、能源管道設(shè)備優(yōu)化設(shè)計(jì)以及系統(tǒng)安全等一系列棘手問(wèn)題。
然而，現(xiàn)實(shí)世界的問(wèn)題千絲萬(wàn)縷，影響因子五花八門，充滿了無(wú)法預(yù)料的不確定性，完全理解其數(shù)學(xué)物理機(jī)理似乎是一項(xiàng)幾乎無(wú)法完成的挑戰(zhàn)。因此，在找到合伙人并得到杭州王道創(chuàng)投基金的支持后，唐勇還是成立了名為“李白”的人工智能實(shí)驗(yàn)室，投入大量精力研發(fā)計(jì)算機(jī)視覺(jué)、語(yǔ)音以及自然語(yǔ)言處理等前沿技術(shù)，希望通過(guò)人工智能技術(shù)提升模型的泛化能力，從而更有效地解決現(xiàn)實(shí)世界的復(fù)雜問(wèn)題。
郭銘濤作為主創(chuàng)人員，也和在團(tuán)隊(duì)一起攻堅(jiān)克難后，終于復(fù)現(xiàn)了DragGAN。郭銘濤來(lái)自四川大學(xué)圖像所，目前在讀博士一年級(jí)，主要研究方向就是深度生成模型，此前他還獲得了CVPR 2023 工業(yè)圖像缺陷生成競(jìng)賽冠軍。
“李白實(shí)驗(yàn)室”在智能圖像生成方面已經(jīng)有不少積累。他們基于GAN技術(shù)實(shí)現(xiàn)了圖像分割、圖像修復(fù)增強(qiáng)、視頻處理等實(shí)用性功能，其中圖像背景分割算法模型在全球圖像分割alphamatting.com的模型評(píng)比中斬獲全球*，獲得國(guó)內(nèi)外近30項(xiàng)學(xué)術(shù)和研究成果專利，80%為發(fā)明專利。
他們還在2019年創(chuàng)辦了“PicUP.Ai皮卡智能”項(xiàng)目，海外同步上線“cutout.pro”項(xiàng)目，海外月活超千萬(wàn)用戶，海外站更是躋身圖像編輯工具分類排名前十。
2023年在DragGAN爆火期間，他們還推出“神采PromeAI”的項(xiàng)目。該項(xiàng)目通過(guò)算法優(yōu)化升級(jí)，可直接應(yīng)用于建筑、室內(nèi)、產(chǎn)品、游戲/動(dòng)漫場(chǎng)景設(shè)計(jì)中，不需要復(fù)雜的關(guān)鍵詞及參數(shù)設(shè)置，就可一鍵生成效果圖、線稿、電商產(chǎn)品圖等，實(shí)現(xiàn)把AIGC從玩具到工具的實(shí)用性轉(zhuǎn)變。
李白實(shí)驗(yàn)室告訴硅星人，自創(chuàng)立之初，他們便投入大量精力研發(fā)計(jì)算機(jī)視覺(jué)、語(yǔ)音以及自然語(yǔ)言處理等前沿技術(shù)。目前技術(shù)還在設(shè)計(jì)、營(yíng)銷、生命科學(xué)等多個(gè)領(lǐng)域進(jìn)行了商業(yè)落地，在實(shí)際生活中也得到了廣泛應(yīng)用。
他們此次開(kāi)源“復(fù)刻版”DragGAN，也是為了能讓每一個(gè)普通用戶都能簡(jiǎn)單使用這些工具，努力把AI技術(shù)革新的成功帶到普通用戶身邊。
若將DragGAN與圖像生成工具結(jié)合使用，下一代內(nèi)容革新技術(shù)產(chǎn)品或許即將誕生，用戶將能夠更接近他們心目中理想圖像的輸入。
也許不久之后，誰(shuí)都可以輕松完成甲方提出“讓大象轉(zhuǎn)個(gè)身”的需求了。
