Paano Gamitin ang Stable Diffusion para Gumawa ng mga AI GIF at Video

Buod: Upang gumawa ng animation gamit ang Stable Diffusion web UI, gamitin ang Inpaint para i-mask ang gusto mong ilipat at pagkatapos ay bumuo ng mga variation, pagkatapos ay i-import ang mga ito sa isang GIF o video maker. Bilang kahalili, i-install ang Deforum extension upang makabuo ng mga animation mula sa simula.

Ang Stable Diffusion ay may kakayahang makabuo ng higit pa sa mga still image. Sa ilang built-in na tool at espesyal na extension, maaari kang makakuha ng napaka-cool na AI video nang walang labis na pagsisikap. Narito kung paano bumuo ng mga frame para sa isang animated na GIF o isang aktwal na video file na may Stable Diffusion.

Maaaring Bumuo ng Video ang Stable Diffusion?

Bagama't ang AI-generated film ay isa pa ring nascent field, teknikal na posibleng gumawa ng ilang simpleng animation na may Stable Diffusion, alinman bilang GIF o isang aktwal na video file. May mga limitasyon bagaman.

Dahil ginagawang madali ng img2img na bumuo ng mga variation ng isang partikular na larawan, ang Stable Diffusion ay mahusay na nagbibigay ng sarili nito upang mabilis na gumawa ng isang grupo ng mga frame para sa mga animation, lalo na sa mga cyclical. Isipin ang mga apoy na dumidila mula sa apoy, umiikot ang mga gulong sa isang kotse, o tumalsik ang tubig sa isang fountain. Ang isang praktikal na paggamit ay maaaring magbigay ng parang buhay na ambiance sa ilang RPG artwork:

Maaari ka ring gumawa ng mga video batay sa mga totoong larawan sa halip na mga synthetic. Dito ay kumuha ako ng larawan ng isang halaman na dinidiligan at, sa ilang mga pag-click, na-animate ang daloy ng tubig:

Kung gusto mong i-animate ang isang bagay upang lumipat ito mula sa punto A hanggang sa punto B, iyon ay isang mataas na pagkakasunud-sunod para sa Stable Diffusion (kahit sa ngayon). Malamang na gumugugol ka ng maraming oras sa pag-aayos ng mga prompt at setting, pagkatapos ay pag-aralan ang isang toneladang output upang mahanap ang pinakamahusay na mga frame at ilagay ang mga ito sa tamang pagkakasunud-sunod. Sa puntong iyon, maaari mo ring masira ang Adobe Illustrator at magsimulang mag-animate sa pamamagitan ng kamay.

Sa kabila nito, maaari kang gumawa ng ilang cool, simpleng animation na may pangunahing setup ng Stable Diffusion at isa pang tool na iyong pinili para sa pagsasama-sama ng mga frame sa isang animation. Mayroon ding isang proyekto na tinatawag na Deforum na gumagamit ng Stable Diffusion upang lumikha ng morphing na mga animation na mukhang medyo kawili-wili. Maglalabas ito ng MP4 na video, kaya walang kinakailangang mga panlabas na tool, at hinahayaan ka pa nitong magdagdag ng audio. Ipapakita namin sa iyo ang mga pangunahing kaalaman ng parehong mga pamamaraan.

Pagalawin ang isang Larawan Gamit ang Inpaint

Gamit ang img2img tool na Inpaint, maaari mong i-highlight ang bahagi ng isang imahe na gusto mong i-animate at bumuo ng ilang mga variation nito. Pagkatapos ay ilalagay mo ang mga ito sa isang GIF o tagagawa ng video at i-save ang mga frame bilang isang animation.

Hakbang 1: Kumuha ng Imahe at ang Prompt Nito

Magsimula sa pamamagitan ng pag-drop ng isang imahe na gusto mong i-animate sa tab na Inpaint ng tool na img2img. Kung wala ka pang nabuo, maglaan ng ilang oras sa pagsusulat ng magandang prompt para makakuha ka ng magandang panimulang larawan. Maaari ka ring mag-import ng isang larawang kinunan mo ng larawan o iginuhit mo mismo.

Kung nag-i-import ka ng larawan na hindi mo nabuo gamit ang Stable Diffusion, kakailanganin mo pa rin ng naaangkop na prompt para sa pagbuo ng mga variation, kaya i-click ang Interrogate CLIP sa itaas ng Img2Img page. Bubuo iyon ng starter prompt batay sa kung ano ang sa tingin ng Stable Diffusion na nilalaman ng iyong larawan. Kumpletuhin ang prompt sa pamamagitan ng pagdaragdag ng anumang iba pang mahahalagang detalye.

Para sa aming gabay, nakabuo kami ng 512×512 na imahe ng isang robot sa ilalim ng kalangitan sa gabi na gusto naming magbigay ng time-lapse na uri ng animation, na may mga shooting star at galaxy na dumadaan.

Kung gusto mong sumunod nang tumpak, maaari mo itong muling likhain gamit ang prompt na ginamit namin:

a robot stands in a field looking up at the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd

At ito ang mga setting na ginamit namin:

Checkpoint: Stable Diffusion 2.0 Paraan ng Sampling: DPM++ SDE Mga Hakbang sa Pag-sample: 20 Skala ng CFG: 5 Buhi: 4177542269

Hakbang 2: I-mask ang Mga Bahagi upang I-animate Gamit ang InPaint

Gamit ang iyong larawan at prompt sa lugar, sa Inpaint tool, gamitin ang paintbrush upang i-mask (pagtakpan) ang bawat bahagi ng imahe na gusto mong i-animate. Iwanang walang takip ang anumang gusto mong static.

Sa aming halimbawa, tinatakpan namin ang halos lahat ng kalangitan. Nag-iwan kami ng kaunting cushion sa paligid ng robot dahil sa aming pagsubok, kung napakalapit namin, ang Stable Diffusion ay minsan ay nagdaragdag ng antennae at iba pang mga appendage sa robot.

Hakbang 3: Bumuo ng Iyong Mga Frame

Ngayong nai-mask mo na ang bawat bahagi ng iyong larawan na gusto mong makitang gumagalaw, oras na para bumuo ng mga frame ng aming animation. Ngunit una, gugustuhin mong tiyakin na ang img2img ay may mga tamang setting. Maaaring nakakalito ang mga ito, kaya ipapaliwanag namin kung ano ang ibig sabihin ng ilan sa mga ito at kung bakit maaari o hindi mo gustong i-tweak ang mga ito:

Mask Mode: Inpaint Masked – Tinitiyak nito na lahat ng sakop ay mababago at hindi ang kabaligtaran. Kung, sa ilang kadahilanan, gusto mong baguhin sa halip ang bahaging hindi nakamaskara, baguhin ito sa “Inpaint Not Masked.”
Masked Content: Original – Tinitiyak nito na makikita at isasaalang-alang ng Stable Diffusion ang kasalukuyang larawan kapag bumubuo ito ng mga variation. Kung hindi, ituturing nitong blangko o randomized na canvas ang naka-mask na content.
Lugar ng Inpaint: Buong Larawan – Pinipilit nito ang Stable Diffusion na bumuo ng isang buong bagong imahe para sa bawat frame bago ito isama sa orihinal na larawan. Ang paglipat sa Only Masked ay maaaring mapabilis ang pagbuo ngunit maaari ring magbigay sa iyo ng mas masahol pang mga resulta.
Paraan ng Sampling: DPM++ SDE – Ito ang parehong paraan ng sampling na ginamit namin para sa pagbuo ng aming orihinal na larawan, at nananatili kami dito upang matiyak ang pare-parehong hitsura. Kung hindi mo alam kung ano ang gagamitin, ang Euler a ay isang mahusay na pagpipilian.
Bilang ng Batch: 60 – Ito ay kung gaano karaming mga imahe ang gusto mong buuin. Maaaring kailanganin mo ng higit pa o mas kaunti depende sa kung gaano kabilis at gaano katagal mo gustong maging sequence ng iyong animation.
CFG Scale: 5 – Tinutukoy ng CFG scale, sa isang kahulugan, kung gaano kalaki ang malikhaing kalayaan ng Stable Diffusion. Kung mas mataas ang numero, mas mahigpit na susubukan ng Stable Diffusion na sundin ang iyong prompt. Ang pagpapataas nito at pagkuha ng magagandang resulta ay nangangailangan ng pagkakaroon ng napakahusay na prompt.
Denoising Strength: 0.3 – Posibleng ang pinakamahalagang setting para sa proyektong ito, tinutukoy ng denoising scale kung gaano kalaki ang babaguhin ng Stable Diffusion sa orihinal na larawan. Malamang na gusto mong panatilihin ito sa paligid ng 0.2 o 0.3, dahil ang masyadong maraming pagbabago sa frame-to-frame ay maaaring makasira ng animation.
Seed: -1 – Sinasabi nito sa Stable Diffusion na magsimula sa isang random na binhi. Hindi namin inirerekomenda ang muling paggamit ng binhi mula sa iyong orihinal na larawan, dahil binabawasan nito ang dami ng variation na makukuha mo (kung mayroon man).

Sa lahat ng iyong mga setting sa lugar, i-click ang Bumuo at umupo habang ang Stable Diffusion ay gumuhit ng iyong mga animation frame para sa iyo. Makikita mo ang mga ito sa folder na /outputs/img2img-images ng iyong Stable Diffusion na direktoryo. Kung hindi mo gusto ang mga resulta, i-tweak ang mga setting (marahil ay nagsisimula sa pagbabawas ng lakas at mga hakbang sa pag-sample) at subukang muli.

Hakbang 4: Batch Upscale Iyong Mga Frame (Opsyonal)

Kung plano mong gumawa ng high-definition na video, tandaan na i-upscale ang lahat ng iyong bagong nabuong frame sa resolution na gusto mo. I-click ang “Ipadala sa Mga Extra” para makapagsimula.

Sa loob ng Mga Extra, lumipat sa tab na Batch Process.

Ayusin ang Baguhin ang laki na sukat sa dami ng beses na gusto mong baguhin ang laki nito (pagse-set sa 2 ay babaguhin ang 512 × 512 na mga imahe sa 1024 × 1024 na mga imahe). Bilang kahalili, lumipat mula sa Scale by sa Scale to at magtakda ng partikular na resolution. Itakda din ang Upscaler 1 sa upscaler na iyong pinili. Nagkaroon kami ng magandang resulta sa R-ESRGAN 4x+, ngunit huwag mag-atubiling mag-eksperimento upang makita kung alin ang pinakamahusay na humahawak sa iyong mga larawan.

Pagkatapos ay pindutin ang “Bumuo” at ang Stable Diffusion ay magbibigay sa iyo ng mas mataas na resolution na bersyon ng bawat frame, na naka-save sa iyong /outputs/extras folder.

Hakbang 5: I-animate ang Mga Frame sa isang GIF o Video Maker

Ngayong nakuha mo na ang iyong mga frame, oras na upang tahiin silang lahat at gawin ang iyong panghuling animation. Mayroong maraming mga tool na maaari mong gawin ito, kabilang ang mga libreng dedikadong website tulad ng Ezgif at flixier na madaling gamitin at may maraming fine-tuning na mga kontrol. Gayunpaman, tandaan na makikita ng mga website na iyon ang lahat ng iyong ina-upload, kaya huwag bigyan sila ng anumang bagay na hindi ka komportable sa kaalaman ng mundo.

Bagama't ang mga website na iyon ay medyo maliwanag, ipapakita namin kung paano ka gumagamit ng isang libreng offline na tool sa pag-edit ng larawan, ang GIMP, upang gumawa ng GIF. Kung gusto mo ng video file, gumamit na lang ng Kdenlive o isang katulad na video editor—siguraduhin lang na i-tweak mo ang mga setting para ma-import ang lahat ng iyong mga frame bilang mga clip na isang segundo o mas maikli, depende sa maraming mga frame sa bawat segundo na gusto mo.

Upang magsimula, i-download ang GIMP at i-install ito sa iyong computer kung hindi mo pa nagagawa. Ilunsad ito, pagkatapos ay pumunta sa File > Open as Layers.

Hanapin kung nasaan ang mga frame na nabuo mo at piliin ang lahat ng mga ito nang sabay-sabay bago i-click ang Buksan. (Hawakan ang Shift key upang mabilis na pumili ng maraming file.) I-import ng GIMP ang lahat ng iyong mga larawan bilang isang hiwalay na layer sa isang canvas. Gusto namin ito dahil ang paraan ng paggawa ng GIF generation ng GIMP ay sa pamamagitan ng pagdaan sa bawat layer mula sa ibaba hanggang sa itaas, na tinatrato ang bawat magkakasunod na layer bilang susunod na frame sa animation.

Ngayon ang masayang bahagi. Upang manood ng preview ng iyong GIF, pumunta sa Mga Filter > Animation > Pag-playback.

Pindutin ang spacebar upang i-play at i-pause ang GIF. Kung masyadong mabilis o mabagal ang mga frame, ayusin ang FPS sa ibaba ng dialog ng playback, at i-click ang refresh button sa itaas para i-reload ang preview gamit ang bagong frame rate.

Kapag ang animation ay mukhang maganda sa iyo, oras na para bumuo ng GIF file. Isara ang preview at i-click ang File > I-export Bilang. Kapag nag-type ka sa pangalan ng pag-save ng file, idagdag ang .gif extension sa dulo para malaman ng GIMP na gusto mo ng GIF.

Sa lalabas na dialog box ng GIF export, tiyaking may check ang kahon na Bilang Animation. Isaayos din ang bilang ng mga millisecond sa pagitan ng mga frame kung gusto mo ng ibang frame rate. Mayroong 1000 millisecond sa isang segundo, kaya 100 ang magbibigay sa iyo ng tama sa paligid ng 10 FPS. Panghuli, i-click ang I-export.

Boom, nakuha mo na ang iyong kumpletong animated na GIF.

Bumuo ng Video Gamit ang Deforum

Kung gusto mong gumawa ng mas kawili-wiling mga animation gamit ang Stable Diffusion, at i-output ito ng mga video file sa halip na isang grupo lamang ng mga frame para magtrabaho ka, gamitin ang Deforum. Isa itong proyekto sa pag-synthesis ng imahe na may available na extension para sa Stable Diffusion web UI na hinahayaan kang magdirekta at bumuo ng mga MP4 na video file, kahit na may audio. Ito ay isang napakalakas at kumplikadong tool na may maraming mga setting upang mag-eksperimento, kabilang ang mga pans ng camera at pag-zoom, maraming prompt, at pag-import ng video.

Para sa aming mga layunin, ipapakilala lang namin sa iyo ang mga pangunahing kaalaman sa pagbuo ng medyo simple ngunit kawili-wiling animation.

Hakbang 1: I-install ang Deforum Extension

Upang makuha ang extension ng Deforum, magbukas ng command prompt at baguhin ang mga direktoryo sa iyong folder na stable-diffusion-web-ui. Pagkatapos ay gamitin ang git clone command na ito upang i-install ang Deforum sa iyong paggamit ng mga extension sa folder.

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

Ilunsad ang Stable Diffusion web UI bilang normal, at buksan ang tab na Deforum na nasa iyong interface na ngayon.

Hakbang 2: Isulat ang Iyong Mga Prompt

Maaaring sanay kang magsulat ng mga indibidwal na prompt gamit ang Stable Diffusion, ngunit hinahayaan ka ng Deforum na magsulat ng maramihang na mga prompt na naka-iskedyul, ibig sabihin sa anumang punto sa animation na pipiliin mo ay lilipat ito sa pagbuo ng mga frame batay sa susunod na prompt sa iskedyul.

I-click ang tab na Mga Prompt at baguhin ang mga umiiral nang prompt sa anumang gusto mo, na pinapanatili ang istraktura ng bracket at tab sa lugar. Para sa aming halimbawa, gagamitin namin ang hanay ng mga prompt na ito:

{
    "0": "a robot stands under the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd",
    "40": "a space station flies through space during a meteor shower, ultra realistic, highly detailed",
    "80": "a supernova explodes, vibrant colors, ultra realistic, highly detailed"
}

Kaya ano ang ibig sabihin ng mga numerong iyon? Bilang default, bumubuo ang Deforum ng 120 frame para sa iyong animation, at hinahati namin ang hanay ng mga frame sa tatlong bahagi. Ang 0 ay nangangahulugang ang unang frame, kaya ito at ang lahat ng mga frame pagkatapos nito ay magiging mga im2img variation ng unang prompt. Pagkatapos sa frame 40, magsisimulang gumawa ng mga variation ang Stable Diffusion batay sa aming pangalawang prompt. Sa 80, lumipat ito sa pangatlo. Maaari kang magdagdag ng maraming agarang pagbabago hangga't gusto mo at isaayos ang max na limitasyon ng frame sa tab na Mga Keyframe kung kinakailangan.

Hakbang 3: Ayusin ang Mga Setting ng Deforum

Marahil ay napansin mo na na mayroong isang toneladang setting na kasangkot sa Deforum, ngunit lalakad kami sa ilan upang makapagsimula ka. Una, sa tab na Run, makikita mo ang marami sa iyong karaniwang mga setting ng Stable Diffusion. Palitan ang pangalan ng batch, ilagay ang seed na gusto mong simulan (ginagamit namin ang isa para sa aming robot), at palitan ang sampler sa gusto mo.

Sa tab na Mga Keyframe maaari mong ayusin ang paggalaw ng camera para sa animation. Ito ay nakatakda bilang default na mag-zoom sa mga pagitan, ngunit gusto naming magdagdag ng patayong pan na paggalaw, kaya idagdag namin ang 0:(-2), 100:(4)sa Translation Y ” kuwadro. Iyon ay nagsasabi sa Deforum na ituring ang unang frame bilang nasa pixel -2 sa Y axis, pagkatapos ay sa pamamagitan ng frame 100 ay lumipat sa pixel 4. Iyon ay magbibigay sa amin ng bahagyang pan paitaas habang umuusad ang animation.

Sa tab na Output, susuriin namin ang kahon na Gumawa ng GIF na magbibigay sa amin ng GIF file bilang karagdagan sa MPEG video file. Dito ka rin magdaragdag ng audio gamit ang mga setting ng Magdagdag ng Soundtrack at Soundtrack Path, kung mayroon ka.

Hakbang 4: Bumuo ng Iyong Video

Sa wakas, pindutin ang malaking Bumuo na pindutan. Dahil ang Deforum ay gumagawa at nagtatahi ng maraming mga frame, magtatagal ito, kaya kumuha ng kape habang naghihintay ka. Kapag kumpleto na ito, makikita mo ang MPEG file, ang bersyon ng GIF, kasama ang bawat indibidwal na frame at isang readout ng mga setting na ginamit mo sa ilalim ng pangalan ng batch sa iyong direktoryo ng /outputs/img2img-images.

Narito kung ano ang nakuha sa amin ng aming prompt:

Ito ay hindi blockbuster ng tag-init, ngunit ito ay medyo nakakabighani! Tingnan ang opisyal na gabay sa mabilisang pagsisimula ng Deforum upang malaman ang tungkol sa lahat ng iba pang mga knobs at dial na maaari mong ayusin.

Kung naghahanap ka ng iba pang mga cool na proyekto ng AI, alamin kung paano bumuo ng mga texture pack ng Minecraft gamit ang Stable Diffusion o magsimula sa ChatGPT, at mga nakakagulat na bagay na magagawa mo sa ChatGPT.