Hudební klip s lipsyncem

Zadání

Klient chtěl ke své písni hudební klip: fotorealistickou AI zpěvačku, která odzpívá celou skladbu, ve smyslném, záměrně provokativním stylu. Hostované video služby takový obsah odmítají, nebo ho zjemní tak, že už to není to, co klient chtěl. Projekt proto musel běžet na otevřených modelech na mém vlastním hardwaru, kde o tom, co video smí ukázat, nerozhoduje obsahová politika třetí strany.

Co tu vidíte

Klip byl klientovi dodán a schválen. Je soukromý a nesdílím ho. Video na této stránce je pilot, který jsem stejnou pipeline vytvořil pro ukázku.

Jak vznikl

Já dávám uměleckou režii: vzhled, místnosti, záběry, náladu jednotlivých částí písně a co se mi na výsledcích líbí a co ne. Všechno ostatní je automatizované. Celou pipeline řídí AI agent: z mých pokynů dělá prompty a obrázky, renderuje a kontroluje každý záběr, opakuje nepovedené, skládá střih a video dokončí. Vše běží lokálně v ComfyUI na jedné RTX 3090 Ti, na balíčku vlastních nodů a režijním nástroji, které jsem pro to napsal.

1. Píseň a text. Agent rozdělí píseň na celý mix a samotné vokály a každému zpívanému slovu přiřadí čas podle vokálů. Video model se tímto časováním řídí víc než zvukem, takže musí sedět: samotné automatické zarovnání nechalo bez časování 27 % zpěvu, po agentově korekci to byla 4 %.

2. Referenční obrázky. Já popíšu zpěvačku, oblečení a místnosti, agent obrázky vygeneruje v Qwen-Image 2.1:

• portrét zpěvačky zepředu
• každý outfit na postavě bez hlavy
• každou místnost přesně z úhlu a objektivem záběru, který ji použije

Každou místnost vymodeluje jako jednoduchý 3D plán a umístí do něj kameru každého záběru, takže pozadí má vždy správnou perspektivu.

3. Záběry. Podle mé režie pro každou část písně agent napíše prompt každého záběru (nejdřív kamera, pak pohyb zpěvačky) a vybere referenční obrázky. MiniMax H3 vygeneruje video spolu s vlastní zvukovou stopou. Rty se řídí touto stopou, ne písní, a proto je pipeline drží na slovech třemi způsoby:

• časovaný plán zpěvu v promptu
• ztlumené vokály všude, kde se nezpívá
• skutečné vokály uzamčené do zvukové stopy modelu

Díky tomu fráze sedí s přesností 10 ms místo posunu až o půl sekundy.

4. Návrhy a výběr. Agent každý záběr nejdřív vyrenderuje v nízkém rozlišení a výsledky zkontroluje. Náhledové listy a automatické kontroly upozorní na druhou tvář, příliš malý obličej nebo pruhy v obraze a druhý názor dá vizuální model. Nepovedené záběry se renderují znovu; když záběr selže dvakrát, agent přepíše prompt, ne jen seed. Konečné slovo o tom, které verze zůstanou, mám já. Pro 112 střihů ve finální verzi agent vyrenderoval 614 záběrů v 1 237 verzích.

5. Střih. Všechny záběry leží na stejné mřížce snímků písně (24 fps), takže střihy mezi nimi jsou přesné na snímek a rty sedí na obou stranách střihu. Agent sestaví střih a já ho dolaďuji na studiové stránce, která pracuje s vrstvami jako střihový program.

6. Dokončení. Agent dokončí jen verze, které střih používá. Každou zvětší do Full HD z uloženého stavu návrhu, takže schválený pohyb i ústa zůstanou stejné; skutečné vokály zůstávají uzamčené a barvy se srovnají s návrhem. Běží to bez dozoru: asi 3,5 minuty na střih, zhruba 4,5 hodiny na celé video. Zvukovou stopou je původní píseň.