Szövegből generál videót az OpenAI új nagy dobása

Miután a képgenerátorok és chatbotok már utat találtak maguknak a fogyasztói és üzleti világba, a generatív MI következő lépcsőfoka a videós tartalmak készítése, ami jelentős fejlődésen ment keresztül az elmúlt két év során. A Google 2022-ben mutatta be első képszintézis modelljét, az Imagen Videót, ami rövid, 1280 x 768-as videóklipeket generál szöveges promptokból, hullámzó minőségű eredményekkel, idén januárban pedig bemutatkozott a Lumiere. Tavaly márciusban pedig a Runway startup állt elő a Gen2 videószintézis-modellel, ami kétperces klipeket tud készíteni. A Stability AI is adott ki saját terméket, a Stable Video Diffusiont. Közös azonban az eddigi technológiákban, hogy egyelőre korlátozottak a képességeik, az előállított videó minősége, vagy hossza limitált.

Ebbe a sorba csatlakozik az OpenAI, ami a januári híreszteléseket követően hivatalosan is bejelentette saját mozgóképek előállítására képes MI-modelljét, a Sorát (japánul: égbolt). A ChatGPT-hez hasonlóan transzformer architektúrát használó diffúziós MI-modell, a Sora működése meglehetősen többrétű: nem csak egyszerű szöveges promptokból tud előállítani nagyfelbontású videoklipet, de dolgozni tud állóképekből, illetve már meglévő videók képkockáit töltheti ki. Ezek viszont egyelőre legfeljebb egyperces videók.

CI/CD-vel folytatódik az AWS hazai online meetup-sorozata! A sorozat december 12-i, ötödik állomásán bemutatjuk az AWS CodeCatalyst platformot, és a nyílt forráskódú Daggert is.

A modellhez eddig csak tesztelők kisebb csoportja férhetett hozzá, akik többek közt olyan szempontokat mérlegeltek a használat során, mint a dezinformáció és az elfogultság jelenléte. A cég egyelőre nem tett közzé elérhető, vagy kipróbálható szolgáltatást a honlapján közzétett 10 mintán túl, és a technológiát részletező műszaki dokumentumot is a jövő hét folyamán tervezi majd közzétenni. Hogy nyilvánosan mikor válik hozzáférhetővé, nem tudni, egyelőre a bejelentéssel együtt a külsős biztonsági tesztelők tágabb köre fogja elérni a megolfást.

Az első szakértői vélemények szerint az OpenAI-nak tényleg sikerült jelentős minőségjavulást elérnie, a mintavideók nagy felbontásúak és tele vannak részletekkel. Egy tokiói utcai jelenetet ábrázoló videón szemléletesen látható, hogy a Sora jól illeszti egymáshoz 3D-s térben az egyes tárgyakat. A már létező modellek egyik jellemző problémája, hogy nem tudják nyomon követni az objektumokat, így azok akár ki is „eshetnek” a látómezőből (például, ha egy teherautó elhalad egy utcatábla előtt, előfordulhat, hogy a tábla utána nem jelenik meg újra). Ezeket az eseteket is jobban tudja kezelni a Sora a fejlesztők szerint. A modell persze nem működik tökéletesen: a tokiói videón a bal oldali autók például kisebbnek tűnnek, mint a mellettük sétáló emberek.

A hasonló szolgáltatásokat övező aggályok itt is érvényesek: a videógenerátorok lendíthetnek a deepfake-ek elterjedtségén, a gépi tanulással foglalkozó Clarity szerint az MI segítségével előállított kamuvideók száma éves viszonylatban 900 százalékos növekedést mutat. Az OpenAI közleménye szerint a Sora fejlesztésével párhuzamosan készített egy detektort is, ami képes azonosítani a Sora által generált klipeket, a felismerést különböző metaadatok támogatják.