Bach zenét és popdalokat ír a Sony AI-rendszere

Nehezen lehet megkülönböztetni, hogy eredeti Bach zenét vagy a Flow Machines AI rendszere által írt korálharmonizációt lehet hallani a párizsi Sony Computer Science Laboratories kutatásainak eredményei szerint. A központ már több mint négy éve kísérletezik a rendszerrel, legújabb alkotásuk DeepBach nevet kapta a deep learning technológia és a zeneszerző műveinek találkozásaként. Ebben az esetben a rendszer a kórusművek harmonizációját végezte, azaz megírta a korál alsó három szólamát a szoprán dallam alá. Az eredményeket és a módszert két kutató, Gaëtan Hadjeres és François Pachet publikálta december elején.

Bachot azért találták a kutatók tökéletesnek az új kísérlethez, mivel a kórusművei lépésenként feldolgozhatóak és algoritmikusan is könnyen értelmezhetőek, mindegyik tartalmaz például ismétlődő hangsorokat, és valamennyi négy különböző hangszólamból áll össze (szoprán, alt, tenor, basszus). Bach összesen 389 kórusművet készített, ebből a kutatók végül 352-t használtak fel a tanításhoz, amely már megfelelőnek bizonyult a DeepBach neurális hálójának kialakításához, és a teszteléséhez.

A kutatást egy online teszt segítette, amellyel bárki kipróbálhatta, hogy mennyire ismeri fel Bach eredeti műveit a számítógépes darabokkal szemben - jelenleg ez az oldal nem elérhető. A mérésben az AI rendszert a DeepBach saját modelljén kívül két másikkal is tesztelték a kutatók, a Multilayer Perceptron (MLP) és a Maximum Entropy (MaxEnt) modellekkel. Összesen 1609 ember vállalkozott az összehasonlításra, közülük 395 vallotta magát hivatásos zenésznek vagy zeneszakos hallgatónak, további 792 műértőnek vagy zenésznek, és 422 átlagos klasszikus zene hallgatónak.

Az észlelési teszt során a kitöltők skálán értékelhették, hogy mennyire tűnik a hallott mű Bach-szerűnek - az eredmény alapján a hallgatóság felismerte az eredeti Bachot, de ezt minden esetben a DeepBach követte, mögötte valamivel az MLP, és végül a MaxEnt teljesen lemaradva a pontszámok szerint. A megkülönböztetési tesztben a kivágott részletek alapján annyit kellett értékelni, hogy számítógép vagy Bach volt-e hallható, eldöntendő kérdésként skála nélkül. Teljesen hasonló eredmény látható mint a másik teszt esetében, vagyis a hallgatók felismerték a valódi Bachot és hogy a MaxEnt számítógéppel előállított, a DeepBach és az MLP pedig a kettő között helyezkedett el.

A professzionális zenészek minden esetben pontosabban felismerték a hangzás eredetét a teszt többi kitöltőjéhez képest, de nem annyira jelentős mértékben teljesítettek jobban, mint az várható lett volna. Úgy tűnik, hogy a számítógép, köztük a DeepBach sem fogja átvenni még egy ideig a zenészek helyét a művészektől, de a technológia fejlődése ezen a területen is megfigyelhető.

A Gitlab mint DevSecOps platform (x) Gyere el Radovan Baćović (Gitlab, Data Engineer) előadására a november 7-i DevOps Natives meetupon.

Nem csak Bach, hanem más zenék komponálásával is foglalkozik a Flow Machines. Benoît Carré például az AI által generált műveket Shadow Projekt néven gyűjti, Andersen Az árnyék című meséje alapján, amelyben a tárgyak megszólalnak - itt pedig a mesterséges intelligencia kap saját hangot. Egy másik projektben pedig popdalok készülnek például a Beatles stílusában "Daddy's car" címmel, amelyet a Flow Machines 13 ezer, főleg pop és jazz, részben brazil és musical zenét tartalmazó kotta tanulmányozása utána alkotott meg. A rendszer elsősorban a dallamot szerzi és részben a szöveget is, ezt Carré rendezi egységes zeneszámmá. Egyelőre a dalok kezdetleges hangzásvilággal rendelkeznek, nehezen értelmezhető szövegekkel, de a Sony már egy teljes album kiadásán gondolkodik jövőre, amely az AI eddigi "életművét" tartalmazza.