Fotók tízmillióiból készülnek time-lapse videók

Roppant látványos és érdekes projektet visz az augusztusi SIGGRAPH 2015 szakmai konferenciára a Washingtoni Egyetem és a Google három munkatársa. A time-lapse mining névre keresztelt szolgáltatást nyilvánosan egyelőre nem lehet kipróbálni, de a fejlesztésen dolgozó mérnökök az egyetem honlapján már publikáltak egy előzetes bemutatót. A látottak alapján az újdonság új szintre emeli a közösségi fotózás fogalmát – az interneten szabadon hozzáférhető képek millióiból készít népszerű helyszínekről néhány másodperces time lapse videókat, teljesen automatizált módon.

A technikai leírás szerint az algoritmus kifejlesztői több korábbi, nyilvánosan elérhető fejlesztést is megvizsgáltak, kiindulási alapnak használva azokat. A projekt célja egy kiváló képstabilitást kínáló algoritmus létrehozása volt, így meg kellett oldani az esetenként százas, ezres nagyságrendű, azonos tematikájú forráskép eltérő nézőpontjainak konszolidációját. A mérnökök ezért a 86 milliós forrásadatbázison geolokációs szűrést végeztek, és az így elkészült klaszterekbe tartozó képekből structure-from-motion (SfM) technikával háromdimenziós tereptárgyakat (landmark) hoztak létre.

Ezekben SIFT (skálainvariáns jellemző transzformáció) alakfelismerési algoritmus segítségével megkeresték a tartalmilag és nézőpontilag leginkább egyező kisebb csoportokat, majd időrendi sorrendbe rendezték ezeket a modelleket, és az összetartozóakat egy közös referencia-nézőpontra “húzták rá”. A teljes képstabilitáshoz az eltérő fényviszonyokból adódó különbség kiküszöbölése is hozzá tartozik, ez volt az utolsó lépés a time-lapse videó renderelésének folyamatában.

Ünnepi mix a bértranszparenciától a kódoló vezetőkig Négy IT karrierrel kapcsolatos, érdekes témát csomagoltunk a karácsonyfa alá.

A rövidke time lapse videók előállítása jelenleg meglehetősen sokáig tart, bár a fejlesztők szerint a sebesség a jövőben gyorsulni fog, ahogy az egyes munkaszakaszok végrehajtását tovább fogják optimalizálni. Az eddig elkészült klipek esetében az SfM-modellek előállítása átlagosan 17 órát vett igénybe, majd további 6 óra kellett a time-lapse videó rendereléséhez. Az algoritmus a 86 milliós képadatbázisból 120 ezer különböző tereptárgyat azonosított és 755 ezer háromdimenziós modellt hozott létre. Az elemzés során összesen 10,728 time-lapse-et tudott azonosítani a rendszer 2942 tereptárgy esetében. Egy véletlenszerűen összeválogatott 500 elemes minta vizsgálatakor úgy találták, hogy a videók 45 százaléka jó minőségű és egyben érdekes tematikájú is.

Arról egyelőre nincs információ, hogy a projekt eredménye valamilyen formában később nyilvánosan is elérhető lesz-e, de a Google-ös kapcsolat miatt nem lepődnénk meg, ha új funkcióként a keresőóriás térképszolgáltatását gazdagítaná.