Saját transzkódoló chipet tol a YouTube alá a Google
Népszerű videómegosztójához szabott transzkódoló chipet tervezett a Google. A keresőóriás állítja, az Argos kódnevű fejlesztéssel 20-33-szoros javulás érhető el a kiszolgálórendszer működésének hatékonyságában.
A VCU, vagyis Video (trans)Coding Unit a YouTube szerverein tárolt különféle videók elsősorban on-the-fly, azaz menet közbeni kódolását hivatott gyorsítani. A videómegosztó szerverein ugyanis csak egyetlen verzióban szerepel a feltöltött mozgókép, amit a YouTube adatközpontja a felhasználó oldaláról érkező különféle igényeknek (felbontás, bitráta, kodek) megfelelően kódol át, majd streameli tovább az interneten keresztül.
Ünnepi mix a bértranszparenciától a kódoló vezetőkig Négy IT karrierrel kapcsolatos, érdekes témát csomagoltunk a karácsonyfa alá.
Prózai oka van, hogy a Google szolgáltatása miért csak egyetlen verzióban tárolja a felvételeket. A YouTube-ra ma percenként nagyjából 500 óra videót töltenek fel, amely naponta egy újabb bő petabájtnyi adat eltárolásának feladatát rója az üzemeltetőkre. Amennyiben a videókat eltérő felbontásban és/vagy kódolásban is tárolni kellene, a már amúgy is óriási adatmennyiség még nagyobb léptékkel nőne, mely az adattárolás oldaláról állítaná még nagyobb kihívás elé a Google szakembereit. Utóbbiaknak így sincs könnyű dolguk, a vállalat prognózisa szerint ugyanis a feltöltött videóanyagok mennyisége exponenciálisan növekszik, öt évente nagyjából tízszeresére nő.
Az elképesztő mennyiség és gyors növekedés fényében érhető, hogy a keresőóriás miért igyekszik különféle egyesi fejlesztésekkel kordában tartani a tároláshoz szükséges kapacitást. A YouTube eddig különféle sztenderd, Intel processzoros és Nvidia gyorsítós szerverekkel oldotta meg a videók átkódolását. Ezek hatékonysága ugyanakkor elmaradt a kívánttól, különösen a teljesítmény/TCO (élettartamköltség) mutatót illetően. Ezen felbuzdulva bízta meg házon belüli chiptervező csapatát a Google, amelynek van már rutinja a hasonló, egyedi igényekre szabott gyorsítókban. Gondoljunk csak a vállalat gépi tanulásos célprocesszora, amely végül TPU (tensor processing unit) néven került be az adatközpontokba.
A Google most hasonló utat jár be a VCU-val, amely ugyancsak egy minden szempontból egyedi fejlesztés. A PCI Express kártya formátumú gyorsítón két darab Argos ASIC (alkalmazásspecifikus integrált áramkör) található, amelyek fejenként tíz darab kódolómagot tartalmaznak. Ezek mellé egy ARM-alapú CPU-t, dekódert, DMA egységet, illetve a rendszer működéséhez ugyancsak elengedhetetlen PCI Express és memóriavezérlőt építette a lapkába a tervezőcsapat. A magok mindegyike önállóan képes 4K felbontás és 60 fps mellett kódolni, természetesen valós időben.
A chippárosokra épülő egyes gyorsítókártyákat úgynevezett VCU machine-ekbe pakolja a Google, majd ezeket a már meglévő compute klaszterekhez kapcsolja. Ily módon minden klaszter megkaphatja az optimális működéshez szükséges dedikált kapacitást, amelyhez ráadásul így nem is szükséges szétszedni a már meglévő kiszolgálókat. A kártyákat úgy tervezte a Google, hogy azok beférjenek az iparági szabványnak tekinthető, különféle (pl. Nvidia) gyorsítókártyák helyére.
A YouTube VCU-s átállítása folyamatban van, a CNET információ szerint már több ezer Argos chip dolgozik a videómegosztó kiszolgálói mellett. Többek között ennek köszönhetően rövidült le jelentősen a 4K felbontású anyagok teljes feldolgozása, amely korábban akár napokat is igénybe vehetett. A Google számára legalább ennyire fontos, hogy az Argos chipeknek hála jelentősen megugrott a kiszolgálók teljesítmény/TCO mutatója, amely a szélsőséges példát jelentő 20 darab VCU-val történő VP9-es kódolásnál 33,3-szor kedvezőbb, mintha egy Skylake magos Xeon szerveren futna a folyamat.
A hardveres fejlesztésnek tekinthető VCU mellett a Google a különféle szoftveres optimalizációka is nagy hangsúlyt fektet. A YouTube elképesztő növekedését tekintve nem csoda, hogy a vállalat élen jár a különféle videokodekek fejlesztésében, illetve az azokhoz való hozzájárulásban. A nyolc éve bejelentett, azóta pedig már el is terjedt VP9 után a küszöbön az AV1, ami felhasználói beállítástól függően ki is próbálható a YouTube-on. A "nagyteljesítményű", nem licencköteles AV1 kodek használata akár 20 százalékkal jobb tömörítési hatékonyságot eredményez az általánosan elterjedt, kiterjedten használt VP9-hez képest.