Robotizált, optikai tárolókat fejleszt a Facebook

Komoly problémát okoz a Facebook számára az elképesztő mennyiségű felhasználói adat (fotók, posztok, megosztások) tárolása.  Már egy nagyvállalat számára is nehéz kérdés az adat-özön hatékony és olcsó raktározása, a Facebook azonban egészen egyedi méretben szembesül a kérdéssel: hogyan lehet igen nagy mennyiségű adatot biztonságosan tárolni?

A vállalat problémáját érzékelteti, hogy már 2013-ban egy exabájtnyi képet tároltak a cég szerverei, ez a mennyiség pedig azóta csak nőtt. A képes (és immár videós) anyagok azonban klasszikus long-tail problémát jelentenek, a forgalom 82 százalékát ugyanis a tartalom 8 százaléka adja (tehát még élesebb is az emlegetett 80-20 aránynál). Az ilyen szinten aszimmetrikus forgalom mellett logikus, hogy a cég többszörösen rétegzett tárolókban gondolkodik, a forró tartalmakat in-memory vagy flash-alapú tárolókról szolgálja ki, majd az aktív merevlemezes és passzív merevlemezes tárolás következik. A tárolás költsége szintről szintre csökken, a kapacitássűrűség és a késleltetés pedig emelkedik.

A vállalat most egy új, saját fejlesztésű tárolórendszert tesztel, amely optikai alapon, egészen pontosan Blu-ray lemezekre írja ki az adatokat. A tervek szerint ez a megoldás képezi majd a tároló-hierhachia legalsó szintjét, amely már átmenetet képez az off-site backup és a hosszú távú archiválás felé is.

Kényszerből úttörő

A Facebook mérnökei gyakorlatilag a közösségi oldal indulása óta olyan egyedi mérnöki problémákat oldanak meg, amelyekkel rajtuk kívül szinte senki nem találkozik. A közösségi oldal 1,4 milliárd felhasználója ugyanis olyan skálázódási kérdéseket vet fel, amivel a Facebook mellett a Google és még egy-két szereplő találkozik. Az egyedi kihívások miatt a Facebook hosszú ideje foglalkozik a saját szoftverek fejlesztése mellett hardverek tervezésével is, mind a szerverek, mind a hálózati eszközök, mind a tárolók területén.

^{(forrás: datacenterfrontier.com)}

Ünnepi mix a bértranszparenciától a kódoló vezetőkig Négy IT karrierrel kapcsolatos, érdekes témát csomagoltunk a karácsonyfa alá.

Nem csoda tehát, ha a Facebook az in-memory és flash-alapú tárolás egyik első felhasználója volt, a cég azonban nem csak felfelé, a gyorsabb és alacsonyabb késleltetésű rétegek felé, hanem lefelé, a lassabb szintek felé is folyamatosan kísérletezik az újabb storage tier-ek létrehozásán. A vállalat korábban a Sub-Zero koncepcióval tört utat, amely olyan tárolórendszert jelent, amely használaton kívül szinte teljesen lekapcsol - leállnak a merevlemezek és a tárolóvezérlő is alacsony fogyasztású módba kapcsol.

A Sub-Zero koncepció sikerrel tett "érettségit", ma már ilyen alapokon működik a cég több, tárolásra kihegyezett adatközpontja is. A rendszer alapját a nyílt szabványú Open Compute Knox tárolóegység adja, ez a hardver egy rack szekrényben 32 fiókot tartalmaz, fiókonként 15 darab off-the-shelf 4 terabájtos meghajtó dolgozik - egy szekrény thát mintegy 2 petabájt nyers kapacitást kínál. Ahogy korábban említettük, használaton kívül a meghajtók állnak, de azokat ellenőrzés céljából bizonyos periódusonként felpörgeti a Facebook.

A Sub-Zeróhoz a cég egyébként egészen egyedi adatközpontot is tervezett, amelyhez nem jár dedikált generátor és UPS sem. Erre azért van lehetőség, mert ezek a tárolók nem szolgálnak ki a felhasználók felé adatokat, ide archiválásra, hosszú távú megőrzésre kerülnek ki a tárolt adatok - emiatt is abszolút kritikus az energiafogyasztás minimalizálása. Az adatközpont, a kiszolgáló hálózat és a tároló hardver optimalizációjával a cég mára eljutott oda, hogy egyetlen (teljesen kiépített) hatalmas teremben képes 1 exabájt adatot tárolni.

A megoldás: Blu-ray?

A fejlesztés azonban nem állt itt le, a cég mérnökei már a következő generációs hidegtárolón gondolkodnak. A poént már lelőttük, a nagy újdonság, hogy a rendszer már nem mágneses, hanem optikai alapon tárol majd, nem szabványos merevlemezeken, Blu-ray lemezeken kapnak helyet az adatok. "Fantasztikus, milyen nagy tárolókat tudunk Blu-ray alapokon létrehozni" - mondta Keven McCammon, a Facebook adatközpontért felelős igazgatója. "Jelenleg kiterjedt tesztelés végzünk, biztosak akarunk lenni benne, hogy ez a koncepció működik éles környezetben és skálázódni is képes az igényeinknek megfelelően."

Maga a hardver alapvetően a nagy szalagos tárolókhoz hasonlóan működik: a lemezeket sűrű rendben tárolja a rendszer, ezek közül az éppen szükségeset robotkar emeli ki és illeszti be az olvasóba. A tárolót kifejezetten úgy alakították ki a fejlesztők, hogy a lemezeket tároló fiókok könnyen kivehetőek és off-site tárolásra elszállíthatóak.

Hosszú távú tárolásra a Blu-ray verhetetlen a Facebook mérnökei szerint. A cég korábbi legalsó tárolószintje merevlemezeket használt, ehhez képest az optikai tároló mintegy 50 százalékkal fogyaszt kevesebbet. Ez logikus, a lemezek alvó állapotban egyáltalán nem fogyasztanak áramot, a kiírás után a következő olvasásig az adattárolás gyakorlatilag ingyen van. Az új tárolók nem csak fogyasztásban, kapacitássűrűségben is igen jól teljesítenek

Van potenciál benne

A technológiában nem csak a Facebook lát lehetőséget, tavaly a hardver fejlesztéséért felelős Frank Frankovsky saját startupot alapított a Blu-ray-alapú tárolók továbbfejlesztésére. A sokatmondóan Optical Archive névre keresztelt induló céget a Sony vásárolta fel, a japánok a robotizált szalagos tárolók piacán is nagy névnek számítanak, várhatóan az optikai tárolók területén is szeretnének előbbre lépni. Jelenleg csupán két-három kisebb cég készít a világon nagyvállalati szintű optikai tárolókat, a Facebook további fejleszései és a Sony belépése azonban arra utal, hogy ez a helyzet hamarosan meg is változhat.