Logelemző eszközt és analitikai platformot adott ki a LogDrill

A Kürt Zrt. a nemzetközi hírnevét megalapozó merevlemezes adatmentés mellett régóta kínál egyéb biztonsági szolgáltatásokat is, többek között utólagos biztonsági incidensvizsgálatot ("forensics"). A cég szakértői elégedetlenek voltak a piacon található logelemző eszközökkel, a leggyakoribb probléma a túl lassú adatbetöltés mellett a lekérdezések hosszú futásideje volt. A forensic munka során a biztonsági szakértő ugyanazon az adathalmazon futtat különféle lekérdezéseket - ha egy ilyen lekérdezés több tíz percig fut, a munka rendkívül lassúvá válik.

Nem volt elég jó eszköz, írtak sajátot

A vállalatnál végül elhatározás született egy saját logelemző eszköz kifejlesztéséről. A munka 2010-ben kezdődött a Kürt biztonsági szakértőitől származó információkra alapozva: a cél egy olyan szakértői eszköz megalkotása volt, amely támogatni tudja a forensic feladatokat, könnyen kezel hatalmas adatmennyiséget és gyorsan tud lekérdezéseket futtatni, hogy a biztonsági szakértők munkáját támogassa. Ehhez a szoftver indexeli a logokat, majd normalizálja a naplóállományok bejegyzéseit és elkészít egy "számosság-kockát", amely könnyen lekérdezhető. Az eredményeket a szoftver többféle nézetben is meg tudja jeleníteni (változatos chartok, pivot táblák, hőtérképek formájában), illetve a lekérdezés által érintett logsorok a diszkről betöltve azonnal láthatóvá is válnak.

A LogDrill szoftver először "belső" projektként indult, hogy a biztonsági szakértők munkáját támogassa, de a Kürtnél rövid idő alatt felismerték, hogy az elkészült szoftver el is adható, így 2011-ben megalakult a LogDrill Kft., amelynek célja a "termékesítés", vagyis eladható formába öntés. Nagy Zsolt, a LogDrill vezetője szerint a termék elsősorban forensic feladatokat támogat és meglevő adatokon való munkára fejlesztették, de a felhasználói visszajelzések alapján felkészítették adatstream feldolgozására is, így biztonsági monitorozásra is használható - van már Magyarországon is olyan távközlési szolgáltató, amely e funkciót használja.

Ünnepi mix a bértranszparenciától a kódoló vezetőkig Négy IT karrierrel kapcsolatos, érdekes témát csomagoltunk a karácsonyfa alá.

A szoftverhez egy barátságos webes frontend is rendelkezésre áll, ahová a backend minden funkciója ki van vezetve, de a paranscsort és scripteket jobban kedvelő felhasználók számára lehetőség van utóbbiak használatára is. Nagy Zsolt kiemelte, a LogDrill felhasználói felülete "drag and drop" rendszerű, így nem feltétlen van szükség a hasonló termékeknél megszokott reguláris kifejezéseket begépelni.

A szoftver már egy memóriával jól kitömött notebookon is elfut, (a logadatok és a számossági adatok egyaránt jól tömöríthetők), így nem szükséges hozzá extra hardverberuházás. A LogDrill  500 megabájt logadat feldolgozásáig ingyenes, ennél nagyobb mennyiség esetén kell érte fizetni. A vállalat "projektalapú" árat is tud adni, egy forensic munkához rendelhető 30-90 napos licenc, ez főleg biztonsági tanácsadók számára lehet hasznos. Magyarországon a BalaBit ugorhat be elsősorban, ha rendszernaplózásra kerül a szó, a LogDrill a BalaBit termékeinek nem versenytársa, ki tudja egészíteni azokat, mondta el Nagy Zsolt.

PetaPylon: általános analitikai platform

A LogDrill termékcsalád másik eleme a PetaPylon, amely először logadatok gyűjtésére és tárolására szolgáló, több tíz terabájtig skálázódó elosztott tárolóként indult, majd általános célú "big data" analitikai platformmá nőtte ki magát. A PetaPylon megépítéséhez a LogDrill több nyílt forrású komponenst is felhasznált (például az Apache Hadoopot és a Cloudera Impalát), ezekhez illesztette saját fejlesztésű ETL (extract, transform, load) eszközeit és legkezelés-specifikus  megoldását.

A rendszer logadatok gyűjtésére és tárolására is használható, amelyeket aztán a LogDrillben könnyen fel lehet dolgozni, de mivel szabványos SQL-e lekérdezhető, ezért tetszőleges BI/analitikai eszközzel is lehet hozzá csatlakozni és a benne tárolt adatokat elemezni, építhető rá gép tanulási algoritmus vagy akár szabad szöveges kereső is - a gyártó folyamatosan keresi az együttműködési lehetőségeket a BI-szállítókkal (pl. QlikView, MicroStrategy, SpotFire, Tableau). A PetaPylon már alapkiépítésben, egy ötnode-os fürtben is 20 terabájt adatot tud tárolni és persze tovább bővíthető. A PetaPylont a vállalat appliance-ként értékesíti, a hardveres alapokat Fujitsu x86 szerverek biztosítják.