Így lesz a Magyar Telekomból adatvezérelt vállalat
Nettó 3 terabájt. Manapság ennyi adatot termel a Magyar Telekom egyetlen napos működése, amit a telekommunikációs szolgáltató innovatív módon, egy teljes egészében idehaza található komplex technológiai környezetben hasznosít, egyre hatékonyabban. A bő 6 éve futó projektnek hála ma már nem csak a díjcsomagok tervezése, de a lefedettség és a kapacitástervezés, a hibakeresés, illetve az infrastruktúra üzemeltetése is könnyebben és gyorsabban működik, pedig ez még mindig csak a kezdet.
A Telekom megoldása az országban több szempontból egyedülálló. A data lake hatalmas, jelenleg nagyjából 1 petabájtos méretéhez ugyanis a vállalat által házon belül üzemeltetett komplett on-premise infrastruktúra társul. Az adatvagyon mellett a döntéshozók, illetve a fejlesztést és az üzemeltetést végző szakemberek egyaránt a hazai piacot lefedő szolgáltató saját alkalmazottai, a dinamikusan növekvő projekt pedig kizárólag a Magyar Telekomra fókuszál, illetve ügyfeleinek érdekeit szolgálja.
A vállalat 2014-ben kezdett el a big data irányába nyitni, ekkor fektették le a ma már nagyságrendekkel fejlettebb rendszer alapjait. A szikrát a hálózathasználati szokások alaposabb megismerése adta, vagyis a Telekom szerette volna jobban megérteni, hogy ügyfelei mire használják a díjcsomagokban található szolgáltatásokat, elsősorban pedig az adatkeretet. Kelemen Márton, a vállalat Data Enablement Tribe-jának vezetője szerint ez tetemes informatikai problémát vetett fel az akkori szakembergárda részére. Ehhez ugyanis napi nagyjából 4 milliárd rekordot, vagyis 1,5 terabájt nyers adatot kellett megvizsgálni, ennyit generált 24 órányi hálózathasználat. Ennek, azaz egyetlen napi adagnak az elemzése a korabeli rendszerrel 3 hónapig tartott, így évente mindössze egyszer futhatott le a folyamat, igencsak foghíjas képet festve a valós felhasználói szokásokról.
Naprakész technológiai háttér
A fenntarthatatlan állapotra első körben adattárházas aggregálással próbált megoldást találni a Telekom. Bár így nagyságrendekkel, mindössze 3 napra csökkent egy napnyi adatmennyiség elemzése, hosszabb távon ez sem jelentett megoldást a problémára. A következő, lényegesen gazdaságosabb megközelítést jelentő lépcsőben az üzemeltetés által levetett vasakkal kezdtek kísérletezni a datás szakemberek. Az összeállított Hadoop klaszter új távlatokat nyitott, hisz ezzel egyetlen napnyi adat elemzését abszolút kezelhető szintre, mindössze 15 másodpercre sikerült leszorítani.
A reménysugárt nyújtó Hadoop azóta is hűen szolgálja a Magyar Telekomot, biztosítva az on-premise enterprise data lake alapjait. A saját adattárházban felépített rendszer az utóbbi pár évben nyílt lehetőségeket meglovagolva egy AI, azaz gépi tanulásos klaszterrel bővült, melynek hála már modern, GPU-s gyorsítókkal megpakolt vasakon, TensorFlow vagy épp Keras segítségével készül számos újabbnál újabb use case, illetve folyik a már meglévő fejlesztések aktív tesztelése. A 6 éve tartó munka egyik mérföldköve, hogy mára egy komplett ökoszisztéma állt össze. A DEP (Data Enablement Platform) a data lake-et, az AI klasztert, a data warehouse-t, illetve az egyéb adatpiacos és adatbázisos megoldásokat is magában foglalja, ebben tobzódik a Telekomon belüli összes adattal foglalkozó technológia.
Ezzel párhuzamosan a Telekom Data Academy Program keretében egy közös, nyelvet és tudást megosztó hálózat jött létre. A vállalaton belül összekovácsolt data community már túllépte a 200 főt, amelyet az eredményesség és hatékonyság növeléséhez idén az agilis átalakulás is elérte a gárdát. Ennek mentén jött létre az adatos közösséget is összefogó, jelenleg 75 főből álló Data Enablement Tribe. A 7 darab chapterből és 10 squad álló, scaled agile működésbe illeszkedő mátrix szervezet a vállalaton belüli adatvagyon felhasználásával foglalkozik, a technológiától kezdve a kapcsolódó kultúráig bezárólag.
De mire jó?
Egy több ezer alkalmazottal és sok milliós ügyfélbázissal rendelkező telkónál kvázi üzemanyagként funkcionál az adat, mely a pénzügytől kezdve a legegyszerűbb hálózati hiba elhárításánál mindenhol kardinális jelentőségű. A díjcsomagok megtervezése ma már csak egy triviális példa, a felhasználói szokások naprakész ismeretével pofon egyszerű a legújabb trendekbe illő kiegészítő adatcsomagokkal előrukkolni. Erre egy jó példa a pár évvel ezelőtt kirobbant Pokemon Go őrület, amely jelentősen megváltoztatta a felhasználói szokásokat. Az addig mobilnetet teljesen nélkülöző előfizetők tömege cuppant rá az ország legkülönbözőbb részein a hálózatra, mely igényre egy kiegészítő adatcsomaggal reagált a Telekom.
Ehhez kapcsolódik a korábbiaknál lényegesen pontosabb lefedettség- és kapacitástervezés lehetősége, amire keresve sem lehetne jobb példát találni a Sziget Fesztiválnál, amely jellemzően komoly fejtörést jelent a szolgáltatóknak. Ennek első számú oka nem az Óbudai-szigeten hirtelen és drasztikusan megugró előfizetői tömegben rejlik, a problémát sokkal inkább a sok ezer, roamingot használó külföldi jelenti, amely számos egzotikus együttállást, ennek megfelelően pedig hibákat eredményezhet a hálózaton. A variációk száma szinte végtelen. Okostelefontól, annak szoftververziójától, nem utolsó sorban pedig a külföldi szolgáltatótól függően egyaránt jelentkezhet probléma, melyek azonosítása a jelenlegi gépi tanulásos rendszerrel már lényegesen gyorsabb és egyszerűbb mint pár éve.
Mintázat alapján az úgynevezett soft drop call, vagyis a hibásan felépült (pl. létrejött kapcsolat, de az egyik fél nem hallja a másikat) hívások könnyebben beazonosíthatóak. Ezek ugyanis jellemzően csak pár másodpercig tartanak, amit a hibátlan kapcsolat létrejöttéig egy vagy akár több újrahívás is követ, jellegzetes viselkedést kirajzolva. Ennek mentén a Telekom felhasználói bejelentés nélkül is értesülhet anomáliákról és elkezdheti az esetleges hálózati probléma feltárását majd annak javítását.
A hibakeresés a rádiós mobilhálózat mellett a rézkábelekre épülő vezetékes rendszerben is kiválóan működik. A felhasználókhoz telepített modemek és set-top-boxok naplózása, illetve viselkedése alapján számos probléma prognosztizálható fejlett analitikával. A hálózat bármilyen okból (pl. beázás) történő degradálódása mellett egy balul elsült közműs karbantartást, vagy épp valamelyik belső eszköz korai meghibásodására utaló jeleket is képes kiszúrni a rendszer, majd jelezni azt az illetékes osztálynak. A Telekom hosszú távú célja, hogy az automatikus előrejelzéshez önvezérelt hibaelhárítás társuljon, például a redundáns hálózati eszközök automatikus átkonfigurálásával.
A big datás, gépi tanulásos rendszert saját weboldalánál, azon belül pedig online shopjánál is aktívan alkalmaz a Telekom. A belső infrastruktúra kritikus paramétereinek monitorozásával (time series anomaly detection) előrejelezhetőek az esetleges leállások, az első anomáliák ugyanis már akár 30 perccel az összeomlás előtt megjelennek. Ennek hála lényegesen gyorsabban elkezdhető a hibakeresés, illetve a javítás. E mellett a webshopban böngésző ügyfelek valós idejű perszonalizációt is kaphatnak, például dinamikusan változó bannerekkel.
Határ a csillagos ég
Kelemen Márton, a Magyar Telekom Data Enablement Tribe-jának vezetője szerint azonban mindez még mindig csak a felszín. A hatalmas, petabájtos adatvagyonra építve a vállalat működésének szinte minden része és funkciója tovább optimalizálható, a kereskedelmi oldaltól egészen a marketingig. A csapat ambiciózus célja, hogy a jövőben mélyebbre ásva még több, a Telekom és annak ügyfelei számára szabad szemmel is jól látható fejlesztést tegyen le az asztalra.
Érdekelne mindez belülről? Nézd át a Magyar Telekom állásajánlatait!
[A Magyar Telekom megbízásából készített anyag]