Új lekérdező nyelvet vezet be a Microsoft
Elosztott, gyors, és a szükséges absztrakciókat már eleve tartalmazó nyelvet jelentett be a Microsoft. Az U-SQL lényege, hogy kombinálja a SQL deklaratív jellegét a C# rugalmasságával és kiterjeszthetőségével.
A Microsoft a múlt héten jelentette be vadonatúj Azure fejlesztéseit és bővülő szolgáltatáspalettáját. A bejelentések között szerepelt az Azure Data Lake is, amely hatalmas mennyiségű strukturálatlan adat "ömlesztett" tárolásához és elemzéséhez használható. A szolgáltatás fontos eleme a Data Lake Analytics, amely egy új elosztott feldolgozó és elemző rendszer, Apache YARN alapokon. A bejelentés része egy új lekérdezési nyelv, az U-SQL is. Mit tud és mire jó?
"Tudjuk, hogy rengeteg fejlesztő és statisztikus szenved a nagy adathalmazok feldolgozásával a meglévő technológiákkal és eszközökkel" - mondta T. K. Ranga Rengarajan a Microsoft Data Platform igazgatója kapcsolódó blogposztjában. "Az általános programozási nyelveken írt megoldások hatékonyak lehetnek, de komoly tanulást igényelnek, míg az SQL-alapú eszközök egyszerűbb indulást, de korlátozott kiterjeszthetőséget nyújtanak". A Microsoft szerint az áthidaló megoldás az U-SQL, egy új lekérdezőnyelv, amely "egyesíti az SQL könnyű használatát a C# kifejező erejével."
"Az U-SQL lényege, hogy az SQL lekérdezések bővítését tesz lehetővé a C#-hoz hasonló szintaxisú kifejezésekkel illetve függvényekkel. Ennek megfelelően a nyelv alapjait a C# alaptípusai képezik, a legkérdezések pedig a LINQ-hez hasonló szintaxis mentén történnek. Az U-SQL lekérdezések egy lépésben tudják a strukturálatlan adatokat struktúrákba rendezni, majd ezeken számításokat, kereséseket végezni" - foglalja össze a prog.hu.
Hello, itt az idei SYSADMINDAY! Szabadtéri helyszínen idén is megrendezzük a hazai Sysadmindayt. Melós hónapok után ez egy jó lehetőség, hogy találkozzunk barátokkal, kollégákkal.
A nyelv támogatását az Azure Data Lake Tools for Visual Studio implementálja, ezt telepítve hozzáférhetőek a szokásos programozási, hibakeresési és teljesítményelemzési eszközök az új nyelv alatt is. A nyelv fejlesztésénél felhasználták a SCOPE kísérlet eredményeit és a T-SQL, hagyományos SQL és Hive nyelvvel szerzett tapasztalatokat is.
A U-SQL másik újdonsága az alatta dolgozó elosztott futtatómotor, amely a szükséges absztrakciót képes elvégezni a fejlesztő helyett és képes a megírt kódot skálázni a Data Lake Analytics infrastruktúráján. A feladat nem triviális, a Microsoft szerint az U-SQL lekérdezések akár több ezer node-on tudnak skálázódni, anélkül, hogy ezt a megírt lekérdezésben kezelni kellene. További fontos előny, hogy a strukturálatlan adatok mellett az U-SQL ugyanúgy használható a relációs adatbázisokban tárolt adatok elemzésére is, például Azure SQL Database-hez.