Valós idejú AI feldolgozáshoz szánt projekttel jelentkezett a Microsoft
A Project Brainwave FPGA-kat alkalmaz, amelyekkel már egy rekordot is felállított a cég.
Bemutatta saját fejlesztésű deep learning hardverplatformját a Microsoft. A Project Brainwave részleteit az idei Hot Chips konferencián leplezte le a vállalat, amelytől nagyobb teljesítményt és rugalmasságot várnak a készítők. A fejlesztéssel a mesterséges intelligenciához kapcsolódó műveletek valós idejű végrehajtását célozza a Microsoft, amely képesség a vállalat nyílt felhős platformjában, az Azure-ben is elérhető lesz.
A Project Brainwave rendszer három részből áll, amelyekből az első réteget a nagy teljesítményű, megosztott rendszerarchitektúra jelenti. Ezt követi az FPGA-ra szintetizált DNN motor, amihez egy fordító és futtatókörnyezet kapcsolódik, amelyekkel a gépi tanulásos modelleket lehet telepíteni. A Microsoft megjegyzi, hogy a rendszer hardveres alapját az elmúlt évekbe kiépített masszív FPGA infrastruktúra biztosítja, amivel az egyes DNN-ek (Deep Neural Network) hardveres mikroszolgáltatásként működhetnek. Egyetlen DNN-t akár egy egész csoport FPGA-hoz hozzárendelhető, a menedzselés pedig a CPU-tól (és szoftveres rétegtől) független marad, amivel csökken a késleltetés és növekszik a teljesítmény, így a Microsoft szerint már inkább a hálózat sebessége jelentheti a szűk keresztmetszetet.
Az FPGA-s megközelítés kézenfekvő volt a Microsoft részéről, a vállalat ugyanis már komoly tapasztalatokkal rendelkezik a programozható logikai kapumátrixok terén. A cég többek között a Bing kereső teljesítményének feltornászásához is az FPGA-kat hívta segítségül, a projekt nagyjából négy éve fut. A több éves tapasztalatot kiaknázva tavaly már az Azure-t is megcsapta az FPGA-k szele, a chipeket a felhős adatközpontokban a hálózati forgalom gyorsítására és optimalizálására használja a cég.
Ahogy arról már több alkalommal is szó esett, az FPGA-k gyakorlatilag teljesen szabadon programozható chipek, a nagy szabadságért cserébe viszont általános számítási teljesítményük relatíve alacsony. A Microsoft szerint ugyanakkor (egyelőre) fontosabb a rugalmasság, aminek hála gyakorlatilag bármilyen adattípus feldolgozható. Ennek megfelelően a Microsoft úgynevezett "soft" DPU-kat (Deep Learning Processing Units) hozott létre, amelyek a kívánt adattípust minden esetben a szintézis idő alapján határozzák meg.
CI/CD-vel folytatódik az AWS hazai online meetup-sorozata! A sorozat december 12-i, ötödik állomásán bemutatjuk az AWS CodeCatalyst platformot, és a nyílt forráskódú Daggert is.
A dizájn az ASIC-ok jelfeldolgozó blokkját és a végrehajtó logikát szintetizálja FPGA-kon, amivel a Microsoft szerint maximalizálható a funkcionális egységes mennyisége és hatékonysága. A vállalat azt állítja, hogy ezzel a megközelítéssel megmaradt a rugalmasság, ugyanis pár hét alatt akár komolyabb változtatások is megvalósíthatóak a rendszerben, miközben a teljesítmény hasonló, vagy bizonyos esetekben akár jobb is, mint "hard" DPU-k, például a Google TPU-ja esetében.
A Microsoft szerint ugyanis a Project Brainwave complex, nem kötegelt végrehajtás mellett is nagy számítási teljesítményre képes, miközben a "hard", szilíciumba vésett DPU-k kapacitása csak a számításigényes CNN-es (Convolutional Neural Network) végrehajtás mellett aknázható ki. A vállalat állítja, hogy ez számos esetben nem reprezentatív, LSTM (Long Short Term Memory), GRU (Gated Recurrent Unit), vagy nyelvi feldolgozás mellett ugyanis (egyelőre) a chipek nem versenyképesek. A vállalat szerint egy másik jó példa a kötegelt végrehajtás, ahol a "hard" DPU-k ugyancsak erősek, ám valós idejű végrehajtás esetében a kötegelés nem opció, így az előny ebben az esetben is szertefoszlik.
A Microsoft elsőként Stratix 10 FPGA-kon tesztelte a Project Brainwave-et, amely egy nagy, a Resnet-50 méretének körülbelül ötszörösét jelentő GRU modell esetében 39,5 TFLOPS-os teljesítmény mutatott, miközben a kéréseket egy milliszekundum alatt teljesítette a rendszer, ily módon pedig 130 000 számítási műveletet értek el egyetlen ciklus alatt. A készítők szerint ez új rekord, az eredmény pedig várhatóan tovább javul, a következő hónapokban ugyanis folyamatos optimalizációkkal gazdagodik a Project Brainwave.
Végül, de nem utolsó sorban a szoftveres támogatást is kiemeli a Microsoft. A Project Brainwave támogatja a népszerűbb deep learning keretrendszereket, így például a Microsoft Cognitive Toolkitet és Google Tensorflow-t, a cég szerint pedig a lista folyamatosan bővül majd. Emellett a vállalat azt is ígéri, hogy a valós idejű AI feldolgozás a közeljövőben az Azure-ben is megjelenik, amivel bárki hozzáférhet majd a rekorder teljesítményhez.