Minden az adatalapú kísérletekről szól a Netflixnél
Nem csak a saját sorozatfüggésünket bizonyítja, ha sok időt töltünk a Netflix felületén. Sok adattudós dolgozik rajta, hogy személyre szabottnak érezzük az értesítéseket, a felületen megjelenő filmeket, előzeteseket vagy borítóképeket. Szinte kísérleti nyulaknak érezhetjük magunk, mikor elolvassuk, hogy a vállalat a szolgáltatás közben keletkező adataink mi mindenre használja fel az "érdekünkben".
Elárult néhány kulisszatitkot a Netlifx blogja a vállalat kísérletezési projektjeiről, melynek keretében adattudósai a videostreaming platformmal kapcsolatos döntéshozást támogatják. A cégen belül több adatkutató csapat dolgozik, együttműködésben többek közt termékmenedzserekkel, mérnökökkel és különböző ágazatokkal. Az adatos szakértők feladati közé tartozik az adott terület feladatainak megértése is, a hipotézisékből kiinduló (deduktív) és a kísérletekből következtetéseket levonó (induktív) kutatások teljeskörű lefolytatása mellett.
IMÁDJÁK AZ A/B TESZTELÉST
Érthető módon az egyik csapat a platform felhasználószámának növelésével foglalkozik, azon belül is elsősorban azzal, hogy miként lehet a leghatékonyabban, automatizáltan szétosztani a reklámokra fordított költségkeretet a közösségi oldalak és weboldalak között. Céljuk, hogy az elhelyezett reklámok a lehető legtöbb új Netflix-tagot hozzák. Az automatizációt egyrészt fals pozitív és fals negatív esetek is nehezítik, másrészt statisztikailag szignifikáns eredmények esetén előfordulhat, hogy a reklám hatását túlbecsülik vagy ellentétes előjellel kezelik (nem érik el a célközönséget).
Utóbbi problématípusokat az úgynevezett bayesiánus módszerrel próbálják kiküszöbölni, azaz több tesztet is folytatnak egy területen belül, és mindig a korábbi tesztek eredményeit használják fel a következő teszt bemeneteként a "hidelem-mérték" csökkentésére. A következő kérdés az adattudósok számára, hogy milyen ponton érdemes a kísérletezést lezárni, vagyis hogyan lehet megállapítani, hogy a döntésekhez már megfelelő mennyiségű információt adtak az üzletágvezetők számára.
A Gitlab mint DevSecOps platform (x) Gyere el Radovan Baćović (Gitlab, Data Engineer) előadására a november 7-i DevOps Natives meetupon.
Egy másik érdekes példa a felugró üzenetek megjelenítése és emailek küldése, amelyek a platformra csábítják a felhasználókat, hogy nézzék meg a legújabb vagy aktuálisan legnépszerűbb filmet. A csapat feladata kikísérletezni, hogy az üzenetek az egyszerű bosszantás helyett jókor és megfelelő embereknek érkezzenek, ezáltal ténylegesen filmnézésre ösztönözzenek. Ehhez a felhasználók historikus adatait, és a korábbi üzenetekre adott reakcióit használják fel, illetve hipotézisek alapján folytatnak A/B teszteket. Ehhez az adatkutatók nem írnak folyamatosan új teszteket, hanem a meglévőeket finomítják. A többkarú rabló probléma elvén tanulási modelleket építenek a felhasználók üzenetfogadási szokásai alapján, ahol persze a "rabló" akkor sikeres, ha a netflixező az üzenetre kattint.Még egy érdekes és jól szembetűnő példa, hogy gyakran két egymás mellett ülő netflixezőnek is teljesen másképp jelenik meg a videóválasztó felület. A filmek borítóképei és más vizuális elemek igyekeznek "bizonyítani", hogy a felhasználó számára az adott választás megfelelő. Például egy trailer elkészítése előtt az adattudós csapat feladata prediktív modellel bizonyítani, hogy a költséges videós előzetes valóban új nézőket fog hozni. A cég ebben az esetben a lassú A/B tesztek mellett "kontextuális bandita algoritmusokat" is használ, amelyek a megerősítéses tanulás során a környezeten kívül más információkat is figyelembe vesznek, hogy ebben az esetben minél inkább a felhasználó ízlésének megfelelő vizuális elemeket illesszenek a filmekhez.
MIT LEHET MÉG KUTATNI?
Külön csapat foglalkozik például a fizetési megoldások kezelésével, hogy lehetőleg minél többen hosszabbítsák meg az előfizetésüket. Szintén másik csapat vizsgálja a partneri megállapodások keretében adott Netflix-csomagok marketingkampányainak hatását, melynek nehézsége, hogy ebben az esetben nem áll rendelkezésre minden adat a hagyományos összehasonlító tesztekhez. Továbbá streamelés során a Netflix az audio és videó minőséget is A/B teszteli az appot elérhetővé tévő többezer készüléktípuson keresztül, különböző adattömörítő algoritmusokkal, vagy éppen a tartalmak eltérő szervereken való elhelyezésével.
A Netflix egészen sok példát felsorolt az adattudós csapatok közreműködésére az üzleti területekkel, amelyekkel párhuzamosan egy külön platformot is épített kifejezetten mérnökök számára a kísérletezéshez (Netflix Experimentation platform). A bejegyzés is érzékelteti, hogy a vállalat a felsoroltáknál jóval több kísérletet folytat a felhasználók elnyerésére és megtartására, de az összefoglaló jól szemlélteti az e mögött húzódó adatalpú szemléletet, amellyel már több mint 214 millió előfizetőt ér el.