Users First

Németh Ádám, mérnök-informatikus blogja felhasználói felületekről, azok tervezéséről és arról, hogy lehet használható, valós problémákat megoldó szoftvereket megvalósítani általánosságban.

Friss topikok

Napi tesztelés

2015.06.22. 12:54 Aadaam

Most napi rendszerességgel zajlanak mind a MÁV-Start jegykiadó automata projektjének, mind a PocketGuide tesztjei. Ez azt jelenti, hogy minden egyes nap behívunk valakit, akivel egy hagyományos, prototípus alapú usability tesztet végzünk.

userteszt_mindennap.png

Reggel a tervezőcsapat feedbacket kap az eddigi munkáról. Utána megbeszéljük, ki, milyen jelenségeket vett észre, együtt kitaláljuk a lehetséges megoldási irányokat, majd a nap további része ezek kidolgozásával telik. Másnap kezdődik minden előlről.

Úgy is vehetjük, ez egy napi szintű tervezői sprint.

Mi ennek az előnye?

Előnye a rengeteg iteráció: gondold meg: míg régen az első változat, amit utas látott a MÁV automatáiból, már éles gépen futott; addig a mostani a 10. változat kb, és az utasok előbb látják, mint a fejlesztők - ha nem is nagy számban.

A rendszeresség némileg megszokottá teszi a kutatást, mint a vízcsapot: mersz rá hagyatkozni, egyszerűen ez egy olyan dolog, ami minden nap van, nem dédelgeted 25 évig magadban a megoldásokat, hisz holnap délre lehet feedbacked a legfrisebb ötletedről.

Nyilván fontos szempont, nem egy irodában, zárt ajtók mögött van kitalálva A Megoldás. Bár a tipikus használatot tudjuk (ehhez van elég megelőző kutatásunk), azért egy-egy alany tud újat mondani, rávilágítani a statisztikában látott számok mögötti okokra.

Mi a hátránya?

Nyilván nem minden hibát tudunk egyetlen nap kijavítani. Bizonyos jelenségek több napba telnek mire beismerjük: igen, ez hiba, minden alanynál előfordul. Ennek kiküszöbölésére vannak duplaalanyos napok (ill. lehetnek kihagyott napok is). Van olyan hiba is, ami valójában nem hiba, esetleg csak pont annál az alanynál fordul elő.

A dokumentáció is hiányos. Mire megírnád a doksit, már lehet, nem is azok vannak a prototípusban, elég nehéz visszakövetni.

Ezt úgy próbáljuk kiküszöbölni, hogy heti szinten készül egy részletesebb analízis, ami tartalmazza az egész heti észrevételeket is. Ennek az a célja, hogy a kis hibák - pl. feliratcsere - se maradjanak kijavítatlanok, legyen egy katalógus, ami alapján haladunk.

Hátránya még, hogy bizonyos szempontból nem fokozatos: a kvalitatív eredmények nincsenek kvantitatívan alátámasztva. Míg sokszor ez egy valamelyest logikus kockázat - amit a későbbiekben még kezelünk - máshol ez veszélyforrás.

Természetesen sok időt emészt fel: mindennel együtt - szervezés, telefonálás, ottlét, összegzés - egy munkanapot biztos elvisz hetente. Sokszorosan megtérül!

Nyilván van költségvonzata

(Szervezésre fordított idő + tesztidő költsége + incentíva) * tesztalany + tervezés 

Mi kell hozzá?

Az elsődleges titka: a recruitment. Mind a PocketGuide, mind a MÁV-Start tesztalanyait online űrlapokkal toborozzuk.

Az űrlapok facebook-csoportokban vannak publikálva. Hagyományosan a toborzás apróhirdetés-oldalakon zajlik, mi most egy szűkebb kört céloztunk meg, némileg demonstrációs jelleggel is.

A PocketGuide-é egy kísérleti, szelekciós űrlap: szigorú célközönség-definíciónak kell megfelelni ahhoz, hogy a menedzsment komolyan vegye a teszteredményt, aki nem felel meg a kritériumoknak, annak - némi vigaszdíj keretében - megköszönjük az űrlap kitöltését, de nem hívjuk be.

Sajnos a technológia még nem tökéletes. Hiába tudod a célközönségnek nem megfelelő embereknek már az űrlapon közölni, hogy nem feleltek meg, ezeket utána kézzel kell kibogarásznod, az eredménytáblában semmi jele nincs annak, valaki megfelelt-e vagy sem. 

Mind a PocketGuide, mind a MÁV jutalmazza az alanyait: ez a költségvetés része. A piaci ár jelenleg 1-2 ezer forint: ez függ az időtartamtól, a projekttől, stb. Míg a kosárlabdában a szövetség közös ügy volt, addig egy magáncégtől ezt ne várja el senki.

A jelentkezés után időpontot egyeztetünk, rendszerint telefonon. Van egy naptár, ami azt jelzi nekünk, melyik nap, mikor, kivel tesztelünk.

Maga a teszt hagyományos usability teszt vagy user interview, mikor mire van szükség.

A feladatokról és kérdésekről

A napi teszthez tartozik egy "test queue", azon tesztfeladatok és kapcsolódó prototípusok listája, amely az adott alkalommal tesztelhető. Ezek prioritásba vannak rendezve. Van, hogy egy tesztfeladatot minden alany megkap, van, hogy 2-3 alany után lezártnak tekintjük a kérdést.

A függetlenül feltöltött tesztelési sor előnye, hogy ettől még a tervezői munka zökkenőmentesen haladhat: ha egy prototípus nem lesz kész időre, max az előző kap dupla tesztlehetőséget.

Nyilván a fejlesztői munka is független a tesztelőitől: ők a teszteléssel többszörösen validált, kidolgozott terveket veszik át. A napi rendszeresség lehetővé teszi, hogy akár a sprint végi belső release felhasználói tesztje lefusson - hisz azt azért minden tervező tudja, a kiadott tényleges szoftver és a tervek mindig különböznek...

Ennyi elég user researchnek?

Nagyon nem. A MÁV esetén a napi teszt egy többlépcsős folyamat egyik állomása, a Pocket esetén egy több lábon álló kutatási stratégia része.

Mindkét esetben jelentős mértékű field research előzte meg a tesztfeladatok összeállítását. Ennek részei interjúk, de főleg megfigyelések valós környezetben.

Mindkét esetben kiegészítik kvantitatív kutatások is: részletes számadatokkal rendelkezünk a felhasználók tényleges viselkedéséről.

Természetesen nem ötletszerűek a teszteredmények magyarázatai sem: a jelenségek helyes értelmezéséhez komoly kognitív pszichológiai szakismeret szükséges - sokszor a felismerésükhöz is.

Hogyan lehet ezt bevezetni?

Mind a PocketGuide, mind a MÁV-Start esetében először sporadikus, de szabványos tesztek voltak, majd bevezetésre került a tesztnap fogalma.

A MÁV-Start esetén ráadásul RITE-tesztnapot tartottunk: minden órában bejött egy tesztalany, az alanyok között pedig próbáltunk változtatni. Ebből fejlődött ki ott a napi tesztelés a tervezőcsapat kérésére, mivel a picivel lassabb tempó átgondoltabb tervezést tesz lehetővé.

A PocketGuidenál régebben is voltak hetek, amikor Dorottya egész nap terepen volt, délelőtt jött be csak az irodába az új prototípusokért, ott ezt a "hagyományt" újítja fel az új rendszer.

Hogy csatlakozhatok a tesztekhez?

A legfontosabb, hogy a MÁV tesztjeihez csatlakozz, a PocketGuide ezen a héten már biztos nem tud több alanyt fogadni - de a következő hetekben is lesz tesztelés!

A tesztelést a MÁV esetében Molnár Dorottya vezeti, a PocketGuide teszteket jelenleg én viszem. 

 

Segíthetünk a saját projektedben?

A blog sikerén felbuzdulva létrehoztunk egy tanácsadó céget, a UX Stratégiát. A klasszikus ügynökségi feladatok helyett mi a UX gondolkodás bevezetését, fejlesztését tartjuk szem előtt. Ha teheted, like-old a Facebook oldalunkat!

Maga a Users First! blog továbbra is megmarad a haladó UX témák gyűjtőhelyének, ahol saját munkáinkról írunk, így ne aggódj, ez a blog továbbra is Nektek szól! Köszi a figyelmet!

A bejegyzés trackback címe:

http://usersfirst.blog.hu/api/trackback/id/tr157563626

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

Nincsenek hozzászólások.