Maximal effekt av dina tester på minimal tid

Att stå inför uppgiften att kvalitetssäkra en produkt där tiden är knapp och kraven är otydliga är inte en helt ovanlig situation att befinna sig i som testare. När kraven på snabbare leveranser ökar är risken stor att kvaliteten blir lidande. Fler kockar till soppan löser sällan hela problemet, nyckeln till att lyckas handlar snarare om att använda rätt arbetsmetoder.

Denna artikel exemplifierar hur du snabbt kan komma igång med testarbete och leverera resultat med utforskande tester och xBTM.

Vad är xBTM?

xBTM är en kombination av teknikerna SBTM (Session based test management) och TBTM (Thread based test management). Kort förklarat handlar SBTM om att strukturera sina utforskande tester i sessioner med fördefinierade tidsramar och fokusområden. TBTM sker under friare former där man som testare kan fördjupa sig inom olika områden (trådar) som identifierats som intressanta utan fasta tidsdramar.
Om du vill lära dig mer om teorin bakom dessa tekniker rekommenderar jag dig att läsa Michael Albrechts sammanfattning.

Testobjekt

I detta exempel har vi tittat på vår egen hemsida, som fick en ny design 1 juni 2016. Idéen kommer ifrån årets Qbiz och Johan Bergströms workshop ”High speed team testing with exploratory methods”. Workshopen fokuserade på xBTM och det praktiska segmentet gick ut på att snabbt komma igång med en testsession, i detta fall SBTM, för just addq.se.

Identifiera fokusområden

Vi arbetade i team om 4 personer och spenderade först ca 10 minuter på att resonera oss fram till ett antal fokusområden för en testsession baserat på vår egen analys av produkten i kombination med vad Johan (i detta fall i egenskap av produktägare) ansåg vara sidans viktigaste funktioner. Vi utgick ifrån som ansågs vara centralt innehåll på sidan från ett kundperspektiv.

 

artikelxbtm1

 

Genomför tidsbegränsad session

Själva testsessionen tidsbegränsades till en timme och under denna session hittades 16 potentiella problem (buggar och designproblematik).

Iterera

Detta fick oss att vilja göra en ny iteration då vi kände att vi bara kommit i kontakt med toppen av ett isberg. Vi hade exempelvis upplevt att områden som menynavigering och användande av sökfältet gett upphov till en rad olika problem och valde därför att gå vidare med TBTM-metodik med följande nyckelområden baserat på vad vi lärt oss under första sessionen:

 

artikelxbtm2

När man använder sig av TBTM är man fri att utforska sina områden efter eget tycke parallellt tills man känner sig nöjd med resultatet. Under denna iteration lades största delen av tiden på att undersöka menyn och sökfunktionen. Det ledde till att ytterligare 8 buggar och problem hittades innan det var dags att knyta ihop trådarna och sammanställa resultatet.

Slutsats

Detta är självklart bara en start på en något större testinsats. Genom att välja att fokusera på en enhet, i detta fall en iPhone SE, bortser man från att experimentera med viktiga aspekter så som:

  • Operativsystem
  • Skärmstorlek
  • Web browser

Fokusområdena har också definierats och utforskats på en ganska hög nivå och ytterligare djupdykningar skulle med största sannolikhet generera fler oönskade upptäckter.

Men poängen har varit att visa hur man utan all för stor förkunskap om produkten i fråga kan komma igång och hur mycket man faktiskt kan åstadkomma under så pass kort tid med xBTM. Två testsessioner utfördes i exemplet ovan och dessa resulterade i 24 rapporterade problem samt dokumentation i form av buggrapporter (mall att ladda ned) och mind maps. I takt med att man fortsätter iterera och fylla i blir dokumentationen över tid en produktsummering utifrån ett testperspektiv som man med fördel kan använda vid regression och dylikt.

Sammantaget tog det cirka en arbetsdag i effektiv tid att utföra planering, exekvering, reproduktion, rapportering av buggar samt dokumentering.

Att komma igång med testning och buggjakt i ett tidigt skede har man mycket att vinna på. Buggar och problem blir mer kostsamma att rätta till ju senare i utvecklingsfasen de upptäcks och hanteras. Då xBTM bygger på enkla principer och steg kan man med fördel göra punktinsatser där man involverar hela teamet (utvecklare, testare, ux med mera) i xBTM-sessioner för att snabbt komma igång med test tidigt och öka kvalitetstänket i sitt team.

Vägen vidare härifrån handlar om att iterera stegen utföra, sammanställa och justera samt expandera testfokus tills man känner sig trygg med testtäckningen (inom rådande tidsramar).

Har du tips på eller erfarenhet från andra sätt att jobba effektivt med att testa, får du gärna höra av dig och berätta.

MartinwrangenbyKort om författaren
Martin Wrangenby har jobbat med test och testledning främst inom TV- och mediabranschen. Han tycker att test och kvalitetsarbete blir både bättre och roligare om man ser till att engagera hela sitt team med fokus på kvalité.