Denna artikel exemplifierar hur du snabbt kan komma igång med testarbete och leverera resultat med utforskande tester och xBTM.
Vad är xBTM?
xBTM är en kombination av teknikerna SBTM (Session based test management) och TBTM (Thread based test management). Kort förklarat handlar SBTM om att strukturera sina utforskande tester i sessioner med fördefinierade tidsramar och fokusområden. TBTM sker under friare former där man som testare kan fördjupa sig inom olika områden (trådar) som identifierats som intressanta utan fasta tidsdramar.
Om du vill lära dig mer om teorin bakom dessa tekniker rekommenderar jag dig att läsa Michael Albrechts introduktion.
Testobjekt
I detta exempel har vi tittat på vår egen hemsida, som fick en ny design 1 juni 2016. Idéen kommer ifrån Johan Bergströms workshop ”High speed team testing with exploratory methods”. Workshopen fokuserade på xBTM och det praktiska segmentet gick ut på att snabbt komma igång med en testsession, i detta fall SBTM, för just addq.se.
Identifiera fokusområden
Vi arbetade i team om 4 personer och spenderade först ca 10 minuter på att resonera oss fram till ett antal fokusområden för en testsession baserat på vår egen analys av produkten i kombination med vad Johan (i detta fall i egenskap av produktägare) ansåg vara sidans viktigaste funktioner. Vi utgick ifrån vad som ansågs vara centralt innehåll på sidan från ett kundperspektiv.
Genomför tidsbegränsad session
Själva testsessionen tidsbegränsades till en timme och under denna session hittades 16 potentiella problem (buggar och designproblematik).
Iterera
Detta fick oss att vilja göra en ny iteration då vi kände att vi bara kommit i kontakt med toppen av ett isberg. Vi hade exempelvis upplevt att områden som menynavigering och användande av sökfältet gett upphov till en rad olika problem och valde därför att gå vidare med TBTM-metodik med följande nyckelområden baserat på vad vi lärt oss under första sessionen:
När man använder sig av TBTM är man fri att utforska sina områden efter eget tycke parallellt tills man känner sig nöjd med resultatet. Under denna iteration lades största delen av tiden på att undersöka menyn och sökfunktionen. Det ledde till att ytterligare 8 buggar och problem hittades innan det var dags att knyta ihop trådarna och sammanställa resultatet.
Slutsats
Detta är självklart bara en start på en något större testinsats. Genom att välja att fokusera på en enhet, i detta fall en iPhone SE, bortser man från att experimentera med viktiga aspekter så som:
- Operativsystem
- Skärmstorlek
- Web browser
Fokusområdena har också definierats och utforskats på en ganska hög nivå och ytterligare djupdykningar skulle med största sannolikhet generera fler oönskade upptäckter.
Poängen har varit att visa hur man utan all för stor förkunskap om produkten i fråga kan komma igång och hur mycket man faktiskt kan åstadkomma under så pass kort tid med xBTM. Två testsessioner utfördes i exemplet ovan och dessa resulterade i 24 rapporterade problem samt dokumentation i form av buggrapporter och mind maps. I takt med att man fortsätter iterera och fylla i blir dokumentationen över tid en produktsummering utifrån ett testperspektiv som man med fördel kan använda vid regression och dylikt.
Sammantaget tog det cirka en arbetsdag i effektiv tid att utföra planering, exekvering, reproduktion, rapportering av buggar samt dokumentering.
Att komma igång med testning och buggjakt i ett tidigt skede har man mycket att vinna på. Buggar och problem blir mer kostsamma att rätta till ju senare i utvecklingsfasen de upptäcks och hanteras. Då xBTM bygger på enkla principer och steg kan man med fördel göra punktinsatser där man involverar hela teamet (utvecklare, testare, ux med mera) i xBTM-sessioner för att snabbt komma igång med test tidigt och öka kvalitetstänket i sitt team.
Vägen vidare härifrån handlar om att iterera stegen utföra, sammanställa och justera samt expandera testfokus tills man känner sig trygg med testtäckningen (inom rådande tidsramar).
Kategori:Teknik
Guide om xBTM
En vanlig kritik mot utforskande test är att det är för dålig spårbarhet och för lite dokumentation. Denna kritik bottnar i okunskap om vad utforskande test innebär, eftersom sättet att testa i sig inte på något sätt omöjliggör koppling mellan krav och test, eller förhindrar dokumentation. För att bemöta denna kritik, och för att sprida information om hur man kan tillämpa utforskande test, infördes xBTM. Ladda ner vår guide och få en introduktion och sammanfattning av metoden.
