Tre steg på vägen när du mäter kvalitet
1. Definiera kvalitet och sätt rimliga mål
Vad kvalitet är varierar enormt mycket från produkt till produkt och idag har kundupplevelse blivit en betydande faktor för många. Kundens upplevelse är svårare att mäta. Men de flesta har enorma utmaningar med rent funktionella fel, som är lite lättare att ta på och därför också lättare att mäta. Så det är där jag tänkte att vi skulle börja eftersom det första du behöver göra är att definiera kvaliteten för er produkt och sätta rimliga mål.
2. Få koll på det som påverkar
Oavsett om det är time-to-market eller extremt felfritt som är målet, är båda dessa faktorer enormt viktiga och påverkar nivån på den kvalitet du definierar. Självklart påverkar även mängden ny funktionalitet, förändrade tekniska lösningar med mera insatsen du behöver för att nå ”dina” kvalitetsmål.
3. Bestäm vad och varför du mäter
Det finns en mängd olika sätt att mäta på. Det viktiga är att du bestämmer dig för vad du vill mäta och varför. I en drömvärld har du mätetal innan ett förändringsarbete inom kvalitet påbörjas som gör att vi kan jämföra med nya siffror under och efter förändringsarbetet. Har du inte det finns det självklart tips och generella riktlinjer för vad som är ”rimliga mätvärden”.
Mät kvalitet över tid med DDP
Jag vill belysa en mätmetod jag har erfarenhet av och som jag upplever fungerar bra oavsett produkt och leveransmodell. Det är Defect Detection Percentage (DDP).
DDP är ett mått på testeffektivitet vid ett specifikt stadium i testcykeln och beräknas som relationen mellan antalet funna fel i den specifika testfasen och totala antalet funna fel i alla stadier upp till och med den aktuella testfas som DDP mäts för. DDP är en effektiv metod för att mäta testresultat och kvalitet över tid.
Det spelar ingen roll om du testkör agilt, eller mer utifrån principen vattenfall. Besluta dig bara för vilka mätpunkter du vill jämföra. Till exempel intern testning vs kundtester vs produktion, eller sprinttester vs regressionstester vs kundtester vs produktion. Du ska helt enkelt mäta interna tester mot externa. Självklart går det att göra olika mättester internt mot varandra, men då gäller det att ha en tydlig plan eftersom det lätt kan uppfattas som intern ”pajkastning” för att hitta en syndabock.
Så beräknar du DDP
Genom att göra en DDP-mätning får du vi koll på hur du mäter och en konkret siffra på hur ”bra” kvalitet produkten har.
En riktlinje är att dina interna tester bör ligga på 85-95 procent av de hittade defekterna. Det kan anses som en rimlig nivå på kvalitetstesten och en bra kvalitetssäkring. Här ett exempel på DDP-mätning över tid:
PIs = Product Issues = Rapporterade defekter
Internal = Alla typer av interna tester
AT = Alla kundtester, inte bara i samband med formell AT utan även tester i samband med småleveranser.
AT=Acceptanstest
Production PIs = Defekter hittade under de tre första månaderna av produktion.
Grafen nedan visar exempel från 12 verkliga projekt, där vi haft möjlighet att mäta DDP innan ett förändringsarbete påbörjades och även under resan. Tidsspannet från första till sista mätningen är 2 år. Genom att mäta DDP kunde vi fram ett mått på kvaliteten efter de interna testerna på respektive projekt.
Här kan du även läsa om vilka verktyg du kan använda när du arbetar med kvalitet.
Sätt pris på kvalitet med hypotetisk kalkyl
För att motivera ett förändringsarbete kan en hypotetisk kalkyl som beräknar merkostnaden för låg DDP också vara ett bra verktyg. I en hypotetisk kalkyl tar vi hänsyn till siffror som projekttid, antal defekter per projekt, rättningstid samt kostnad.
I följande beräkningsexempel utgår vi från ett av de verkliga projekten i grafen ovan (andra stapeln) med DDP 53,85 procent.
Projekttid: 10 000 timmar,
Totala antalet defekter i projektet: 200 st
Rättningstid/defekt: 20 timmar
Kostnad/timme: 850 kr
Beräkningsexempel:
53,85 % * 200 st = 107,7 defekter. Det innebär att 92,3 defekter hittades efter det att interna tester hade genomförts.
92,3 st * 20 tim = total rättningstid 1 846 timmar innebär, med en kostnad per timme på 850 kr, totalt 1 569 000 kr i rättningskostnad.
Vi jämför detta mot ett kalkylvärde för DDP på 90 procent, vilket motsvarar normalvärdet för hittade defekter som beskrivs i texten ovan:
90 % * 200 st = 180 st, vilket innebär att 20 defekter hittades efter interna tester.
20 st * 20 tim = 400 timmar och en totalkostnad på 340 000 kr.
Med en hypotetisk kalkyl som den här, som kan påvisa besparingar på närmare 1 200 000 kr per projekt i rättningskostnader, blir det lättare att motivera en hög testnivå och fler aktiviteter för att öka och mäta kvalitén. Effekterna av ett mer användbart och stabilt system innebär också minskad risk för badwill, som i sig kan leda till ännu högre kostnader och uteblivna intäkter.
Efter att du gjort en DDP-mätning har du koll på hur du mäter och får fram en siffra på hur ”bra” kvalitet din produkt har. Mer om DDP och hur du beräknar kvalitet hittar du här
Leverera med känd kvalitet
Medvetna beslut är oftast klokare än omedvetna. Att leverera med känd kvalitet är mycket trevligare än det okända. Men för att nå dit behöver du ha en tydlig strategi för kvalitetsarbetet och en metod för att mäta kvalitet över tiden. Där är DDP ett sätt jag med framgång själv använt vid flertalet tillfällen.
Kategori:Teknik
Har du tips på andra sätt att mäta eller behöver du hjälp med strategier, metoder eller att mäta ditt kvalitetsarbete? Connecta gärna med mig på Linkedin.
