Som nævnt har jeg tilbragt formiddagen i selskab med Rick Craig - og sikke en inspiration. Hans tutorial var over temaet 'Measurement and Metrics for Test Managers', men han kom også lige til at nævne, at han bruger TPI-modellen, og har gjort det i mange år. Lyder godt.
Men en god tutorial med en masse gode drøftelser og erfaringsudvekslinger mellem de ca. 70 deltagere.
Der var specielt mange diskussioner om brugen af DDP som metrik (Defect Detection Percentage) - fordele, ulemper, brug og misbrug og ikke mindst fælder ved brug af den. Diskussionerne gik også på, hvilket niveau man skulle være på. Her er der jo ganske enkelt ikke noget enkelt og entydigt svar. Hvis man arbejder i en branche, hvor time-to-market er en af de vigtige konkurrenceparametre kan en lavere DDP være relevant, mens det for virksomheder der arbejder med såkaldt sikkerhedskritisk software (pharma, flykontrol m.m.) kan det være relevant at have en DDP i den højere ende.
Men man skal jo altid være opmærksom på, hvad omkostningen er ved at stige i DDP - omkostningen ved at stige fra 50% til 51% er nok lavere end hvis det er fra 97% til 98%.
Et andet område der blev diskuteret var metrikker til kodedækning. Overraskende var den mest udbredte instruktionsdækning, og når man tænker på at det jo er det laveste niveau det giver mening af måle på - ja så er det lidt overraskende at de andre ikke rigtig anvendes.
Et andet godt point fra Rick var holdningen til metrikker - opfat alle metrikker som midlertidige - evaluer værdien af disse en gang om året, og fjern og erstat de som ikke giver værdi. På den måde kan det sikres, at vi ikke bare bruger denne eller hint metrik fordi det har vi altid gjort.
Gode tanker og ideer til mit fortsatte arbejde med testmetrikker.
Ingen kommentarer:
Send en kommentar