tirsdag den 1. december 2015

Kombinatoriske testteknikker - pas på!

Testere er velkendt med følgende problemstilling:  Der er så meget man kan teste, men så lidt tid.

Derfor anvendes der en række testteknikker - herunder kombinatoriske teknikker der kan reducere et stort antal interagerende data til et håndterbart niveau.

En af disse kombinatoriske teknikker er eksempelvis parvis test, hvor der testes alle kombinationer af datapar. Dette er sket ud fra præmissen, at de fleste fejl i software er et resultat af en faktor eller kombination af to - dette kaldes også 'interaktionsreglen, og denne defineres som: "Most failures are induced by single factor faults or by the joint combinatorial effect (interaction) of two factors, with progressively fewer failures induced by interactions between three or more factors".

Med dette udgangspunkt har man ofte valgt parvis test, og megen litteratur har taget udgangspunkt i følgende undersøgelse: "Failure Modes In Medical Device Software: An Analysis Of 15 Years Of Recall Data". Denne undersøgelse viser en interaktionsregel på 98% for 'medical devices'.

Men software på tværs af teknologi, brancher m.m. er ikke ens - hvorfor denne interaktionsregel heller ikke kan overføres til alle andre teknologier og brancher.

Videre undersøgelser viser faktisk, at for andre områder dækker interaktionsreglen kun lidt over 60% for 2 faktorer, hvorfor parvis test her ikke vil være så dækkende som for 'medical devices' - og dermed er der naturligvis også et højere risikoniveau.

Nedenstående diagram viser nyere og mere dækkende undersøgelser, som ikke kun dækker 'medical devices', men også browser, server, NASA og network security:


Hvis man ønsker et 98%-niveau i relation interaktionsreglen skal man i andre tilfælde op på 4-vis eller 5-vis test, hvilket giver et noget større antal testcases.

Vær derfor meget opmærksom på denne mere dækkende forskning end den ofte mere refererede. Pas på ved brug af teknikken - måske du skal anvende et højere n-vis niveau end tidligere antaget.

2 kommentarer:

  1. Rigtig vigtig pointe, da det jo er sjældent at man benytte 4-vis eller 5-vis, som oftest benytter man 2-vis og i enkelte tilfælde 3-vis.
    Giver stof til eftertanke.

    SvarSlet
    Svar
    1. Netop - derfor er det en god viden at have, at det i nogle tilfælde ikke er tilstrækkeligt - brug oversigten fra bloggen eller egne fejl relaterede metrikker og eventuel defekttaxonomi, hvor interaktionsreglen er indarbejdet.

      Slet