søndag den 20. december 2015
tirsdag den 1. december 2015
Kombinatoriske testteknikker - pas på!
Testere er velkendt med følgende problemstilling: Der er så meget man kan teste, men så lidt tid.
Derfor anvendes der en række testteknikker - herunder kombinatoriske teknikker der kan reducere et stort antal interagerende data til et håndterbart niveau.
En af disse kombinatoriske teknikker er eksempelvis parvis test, hvor der testes alle kombinationer af datapar. Dette er sket ud fra præmissen, at de fleste fejl i software er et resultat af en faktor eller kombination af to - dette kaldes også 'interaktionsreglen, og denne defineres som: "Most failures are induced by single factor faults or by the joint combinatorial effect (interaction) of two factors, with progressively fewer failures induced by interactions between three or more factors".
Med dette udgangspunkt har man ofte valgt parvis test, og megen litteratur har taget udgangspunkt i følgende undersøgelse: "Failure Modes In Medical Device Software: An Analysis Of 15 Years Of Recall Data". Denne undersøgelse viser en interaktionsregel på 98% for 'medical devices'.
Men software på tværs af teknologi, brancher m.m. er ikke ens - hvorfor denne interaktionsregel heller ikke kan overføres til alle andre teknologier og brancher.
Videre undersøgelser viser faktisk, at for andre områder dækker interaktionsreglen kun lidt over 60% for 2 faktorer, hvorfor parvis test her ikke vil være så dækkende som for 'medical devices' - og dermed er der naturligvis også et højere risikoniveau.
Nedenstående diagram viser nyere og mere dækkende undersøgelser, som ikke kun dækker 'medical devices', men også browser, server, NASA og network security:
Hvis man ønsker et 98%-niveau i relation interaktionsreglen skal man i andre tilfælde op på 4-vis eller 5-vis test, hvilket giver et noget større antal testcases.
Vær derfor meget opmærksom på denne mere dækkende forskning end den ofte mere refererede. Pas på ved brug af teknikken - måske du skal anvende et højere n-vis niveau end tidligere antaget.
Derfor anvendes der en række testteknikker - herunder kombinatoriske teknikker der kan reducere et stort antal interagerende data til et håndterbart niveau.
En af disse kombinatoriske teknikker er eksempelvis parvis test, hvor der testes alle kombinationer af datapar. Dette er sket ud fra præmissen, at de fleste fejl i software er et resultat af en faktor eller kombination af to - dette kaldes også 'interaktionsreglen, og denne defineres som: "Most failures are induced by single factor faults or by the joint combinatorial effect (interaction) of two factors, with progressively fewer failures induced by interactions between three or more factors".
Med dette udgangspunkt har man ofte valgt parvis test, og megen litteratur har taget udgangspunkt i følgende undersøgelse: "Failure Modes In Medical Device Software: An Analysis Of 15 Years Of Recall Data". Denne undersøgelse viser en interaktionsregel på 98% for 'medical devices'.
Men software på tværs af teknologi, brancher m.m. er ikke ens - hvorfor denne interaktionsregel heller ikke kan overføres til alle andre teknologier og brancher.
Videre undersøgelser viser faktisk, at for andre områder dækker interaktionsreglen kun lidt over 60% for 2 faktorer, hvorfor parvis test her ikke vil være så dækkende som for 'medical devices' - og dermed er der naturligvis også et højere risikoniveau.
Nedenstående diagram viser nyere og mere dækkende undersøgelser, som ikke kun dækker 'medical devices', men også browser, server, NASA og network security:
Hvis man ønsker et 98%-niveau i relation interaktionsreglen skal man i andre tilfælde op på 4-vis eller 5-vis test, hvilket giver et noget større antal testcases.
Vær derfor meget opmærksom på denne mere dækkende forskning end den ofte mere refererede. Pas på ved brug af teknikken - måske du skal anvende et højere n-vis niveau end tidligere antaget.
lørdag den 10. oktober 2015
STARwest 2015 - Onsdag - Gode oplevelser
Så blev det onsdag i Anaheim, og dermed startdagen for selve konference-delen med mindre indlæg rent tidsmæssigt.
MEN inden Lee Copeland (program chair) kunne byde velkommen var der indbudt til et tidligt bonus-indlæg af Alaska Airlines under overskriften 'How Alaska Airlines tests for snow storms in July'. Det handlede selvfølgelig om servicevirtualisering i praksis. Det faglige indlæg var rigtig spændende, og specielt deres mulighed for håndtering af de forskellige events der sker i forbindelse med flyvninger - og som skal hænge sammen rent logisk. Et spændende indlæg en tidlig onsdag morgen - godt man er morgenmenneske.
Men derefter kunne Lee Copeland byde velkommen til de mange deltagere - det gør han som sædvanligt på sin gode og sjove måde.
Derefter var det blevet tid til den første keynote: Bj Rollison skulle tale om 'Things That Really Matter in Testing - Today and Tomorrow' - et indlæg jeg ikke agter at kommentere eller redegøre for - andet end: Der var hverken noget om test i dag eller i morgen, men alene fra i går og før det.
Til gengæld var det anderledes med den anden keynote fremført af Paul Gerrard om 'Testing the Internet of Everything' - et indlæg som mere stillede en række gode spørgsmål end gav konkrete svar. Et forsøg på at håndtere udfordringerne rent testmæssigt når der kommer en masse devices og 'alting' er forbundet i netværk - køleskabe, borde, stole m.m. Denne udvikling sker lige nu - nogle af de store aktører investerer milliarder af kroner i denne udvikling - og der afholdes senere i år en konference 'smart city expo - world congress'. Så det er på vej. Tesen var også, at Internet of Everything vil influere på alt og alle i hele verden. I forhold til test blev der ikke givet noget endeligt svar - andet end det vil påvirke os. Han præsenterede også et virkelig skræmme-billede - at salg/marketing overtager it-budgetterne - tænk på sælgere der ikke helt kan forklare hvad de vil have, men det skal være klar i morgen. Et af budskaberne fra Paul i forhold til test var: alt hvad man kan tænke sig - og der bliver behov for nye testtilgange, testteknikker, værktøjer m.m.
Et spændende indlæg, som satte nogle tanker i gang, og som også sætter vor hverdag lidt i perspektiv - med vor daglige fokus på fejl, fremdrift m.m. - en ny tid står foran os - lad os håbe vi bliver parate til den når den rammer - vi skal være mere fleksible, hurtige, tekniske m.m.
Så åbnede Expo-området også - og der er som sædvanlig også en bogstand - HURRA - og jeg har allerede købt en række nye bøger til samlingen.
Men derefter begyndte de kortere indlæg, og det er som sædvanligt nogle gange svært at vælge - men det skal gøres.
Det første indlæg jeg deltog i var om 'DevOps: Find Solutions, Not More Defects' - DevOps er et område jeg skal dyrke noget mere - alle taler om det. Indlægget var for så vidt ganske udmærket, men jeg synes nok personligt, at indlægsholderen ikke helt fik sat scenen på den gode måde. Han fik eksempelvis ikke rigtigt defineret begrebet, men kastede sig lige ud i en masse konkrete ting. DevOps drejer sig bl.a. øgning af leverancehastigheden - altså minimere livscyklustiden. Hans budskab omhandlende bl.a. om 'shift left' - altså at vi som testere skal endnu tættere på udviklerne, og udfordre dem på de løsninger de laver, men også en 'shift right' i forhold til brugerne, så vi som testere bedre ved og forstår hvordan systemerne anvendes i den virkelige verden. Og så skal vi kunne integrere 'shift left' og 'shift right' - til en slags symbiose af helhedsforståelse. Når vi skal tættere på udviklerne skal vi dermed også være bedre til at bruge nogle af de værktøjer der er, og kunne tale udviklernes sprog - og på web-området nævnte han eksempelvis konkret, at vi som testere skal lære noget om web page optimization - og at kunne gøre brug af de indlejrede udviklerværktøjer der findes i browsere, og som 'bare' er til rådighed. De kan hjælpe os med en række tekniske metrikker til dialog med udviklerne - hvor filer skal der overføres og åbnes, hvor mange MB data flyttes der m.m. Det bliver spændende og udfordrende.
Om eftermiddagen stod den på et indlæg under overskriften 'The Agile Testing Survival Guide', som var rigtig spændende. Overskriften var nok ikke helt dækkende for indholdet, men det var spændende og ganske godt alligevel. Han startede lidt provokatorisk med følgende: Er agil test ikke bare en omskrivning af testautomatisering? - hans konklusion var: Nej, det er det ikke. Han fortalte derefter, hvordan han på projekterne anvendte den risiko-baserede testtilgang og testdesignteknikkerne. Dejligt at se de stærke værktøjer anvendt, og på et konkret projekt. Han havde faktisk også en anden god udtalelse: Alle taler om testautomatisering, men ingen om testdesign. Et stærkt udsagn.
Det efterfølgende indlæg handlede om 'Take Your Test Center of Excellence to the Next Level with ITIL' - et godt indlæg, som satte lidt struktur på nogle ting. Jeg er ikke ITIL-Expert, og kender kun overordnet til det, men hans tilgang til at anvende strukturen i ITIL til at organisere og systematisere arbejdet med TCoE er ganske spændende. Jeg har selvfølgelig i mit arbejde med rådgiving brugt nogle af tingene, men ikke anvendt de begreber - og det drejer sig om ITIL-begreberne: Service Strategy, Service Design, Service Transition, Service Operation, men også at prøve at anvende rollerne fra ITIL - Business Relationship Manager m.m. Et område jeg må dyrke lidt mere på mit næste TPI-projekt.
Onsdagen sluttede af med 'Lightning Strikes the Keynotes' - hvor der kommer en række indlægsholdere op i 5 minutter, og præsenterer et emne - som sædvanligt både sjovt og interessant.
MEN inden Lee Copeland (program chair) kunne byde velkommen var der indbudt til et tidligt bonus-indlæg af Alaska Airlines under overskriften 'How Alaska Airlines tests for snow storms in July'. Det handlede selvfølgelig om servicevirtualisering i praksis. Det faglige indlæg var rigtig spændende, og specielt deres mulighed for håndtering af de forskellige events der sker i forbindelse med flyvninger - og som skal hænge sammen rent logisk. Et spændende indlæg en tidlig onsdag morgen - godt man er morgenmenneske.
Men derefter kunne Lee Copeland byde velkommen til de mange deltagere - det gør han som sædvanligt på sin gode og sjove måde.
Derefter var det blevet tid til den første keynote: Bj Rollison skulle tale om 'Things That Really Matter in Testing - Today and Tomorrow' - et indlæg jeg ikke agter at kommentere eller redegøre for - andet end: Der var hverken noget om test i dag eller i morgen, men alene fra i går og før det.
Til gengæld var det anderledes med den anden keynote fremført af Paul Gerrard om 'Testing the Internet of Everything' - et indlæg som mere stillede en række gode spørgsmål end gav konkrete svar. Et forsøg på at håndtere udfordringerne rent testmæssigt når der kommer en masse devices og 'alting' er forbundet i netværk - køleskabe, borde, stole m.m. Denne udvikling sker lige nu - nogle af de store aktører investerer milliarder af kroner i denne udvikling - og der afholdes senere i år en konference 'smart city expo - world congress'. Så det er på vej. Tesen var også, at Internet of Everything vil influere på alt og alle i hele verden. I forhold til test blev der ikke givet noget endeligt svar - andet end det vil påvirke os. Han præsenterede også et virkelig skræmme-billede - at salg/marketing overtager it-budgetterne - tænk på sælgere der ikke helt kan forklare hvad de vil have, men det skal være klar i morgen. Et af budskaberne fra Paul i forhold til test var: alt hvad man kan tænke sig - og der bliver behov for nye testtilgange, testteknikker, værktøjer m.m.
Et spændende indlæg, som satte nogle tanker i gang, og som også sætter vor hverdag lidt i perspektiv - med vor daglige fokus på fejl, fremdrift m.m. - en ny tid står foran os - lad os håbe vi bliver parate til den når den rammer - vi skal være mere fleksible, hurtige, tekniske m.m.
Så åbnede Expo-området også - og der er som sædvanlig også en bogstand - HURRA - og jeg har allerede købt en række nye bøger til samlingen.
Men derefter begyndte de kortere indlæg, og det er som sædvanligt nogle gange svært at vælge - men det skal gøres.
Det første indlæg jeg deltog i var om 'DevOps: Find Solutions, Not More Defects' - DevOps er et område jeg skal dyrke noget mere - alle taler om det. Indlægget var for så vidt ganske udmærket, men jeg synes nok personligt, at indlægsholderen ikke helt fik sat scenen på den gode måde. Han fik eksempelvis ikke rigtigt defineret begrebet, men kastede sig lige ud i en masse konkrete ting. DevOps drejer sig bl.a. øgning af leverancehastigheden - altså minimere livscyklustiden. Hans budskab omhandlende bl.a. om 'shift left' - altså at vi som testere skal endnu tættere på udviklerne, og udfordre dem på de løsninger de laver, men også en 'shift right' i forhold til brugerne, så vi som testere bedre ved og forstår hvordan systemerne anvendes i den virkelige verden. Og så skal vi kunne integrere 'shift left' og 'shift right' - til en slags symbiose af helhedsforståelse. Når vi skal tættere på udviklerne skal vi dermed også være bedre til at bruge nogle af de værktøjer der er, og kunne tale udviklernes sprog - og på web-området nævnte han eksempelvis konkret, at vi som testere skal lære noget om web page optimization - og at kunne gøre brug af de indlejrede udviklerværktøjer der findes i browsere, og som 'bare' er til rådighed. De kan hjælpe os med en række tekniske metrikker til dialog med udviklerne - hvor filer skal der overføres og åbnes, hvor mange MB data flyttes der m.m. Det bliver spændende og udfordrende.
Om eftermiddagen stod den på et indlæg under overskriften 'The Agile Testing Survival Guide', som var rigtig spændende. Overskriften var nok ikke helt dækkende for indholdet, men det var spændende og ganske godt alligevel. Han startede lidt provokatorisk med følgende: Er agil test ikke bare en omskrivning af testautomatisering? - hans konklusion var: Nej, det er det ikke. Han fortalte derefter, hvordan han på projekterne anvendte den risiko-baserede testtilgang og testdesignteknikkerne. Dejligt at se de stærke værktøjer anvendt, og på et konkret projekt. Han havde faktisk også en anden god udtalelse: Alle taler om testautomatisering, men ingen om testdesign. Et stærkt udsagn.
Det efterfølgende indlæg handlede om 'Take Your Test Center of Excellence to the Next Level with ITIL' - et godt indlæg, som satte lidt struktur på nogle ting. Jeg er ikke ITIL-Expert, og kender kun overordnet til det, men hans tilgang til at anvende strukturen i ITIL til at organisere og systematisere arbejdet med TCoE er ganske spændende. Jeg har selvfølgelig i mit arbejde med rådgiving brugt nogle af tingene, men ikke anvendt de begreber - og det drejer sig om ITIL-begreberne: Service Strategy, Service Design, Service Transition, Service Operation, men også at prøve at anvende rollerne fra ITIL - Business Relationship Manager m.m. Et område jeg må dyrke lidt mere på mit næste TPI-projekt.
Onsdagen sluttede af med 'Lightning Strikes the Keynotes' - hvor der kommer en række indlægsholdere op i 5 minutter, og præsenterer et emne - som sædvanligt både sjovt og interessant.
mandag den 5. oktober 2015
STARwest 2015 - Afsluttende Bemærkninger
Så er det tid til en samlet refleksion over årets STARwest-konference i Anaheim. Traditionelt sker mine refleksioner bedst ved at gå en tur i området. Det gjorde jeg også i år, og jeg nåede også frem til mit sekundære mål - at støtte de kvindelige ornitologi-studerende med speciale i ugler med store øjne - og det lykkedes også denne gang.
Nu har jeg jo været her før både WEST og EAST konferencerne i USA. De er altid en oplevelse - dels at finde ud, at testmodenheden generelt ikke er meget anderledes end i Europa - nogle områder er USA mere moden, og andre er det Europa. Men der er fortsat plads til forbedringer.
En af de typiske udfordringer ved disse konferencer er at vælge. Dels de tutorials man vil deltage i, hvilket skal gøres forud for konferencen, og så vælge og fravælge mellem de mange forskellige indlæg der er ellers er. Det er ikke nemt, og nogle gange får man valgt forkert ud fra en måske lige lovlig 'god beskrivelse'.
En af de tutorials jeg deltog i var omkring test af cloud-løsninger - det var utroligt spændende og lærerigt. Men generelt var SMAC-teknologierne godt repræsenteret - ikke fordi der var svar på alt, men det er da en begyndelse, at vi fremkommer med de mange spørgsmål og uafklarede ting. SMAC-teknologierne omfatter Social, Mobile, Analytics, Cloud.
Andre områder der blev behandlet var DevOps - nogle slap bedre fra det end andre. Men igen et spændende emne, som vi helt sikkert kommer til at høre meget mere til som testere - bl.a. fordi det kræver nye færdigheder for testerne. Vi skal i højere grad besidde nogle flere tekniske kompetencer.
Men alt-i-alt - en god konference, som igen giver et godt overblik over det der rører sig lige nu i testverdenen.
Nu har jeg jo været her før både WEST og EAST konferencerne i USA. De er altid en oplevelse - dels at finde ud, at testmodenheden generelt ikke er meget anderledes end i Europa - nogle områder er USA mere moden, og andre er det Europa. Men der er fortsat plads til forbedringer.
En af de typiske udfordringer ved disse konferencer er at vælge. Dels de tutorials man vil deltage i, hvilket skal gøres forud for konferencen, og så vælge og fravælge mellem de mange forskellige indlæg der er ellers er. Det er ikke nemt, og nogle gange får man valgt forkert ud fra en måske lige lovlig 'god beskrivelse'.
En af de tutorials jeg deltog i var omkring test af cloud-løsninger - det var utroligt spændende og lærerigt. Men generelt var SMAC-teknologierne godt repræsenteret - ikke fordi der var svar på alt, men det er da en begyndelse, at vi fremkommer med de mange spørgsmål og uafklarede ting. SMAC-teknologierne omfatter Social, Mobile, Analytics, Cloud.
Andre områder der blev behandlet var DevOps - nogle slap bedre fra det end andre. Men igen et spændende emne, som vi helt sikkert kommer til at høre meget mere til som testere - bl.a. fordi det kræver nye færdigheder for testerne. Vi skal i højere grad besidde nogle flere tekniske kompetencer.
Men alt-i-alt - en god konference, som igen giver et godt overblik over det der rører sig lige nu i testverdenen.
lørdag den 3. oktober 2015
STARwest 2015 - Leadership Summit
Fredag deltog jeg i 'The Testing & Quality Leadership Summit', hvor årets tema var 'Leading the Charge within Your Organization'.
Der var et par spændende indlæg om 'Data Structures for Leadership' og 'Leading through Change' - og det er altid spændende at få lidt input, som er baseret på egne oplevelser og synspunkter.
Derefter var der en række rundbords-diskussioner om emnerne. Diskussioner som typisk bærer præg af, at deltagerne kommer fra vidt forskellige kulturer. Danmark med en meget lav magtdistance, modsat USA med en meget høj.
Men det blev en glimrende afslutning på en fantastisk uge på STARwest.
Der var et par spændende indlæg om 'Data Structures for Leadership' og 'Leading through Change' - og det er altid spændende at få lidt input, som er baseret på egne oplevelser og synspunkter.
Derefter var der en række rundbords-diskussioner om emnerne. Diskussioner som typisk bærer præg af, at deltagerne kommer fra vidt forskellige kulturer. Danmark med en meget lav magtdistance, modsat USA med en meget høj.
Men det blev en glimrende afslutning på en fantastisk uge på STARwest.
fredag den 2. oktober 2015
STARwest 2015 - Reflektioner over torsdagens oplevelser
Så blev det torsdag på STARwest. Endnu en travl dag med indlæg, erfaringsudveksling og indtryk. Det er samtidig den sidste konferencedag, idet fredagen omfatter mere specialiserede emner som 'The Testing & Quality Leadership Summit'. Men tilbage til torsdagen.
Dagen startede med en keynote 'I Don't Want to Talk about Bugs: Lets Change the Conversation' - en inspirerende og lettere filosofisk keynote af Janet Gregory (medforfatter til bl.a. bøgerne Agile Testing og More Agile Testing). Hun tog hul på en spændende debat om testernes generelle tilgang til verden - den professionelle pessimist. Vi taler som udgangspunkt altid om hvor dårlig kvaliteten er - ikke hvor god den er. Hun tog en række 'dogmer' op i forhold til testområdet: metrikker, sporbarhed, værdiskabelse. Det var et modigt indlæg på en række områder, men samtidig også en god og blød start torsdag morgen.
Så startede alle de enkelte indlæg, hvor der igen skulle vælges til og fra. Frem til torsdag sidst på eftermiddagen kørte der 9 parallelle spor - 6 faglige spor (Test Management, Test Techniques, Test Automation, Mobile Testing, Metrics, Special Topics) og 3 såkaldte tekniske spor som typisk omfatter værktøjer m.m.
Den første præsentation jeg deltog i var om 'Quality Index: A Composite Metric for the Voice of Testing' - jeg er jo meget glad for metrikker, så det var lige mig. De startede med en påstand om, at der generelt anvendes for mange metrikker - hvilket sikkert i nogen situationer er rigtigt, men det er ikke hvad jeg oftest ser være situationen.
Men det der var deres mål var at præsentere deres bud på et multi-dimensional metric framework. Det der var deres tanke var at udarbejde en metrik - Quality Index - som kunne illustrere både afvikling, produktion og økonomi. Meget ambitiøst, men også lidt farligt, at ville illustrere hele verden i et tal. Tankesættet og målet er ganske udmærket, og de kom også langt med deres tilgang. Jeg vil senere prøve at løfte sløret for deres metrik i flere detaljer.
Den næste præsentation var over emnet 'Graphical Test Planning: A Method for Real Impact'. Generelt er jeg en stor tilhænger af at prøve at visualisere tingene fremfor at skrive store dokumenter. Jeg siger dermed ikke, at jeg er god til det, men tanken tiltaler mig. Graphical Test Planning - GTP - er en metode til at lave en testplan uden at skulle skrive et stort og fuldt dokument.
Det går ud på at lave et struktureret relationsdiagram der viser systemets adfærd som skal testes, og er dermed et stærkt instrument til at gøre testen synlig og nærværende, og som dialogværktøj med forretningen om fokus og prioritering - ultimativt omfatter det også testdesignet, men det gik indlægsholderen desværre lidt let henover. Det var et spændende indlæg, og har da sat nogle tanker i gang hos mig om, hvordan jeg kan tage dette i brug.
Det var også den sidste dag med EXPO og Bogstand. Så jeg fik lige gået et par ekstra runder, og fik lidt input og materiale til læsning i de mørke vinteraftner.
Derefter deltog jeg i et indlæg over temaet 'Project Management Tips to Improve Test Planning' - en modig projektleder der vover sig ind i løvens hule - det skaber lidt respekt. Hun startede ud med en god udtalelse - hun ville som projektleder gerne involvere test mere i projektplanlægningen, og hun advokerede altid for at få test involveret tidligere. Hun havde også det synspunkt, at test skulle fungere, og fungerede bedst, som et dedikeret delprojekt, med testmanageren som delprojektleder - også i forhold til governance m.m. Alt dette omfattede også involvering af test i udarbejdelsen af projektcharter og i de tidlige kundeafklaringer, herunder fastlæggelse af testmål og -tilgang - meget af det hun sagde kunne argumenteres for var som taget ud af TMap-tilgangen 'Business Driven Test Management' - sød musik i mine sarte ører.
Hvis den holdning oplægsholderen gav udtryk var generel, så ville der være en fantastisk symbiose mellem projektledelse og testledelse. Samlet set et godt aftryk.
Torsdagen sluttede af med en keynote om 'The Survival Guide for Testers and Test Managers' - som mere fungerede som en slags opsamling på mange andre indlæg - der sker meget i vor verden med hensyn til den teknologiske udvikling, og det går stærkt - så det sluttede af med nogle betragtninger generelt om vor forhold til SMAC teknologierne - altid spændende at høre forskellige udlægninger af teksten. Ingen af os kan jo forudsige fremtiden, men inspirerende at høre nogle kvalificerede bud på den.
Dermed sluttede torsdagen, og fredag byder bl.a. på ' The Testing & Quality Leadership Summit', 'Women Who Test' - som er et helt nyt initiativ - og så 'The Workshop on Regulated Software Testing'.
Dagen startede med en keynote 'I Don't Want to Talk about Bugs: Lets Change the Conversation' - en inspirerende og lettere filosofisk keynote af Janet Gregory (medforfatter til bl.a. bøgerne Agile Testing og More Agile Testing). Hun tog hul på en spændende debat om testernes generelle tilgang til verden - den professionelle pessimist. Vi taler som udgangspunkt altid om hvor dårlig kvaliteten er - ikke hvor god den er. Hun tog en række 'dogmer' op i forhold til testområdet: metrikker, sporbarhed, værdiskabelse. Det var et modigt indlæg på en række områder, men samtidig også en god og blød start torsdag morgen.
Så startede alle de enkelte indlæg, hvor der igen skulle vælges til og fra. Frem til torsdag sidst på eftermiddagen kørte der 9 parallelle spor - 6 faglige spor (Test Management, Test Techniques, Test Automation, Mobile Testing, Metrics, Special Topics) og 3 såkaldte tekniske spor som typisk omfatter værktøjer m.m.
Den første præsentation jeg deltog i var om 'Quality Index: A Composite Metric for the Voice of Testing' - jeg er jo meget glad for metrikker, så det var lige mig. De startede med en påstand om, at der generelt anvendes for mange metrikker - hvilket sikkert i nogen situationer er rigtigt, men det er ikke hvad jeg oftest ser være situationen.
Men det der var deres mål var at præsentere deres bud på et multi-dimensional metric framework. Det der var deres tanke var at udarbejde en metrik - Quality Index - som kunne illustrere både afvikling, produktion og økonomi. Meget ambitiøst, men også lidt farligt, at ville illustrere hele verden i et tal. Tankesættet og målet er ganske udmærket, og de kom også langt med deres tilgang. Jeg vil senere prøve at løfte sløret for deres metrik i flere detaljer.
Den næste præsentation var over emnet 'Graphical Test Planning: A Method for Real Impact'. Generelt er jeg en stor tilhænger af at prøve at visualisere tingene fremfor at skrive store dokumenter. Jeg siger dermed ikke, at jeg er god til det, men tanken tiltaler mig. Graphical Test Planning - GTP - er en metode til at lave en testplan uden at skulle skrive et stort og fuldt dokument.
Det går ud på at lave et struktureret relationsdiagram der viser systemets adfærd som skal testes, og er dermed et stærkt instrument til at gøre testen synlig og nærværende, og som dialogværktøj med forretningen om fokus og prioritering - ultimativt omfatter det også testdesignet, men det gik indlægsholderen desværre lidt let henover. Det var et spændende indlæg, og har da sat nogle tanker i gang hos mig om, hvordan jeg kan tage dette i brug.
Det var også den sidste dag med EXPO og Bogstand. Så jeg fik lige gået et par ekstra runder, og fik lidt input og materiale til læsning i de mørke vinteraftner.
Derefter deltog jeg i et indlæg over temaet 'Project Management Tips to Improve Test Planning' - en modig projektleder der vover sig ind i løvens hule - det skaber lidt respekt. Hun startede ud med en god udtalelse - hun ville som projektleder gerne involvere test mere i projektplanlægningen, og hun advokerede altid for at få test involveret tidligere. Hun havde også det synspunkt, at test skulle fungere, og fungerede bedst, som et dedikeret delprojekt, med testmanageren som delprojektleder - også i forhold til governance m.m. Alt dette omfattede også involvering af test i udarbejdelsen af projektcharter og i de tidlige kundeafklaringer, herunder fastlæggelse af testmål og -tilgang - meget af det hun sagde kunne argumenteres for var som taget ud af TMap-tilgangen 'Business Driven Test Management' - sød musik i mine sarte ører.
Hvis den holdning oplægsholderen gav udtryk var generel, så ville der være en fantastisk symbiose mellem projektledelse og testledelse. Samlet set et godt aftryk.
Torsdagen sluttede af med en keynote om 'The Survival Guide for Testers and Test Managers' - som mere fungerede som en slags opsamling på mange andre indlæg - der sker meget i vor verden med hensyn til den teknologiske udvikling, og det går stærkt - så det sluttede af med nogle betragtninger generelt om vor forhold til SMAC teknologierne - altid spændende at høre forskellige udlægninger af teksten. Ingen af os kan jo forudsige fremtiden, men inspirerende at høre nogle kvalificerede bud på den.
Dermed sluttede torsdagen, og fredag byder bl.a. på ' The Testing & Quality Leadership Summit', 'Women Who Test' - som er et helt nyt initiativ - og så 'The Workshop on Regulated Software Testing'.
onsdag den 30. september 2015
STARwest 2015 - Tirsdag - En fantastisk dag
Så blev det dag 2 på STARwest 2015. Endnu en spændende dag med tutorials, hvor det er muligt at fordybe sig i et specifikt emne, eller to.
Mine valg var faldet på 'Building Your Mobile App Quality Strategy' og 'Testing Cloud Services'. To emner der både er aktuelle og spændende.
Den første tutorial blev præsenteret af Jason Arbon (medforfatter til bogen 'How Google Test Software'), så der var naturligvis store forventninger. Selve tutorialen var meget hands-on, men var også et godt mix mellem teori og praksis. Hans tilgang var 'mobile is different' og 'apps are different'.
Jason præsenterede en række hovedkilder til issues ved mobile apps: Brugere, UX, Sikkerhed, Reviews, Virkeligheden, Devices, Distribution, Konkurrence.
Hans konklusion var bl.a. at der er følgende ti kvalitetskarakteristikker der bør testes for:
Dagens anden tutorial var om 'Testing Cloud Services'. Et utroligt spændende og meget aktuelt emne. Udgangspunktet for de to oplægsholdere (Martin Pol og Jeroen Mengerink) var at næsten alt kan kan gøres i cloud-løsninger - som de sagde: Der var dog enkelte mere private ting som nok ikke var muligt - det skabte en god stemning.
Der er mange service-modeller inden for cloud: Testing as a Service (TaaS), Infrastructure as a Service (IaaS), Software as a Service (SaaS) osv. - det blev generelt præsenteret som '*aaS'. Udgangspunktet for tutorialen var SaaS.
Deres præsentation var bygget op om en tre-trins raket:
Testmanagerens rolle bliver ændret noget, idet test bliver opfattet lidt bredere end ellers, og dermed øges testscope. Dette omfatter bl.a. 'testing during selection' og 'testing in production'. Dette betyder nemlig, at der er ni grupper af testaktiviteter - de syv risiko-grupper og så de to førnævnte.
Der er mange udfordringer ved test af cloud-løsninger, og nogle af testområderne bliver vanskelige. Eksempelvis performancetest - når der testes performance i et traditionelt set-up er man i kontrol med hensyn til belastning af systemet. Ved performancetest af cloud-løsninger er dette ikke muligt - man kender jo ikke de andre kunders load - og det er ganske relevant og har stor indflydelse på performance - for et af de karakteriske ting ved cloud er 'ressource pooling and sharing'.
Så ved test af cloud-løsninger skal mange af de kendte kvalitetskarakteristikker overvejes, herunder i risiko-vurderingen som før omtalt.
Et meget behandlet område var 'multi-platform testing' - altså det forhold at der kan være rigtige mange devices der kan bruges globalt i forhold til tilgang til systemerne i cloud. De viste en opgørelse af antallet af 'distrinct' Android-devices i 2012 som var 3.997. Dette tal var i 2014 steget til 18.796 - dette viser klart, at vi fortsat kan og bør anvende de mange teknikker vi som testere har i vor værktøjskasse.
Det var en fantastisk tirsdag eftermiddag med engagerede oplægsholdere, engagerede medhørere og god udveksling af holdninger og synspunkter.
Mine valg var faldet på 'Building Your Mobile App Quality Strategy' og 'Testing Cloud Services'. To emner der både er aktuelle og spændende.
Den første tutorial blev præsenteret af Jason Arbon (medforfatter til bogen 'How Google Test Software'), så der var naturligvis store forventninger. Selve tutorialen var meget hands-on, men var også et godt mix mellem teori og praksis. Hans tilgang var 'mobile is different' og 'apps are different'.
Jason præsenterede en række hovedkilder til issues ved mobile apps: Brugere, UX, Sikkerhed, Reviews, Virkeligheden, Devices, Distribution, Konkurrence.
Hans konklusion var bl.a. at der er følgende ti kvalitetskarakteristikker der bør testes for:
- Elegance
- Usability
- Stability
- Privacy
- Security
- Performance
- Satisfaction
- Interrop
- Content
- Pricing.
Dagens anden tutorial var om 'Testing Cloud Services'. Et utroligt spændende og meget aktuelt emne. Udgangspunktet for de to oplægsholdere (Martin Pol og Jeroen Mengerink) var at næsten alt kan kan gøres i cloud-løsninger - som de sagde: Der var dog enkelte mere private ting som nok ikke var muligt - det skabte en god stemning.
Der er mange service-modeller inden for cloud: Testing as a Service (TaaS), Infrastructure as a Service (IaaS), Software as a Service (SaaS) osv. - det blev generelt præsenteret som '*aaS'. Udgangspunktet for tutorialen var SaaS.
Deres præsentation var bygget op om en tre-trins raket:
- Selection og dermed også 'Testing during Selection'
- Implementation og dermed også 'Testing during Implementation'
- Production og dermed også 'Testing in Production'.
- Performance
- Security
- Availability & Continuity
- Functionality
- Maintainability
- Legislation & Regulations
- Suppliers & Outsourcing-
Testmanagerens rolle bliver ændret noget, idet test bliver opfattet lidt bredere end ellers, og dermed øges testscope. Dette omfatter bl.a. 'testing during selection' og 'testing in production'. Dette betyder nemlig, at der er ni grupper af testaktiviteter - de syv risiko-grupper og så de to førnævnte.
Der er mange udfordringer ved test af cloud-løsninger, og nogle af testområderne bliver vanskelige. Eksempelvis performancetest - når der testes performance i et traditionelt set-up er man i kontrol med hensyn til belastning af systemet. Ved performancetest af cloud-løsninger er dette ikke muligt - man kender jo ikke de andre kunders load - og det er ganske relevant og har stor indflydelse på performance - for et af de karakteriske ting ved cloud er 'ressource pooling and sharing'.
Så ved test af cloud-løsninger skal mange af de kendte kvalitetskarakteristikker overvejes, herunder i risiko-vurderingen som før omtalt.
Et meget behandlet område var 'multi-platform testing' - altså det forhold at der kan være rigtige mange devices der kan bruges globalt i forhold til tilgang til systemerne i cloud. De viste en opgørelse af antallet af 'distrinct' Android-devices i 2012 som var 3.997. Dette tal var i 2014 steget til 18.796 - dette viser klart, at vi fortsat kan og bør anvende de mange teknikker vi som testere har i vor værktøjskasse.
Det var en fantastisk tirsdag eftermiddag med engagerede oplægsholdere, engagerede medhørere og god udveksling af holdninger og synspunkter.
tirsdag den 29. september 2015
STARwest 2015 - så gik starten
Så gik starten på årets STARwest 2015 i Anaheim (Los Angeles). Mandagens program består af 3 heldags tutorials og 14 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd.
Mine valg for mandagen faldt på 'Six Essential Skills for Modern Testers' og 'End-to-End Testing with the Heuristic Software Test Model'.
De seks essentielle færdigheder for den moderne tester er ifølge oplægsholderen (Bart Knaack):
Under det første punkt om requirements Engineering var der en øvelse, hvor deltagerne skulle opstille krav til et 'offentligt toilet', hvorefter disse krav skulle udveksles med en anden deltager, som så skulle designe det offentlige toilet. Denne øvelse vist klart og tydeligt, at kravdisciplinen er et svært område - men utroligt vigtigt for hele den øvrige udviklings- og testproces.
Netop kravdelen af indlægget var nok det bedste, idet de øvrige områder blev behandlet lidt overfladisk. Jeg havde nok forventet mere input på de mere tekniske discipliner - specielt set i lyset af titlen på indlægget om den 'moderne tester'. Forhold som eksempelvis kravene til den moderne tester ved skift til DevOps blev eksempelvis slet ikke behandlet eller omtalt - DevOps hvor leverancehastigheden øges betragteligt - det må da kræve ændrede færdigheder for den moderne tester.
Den anden tutorial om end-to-end test (Paul Holland) tog sit udgangspunkt i Bach & Boltons Rapid Software Testing koncept. Her var PCO (Product Coverage Outline) i fokus, som et værktøj til at fokusere og prioritere testen.
Udgangspunktet var SFDIPOT:
Oplægsholderen gjorde noget ud af 'samtalen' med designere, forretningen, kunden. At man skulle se på hvordan produktets markedsføring var lagt an - altså hvad blev kunden stillet i udsigt. Kigge på en eventuel tidligere version af produktet, og kigge på konkurrenternes produkt inden for samme område. Dette fremfor at læse og analysere specifikationer - 'Functional Spec Blindness' skal undgås vi skal være kreative i stedet for. Budskabet ved at analysere specs var at så bekræftede vi jo 'bare' kravene - vi skulle være mere udforskende.
Mandagen var samlet set en god oplevelse - men blev en rigtig god en da jeg opdagede, at bogladen allerede var blevet åbnet her mandag - har andre gange først været åbnet i forbindelse med at EXPO-området også blev tilgængeligt.
Mine valg for mandagen faldt på 'Six Essential Skills for Modern Testers' og 'End-to-End Testing with the Heuristic Software Test Model'.
De seks essentielle færdigheder for den moderne tester er ifølge oplægsholderen (Bart Knaack):
- Requirements Engineering
- Database manipulation/monitoring using SQL
- Usability heuristics
- Exploratory testing
- Visual notation techniques for test preparation
- Creation of test data.
Under det første punkt om requirements Engineering var der en øvelse, hvor deltagerne skulle opstille krav til et 'offentligt toilet', hvorefter disse krav skulle udveksles med en anden deltager, som så skulle designe det offentlige toilet. Denne øvelse vist klart og tydeligt, at kravdisciplinen er et svært område - men utroligt vigtigt for hele den øvrige udviklings- og testproces.
Netop kravdelen af indlægget var nok det bedste, idet de øvrige områder blev behandlet lidt overfladisk. Jeg havde nok forventet mere input på de mere tekniske discipliner - specielt set i lyset af titlen på indlægget om den 'moderne tester'. Forhold som eksempelvis kravene til den moderne tester ved skift til DevOps blev eksempelvis slet ikke behandlet eller omtalt - DevOps hvor leverancehastigheden øges betragteligt - det må da kræve ændrede færdigheder for den moderne tester.
Den anden tutorial om end-to-end test (Paul Holland) tog sit udgangspunkt i Bach & Boltons Rapid Software Testing koncept. Her var PCO (Product Coverage Outline) i fokus, som et værktøj til at fokusere og prioritere testen.
Udgangspunktet var SFDIPOT:
- Structure of the program (smallest components)
- Functionality (individual features)
- Data (I/O, create, store, manipulate, backup,.....)
- Interface (UI's, API's,.....)
- Platform (Computer, CPU, OS, browser,.....)
- Operations (How is it used by customers)
- Timings (Race conds, time of day/week/month/year,...)
Oplægsholderen gjorde noget ud af 'samtalen' med designere, forretningen, kunden. At man skulle se på hvordan produktets markedsføring var lagt an - altså hvad blev kunden stillet i udsigt. Kigge på en eventuel tidligere version af produktet, og kigge på konkurrenternes produkt inden for samme område. Dette fremfor at læse og analysere specifikationer - 'Functional Spec Blindness' skal undgås vi skal være kreative i stedet for. Budskabet ved at analysere specs var at så bekræftede vi jo 'bare' kravene - vi skulle være mere udforskende.
Mandagen var samlet set en god oplevelse - men blev en rigtig god en da jeg opdagede, at bogladen allerede var blevet åbnet her mandag - har andre gange først været åbnet i forbindelse med at EXPO-området også blev tilgængeligt.
søndag den 27. september 2015
STARwest 2015 i Anaheim starter mandag
Så skal vi til det igen - en uge med en masse nye indtryk, oplevelser og ny lærdom.
Stedet er Anaheim i Los Angeles, emnet er softwaretest, konferencen er STARwest.
Konceptet følger de andres års - mandag og tirsdag er der hel- eller halvdags tutorials, onsdag og torsdag keynotes og de kortere konferenceindlæg, og fredag sluttes af med en heldags session om ledelse i test og kvalitet.
Jeg vil på denne blog skrive indlæg hele ugen om de forskellige præsentationer, indlæg og indtryk. Mandag deltager jeg i 2 halvdags tutorials, og det samme tirsdag. De er valgt på forhånd.
Navneskiltet er afhentet - og sponseret af vort søsterselskab:
Stedet er Anaheim i Los Angeles, emnet er softwaretest, konferencen er STARwest.
Konceptet følger de andres års - mandag og tirsdag er der hel- eller halvdags tutorials, onsdag og torsdag keynotes og de kortere konferenceindlæg, og fredag sluttes af med en heldags session om ledelse i test og kvalitet.
Jeg vil på denne blog skrive indlæg hele ugen om de forskellige præsentationer, indlæg og indtryk. Mandag deltager jeg i 2 halvdags tutorials, og det samme tirsdag. De er valgt på forhånd.
Navneskiltet er afhentet - og sponseret af vort søsterselskab:
De to tutorials mandag er 'Six Essential Skills for Modern Testers' og 'End-to-End Testing with the Heuristic Software Test Model'. Tirsdag deltager jeg i 'Building Your Mobile App Quality Strategy' og 'Testing Cloud Services'.
Jeg har store forventninger til ugen, og glæder mig.
fredag den 11. september 2015
Dagens Bedste Krav......
Dagens bedste krav er vist:
"Løsningen skal understøtte, at der kan lægges kalender for ressourcerne ubegrænset ud i fremtiden."
Kan jeg booke et mødelokale om 1 milliard år?
"Løsningen skal understøtte, at der kan lægges kalender for ressourcerne ubegrænset ud i fremtiden."
Kan jeg booke et mødelokale om 1 milliard år?
onsdag den 2. september 2015
Fortsat plads til forbedringer......den danske testmodenhed
Softwaretest som fagområde har udviklet sig meget i Danmark de sidste 5-10 år. Der er sket en formalisering af test, og mange virksomheder har etableret deciderede testkompetencecentre.
En ændring som har sin 'naturlige' udvikling i forhold til it's betydning for virksomhederne - private såvel som offentlige. It i dag er ofte af væsentlig betydning for virksomhedens mulighed for at konkurrere og virke på deres respektive markeder.
Med denne øgede betydning af it i mange virksomheder, og for os som enkeltindivider, har det stor betydning for os alle, hvilken kvalitet der er i softwaren. Mange virksomheder har udvist ønske om at forbedre sig på testområdet, og i den forbindelse har jeg siden 2007 gennemført 35 målinger af testsituationen hos danske virksomheder.
Med denne øgede betydning af it i mange virksomheder, og for os som enkeltindivider, har det stor betydning for os alle, hvilken kvalitet der er i softwaren. Mange virksomheder har udvist ønske om at forbedre sig på testområdet, og i den forbindelse har jeg siden 2007 gennemført 35 målinger af testsituationen hos danske virksomheder.
Motivationen hos virksomhederne til at få gennemført sådanne målinger er ofte begrundet i et ønske om at afkorte gennemløbstiden, automatisere testen, øge kvaliteten, forbedre økonomien, opfylde kundekrav m.m.
Ved disse målinger har jeg anvendt modenhedsmodellen TPI NEXT - (www.tpinext.com) - TPI står for Test Process Improvement, og er en af flere modeller til måling af modenheden. For dybere information om modellen henviser jeg til førnævnte hjemmeside.
De 35 målinger dækker fra mellemstore til meget store danske virksomheder med global forretningsmodel, og en række offentlige styrelser.
Ved disse målinger har jeg anvendt modenhedsmodellen TPI NEXT - (www.tpinext.com) - TPI står for Test Process Improvement, og er en af flere modeller til måling af modenheden. For dybere information om modellen henviser jeg til førnævnte hjemmeside.
De 35 målinger dækker fra mellemstore til meget store danske virksomheder med global forretningsmodel, og en række offentlige styrelser.
Metodemæssigt har jeg behandlet alle ens ved udarbejdelse af et dansk benchmark for testmodenhed. Denne forudsætning kan altid diskuteres, men det er et bevidst valg jeg har truffet.
Nedenstående diagram viser opgørelsen af den danske testmodenhed blandt 35 danske virksomheder, og opgjort i september 2015 - maksimumværdien i diagrammet omfatter alle de fire modenhedsniveauer i TPI NEXT modellen - altså: Initinal, Controlled, Efficient og Optimizing:
Ovenstående vil jeg nu referere til, som det danske benchmark for testmodenhed.
På den positive side må det anføres, at det ser fornuftigt ud inden for stakeholder commitment, reporting, defect management og tester professionalism.
Nedenstående diagram viser opgørelsen af den danske testmodenhed blandt 35 danske virksomheder, og opgjort i september 2015 - maksimumværdien i diagrammet omfatter alle de fire modenhedsniveauer i TPI NEXT modellen - altså: Initinal, Controlled, Efficient og Optimizing:
På den positive side må det anføres, at det ser fornuftigt ud inden for stakeholder commitment, reporting, defect management og tester professionalism.
Stakeholder commitment omhandler bl.a. viden om, hvem der er vor primære interessent og deres involvering i vigtige beslutninger for testen.
Rapportering omfatter selvfølgelig status og fremdrift, men også testresultater. Her mangler bl.a. noget som rapportering af produktrisici. Reporting holdes typisk lidt oppe i modenhed grundet 'hjælp' fra de generelle governance-modeller der er etableret.
Defect management omhandler proces for fejlhåndtering, fastlagte kategoriseringer m.m., og holdes typisk oppe af brug af forskellige typer af testværktøjer (fejlhåndterings- og teststyringsværktøjer).
Der er dog fortsat en række områder, hvor der kan ske forbedringer. Forbedringer der vil give fordele for virksomhederne både på økonomien og tiden.
Der er dog fortsat en række områder, hvor der kan ske forbedringer. Forbedringer der vil give fordele for virksomhederne både på økonomien og tiden.
Degree of involvement som omhandler involveringen af testerne både opgave- og tidsmæssigt kan forbedres. En undersøgelse jeg tidligere har udarbejdet viser, at der er høj grad af forståelse af værdien af tidlige involvering af testere, men det kniber med den faktiske og konkrete involvering - se rapporten Test i Danmark 2015 - (www.capgeminisogeti.dk/om-os/publikationer/test-i-danmark-2015/) - og et af de områder, hvor der kan og bør ske en forbedring er involveringen af interessenterne i prioriteringen og fokusering af testen.
Netop denne prioritering, fokusering og differentiering af testen mangler de fleste steder - f.eks. i form af anvendelse af risikobaseret test. Her er der et stort grundlag for at få et konkret og operationelt redskab til en klar prioritering af testen (både rækkefølgen og dybde).
Metrics er et område der virkelig kan gøres noget ved. Der er meget få virksomheder som har en systematisk tilgang til anvendelse og brug af metrikker inden for testområdet, og de er meget sjældent standardiseret på tværs af testprojekter. Ved en ensartet måde og tilgang til brugen af testmetrikker er der potentielt et stærkt værktøj til styring, estimering og planlægning af testen.
Et andet område med stort potentiale er test case design. Det er paradoksalt at der er en høj modenhed inden for tester professionalism, men at det ikke på alle områder udmøntes i praksis. Mange testere har fået uddannelse og træning, men det halter lidt med den faktiske anvendelse af f.eks. testteknikkerne, der kan hjælpe med at formalisere og reducere testens omfang på en systematisk måde.
En sammenfattende konklusion må være: "....der er fortsat plads til forbedringer af testmodenheden hos danske virksomheder".
En sammenfattende konklusion må være: "....der er fortsat plads til forbedringer af testmodenheden hos danske virksomheder".
mandag den 1. juni 2015
Test i Danmark 2015
Velkommen til anden udgave af Test i Danmark rapporten. Test i Danmark har til formål at undersøge softwaretest og QA tendenser i Danmark og dets udvikling.
Undersøgelsen tager udgangspunkt i hovedkonklusionerne fra World Quality Report 2014-15, der er udarbejdet sammen med HP, og undersøger den danske softwaretests tilstand op mod resten af testverdenen.
Siden 2009 har Sogeti, Capgemini og HP publiceret denne rapport for at give indsigt i de seneste trends inden for applikationskvalitet, metoder, værktøjer og processer.
World Quality Report 2014-15 er baseret på i alt 1.543 detaljerede telefoninterviews på tværs af 25 lande med CIO’er, VP of Applications, it-direktører/chefer og QA direktører/chefer i private virksomheder og offentlige organisationer.
I forbindelse med TestExpo-konferencen (www.testexpo.dk) den 29/1 2015 i Bella Center i København blev der foretaget en spørgeskemaundersøgelse. Der er 72 konferencedeltagere, der har besvaret undersøgelsens 10 spørgsmål.
Rapporten kan hentes via følgende link:
http://www.capgeminisogeti.dk/om-os/publikationer/test-i-danmark-2015/
Undersøgelsen tager udgangspunkt i hovedkonklusionerne fra World Quality Report 2014-15, der er udarbejdet sammen med HP, og undersøger den danske softwaretests tilstand op mod resten af testverdenen.
Siden 2009 har Sogeti, Capgemini og HP publiceret denne rapport for at give indsigt i de seneste trends inden for applikationskvalitet, metoder, værktøjer og processer.
World Quality Report 2014-15 er baseret på i alt 1.543 detaljerede telefoninterviews på tværs af 25 lande med CIO’er, VP of Applications, it-direktører/chefer og QA direktører/chefer i private virksomheder og offentlige organisationer.
I forbindelse med TestExpo-konferencen (www.testexpo.dk) den 29/1 2015 i Bella Center i København blev der foretaget en spørgeskemaundersøgelse. Der er 72 konferencedeltagere, der har besvaret undersøgelsens 10 spørgsmål.
Rapporten kan hentes via følgende link:
http://www.capgeminisogeti.dk/om-os/publikationer/test-i-danmark-2015/
søndag den 26. april 2015
Domæneanalyse - en spændende, relevant og effektiv testteknik
Som tester anvender man ofte både ækvivalenspartitionering og grænseværdianalyse - som er et par gode og anvendelige datadrevne testteknikker. Udfordringen er en gang imellem, at disse ser verden endimensionelt, men i mange situationer interagerer data med hinanden, og en paramenters dataværdi kan påvirke hvilke dataværdien for en anden parameter der er mulig.
Nedenstående tager udgangspunkt i, at der er tale om 2 parametre. Situationer med 3 eller flere parametre kræver værktøjsunderstøttelse, og behandles ikke her, men mange af principperne er de samme.
I en sådan situation som beskrevet i ovenstående er domæneanalyse en både relevant og effektiv testteknik. Domæneanalyse er rigtig god til at identificere om grænseværdierne er implementeret korrekt i systemet - det drejer sig om manglende grænseværdier, ekstra grænseværdier, grænseværdier der er skiftet/ændret og/eller grænseværdier der er 'vippet' (f.eks. er kravet til grænseværdien 'Y = X - 10', men der er implementeret 'Y = X + 10'.
Først en række definitioner af værdier - med de engelske betegnelser i parentes:
En særdeles værdifuld hjælp til domæneanalyse er nedenstående tabel - kaldet en domæneanalysematrix:
I ovenstående domæneanalysematrix (tom skabelon) tester de første fire testcases PÅ og UDENFOR værdierne for betingelserne relateret til variabel 1 og INDE værdi for variabel 2, mens testcases 5 - 8 tester PÅ og UDENFOR værdierne for betingelserne relateret til variabel 2 og INDE værdi for variable 1.
Nedenstående tager udgangspunkt i, at der er tale om 2 parametre. Situationer med 3 eller flere parametre kræver værktøjsunderstøttelse, og behandles ikke her, men mange af principperne er de samme.
I en sådan situation som beskrevet i ovenstående er domæneanalyse en både relevant og effektiv testteknik. Domæneanalyse er rigtig god til at identificere om grænseværdierne er implementeret korrekt i systemet - det drejer sig om manglende grænseværdier, ekstra grænseværdier, grænseværdier der er skiftet/ændret og/eller grænseværdier der er 'vippet' (f.eks. er kravet til grænseværdien 'Y = X - 10', men der er implementeret 'Y = X + 10'.
Først en række definitioner af værdier - med de engelske betegnelser i parentes:
- INDE (IN) - repræsenterer en værdi der er i partitionen/domænet.
- UDE (OUT) - repræsenterer en værdi der er uden for partitionen/domænet/grænsen.
- PÅ (ON) - repræsenterer en værdi på grænsen af partitionen/domænet.
- UDENFOR (OFF) - repræsenterer en værdi lige udenfor partitionens/domænets grænse - altså den mindst mulige nominelle værdi.
- LUKKEDE grænser - defineret med de matematiske operatorer '>=', '<=' eller '=' - betyder at grænsen ikke er inkluderet i domænet, hvilket betyder, at:
- PÅ-værdien er i domænet
- UDENFOR-værdien er ikke i domænet.
- ÅBNE grænser - defineret med de matematiske operatorer '>' eller '<' - betyder at grænsen ikke er inkluderet i domænet, hvilket betyder, at:
- PÅ-værdien er ikke i domænet
- UDENFOR-værdien er i domænet.
En særdeles værdifuld hjælp til domæneanalyse er nedenstående tabel - kaldet en domæneanalysematrix:
Jeg håber dette indlæg viser værdien af domæneanalyse, samt hvordan testteknikken anvendes.
mandag den 13. april 2015
International Workshop | Combinatorial Testing
I denne uge afvikles IEEE International Conference on Software Testing, Verification and Validation" - det foregår i Graz (Østrig).
En del af denne konference er en dag med workshops - hvor en af dem om brugen af kombinatoriske teknikker. En workshop hvor målet er at få kædet den akademiske forskning sammen med industrien (test).
Der var følgende på agendaen:
Men jeg vil den kommende tid behandle emnerne på denne blog.
En del af denne konference er en dag med workshops - hvor en af dem om brugen af kombinatoriske teknikker. En workshop hvor målet er at få kædet den akademiske forskning sammen med industrien (test).
Der var følgende på agendaen:
- Embedded Functions in Combinatorial Test Designs
- Introducing Combinatorial Testing in the Organization - a Report on a First Attempt
- Combining Minimization and Generation for Combinatorial Testing
- A First Systematic Mapping Study on Combinatorial Interaction Testing for Software Product Lines
- Evaluation of the IPO-Family Algorithms for Test Case Generation in Web Security Testing
- A Process for Non-Functional Combinatorial Testing - Selection of Parameter Values from a Nondiscrete Domain Space
- Combinatorial Interaction Testing of Tangled Configuration Options
- Relationship between Pairwise and MC/DC Testing: Initial Experimental Results
- Why Combinatorial Testing Works - Analyzing Minimal Failure-Causing Schemas in Logic Expressions
- Constraint Handling in Combinatorial Testing Generation Using Forbidden Tuples
- Using Decision Trees to aid Algorithm Selection in Combinatorial Interaction Test Generation
- Flattening or Not of the Combinatorial Interaction Testing Models
- Improving IPOG's Vertical Growth Based on a Graph Coloring Scheme
- Equivalence Class Verification and Oracle-free Testing Using Two-Layer Covering Arrays
- BEN: A Combinatorial Testing-Based Fault Localization Tool.
Men jeg vil den kommende tid behandle emnerne på denne blog.
lørdag den 28. februar 2015
Krav skal være testbare
Systemet skal være subjektivt tilfredsstillende for alle brugere
Ovenstående kravformulering har jeg hørt fra en kollega. Et krav der er umuligt at teste.
søndag den 8. februar 2015
Test i Danmark 2015
I denne uge behandler og analyserer vi de svar vi fik indsamlet fra deltagerne på TestExpo 2015. Ligesom sidste år blev der også i år stillet 10 test relaterede spørgsmål - svarene og analysen samles i rapporten Test i Danmark 2015, som udkommer primo marts.
Rapporten fra 2014 kan bestilles på www.capgeminisogeti.dk
Når den nye rapport er klar bestilles den samme sted.
God fornøjelse.
mandag den 2. februar 2015
iPad-opdatering satte S-tog i stå
»Mange linjer« aflyst mandag morgen på grund af bøvl med lokomotivførernes iPad.
Et typisk S-tog med otte vogne vejer i nærheden af 124 ton. Mandag morgen blev de stoppet af en iPad på lige omkring 437 gram. En fejl i en sikkerhedsopdatering på lokomotivførernes iPad skabte nemlig store problem og betød aflysninger på »mange linjer,« bekræfter DSB.
TEST - TEST - TEST - TEST - TEST
Et typisk S-tog med otte vogne vejer i nærheden af 124 ton. Mandag morgen blev de stoppet af en iPad på lige omkring 437 gram. En fejl i en sikkerhedsopdatering på lokomotivførernes iPad skabte nemlig store problem og betød aflysninger på »mange linjer,« bekræfter DSB.
TEST - TEST - TEST - TEST - TEST
onsdag den 28. januar 2015
Nye testdesignteknikker
Så er jeg klar til at præsentere to nye testdesignteknikker i ISTQB Advanced Pensum for testanalytikere på TestExpo 2015 - domæneanalyse og test af userstory.
onsdag den 14. januar 2015
TMap HD - en ny bog i TMap-suiten
Det seneste 'medlem' af TMap-familien er bogen 'Neils Quest for Quality - a TMap HD Story' - HD for Human Driven - se mere på www.tmap.net
Abonner på:
Opslag (Atom)