STAReast 2014 - Afsluttende bemærkninger og refleksioner - og det blev til AMA......

Nu kan jeg ikke rigtigt udsætte det længere - efter nogle uger må jeg kunne forfatte nogle ord der afslutter den formelle del af afrapporteringen fra STAReast 2014 i Orlando.

Som sidste år gik jeg mig en tur for at få lidt frisk luft og forsøge at generere nogle kloge tanker. Årets STAReast-konference blev afholdt et andet sted end i fjor, men jeg satte mig for - meget målrettet - at gå efter den 'studenter-restaurant', hvor jeg sidste år forfattede mine afsluttende kommentarer. I husker måske den restaurant, som jeg opsøgte i fjor, og som var drevet af kvindelige-ornitologi studerende med speciale i ugler med store øjne.

Jeg gik hen til lokationen - og opdagede til min rædsel og meget store chok, at stedet var lukket - ved nærmere 'undersøgelse' - (hvem tænker her på IEEE 1044 standardens fire livscyklusfaser - Erkendelse, Undersøgelse, Handling, Arkivering? - altså udover mig) - fandt jeg dog ud af, at stedet ikke var lukket, men flyttet til en anden lokation grundet behovet for mere plads. Mit besøg i fjor gav dem åbenbart så meget tro på fremtiden, at de har været nød til at udvide. Mit personlige bidrag til at få gang i væksten i verdensøkonomien, og jeg blev nærmest modtaget som en 'hovedinteressent' - måske de har studeret TPI NEXT modellen og dens begreb 'hovedinteressent'?

OG jeg fandt det nye sted - og det var en flot udvidelse - godt at der er nogle der specialiserer sig i studiet af ugler med store øjne - og i år så jeg også nogle specialarter - både med fuld 'fjerdragt' og nogle hvor midterstykket var bart - måske gået til i 'kampens hede'.

NÅ - nok om ugler, selvom det er svært at løsrive sig. Det drejer sig trods alt om STAReast.

Hvis jeg skal opsummere STAReast 2014 i tre ord, så bliver det følgende - AMA - og NEJ dette er ikke et sponsoreret indlæg - men AMA står i denne forbindelse for:

1. Agilt
2. Mobilt
3. Automatisk. 

Det at køre projekterne agilt udvikler sig hele tiden i form at tilrettede og nye fremgangsmåder. De seneste år har jeg flere gange drøftet med mange inden for denne skønne testverden omkring brug af de 'gængse' metoder og værktøjer også i den agile verden. Det er af mange blevet afvist, men mit argument har hele tiden været, at selvom man arbejder agilt - så må man vil 'gerne tænke sig om'. Og det er netop hvad vore metoder generelt giver mulighed for - prioritering og fokusering ved hjælp af risiko-baseret test, reduktion af testomfanget ved hjælp af vore testteknikker. Skønt at se, at vort 'værktøjsbæltes' indhold fortsat kan anvendes.

Mobile løsningers udbredelse øges og øges for hver dag. Men min påstand er trods alt, at vi sagtens kan bruge vor nuværende viden - den skal bare lige 'twistes' på en anden måde - det kan være vi skal fokusere på nogle andre testtyper end før, andre testteknikker m.m.

Automatisk testafvikling er under fortsat udvikling, men der er fortsat store udfordringer både teknisk og ledelsesmæssigt - men husk Dot Graham berømte ord: 'A fool with a tool, is still a fool'.

MEN det generelle budskab fra STAReast 2014 er: Der kommer mere og mere software, det bliver mere og mere kompleks, der er større og større afhængigheder i softwaren - SÅ softwaretest er kommet for at blive, og alle ser en god fremtid for os. Men det må vi jo ikke bruge som en sovepude - vi skal hele tiden tilpasse de nye udfordringer der er for os - nye tider - nye teknologier.

Men flere og flere af indlægsholderne gjorde meget klart, at vi skal være mere professionelle - det gælder de 3 P'er - Practice, Practice, Practice. Derfor er opfordringen - hvis du er test manager, testanalytiker e.lign. - så brug 10 min. hver dag på at øve dit værktøjsbælte. Det giver værdi - for dig og dit projekt.

Hermed slutter 'testkorrespondenten' af fra STAReast - det var hvad jeg havde valgt i år.............er det ikke det der siges på en landsdækkende dansk TV-kanal.

STAReast 2014 - Lidt Mere

Jeg er godt nok kommet tilbage fra STAReast 2014, men der er fortsat en række indtryk jeg gerne vil dele.

Torsdag - konferencens sidste dag inden Leadership Summit om fredagen - deltog jeg i en seance med Michael Bolton - om emnet 'Leaping over the Boundaries of Boundary Value Analysis' under temaet 'testteknikker'. Præsentationen var meget typisk for ham - sjove lyde og betoninger undervejs, men han gennemgående tese var, at teknologien er meget mere kompleks end livet, og det viste han med en række gode eksempler hands-on og tilhørende værktøjer. Udover selve emnet var ganske interessant - så var det faktisk også underholdende.

Så ville jeg gerne have været inde og høre en præsentation om 'Mobilteststrategi' - men det blev desværre aflyst (med en underlig intetsigende forklaring), så i stedet endte jeg hos Florin Ursu der talte om 'Lightweight documentation for testing by using Mind Maps'. Det viste sig at være et godt valg - han viste nogle eksempler på brugen af Mind Maps til dokumentation dels af testdesignet og dels status/fremdriften på denne. Han viste også, hvordan han angav prioritet på hver enkelt testscenarie, visuelt viste testresultatet og det fremgik også, hvis der var issues relateret til den enkelte test. Et ganske interessant indlæg.

Udover dette bød torsdagen på en række key notes, hvor jeg specielt vil fremhæve Jennifer Bonine's key note torsdag eftermiddag 'The Art of Testing Transformation: Blending Technology with Cutting-Edge Processes'. Hendes hovedbudskab var, hvordan mikset af People, Processes and Technology kan ændre verden og virksomhederne. Hun talte også om 'Shift Left' som en ny bølge. Hun understregede, at alle ændringer i en organisation drejer sig om kultur og kulturforståelse, og argumenterede for, at en organisation er som et is-bjerg - vi ser kun en lille del af det samlede billede. En god afslutning på konference-delen af STAReast.

STAReast 2014 - Det fysiske udbytte

Her er et overblik over det mere fysiske udbytte fra 'ugens gang i Orlando' - bøger, trøje, tutorials, produktark, gatgets m.m.

Testing & Quality Leadership Summit - Orlando

STAReast - vægmaleri

Fourth Edition of Jorgensen's "Craftman's Approach for Software Testing"

This book is just amazing, and especially the new material on complex condition testing and MCDC. MCDC has three variants: Masking MCDC, Unique-Cause MCDC, and Unique-Cause + Masking MCDC. I was not able to sleep last night.

Risk-based testing for agile projects

Jeg har ofte diskussioner med andre indenfor det danske testsamfund om brugen af vore mange traditionelle tilgange og teknikker i den agile verden. Jeg bliver ofte mødt med holdninger om, at disse ting ikke kan bruges. De første tre dage her på STAReast har bekræftet mig i, at mange af vore traditionelle tilgange og metoder fortsat kan finde anvendelse - nogle gange med et lille twist.

Erik van Veenendaal har i dag været med til, at jeg har fået denne bekræftelse. Som det fremgår af nedenstående billede af risikomatricen har den de traditionelle dimensioner konsekvens og sandsynlighed, og den har de fire kvadranter. I øverste højre hjørne, som er den højeste risikoklasse, bruges de formelle testdesignteknikker m.m.

Dejligt at se konkrete eksempler på brugen af vore metoder, også i den agile verden.

Test process improvement in agile

Store var mine forventninger til et indlæg med ovenstående titel. Jeg har jo efterhånden lavet 30 assessments baseret på TPI-modellen, så den kender jeg.

Jeroen Mengerink har lavet en variant af TPI NEXT modellen gældende kun for agile miljøer. Modelen har 3 modenhedsniveauer og 12 key areas. Se nedenstående billede af test maturity matricen. Modenhedsniveauerne var lavet ud fra en model for modenhedsforøgelsen i agile teams, og de 12 keys areas ud fra talerens erfaring med hvad der er kritisk for et agilt miljø.

Denne præsentation var virkelig spændende, og den levede fuldt ud op til mine forventninger.

Keynote - Randy Rice

Great slide........

STAReast 2014 - Lee Copeland åbner konferencedelen

STAReast - bogstanden er åben

Har lige købt........

Seven Keys to Navigating Your Agile Testing Transition - Tutorial - Tirsdag formiddag

Så kom tidspunktet, hvor jeg skulle udfordres - agil test. Rob Galen og Mary Thorn havde med deres oplægsbeskrivelse virkelig fået pirket lidt til min nysgerrighed. Det var som taget ud af en tv-serie "MYTHBUSTERS". De har opstillet en række myter om agil test dækkende følgende 15 temaer:

1) Transforming your team
2) Automation
3) Developers and automation
4) Developers testing
5) Test planning and scripts
6) Testing within the sprint
7) Exploratory testing
8) Role of testers
9) Developer to tester workflow
10) Managing agile testers
11) Test metrics
12) Retrospectives - the secret sauce
13) Continuous improvement
14) The customer
15) Agile requirements - the product backlog.

Jeg kan ikke nå at reflektere dem alle i dag, men for hver af de femten områder var der en gennemgang af myter og virkeligheden. Spændende.

Omkring emnet developers testing var myten, at udviklere ikke kan teste deres egen kode. Virkeligheden er, at vi i agile teams skal med at fokusere på enkeltmedlemmers styrke og svaghed, men skal sikre, at der er tillid i teamet. Tillid til, at udviklerne kan lære det, og vi skal facilitere det.

Til emnet test planning and scripts var myten, at vi ikke behøver en testplan, men virkeligheden er noget helt andet. Der er fortsat behov for en testplan der sikrer det rette fokus i testen, herunder mellem flere agile teams og releases. Det samme gælder den risiko-baserede testtilgang - vi har fortsat behov for et instrument til prioritering.

En god tutorial, hvor jeg fik mit syn på det agile flyttet lidt, og blevet bekræftet i, at testhåndværket fortsat har en plads - også i den agile verden.

Risk-based testing - heldags tutorial - mandag

Her mandag havde jeg valgt en heldags tutorial i risk-based testing med Dale Perry. Det er jo altid et spændende emne, og et emne som mange inden for testområdet taler om, men ikke rigtigt får praktiseret.

Dagens gennemgang af emnet tyder ikke på, at der er kommet noget nyt frem om risiko-baseret test. En god og relevant udtalelse var dog, at nogle risici styrer du, og nogle andre styrer dig. En sjov personlig oplevelse var, at han brugte eksemplet med 13 parametre med hver 3 variable, til at illustrere at udtømmende test ikke er muligt. Det er de samme tal jeg ofte selv bruger.

Jeg synes dog, at indlæggets del omkring rapportering af risiko-baseret test fortsat mangler et mere modent niveau, og fortsat debat om hvad vi gør her. Hvordan får vi på en enkel og sigende måde vist en oversigt over de udestående risici. I eksemplerne blev der vist fine eksempler på rapportering af 3 af de 5 rapporteringsdimensioner inden for test.

Mange af emnerne i dagens tutorial er godt dækket i TMap NEXT Business Driven Test Management - se www.tmap.net

Det positive i indlægget var:

1) Sammenhængen mellem risiko-baseret test og testteknikkerne blev tydeliggjort.
2) Klar og tydelig opdeling i risikotyper: Projekt, proces og produkt.

Afslutningen var godt ramt, idet Dale stillede spørgsmålet, hvornår er risiko-baseret test unødvendig?

Svaret var:

1) Når softwaren aldrig vil blive brugt
2) Når du har ubegrænsede ressourcer.

Det vil sige ALDRIG

Søstrene er også med......

Vort søsterselskab er også synlige på STAReast 2014 - de sponserer wifi-loungen.

STAReast 2014 er begyndt

Så er konferencen i Orlando påbegyndt. Her mandag er jeg igang med en heldags tutorial om risk-based testing med Dale Perry.

TMap NEXT Test Engineer kursus afsluttet

En skøn uge med et godt hold kursister til TMap NEXT for Test Engineer. De har alle været dybt engageret i at blive beriget om dækningstyper og testdesignteknikker. Der har været særlig interesse for MC/DC og PCT med forskellige testdybder. Lørdag starter et nyt hold. Skøn uge.

Nye spændende testbøger

Er faldet over et par nye bøger - en om test af data warehouse og en om agile testing. Spændende læsning. De er på tysk - så er I advaret.

Brug kombinatorisk test.......til glæde for dig og forretningen!

Et godt og meget anerkendt testprincip tilsiger, at udtømmende test er umulig - dette betyder, at det ganske enkelt ikke er muligt at teste alle kombinationer af eksempelvis data i et moderne it-system. Dels er der for mange kombinationer og dels er der de ofte forekommende projektbegrænsninger i form af tid og penge.

Et lille eksempel kunne være et skærmbillede med 13 dropdown-bokse med hver 3 variable. Hvis alle kombinationer skal testes er der tale om 1.594.323 kombinationer (3 i 13 potens). Et meget stort tal.

Hvis vi nu et øjeblik forudsætter, at vi har en tester til rådighed, og vedkommende arbejder med en dansk normtid på 37 timer om ugen, og 200 dage om året (holder weekend, ferie, helligdage m.m.) og en test tager 1 minut. Under disse omstændigheder vil denne test tage ca. 17 år, og hvis ikke du mener, at forudsætningen om, at en test tager 1 minut er retvisende - så er det jo bare at gange op med et andet tal.

Jeg har prøvet ovenstående eksempel i det web-baserede værktøj HexaWise (www.hexawise.com), som kan arbejde med kombinatorisk test med forskellig styrke. Styrke 2 er det vi normalt omtaler som parvis test, styrke 3 omtales ofte som triple-wise test osv.

Det giver følgende reduktion af testsituationer - den første kolonne viser 'styrken', den anden kolonne viser antal testsituationer som ovenstående eksempel kan reduceres til og den tredje kolonne viser det reducerede antal testsituationer i procent af det samlede antal (1.594.323):

 

Som  det tydeligt kan ses kan der ske en markant reduktion af antal af testsituationer, og samtidig være i kontrol med testen - altså have viden om risiko-niveauet m.m.

Kombinatorisk test er en af de testteknikker jeg er meget glad for at kende og anvende......til stor glæde for forretningen.

Kan vi lære af Hollywood?

Ak ja - disse 'default værdier' i it-systemer.....NULL, blank m.m.

Så lige et jobopslag, hvor jobtype, arbejdstid og arbejdsdage alle er lig med NULL. Der var også andre problemer med relationer mellem datatyper, men dem viser jeg ikke lige. Men der mangler vist både noget syntaks og sematisk test.

Eller også er der ingen arbejdstid, ingen arbejdsdage, og måske slet ikke noget job.

Managing the Test People....

....er dagens vidensmæssige input:

Testpolitikkens indhold - a la den nye standard for softwaretest

Den nye standard for softwaretest (ISO/IEC/IEEE 29119) har som et af de organisatoriske testspecifikationer defineret indholdet i en testpolitik. Det er godt at se, at der nu er en 'officiel' definition på dette indhold. 29119-standardens indhold i testpoltikken er på 10 punkter - som er følgende:

1) Målet med test: Her beskrives formålet, målet og det overordnede omfang af softwaretest inden for den pågældende virksomhed/organisation. Der skrives også noget om, hvorfor test udføres og hvad der ønskes opnået.

2) Testproces: Her angives, hvilken testproces der følges - eventuelt i form af en reference til denne i et andet dokument e.lign.

3) Testorganisationens struktur: Her angives roller og organisationsstruktur for testområdet. Det kan være i form af et diagram eller i en tabel.

4) Uddannelse og træning for testerne: Krævet uddannelse og certifikater for de personer der arbejder i testorganisationen.

5) Etik for testområdet: Her angives det etiske kodeks for testerne.

6) Standarder: Anviser hvilke standarder der anvendes inden for testorganisationen.

7) Andre relevante politikker: Angiver andre af virksomhedens politikker der påvirker testorganisationen.

8) Måling af værdien af softwaretest: Fastlægger hvordan testens ROI opgøres og måles, herunder hvad målet med denne måling er.

9) Arkivering og genbrug af testaktiver: Omfatter hvad og hvordan testaktiverne arkiveres, og hvad holdningen til genbrug er.

10) Forbedring af testprocessen:  Angiver fremgangsmåden for at sikre en vedvarende forbedring af testprocessen - et eksempel kunne være anvendelse af TPI-modellen e.lign.

Jeg mener klart, at disse 10 punkter er et rigtig godt udgangspunkt til indholdet i en testpolitik. Specielt er det godt at se forhold omkring uddannelse m.m. er medtaget. Det illustrerer klart, at softwaretest er en kendt, og anerkendt, disciplin.

Nu er det så interessant at se, hvordan de danske virksomheder modtager disse 10 punkter - forhåbenligt kommer vi til at se flere virksomheder/organisationer der har en testpolitik de kommende år.

Bog om domænetest

Så kom Cem Kaner et al's bog 'The Domain Testing Workbook' - endnu mere glæde.

Ny bog om kombinatorisk test

Så kom Kuhn et al's bog 'Introduction to Combinatorial Testing'. Glæder mig til at læse den.

Så kom bogpakken endelig..........

......med bogen 'Software Test Attacks to Break Mobile and Embedded Devices' - glæder til at angribe bogen.