fredag den 16. maj 2014

STAReast 2014 - Lidt Mere

Jeg er godt nok kommet tilbage fra STAReast 2014, men der er fortsat en række indtryk jeg gerne vil dele.

Torsdag - konferencens sidste dag inden Leadership Summit om fredagen - deltog jeg i en seance med Michael Bolton - om emnet 'Leaping over the Boundaries of Boundary Value Analysis' under temaet 'testteknikker'. Præsentationen var meget typisk for ham - sjove lyde og betoninger undervejs, men han gennemgående tese var, at teknologien er meget mere kompleks end livet, og det viste han med en række gode eksempler hands-on og tilhørende værktøjer. Udover selve emnet var ganske interessant - så var det faktisk også underholdende.

Så ville jeg gerne have været inde og høre en præsentation om 'Mobilteststrategi' - men det blev desværre aflyst (med en underlig intetsigende forklaring), så i stedet endte jeg hos Florin Ursu der talte om 'Lightweight documentation for testing by using Mind Maps'. Det viste sig at være et godt valg - han viste nogle eksempler på brugen af Mind Maps til dokumentation dels af testdesignet og dels status/fremdriften på denne. Han viste også, hvordan han angav prioritet på hver enkelt testscenarie, visuelt viste testresultatet og det fremgik også, hvis der var issues relateret til den enkelte test. Et ganske interessant indlæg.

Udover dette bød torsdagen på en række key notes, hvor jeg specielt vil fremhæve Jennifer Bonine's key note torsdag eftermiddag 'The Art of Testing Transformation: Blending Technology with Cutting-Edge Processes'. Hendes hovedbudskab var, hvordan mikset af People, Processes and Technology kan ændre verden og virksomhederne. Hun talte også om 'Shift Left' som en ny bølge. Hun understregede, at alle ændringer i en organisation drejer sig om kultur og kulturforståelse, og argumenterede for, at en organisation er som et is-bjerg - vi ser kun en lille del af det samlede billede. En god afslutning på konference-delen af STAReast.

lørdag den 10. maj 2014

STAReast 2014 - Det fysiske udbytte

Her er et overblik over det mere fysiske udbytte fra 'ugens gang i Orlando' - bøger, trøje, tutorials, produktark, gatgets m.m.

torsdag den 8. maj 2014

STAReast - vægmaleri

Fourth Edition of Jorgensen's "Craftman's Approach for Software Testing"

This book is just amazing, and especially the new material on complex condition testing and MCDC. MCDC has three variants: Masking MCDC, Unique-Cause MCDC, and Unique-Cause + Masking MCDC. I was not able to sleep last night.

onsdag den 7. maj 2014

Risk-based testing for agile projects

Jeg har ofte diskussioner med andre indenfor det danske testsamfund om brugen af vore mange traditionelle tilgange og teknikker i den agile verden. Jeg bliver ofte mødt med holdninger om, at disse ting ikke kan bruges. De første tre dage her på STAReast har bekræftet mig i, at mange af vore traditionelle tilgange og metoder fortsat kan finde anvendelse - nogle gange med et lille twist.

Erik van Veenendaal har i dag været med til, at jeg har fået denne bekræftelse. Som det fremgår af nedenstående billede af risikomatricen har den de traditionelle dimensioner konsekvens og sandsynlighed, og den har de fire kvadranter. I øverste højre hjørne, som er den højeste risikoklasse, bruges de formelle testdesignteknikker m.m.

Dejligt at se konkrete eksempler på brugen af vore metoder, også i den agile verden.

Test process improvement in agile

Store var mine forventninger til et indlæg med ovenstående titel. Jeg har jo efterhånden lavet 30 assessments baseret på TPI-modellen, så den kender jeg.

Jeroen Mengerink har lavet en variant af TPI NEXT modellen gældende kun for agile miljøer. Modelen har 3 modenhedsniveauer og 12 key areas. Se nedenstående billede af test maturity matricen. Modenhedsniveauerne var lavet ud fra en model for modenhedsforøgelsen i agile teams, og de 12 keys areas ud fra talerens erfaring med hvad der er kritisk for et agilt miljø.

Denne præsentation var virkelig spændende, og den levede fuldt ud op til mine forventninger.

Keynote - Randy Rice

Great slide........

STAReast 2014 - Lee Copeland åbner konferencedelen

tirsdag den 6. maj 2014

STAReast - bogstanden er åben

Har lige købt........

Seven Keys to Navigating Your Agile Testing Transition - Tutorial - Tirsdag formiddag

Så kom tidspunktet, hvor jeg skulle udfordres - agil test. Rob Galen og Mary Thorn havde med deres oplægsbeskrivelse virkelig fået pirket lidt til min nysgerrighed. Det var som taget ud af en tv-serie "MYTHBUSTERS". De har opstillet en række myter om agil test dækkende følgende 15 temaer:

1) Transforming your team
2) Automation
3) Developers and automation
4) Developers testing
5) Test planning and scripts
6) Testing within the sprint
7) Exploratory testing
8) Role of testers
9) Developer to tester workflow
10) Managing agile testers
11) Test metrics
12) Retrospectives - the secret sauce
13) Continuous improvement
14) The customer
15) Agile requirements - the product backlog.

Jeg kan ikke nå at reflektere dem alle i dag, men for hver af de femten områder var der en gennemgang af myter og virkeligheden. Spændende.

Omkring emnet developers testing var myten, at udviklere ikke kan teste deres egen kode. Virkeligheden er, at vi i agile teams skal med at fokusere på enkeltmedlemmers styrke og svaghed, men skal sikre, at der er tillid i teamet. Tillid til, at udviklerne kan lære det, og vi skal facilitere det.

Til emnet test planning and scripts var myten, at vi ikke behøver en testplan, men virkeligheden er noget helt andet. Der er fortsat behov for en testplan der sikrer det rette fokus i testen, herunder mellem flere agile teams og releases. Det samme gælder den risiko-baserede testtilgang - vi har fortsat behov for et instrument til prioritering.

En god tutorial, hvor jeg fik mit syn på det agile flyttet lidt, og blevet bekræftet i, at testhåndværket fortsat har en plads - også i den agile verden.

Risk-based testing - heldags tutorial - mandag

Her mandag havde jeg valgt en heldags tutorial i risk-based testing med Dale Perry. Det er jo altid et spændende emne, og et emne som mange inden for testområdet taler om, men ikke rigtigt får praktiseret.

Dagens gennemgang af emnet tyder ikke på, at der er kommet noget nyt frem om risiko-baseret test. En god og relevant udtalelse var dog, at nogle risici styrer du, og nogle andre styrer dig. En sjov personlig oplevelse var, at han brugte eksemplet med 13 parametre med hver 3 variable, til at illustrere at udtømmende test ikke er muligt. Det er de samme tal jeg ofte selv bruger.

Jeg synes dog, at indlæggets del omkring rapportering af risiko-baseret test fortsat mangler et mere modent niveau, og fortsat debat om hvad vi gør her. Hvordan får vi på en enkel og sigende måde vist en oversigt over de udestående risici. I eksemplerne blev der vist fine eksempler på rapportering af 3 af de 5 rapporteringsdimensioner inden for test.

Mange af emnerne i dagens tutorial er godt dækket i TMap NEXT Business Driven Test Management - se www.tmap.net

Det positive i indlægget var:

1) Sammenhængen mellem risiko-baseret test og testteknikkerne blev tydeliggjort.
2) Klar og tydelig opdeling i risikotyper: Projekt, proces og produkt.

Afslutningen var godt ramt, idet Dale stillede spørgsmålet, hvornår er risiko-baseret test unødvendig?

Svaret var:

1) Når softwaren aldrig vil blive brugt
2) Når du har ubegrænsede ressourcer.

Det vil sige ALDRIG

mandag den 5. maj 2014

Søstrene er også med......

Vort søsterselskab er også synlige på STAReast 2014 - de sponserer wifi-loungen.

STAReast 2014 er begyndt

Så er konferencen i Orlando påbegyndt. Her mandag er jeg igang med en heldags tutorial om risk-based testing med Dale Perry.