Etik for softwaretestere - et forsøg på at uddybe disse.....

Deltagelse i softwaretest giver enkeltpersoner mulighed for at få indblik i fortrolige og interne oplysninger. Etiske regler er nødvendige blandt andet for at sikre, at oplysningerne ikke bruges på en upassende måde.

ISTQB har anvist en række etiske regler, men hvad betyder de i praksis - jeg vil her forsøge at komme med et første bud på dette:

OFFENTLIGHEDEN
ISTQB: Certificerede softwaretestere skal agere i overensstemmelse med offentlighedens interesser. 

Hvad betyder det: Hvis du finder en fejl der kan ramme brugerne er det vigtigt at rapportere denne. Du skal som tester ikke tilbageholde informationer om fejl.

KLIENT OG ARBEJDSGIVER

ISTQB: Certificerede softwaretestere skal agere på en måde, der bedst muligt tager hensyn til deres klients og arbejdsgivers interesser og er konsistent med offentlighedens interesser.
Hvad betyder det: Du må ikke lade personlige interesser/relationer påvirke rapporteringen af fejl eller prioriteringen/vurderingen af denne.

PRODUKT

ISTQB: Certificerede softwaretestere skal sikre, at de leverancer, de udarbejder (om de produkter og systemer, de tester), opfylder de højest mulige professionelle standarder.
Hvad betyder det: Som certificeret tester skal du fortsætte med at lære. Test som fagområde udvikler sig hele tiden, og test kræver den bedst mulige viden og færdighed. Som tester skal du aldrig nøjes med en overfladisk og forældet tilgang til test. 

VURDERING

ISTQB: Certificerede softwaretestere skal opretholde integritet og uafhængighed i deres professionelle vurdering.
Hvad betyder det: Der er måske en konflikt i forhold til kunden, arbejdsgiver eller andre der fortæller dig som tester, at du ikke skal rapportere en fejl, men du skal som tester raportere på en objektiv og professionel måde - hvis du mener der er en fejl - så rapporter den.

STYRING

ISTQB: Certificerede softwaretestansvarlige og ledere skal bidrage med og fremme en etisk tilgang til styring af softwaretest.
Hvad betyder det: Testafvikling er normalt meget presset i forhold til tidspunktet for levering af produktet, hvorfor overskridelser og forsinkelser i forhold til tid, budget er sandsynlig. Det er derfor nemt at tage en række genveje og dermed eliminere den gode testpraksis. Testlederen skal være opmærksom på dette. 

ERHVERV

ISTQB: Certificerede softwaretestere skal fremme erhvervets integritet og ry i overensstemmelse med offentlighedens interesse.
Hvad betyder det: Dette betyder, at testere ikke bare skal passe deres job - de skal også tale om det, skrive white papers og træne andre i at teste bedre. Erhvervets ry er bedst tjent med at være opmærksom på dette.

KOLLEGER

ISTQB: Certificerede softwaretestere skal være fair og støttende over for deres kolleger og fremme samarbejdet med softwareudviklerne.
Hvad betyder det: Som tester rapporterer du fejl og problemer, hvorfor det er nemt at komme i en slags 'krigstilstand' med udviklerne. Som skal tester skal du være konstruktiv og bidrage til projektets værdiskabelse.

PERSONLIGT

ISTQB: Certificerede softwaretestere skal deltage i livslang indlæring med hensyn til udøvelsen af deres erhverv, og de skal fremme en etisk tilgang til udøvelsen af erhvervet.
Hvad betyder det: Du skal altid være opmærksom på de krav der stilles til dit erhverv som tester - teknologien ændrer sig over tid, hvorfor du som tester skal udvikle dine kompetencer.
  

Techno Vision 2015 - Update

Så er dialog værktøjet Techno Vision opdateret til 2015. Spændende og praktisk tilgang til etablering af virksomhedens digitale strategi.

STARwest 2014 - afsluttende bemærkninger

Så er konferencen i Anaheim (Los Angeles) veloverstået, og de mange ideer og tanker er ved at bundfælde sig. Det tager altid lidt tid at få alle disse input efterbehandlet – i hvert fald med min begrænsede ’kapacitet’. Det er grunden til at der er gået nogle uger før disse afsluttende bemærkninger er forfattet.

Nu var dette jo min første konference på west-siden af USA, og det kan anbefales – det var en lang tur, men niveauet af faglighed er højt, og netværket udvides på en anden måde og i en anden retning – til stor glæde for alle parter. 

Ligesom STAReast er det agile-tema fortsat meget fremherskende – i den forstand der sker en fortsat modning af det agile tankesæt inden for test. Rob Galen fremgår i mit ’lille’ univers som en god referenceramme inden for den agile verden, og understøtter min ’personlige’ rejse (transition) mod en bredere dækning af tilgange til test. Hans ’three pillars of agile’ er for mig en god model til forståelse og læring af det agile tankesæt.

Der var specielt en key-note jeg vil fremhæve her i min afsluttende bemærkninger – The Power of the Individual Tester’ af Ben Simo, som havde prøvet hjemmesiden i relation til det nye amerikanske sundshedsprogram – healthcare.gov. Det var virkelig eksemplet på, hvad der kan gå galt. Ben var på STARwest som privatperson, da det var som privatperson han havde prøvet hjemmesiden – og det var rystende dels hvad han havde fundet og dels hvordan han blev af de amerikanske sundhedsmyndigheder udråbt til at være ’uddannet hacker’. Så meget for at påpege fejl og uhensigtsmæssigheder – som blev benægtet at var der, men som alligevel efterfølgende blev rettet.

En af de tutorials jeg deltog i som jeg specielt vil nævne her er Lee Copelands Fundamental Test Techniques – han havde en spændende opdeling af black-box teknikkerne i science og art – altså videnskab og kunst. Det får mig også lige til at erindre, at det jo netop er her i 2014 det er 30 år siden, at den første testbog udkom på dansk (1984), nemlig bogen Kunsten at teste edb-programmer af Glenford Meyer, hvor det at teste er kunst. Det er i hvert fald en kunst at teste struktureret og fornuftigt – derfor er testteknikkerne vigtige. I går, i dag og i morgen.

Jeg glæder mig til kommende oplevelser på STAR-konferencerne i både USA og Europa.

Skotsk bank får kæmpebøde for IT-problemer

"De regulerende myndigheder udtaler, at op til 635 systemer hos RBS blev ramt af en software-opdatering, som gjorde kunderne ude af stand til at benytte pengeautomater, netbank eller betale lån i op til 20 dage."

Interessant udvikling - som sikkert også skal ses i lyset af bankernes større placering og virke som en vital del af den finansielle infrastruktur - og gradueringen af bankerne i bl.a. 'systemiske' (SIFI).

Testing & Quality Leadership Summit @STARwest 2014

Så er det fredag, og fokus i dagens heldags Summit er test, kvalitet og ledelse, og med Julie Gardiner, Jon Bach, Rob Sabourin og Jeff Payne.

STARwest 2014 - reflektioner over torsdagens indtryk og oplevelser

Den første keynote torsdag morgen var virkelig en 'øjen-åbner' for alle deltagere, hvor Ben Simo (eBay - men det var ikke som repræsentant for denne virksomhed han var der, men som privatperson) præsenterede sine oplevelser som bruger af sitet www.healthcare.gov, som er 'indgangen' til det nye amerikanske sundhedssystem. Ben Simo's keynote hed The Power of an Individual Tester: The Healthcare.gov Experience.

Ben's keynote var virkelig en oplevelse - han brugte sin viden om test af websites, og viste eksempel efter eksempel på sikkerhedsbrister, fejl, uhensigtsmæssigheder m.m. på denne hjemmeside, som jo potentielt skal anvendes af mange millioner af amerikanere.

Han viste også klip fra forskellige TV-programmer og kongreshøringer, hvor han af chefen for den offentlige styrelse der er ansvarlig for sitet blev kaldt 'hacker', og alle situationerne (læs: problemerne) han fandt i web-løsningen for teoretiske - men det er alligevel blevet rettet en for en efterfølgende.

Efter dette 'morgen-break' var det nok svært at se det geniale i resten af dagens indlæg - men det lykkedes ganske udemærket for Deborah Kennedy i sit indlæg på track-session Testers, Use Metrics Wisely or Don't Use Them at All. Her viste hun en masse gode eksempler på, hvordan der kunne opstilles grafer, diagrammer og andre oversigten - som alene med den måde de blev opstillet på 'slørede' det faktiske billede - dejligt input til 'testrapporteringens spindoktor'.

Resten af torsdagen gik med Metrics That Matter med Pablo Garcia, The Unfortunate Triumph of Process over Purpose med James Christie, User Acceptance Testing in the Testing Center of Excellence med Deepika Mamnani og sluttede af med keynoten Softwarts: Security Testing for Muggles med Paco Hope. En rigtig 'Security Wizard'.

Alt-i-alt også en god sidste-dag på konferencen, og nu afventer kun fredagens 'The Testing & Quality Leadership Summit - Test Leadership on the Edge'.

STARwest 2014 - det fysiske udbytte

STARwest 2014 - jeg gik mig over sø og land

Jeg er nu på fjerde dagen af STARwest 2014 konferencen, og er nu kommet til tidspunktet, hvor der hos mig nogle gange opstår det der vist kaldes konference-kuller.

Det sker for selv den bedste, og altså også for mig. Når det sker plejer jeg at gå en tur. Nogle gange kort. Nogle gange langt. Nogle gange sker der noget magisk.

Så jeg gik mig over sø og land........og hvad så jeg.....Julie Gardiner?...... dog ikke, men følte mig lidt som Jeppe i baronens seng.......drømmer jeg eller er jeg vågen.

Jeg gik langt, men alligevel, nok ikke til Orlando i Florida. Og dog - pludselig så jeg i det fjerne, i smoggen i LA, noget der kunne minde om studenter-konceptet fra syden.

Og ja. Jeg så rigtigt. Konceptet med en restaurant drevet af kvindelige studerende med speciale i ugler med store øjne har spredt sig.

Jeg er jo et godt menneske. Så her sidder jeg. Blandt kvindelige studerende med speciale i ugler med store øjne. Meget store. Knap så store. I forskellige farver, mønstre og former.

Men støtter dem alle.........selvom de ikke taler tysk......og dog.....vielleicht......

STARwest 2014 - og det skete i de dage....og.....hører Bob Galen den danske gruppe 'På Slaget 12'?

Så blev det onsdag og dermed midtvejs i dette ugelange event med test, test og test på programmet. Som tidligere omtalt var der tutorials mandag og tirsdag, og onsdag og torsdag selve konferencedelen med tracksessions, hvor der afvikles typisk 6 sideløbende spor. Onsdag var der 3 key-notes, som man har mulighed for at deltage i alle sammen. 18 track-sessions som man har mulighed for at deltage i 3 af, da de kører sideløbende. Udover dette var der 9 såkaldte tekniske præsentationer, som typisk er værktøjsleverandører og andre udstillere på EXPO'et der tilbyder uddybende gennemgang. Disse kører også sideløbende med track-sessions. Så er der bonus-sessions og yderligere tekniske præsentationer under frokosten - så der er næsten dårlig samvittighed over alt det man ikke når at deltage i - næsten ligesom en rigtig test......

Åbnings key-noten var Quality Principles for Today's "Gluware" - Testing Web Services, Libraries and Frameworks med Julie Gardiner. Julie er en 'bombe' på mange områder, og ikke mindst på energi og engagement. En ren fornøjelse, og så viste hun sig også som tryllekunster. Hun talte bl.a. om information og kommunikation, og de komplicerende faktorer der er for at sikre det - teknologi, geografi/kultur og daglig multi-tasking. Et af hendes mange gode budskaber var, at vi som testere skal være bedre til at vise værdiskabelsen over for ledelsen - altså synliggørelse af f.eks. fejl fundet, og dermed forhåbenligt reduceret produktrisiko, og via metrikker som DDP. Hun talte også om, hvad vi skal være opmærksom på ved brug af eksterne systemleverandører - vi skal spørge ind til leverandørens test og kvalitets setup både før udvælgelsen, og under projektforløbet. Altså stille krav - det var smukt. Julie havde et par gode bemærkninger - eller der var faktisk mange - men et af dem var RISK RULED.

Dagens anden key-note var med Bob Galen over emnet Balancing the Crusty and Old with the Shiny and New. Et markant, og pragmatisk, indlæg om vor testverden, om dem og os. Traditionel udvikling eller agil udvikling. Men Bob havde for de mange situationer han beskrev, også en 'lige-midt-i-mellem' - og det får mig til at tænke over om Bob Galen kender den aarhusianske gruppe 'På Slaget 12' og deres skønne sang 'Lige Midt Imellem'? Og det var hans budskab - det er ikke et enten-eller, men mellem. Så derfor til de der arbejder med det agile - smid nu ikke de smarte ting fra den traditionelle testverden ud - risiko-baseret test er fortsat smart og nødvendigt, testteknikkerne er fortsat smarte og nødvendige osv., og omvendt den traditionelle 'verden' kan også sagtens bruge mang af ideerne fra den agile verden. Han havde dog en rigtig god udtalelse - den traditionelle verden 'deliver the ASK', men den agile verden 'deliver the NEED'. Han har nok ikke helt uret.

Jeg blev en del inspireret af Bob Galen, hvorfor jeg deltog i den første track-session hos ham - hvor han talte om A Tester's Guide to Collaborating with Product Owners. Det væsentligske budskab var vist - du skal have respekt for Product Owner - de har et hårdt job. Han præsenterede følgende ni områder, som guidelines for testernes samarbejde med Product Owner (PO):

1. Bridge stories from team to the PO - omtalte her de 3 Amigos (Tester - Udvikler - PO)
2. Help write solid Acceptance Tests
3. Hold everyone 'accountable' to DoD
4. Represent the customers
5. Ask questions - be inquisitive, be curious, explore
6. What about the Cost of Quality?
7. What about the Cost of Testing?
8. The backlog is a Plan - help focus it towards Release
9. Get to know your PO.

Afslutningsvis sagde han 'hjælp PO med at bygge det rigtige, og hjælp teamet med at bygge det rigtigt'. Meget godt ramt.

Min næste track-session var Martin Pol med Test Improvement in Our Rapidly Changing World. Et af hans budskaber var - det gælder ikke om at scope point i en modenhedsmodel, det drejer sig om at forbedre - og det har han da ret i. Et indlæg som var præget af, at han vist synes han skulle skabe en forbindelse mellem den traditionelle verden og den agile verden - inden for testforbedring, hvilket han delvist opnåede. Han brugte en del tid på at fortælle om TPI. :-)

Min sidste track-session onsdag var med Shelley Rueger over temaet Implementing Outsourced Testing Services with a Third Party Vendor. Hendes fokus var på crowd-sourcing, og tog udgangspunkt i en konkret case. Det var et spændende indlæg - dels fordi der ikke var mange der deltog og dermed kom vi tættere på med spørgsmål og kommentarer og dels fordi det var et relativt nyt emne for mig. Hun gennemgik bl.a. også forskellene mellem outsourcing og crows-sourcing - hvilket var spændende - og fordele/ulemper mellem disse, men med udgangspunkt i den konkrete case.

Dagens sidste aktivitet - på konferencen - var Lightning Strikes the Keynotes. Sessionen varer en time under facilitering af Lee Copeland, hvor 9 forskellige indlægsholdere taler i maksimalt 5 min. over et emne, som vedkommende føler for.......endnu engang et anderledes og faktisk ganske underholdende afslutning på en lang dag.

World Quality Report 2014-15 er nu på gaden

Den 6. udgave af World Quality Report (WQR) er nu offentliggjort, og den viser en række spændende forhold i forhold til test og kvalitet. Undersøgelsen er global med et lokalt tvist - og er baseret på 1.543 interviews med it-ledere, hvoraf 33 fra Danmark.

Der er en række spændende key-findings i WQR:

1. Transformationsprogrammer der bruger SMAC (Social, Mobile, Analytics, Cloud) og IoT (Internet of Things) ændrer fokus på test og kvalitet, og øger vigtigheden af samme.
2. Budgetterne for test og kvalitet fortsætter med at stige til højder der ikke er set tidligere, og dette er delvist drevet af nye digitaliseringsprojekter.
3. Mange virksomheder foretrækker at organisere deres test- og kvalitetsfunktioner som en kombination af centrale og decentrale enheder.
4. Mange virksomheder øger anvendelsen af eksterne serviceleverandører inden for test og kvalitet i fællesskab.
5. Andelen af rene offshore engagementer er faldende.
6. Ikke-funktionelle krav - specielt sikkerhed og performance - og kundeoplevelser bliver et mere og mere vigtigt fokusområde for test og kvalitet.
7. De fleste virksomheder kræver hurtige og tilpassede løsninger i forholdet mellem test og kvalitet og agile udviklingsmetoder.
8. Brugen af cloud-baserede løsninger for testområder er stigende.
9. Mange virksomheder har stigende modenhed indenfor områderne testmiljø, testdata management og testautomatisering.

WQR 2014-15 kan hentes på www.worldqualityreport.com eller på www.capgeminisogeti.dk - god fornøjelse med læsningen.

STARwest 2014 - Tirsdagens tutorials - reflektioner - og så er bogladen åben

Så er den officielle del af tirsdagens program overstået - eller det er faktisk ikke helt rigtigt, idet der senere på eftermiddagen er åbningsreception for konferencedelen der er onsdag og torsdag, hvor der er kortere præsentationer (30-45 min) og key notes.

Dagens 2 tutorials jeg deltog var udvalgt ud af 18 mulige - det er altid svært at fravælge, men det er ganske enkelt nødvendigt.

Fundamental Test Design Techniques

Det var en tutorial af Lee Copeland - som altid er engageret og fornøjelig at møde - og der blev præsenteret en række af de kendte testteknikker: Ækvivalensklasser, grænseværdianalyse, beslutningstabeltest, tilstandsovergangstest, udforskende test og defekttaksonomi.

På testteknik-siden var der ikke meget nyt for mig, men de eksempler Lee præsenterede og i forskellige sammenhænge gav mig mange ideer til, hvordan jeg fremover kan gøre præsentationen af disse testteknikker endnu bedre. Lee lavede en opdeling af blackbox-teknikkerne i to grupper - en videnskabelig (science) og en kunst (art) - en spændende og anderledes opdeling, som jeg vil prøve at arbejde videre med. Dette for mig lige til at mindes, at de jo er her i 2014 det er 30 år siden den første testbog udkom på dansk, nemlig oversættelsen af Glenford Meyers bog 'The Art of Software Testing', som selvfølgelig fik den mundrette titel 'Kunsten at test edb-programmer'.

Interessant er det, at i forhold til beslutningstabeltest, så skaber 'regel-begrebet' fortsat debat, spørgsmål og drøftelse - jeg vil altså finde en måde at få det bedre forklaret på.

Pairwise Testing Explained

Det var igen en Lee Copeland tutorial, men denne gang med parvis test. En testteknik jeg ofte underviser i og bruger. Formålet var primært at få nye ideer til, hvordan denne kan formidles. Han præsenterede brugen af ortogonale tabeller (som jeg også anvender), og så præsenterede han også brugen af 2 værktøjer - AllPairs og PICT. AllPairs udviklet af James Bach og PICT af Microsoft.

Jeg har set værktøjerne før, men lagde mærke til at PICT har denne specielle egenskab, at det kan anvendes med afhængigheder mellem parametre - altså hvis P1 har værdien X så kan P2 ikke have værdien Y m.m. En anvendelig og ofte savnet feature.

Men også en god tutorial, og spændende at se at de samme spørgsmål dukker op på tværs af kontinenter.

Bookstore Open at STARwest 2014

HURRA - så er bogladen åben - har allerede udset mig et par bøger jeg skal have købt og læst.

Back to the Future.........

Lige købt en ny bog i bogladen på STARwest, og ser at den er udgivet (eller nok nærmere udgives) i 2015...........så er vel sådan lidt "back to the future" agtigt.......

STARwest 2014 - Tirsdag morgen - hvad er mine planer?

Så blev det tirsdag morgen her i Anaheim i Californien - husk der er 9 timers forskel - så det er ikke mig der sover længe.....heller ikke herovre.

Her tirsdag fortsætter tutorials - og jeg har tilmeldt mig to halvdags tutorials med selveste Lee Copeland (hvis du synes det siger dig et eller andet - så er det måske fordi du kender en af hans testbøger - A Practitioner's Guide to Software Test Design - en god bog som jeg klart kan anbefale, hvis ikke du kender den allerede) - her til formiddag er det en ny tutorial som han har udviklet der hedder 'Fundamental Test Design Techniques (han har haft en tilsvarende tidligere, men den er annonceret som NEW) og så i eftermiddag 'Pairwise Testing Explained' - jeg håber ved begge tutorials at kunne få inspiration til min egen undervisning i testteknikkerne - og så selvfølgelig at lære noget nyt..............

STARwest 2014 - Reflektioner over mandagens tutorials

Mandagens tutorials for mig var som tidligere nævnt 'Application Performance Testing - A Simplified Universal Approach' med Scott Barber og ' Exploratory Testing Explained' med Paul Holland. I det følgende er mine betragtninger i relation til disse to tutorials.

Application Performance Testing - A Simplified Universal Approach

Scott's tutorial var en god  gennemgang af de ledelsesmæssige, organisatoriske og strategiske betragtnnger der skal gøres i forbindelse med performance test - uden at det bliver et teknisk indlæg.

Der var nogle gode key points som jeg gerne vil dele:

• Performancetest skal være en integreret del af hele projektets life-cycle
• Hele projektteamet skal have fokus på det - ikke kun de tekniske testere
• Forventningerne til performancetesten skal være afstemt, herunder klar rolle- & ansvarsfordeling
• Fokus skal være konstant og samarbejdende.

Exploratory Testing Explained

Paul's tutorial startede lidt akavet i min optik, men blev bedre. Først brugte han en del tid på den nye ISO/IEEE/IEC 29119 standard for softwaretest - som han ikke er den store fan af, lød det til - og derefter brugte han en del tid på sine - åbenbart store - idoler; Brdr. Bach. Nu skal jeg selvfølgelig passe på med ikke at lade mig påvirke af mine personlige holdninger til førnævnte ting, men var jeg primært kommet for at få en ind-i-kroppen-oplevelse af exploratory test.

Han havde en god efterfølgende god (og relevant) start omkring exploratory test - step 1: learn how to test og derefter et nyt step 1: do exploratory testing! - og derefter følgende 'To do ET well, begin by doing it poorly' - dette var en ganske forfriskende start.

Der blev også præsenteret nogle synspunkter på forskellen mellem 'checking' og 'testing', som selvfølgelig er interessante, men nok vil være et fokusområde jeg vil præsentere senere på bloggen.

Exploratory test (ET) er en tilgang til test, og kan anvendes i forbindelse med alle testteknikker og alle udviklingsmodeller - det er altså ikke begrænset til den agile verden. ET er en testtilgang, hvor læring, testdesign, testafviklng og evaluering af testresultater kører som samtidige parallelle aktiviteter.

Der blev talt en del om heuristikker (Ifølge Wikipedia er en heuristik: En heuristik eller heuristisk metode er en metode, som hjælper en til eller tillader en at udforske og lære ting på egen hånd, eller at løse et problem ved at evaluere de erfaringer, man har gjort sig, og derved prøve sig frem, til man har en løsning).

Paul præsenterede en heuristisk teststrategi model omfattende begreber som projektmiljø, kvalitetskarakteristik, produktelement og opnået kvalitet der samtidig dækkede over risiko, orakler, dækningselement og rapportering. Nogle spændende betragtninger.

ET er en struktureret proces - og altså ikke tilfældig, men systematisk - og denne struktur stammer fra flere kilder: føromtalte testdesign-heuristikker, testcharter, timeboks, produktrisiko, produktstrukturen, udviklingsaktiviteterne, projektbegrænsninger, ressourcer allokeret af projektet og så den overordnede tilgang og mål med testen.

Hele ideen med ET er denne samtidighed af læring, design, afvikling og logning af test, og det er under denne proces det kreative og sjove element indgår, herunder forgreningen af testideer - altså det forhold at man starter med en testide, og under arbejdet med at teste denne, får man en ny ide til test, der igen skaber en ny osv.

En vigtig del af ET - ifølge Paul - er testhistorien, som består af 3 dele (eller måske nærmere 4) - (1) historien om status på produktet, (2) historien om hvordan du har testet det, (3) historien om værdien af test, og så (måske) (4) historien om værdien af disse historier.

ET bør køre sessionsbaseret - altså med et givet formål m.m., og deraf skal der selvfølgelig også ske en rapportering af dette - jvf. ovenstående historier.

Alt-i-alt var det en god og interessant eftermiddag, men jeg er dog overbevist om, at dette ikke er den eneste 'historie' om exploratory test.

Først kom TMap NEXT, så kom TPI NEXT, og så kom nu pepsi next.........

STARwest - Exploratory Testing Explained

Mandagens anden tutorial er om Exploratory Testing Explained. Mine forventninger er store - bør blive en ind-i-kroppen oplevelse (og måske endda en ud-af-kroppen oplevelse). :-)

STARwest - første tutorial er begyndt

Så er starten gået for min første tutorial på konferencen. Emnet er Application Performance Testing med mere fokus på ledelse, strategi og organisation. Helt som forventet. :-)

Så begynder STARwest 2014 i Anaheim

Så er det mandag morgen på den amerikanske vestkyst, hvilket starten på STARwest-konferencen. Mandag og tirsdag er dagene med tutorials, hvor man kommer i dybden med et emne. En tutorial varer en halv- eller heldag. I dag mandag er der 16 tutorials at vælge mellem, og jeg bruger formiddagen på temaet "Application Performance Testing - A Simplified Universal Approach", og eftermiddagen på "Exploratory Testing Explained". Samlet set en dag, som jeg har store forventninger til.

Konferencen varer hele ugen, og jeg løbende skrive om mine tildragelser her på bloggen.

STAReast 2014 - Afsluttende bemærkninger og refleksioner - og det blev til AMA......

Nu kan jeg ikke rigtigt udsætte det længere - efter nogle uger må jeg kunne forfatte nogle ord der afslutter den formelle del af afrapporteringen fra STAReast 2014 i Orlando.

Som sidste år gik jeg mig en tur for at få lidt frisk luft og forsøge at generere nogle kloge tanker. Årets STAReast-konference blev afholdt et andet sted end i fjor, men jeg satte mig for - meget målrettet - at gå efter den 'studenter-restaurant', hvor jeg sidste år forfattede mine afsluttende kommentarer. I husker måske den restaurant, som jeg opsøgte i fjor, og som var drevet af kvindelige-ornitologi studerende med speciale i ugler med store øjne.

Jeg gik hen til lokationen - og opdagede til min rædsel og meget store chok, at stedet var lukket - ved nærmere 'undersøgelse' - (hvem tænker her på IEEE 1044 standardens fire livscyklusfaser - Erkendelse, Undersøgelse, Handling, Arkivering? - altså udover mig) - fandt jeg dog ud af, at stedet ikke var lukket, men flyttet til en anden lokation grundet behovet for mere plads. Mit besøg i fjor gav dem åbenbart så meget tro på fremtiden, at de har været nød til at udvide. Mit personlige bidrag til at få gang i væksten i verdensøkonomien, og jeg blev nærmest modtaget som en 'hovedinteressent' - måske de har studeret TPI NEXT modellen og dens begreb 'hovedinteressent'?

OG jeg fandt det nye sted - og det var en flot udvidelse - godt at der er nogle der specialiserer sig i studiet af ugler med store øjne - og i år så jeg også nogle specialarter - både med fuld 'fjerdragt' og nogle hvor midterstykket var bart - måske gået til i 'kampens hede'.

NÅ - nok om ugler, selvom det er svært at løsrive sig. Det drejer sig trods alt om STAReast.

Hvis jeg skal opsummere STAReast 2014 i tre ord, så bliver det følgende - AMA - og NEJ dette er ikke et sponsoreret indlæg - men AMA står i denne forbindelse for:

1. Agilt
2. Mobilt
3. Automatisk. 

Det at køre projekterne agilt udvikler sig hele tiden i form at tilrettede og nye fremgangsmåder. De seneste år har jeg flere gange drøftet med mange inden for denne skønne testverden omkring brug af de 'gængse' metoder og værktøjer også i den agile verden. Det er af mange blevet afvist, men mit argument har hele tiden været, at selvom man arbejder agilt - så må man vil 'gerne tænke sig om'. Og det er netop hvad vore metoder generelt giver mulighed for - prioritering og fokusering ved hjælp af risiko-baseret test, reduktion af testomfanget ved hjælp af vore testteknikker. Skønt at se, at vort 'værktøjsbæltes' indhold fortsat kan anvendes.

Mobile løsningers udbredelse øges og øges for hver dag. Men min påstand er trods alt, at vi sagtens kan bruge vor nuværende viden - den skal bare lige 'twistes' på en anden måde - det kan være vi skal fokusere på nogle andre testtyper end før, andre testteknikker m.m.

Automatisk testafvikling er under fortsat udvikling, men der er fortsat store udfordringer både teknisk og ledelsesmæssigt - men husk Dot Graham berømte ord: 'A fool with a tool, is still a fool'.

MEN det generelle budskab fra STAReast 2014 er: Der kommer mere og mere software, det bliver mere og mere kompleks, der er større og større afhængigheder i softwaren - SÅ softwaretest er kommet for at blive, og alle ser en god fremtid for os. Men det må vi jo ikke bruge som en sovepude - vi skal hele tiden tilpasse de nye udfordringer der er for os - nye tider - nye teknologier.

Men flere og flere af indlægsholderne gjorde meget klart, at vi skal være mere professionelle - det gælder de 3 P'er - Practice, Practice, Practice. Derfor er opfordringen - hvis du er test manager, testanalytiker e.lign. - så brug 10 min. hver dag på at øve dit værktøjsbælte. Det giver værdi - for dig og dit projekt.

Hermed slutter 'testkorrespondenten' af fra STAReast - det var hvad jeg havde valgt i år.............er det ikke det der siges på en landsdækkende dansk TV-kanal.

STAReast 2014 - Lidt Mere

Jeg er godt nok kommet tilbage fra STAReast 2014, men der er fortsat en række indtryk jeg gerne vil dele.

Torsdag - konferencens sidste dag inden Leadership Summit om fredagen - deltog jeg i en seance med Michael Bolton - om emnet 'Leaping over the Boundaries of Boundary Value Analysis' under temaet 'testteknikker'. Præsentationen var meget typisk for ham - sjove lyde og betoninger undervejs, men han gennemgående tese var, at teknologien er meget mere kompleks end livet, og det viste han med en række gode eksempler hands-on og tilhørende værktøjer. Udover selve emnet var ganske interessant - så var det faktisk også underholdende.

Så ville jeg gerne have været inde og høre en præsentation om 'Mobilteststrategi' - men det blev desværre aflyst (med en underlig intetsigende forklaring), så i stedet endte jeg hos Florin Ursu der talte om 'Lightweight documentation for testing by using Mind Maps'. Det viste sig at være et godt valg - han viste nogle eksempler på brugen af Mind Maps til dokumentation dels af testdesignet og dels status/fremdriften på denne. Han viste også, hvordan han angav prioritet på hver enkelt testscenarie, visuelt viste testresultatet og det fremgik også, hvis der var issues relateret til den enkelte test. Et ganske interessant indlæg.

Udover dette bød torsdagen på en række key notes, hvor jeg specielt vil fremhæve Jennifer Bonine's key note torsdag eftermiddag 'The Art of Testing Transformation: Blending Technology with Cutting-Edge Processes'. Hendes hovedbudskab var, hvordan mikset af People, Processes and Technology kan ændre verden og virksomhederne. Hun talte også om 'Shift Left' som en ny bølge. Hun understregede, at alle ændringer i en organisation drejer sig om kultur og kulturforståelse, og argumenterede for, at en organisation er som et is-bjerg - vi ser kun en lille del af det samlede billede. En god afslutning på konference-delen af STAReast.

STAReast 2014 - Det fysiske udbytte

Her er et overblik over det mere fysiske udbytte fra 'ugens gang i Orlando' - bøger, trøje, tutorials, produktark, gatgets m.m.

Testing & Quality Leadership Summit - Orlando

STAReast - vægmaleri

Fourth Edition of Jorgensen's "Craftman's Approach for Software Testing"

This book is just amazing, and especially the new material on complex condition testing and MCDC. MCDC has three variants: Masking MCDC, Unique-Cause MCDC, and Unique-Cause + Masking MCDC. I was not able to sleep last night.

Risk-based testing for agile projects

Jeg har ofte diskussioner med andre indenfor det danske testsamfund om brugen af vore mange traditionelle tilgange og teknikker i den agile verden. Jeg bliver ofte mødt med holdninger om, at disse ting ikke kan bruges. De første tre dage her på STAReast har bekræftet mig i, at mange af vore traditionelle tilgange og metoder fortsat kan finde anvendelse - nogle gange med et lille twist.

Erik van Veenendaal har i dag været med til, at jeg har fået denne bekræftelse. Som det fremgår af nedenstående billede af risikomatricen har den de traditionelle dimensioner konsekvens og sandsynlighed, og den har de fire kvadranter. I øverste højre hjørne, som er den højeste risikoklasse, bruges de formelle testdesignteknikker m.m.

Dejligt at se konkrete eksempler på brugen af vore metoder, også i den agile verden.

Test process improvement in agile

Store var mine forventninger til et indlæg med ovenstående titel. Jeg har jo efterhånden lavet 30 assessments baseret på TPI-modellen, så den kender jeg.

Jeroen Mengerink har lavet en variant af TPI NEXT modellen gældende kun for agile miljøer. Modelen har 3 modenhedsniveauer og 12 key areas. Se nedenstående billede af test maturity matricen. Modenhedsniveauerne var lavet ud fra en model for modenhedsforøgelsen i agile teams, og de 12 keys areas ud fra talerens erfaring med hvad der er kritisk for et agilt miljø.

Denne præsentation var virkelig spændende, og den levede fuldt ud op til mine forventninger.

Keynote - Randy Rice

Great slide........

STAReast 2014 - Lee Copeland åbner konferencedelen

STAReast - bogstanden er åben

Har lige købt........

Seven Keys to Navigating Your Agile Testing Transition - Tutorial - Tirsdag formiddag

Så kom tidspunktet, hvor jeg skulle udfordres - agil test. Rob Galen og Mary Thorn havde med deres oplægsbeskrivelse virkelig fået pirket lidt til min nysgerrighed. Det var som taget ud af en tv-serie "MYTHBUSTERS". De har opstillet en række myter om agil test dækkende følgende 15 temaer:

1) Transforming your team
2) Automation
3) Developers and automation
4) Developers testing
5) Test planning and scripts
6) Testing within the sprint
7) Exploratory testing
8) Role of testers
9) Developer to tester workflow
10) Managing agile testers
11) Test metrics
12) Retrospectives - the secret sauce
13) Continuous improvement
14) The customer
15) Agile requirements - the product backlog.

Jeg kan ikke nå at reflektere dem alle i dag, men for hver af de femten områder var der en gennemgang af myter og virkeligheden. Spændende.

Omkring emnet developers testing var myten, at udviklere ikke kan teste deres egen kode. Virkeligheden er, at vi i agile teams skal med at fokusere på enkeltmedlemmers styrke og svaghed, men skal sikre, at der er tillid i teamet. Tillid til, at udviklerne kan lære det, og vi skal facilitere det.

Til emnet test planning and scripts var myten, at vi ikke behøver en testplan, men virkeligheden er noget helt andet. Der er fortsat behov for en testplan der sikrer det rette fokus i testen, herunder mellem flere agile teams og releases. Det samme gælder den risiko-baserede testtilgang - vi har fortsat behov for et instrument til prioritering.

En god tutorial, hvor jeg fik mit syn på det agile flyttet lidt, og blevet bekræftet i, at testhåndværket fortsat har en plads - også i den agile verden.

Risk-based testing - heldags tutorial - mandag

Her mandag havde jeg valgt en heldags tutorial i risk-based testing med Dale Perry. Det er jo altid et spændende emne, og et emne som mange inden for testområdet taler om, men ikke rigtigt får praktiseret.

Dagens gennemgang af emnet tyder ikke på, at der er kommet noget nyt frem om risiko-baseret test. En god og relevant udtalelse var dog, at nogle risici styrer du, og nogle andre styrer dig. En sjov personlig oplevelse var, at han brugte eksemplet med 13 parametre med hver 3 variable, til at illustrere at udtømmende test ikke er muligt. Det er de samme tal jeg ofte selv bruger.

Jeg synes dog, at indlæggets del omkring rapportering af risiko-baseret test fortsat mangler et mere modent niveau, og fortsat debat om hvad vi gør her. Hvordan får vi på en enkel og sigende måde vist en oversigt over de udestående risici. I eksemplerne blev der vist fine eksempler på rapportering af 3 af de 5 rapporteringsdimensioner inden for test.

Mange af emnerne i dagens tutorial er godt dækket i TMap NEXT Business Driven Test Management - se www.tmap.net

Det positive i indlægget var:

1) Sammenhængen mellem risiko-baseret test og testteknikkerne blev tydeliggjort.
2) Klar og tydelig opdeling i risikotyper: Projekt, proces og produkt.

Afslutningen var godt ramt, idet Dale stillede spørgsmålet, hvornår er risiko-baseret test unødvendig?

Svaret var:

1) Når softwaren aldrig vil blive brugt
2) Når du har ubegrænsede ressourcer.

Det vil sige ALDRIG

Søstrene er også med......

Vort søsterselskab er også synlige på STAReast 2014 - de sponserer wifi-loungen.

STAReast 2014 er begyndt

Så er konferencen i Orlando påbegyndt. Her mandag er jeg igang med en heldags tutorial om risk-based testing med Dale Perry.

TMap NEXT Test Engineer kursus afsluttet

En skøn uge med et godt hold kursister til TMap NEXT for Test Engineer. De har alle været dybt engageret i at blive beriget om dækningstyper og testdesignteknikker. Der har været særlig interesse for MC/DC og PCT med forskellige testdybder. Lørdag starter et nyt hold. Skøn uge.

Nye spændende testbøger

Er faldet over et par nye bøger - en om test af data warehouse og en om agile testing. Spændende læsning. De er på tysk - så er I advaret.

Brug kombinatorisk test.......til glæde for dig og forretningen!

Et godt og meget anerkendt testprincip tilsiger, at udtømmende test er umulig - dette betyder, at det ganske enkelt ikke er muligt at teste alle kombinationer af eksempelvis data i et moderne it-system. Dels er der for mange kombinationer og dels er der de ofte forekommende projektbegrænsninger i form af tid og penge.

Et lille eksempel kunne være et skærmbillede med 13 dropdown-bokse med hver 3 variable. Hvis alle kombinationer skal testes er der tale om 1.594.323 kombinationer (3 i 13 potens). Et meget stort tal.

Hvis vi nu et øjeblik forudsætter, at vi har en tester til rådighed, og vedkommende arbejder med en dansk normtid på 37 timer om ugen, og 200 dage om året (holder weekend, ferie, helligdage m.m.) og en test tager 1 minut. Under disse omstændigheder vil denne test tage ca. 17 år, og hvis ikke du mener, at forudsætningen om, at en test tager 1 minut er retvisende - så er det jo bare at gange op med et andet tal.

Jeg har prøvet ovenstående eksempel i det web-baserede værktøj HexaWise (www.hexawise.com), som kan arbejde med kombinatorisk test med forskellig styrke. Styrke 2 er det vi normalt omtaler som parvis test, styrke 3 omtales ofte som triple-wise test osv.

Det giver følgende reduktion af testsituationer - den første kolonne viser 'styrken', den anden kolonne viser antal testsituationer som ovenstående eksempel kan reduceres til og den tredje kolonne viser det reducerede antal testsituationer i procent af det samlede antal (1.594.323):

 

Som  det tydeligt kan ses kan der ske en markant reduktion af antal af testsituationer, og samtidig være i kontrol med testen - altså have viden om risiko-niveauet m.m.

Kombinatorisk test er en af de testteknikker jeg er meget glad for at kende og anvende......til stor glæde for forretningen.

Kan vi lære af Hollywood?

Ak ja - disse 'default værdier' i it-systemer.....NULL, blank m.m.

Så lige et jobopslag, hvor jobtype, arbejdstid og arbejdsdage alle er lig med NULL. Der var også andre problemer med relationer mellem datatyper, men dem viser jeg ikke lige. Men der mangler vist både noget syntaks og sematisk test.

Eller også er der ingen arbejdstid, ingen arbejdsdage, og måske slet ikke noget job.

Managing the Test People....

....er dagens vidensmæssige input: