STARwest 2015 - Tirsdag - En fantastisk dag

Så blev det dag 2 på STARwest 2015. Endnu en spændende dag med tutorials, hvor det er muligt at fordybe sig i et specifikt emne, eller to.

Mine valg var faldet på 'Building Your Mobile App Quality Strategy' og 'Testing Cloud Services'. To emner der både er aktuelle og spændende.

Den første tutorial blev præsenteret af Jason Arbon (medforfatter til bogen 'How Google Test Software'), så der var naturligvis store forventninger. Selve tutorialen var meget hands-on, men var også et godt mix mellem teori og praksis. Hans tilgang var 'mobile is different' og 'apps are different'.

Jason præsenterede en række hovedkilder til issues ved mobile apps: Brugere, UX, Sikkerhed, Reviews, Virkeligheden, Devices, Distribution, Konkurrence.

Hans konklusion var bl.a. at der er følgende ti kvalitetskarakteristikker der bør testes for:

• Elegance
• Usability
• Stability
• Privacy
• Security
• Performance
• Satisfaction
• Interrop
• Content
• Pricing.

Det var også interessant, hvad der så blev givet feed-back på fra brugerne - eksempelvis inden for spil er det Satisfaction og Content, mens Privacy og Security næsten ikke er synligt. Lidt modsats apps inden for det finansielle område (mobil bank m.m.) lå Usability og Security højest, mens Elegance var lavest.

Dagens anden tutorial var om 'Testing Cloud Services'. Et utroligt spændende og meget aktuelt emne. Udgangspunktet for de to oplægsholdere (Martin Pol og Jeroen Mengerink) var at næsten alt kan kan gøres i cloud-løsninger - som de sagde: Der var dog enkelte mere private ting som nok ikke var muligt - det skabte en god stemning.

Der er mange service-modeller inden for cloud: Testing as a Service (TaaS), Infrastructure as a Service (IaaS), Software as a Service (SaaS) osv. - det blev generelt præsenteret som '*aaS'. Udgangspunktet for tutorialen var SaaS.

Deres præsentation var bygget op om en tre-trins raket:

• Selection og dermed også 'Testing during Selection'
• Implementation og dermed også 'Testing during Implementation'
• Production og dermed også 'Testing in Production'.

Hele deres tilgang til test af cloud-løsninger var risiko-baseret - en god velkendt tilgang til prioritering og udvælgelse af test, og de præsenterede syv grupper af risici:

• Performance
• Security
• Availability & Continuity
• Functionality
• Maintainability
• Legislation & Regulations
• Suppliers & Outsourcing-

Det var også godt at høre, at test af cloud-løsninger starter tidligt - allerede under udvælgelsen af cloud-leverandør - alt sammen ud fra devisen 'aftal skilsmissen før brylluppet'.

Testmanagerens rolle bliver ændret noget, idet test bliver opfattet lidt bredere end ellers, og dermed øges testscope. Dette omfatter bl.a. 'testing during selection' og 'testing in production'. Dette betyder nemlig, at der er ni grupper af testaktiviteter - de syv risiko-grupper og så de to førnævnte.

Der er mange udfordringer ved test af cloud-løsninger, og nogle af testområderne bliver vanskelige. Eksempelvis performancetest - når der testes performance i et traditionelt set-up er man i kontrol med hensyn til belastning af systemet. Ved performancetest af cloud-løsninger er dette ikke muligt - man kender jo ikke de andre kunders load - og det er ganske relevant og har stor indflydelse på performance - for et af de karakteriske ting ved cloud er 'ressource pooling and sharing'.

Så ved test af cloud-løsninger skal mange af de kendte kvalitetskarakteristikker overvejes, herunder i risiko-vurderingen som før omtalt.

Et meget behandlet område var 'multi-platform testing' - altså det forhold at der kan være rigtige mange devices der kan bruges globalt i forhold til tilgang til systemerne i cloud. De viste en opgørelse af antallet af 'distrinct' Android-devices i 2012 som var 3.997. Dette tal var i 2014 steget til 18.796 - dette viser klart, at vi fortsat kan og bør anvende de mange teknikker vi som testere har i vor værktøjskasse.

Det var en fantastisk tirsdag eftermiddag med engagerede oplægsholdere, engagerede medhørere og god udveksling af holdninger og synspunkter.

STARwest 2015 - så gik starten

Så gik starten på årets STARwest 2015 i Anaheim (Los Angeles). Mandagens program består af 3 heldags tutorials og 14 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd.

Mine valg for mandagen faldt på 'Six Essential Skills for Modern Testers' og 'End-to-End Testing with the Heuristic Software Test Model'.

De seks essentielle færdigheder for den moderne tester er ifølge oplægsholderen (Bart Knaack):

• Requirements Engineering
• Database manipulation/monitoring using SQL
• Usability heuristics
• Exploratory testing
• Visual notation techniques for test preparation
• Creation of test data.

Det fremgik ikke tydeligt, hvorfor netop disse valg valgt. Det ses dog tydeligt, at der er et mix af mere 'hårde' og 'bløde' færdigheder.

Under det første punkt om requirements Engineering var der en øvelse, hvor deltagerne skulle opstille krav til et 'offentligt toilet', hvorefter disse krav skulle udveksles med en anden deltager, som så skulle designe det offentlige toilet. Denne øvelse vist klart og tydeligt, at kravdisciplinen er et svært område - men utroligt vigtigt for hele den øvrige udviklings- og testproces.

Netop kravdelen af indlægget var nok det bedste, idet de øvrige områder blev behandlet lidt overfladisk. Jeg havde nok forventet mere input på de mere tekniske discipliner - specielt set i lyset af titlen på indlægget om den 'moderne tester'. Forhold som eksempelvis kravene til den moderne tester ved skift til DevOps blev eksempelvis slet ikke behandlet eller omtalt - DevOps hvor leverancehastigheden øges betragteligt - det må da kræve ændrede færdigheder for den moderne tester.

Den anden tutorial om end-to-end test (Paul Holland) tog sit udgangspunkt i Bach & Boltons Rapid Software Testing koncept. Her var PCO (Product Coverage Outline) i fokus, som et værktøj til at fokusere og prioritere testen.

Udgangspunktet var SFDIPOT:

• Structure of the program (smallest components)
• Functionality (individual features)
• Data (I/O, create, store, manipulate, backup,.....)
• Interface (UI's, API's,.....)
• Platform (Computer, CPU, OS, browser,.....)
• Operations (How is it used by customers)
• Timings (Race conds, time of day/week/month/year,...)

Ud fra ovenstående til at generere testideer blev der så behandlet risici m.m., som grundlag for beslutningen om testdækning og -indsats.

Oplægsholderen gjorde noget ud af 'samtalen' med designere, forretningen, kunden. At man skulle se på hvordan produktets markedsføring var lagt an - altså hvad blev kunden stillet i udsigt. Kigge på en eventuel tidligere version af produktet, og kigge på konkurrenternes produkt inden for samme område. Dette fremfor at læse og analysere specifikationer - 'Functional Spec Blindness' skal undgås  vi skal være kreative i stedet for. Budskabet ved at analysere specs var at så bekræftede vi jo 'bare' kravene - vi skulle være mere udforskende.

Mandagen var samlet set en god oplevelse - men blev en rigtig god en da jeg opdagede, at bogladen allerede var blevet åbnet her mandag - har andre gange først været åbnet i forbindelse med at EXPO-området også blev tilgængeligt.

STARwest 2015 i Anaheim starter mandag

Så skal vi til det igen - en uge med en masse nye indtryk, oplevelser og ny lærdom.

Stedet er Anaheim i Los Angeles, emnet er softwaretest, konferencen er STARwest.

Konceptet følger de andres års - mandag og tirsdag er der hel- eller halvdags tutorials, onsdag og torsdag keynotes og de kortere konferenceindlæg, og fredag sluttes af med en heldags session om ledelse i test og kvalitet.

Jeg vil på denne blog skrive indlæg hele ugen om de forskellige præsentationer, indlæg og indtryk. Mandag deltager jeg i 2 halvdags tutorials, og det samme tirsdag. De er valgt på forhånd.

Navneskiltet er afhentet - og sponseret af vort søsterselskab:

 

De to tutorials mandag er 'Six Essential Skills for Modern Testers' og 'End-to-End Testing with the Heuristic Software Test Model'. Tirsdag deltager jeg i 'Building Your Mobile App Quality Strategy' og 'Testing Cloud Services'.

 

Jeg har store forventninger til ugen, og glæder mig.

Dagens Bedste Krav......

Dagens bedste krav er vist:

"Løsningen skal understøtte, at der kan lægges kalender for ressourcerne ubegrænset ud i fremtiden."

Kan jeg booke et mødelokale om 1 milliard år?

Fortsat plads til forbedringer......den danske testmodenhed

Softwaretest som fagområde har udviklet sig meget i Danmark de sidste 5-10 år. Der er sket en formalisering af test, og mange virksomheder har etableret deciderede testkompetencecentre. 

En ændring som har sin 'naturlige' udvikling i forhold til it's betydning for virksomhederne - private såvel som offentlige. It i dag er ofte af væsentlig betydning for virksomhedens mulighed for at konkurrere og virke på deres respektive markeder.

Med denne øgede betydning af it i mange virksomheder, og for os som enkeltindivider, har det stor betydning for os alle, hvilken kvalitet der er i softwaren. Mange virksomheder har udvist ønske om at forbedre sig på testområdet, og i den forbindelse har jeg siden 2007 gennemført 35 målinger af testsituationen hos danske virksomheder. 

Motivationen hos virksomhederne til at få gennemført sådanne målinger er ofte begrundet i et ønske om at afkorte gennemløbstiden, automatisere testen, øge kvaliteten, forbedre økonomien, opfylde kundekrav m.m.

Ved disse målinger har jeg anvendt modenhedsmodellen TPI NEXT - (www.tpinext.com) - TPI står for Test Process Improvement, og er en af flere modeller til måling af modenheden. For dybere information om modellen henviser jeg til førnævnte hjemmeside.

De 35 målinger dækker fra mellemstore til meget store danske virksomheder med global forretningsmodel, og en række offentlige styrelser. 

Metodemæssigt har jeg behandlet alle ens ved udarbejdelse af et dansk benchmark for testmodenhed. Denne forudsætning kan altid diskuteres, men det er et bevidst valg jeg har truffet.

Nedenstående diagram viser opgørelsen af den danske testmodenhed blandt 35 danske virksomheder, og opgjort i september 2015 - maksimumværdien i diagrammet omfatter alle de fire modenhedsniveauer i TPI NEXT modellen - altså: Initinal, Controlled, Efficient og Optimizing:

Ovenstående vil jeg nu referere til, som det danske benchmark for testmodenhed.

På den positive side må det anføres, at det ser fornuftigt ud inden for stakeholder commitment, reporting, defect management og tester professionalism. 

Stakeholder commitment omhandler bl.a. viden om, hvem der er vor primære interessent og deres involvering i vigtige beslutninger for testen. 

Rapportering omfatter selvfølgelig status og fremdrift, men også testresultater. Her mangler bl.a. noget som rapportering af produktrisici. Reporting holdes typisk lidt oppe i modenhed grundet 'hjælp' fra de generelle governance-modeller der er etableret. 

Defect management omhandler proces for fejlhåndtering, fastlagte kategoriseringer m.m., og holdes typisk oppe af brug af forskellige typer af testværktøjer (fejlhåndterings- og teststyringsværktøjer).

Der er dog fortsat en række områder, hvor der kan ske forbedringer. Forbedringer der vil give fordele for virksomhederne både på økonomien og tiden. 

Degree of involvement som omhandler involveringen af testerne både opgave- og tidsmæssigt kan forbedres. En undersøgelse jeg tidligere har udarbejdet viser, at der er høj grad af forståelse af værdien af tidlige involvering af testere, men det kniber med den faktiske og konkrete involvering - se rapporten Test i Danmark 2015 - (www.capgeminisogeti.dk/om-os/publikationer/test-i-danmark-2015/) - og et af de områder, hvor der kan og bør ske en forbedring er involveringen af interessenterne i prioriteringen og fokusering af testen. 

Netop denne prioritering, fokusering og differentiering af testen mangler de fleste steder - f.eks. i form af anvendelse af risikobaseret test. Her er der et stort grundlag for at få et konkret og operationelt redskab til en klar prioritering af testen (både rækkefølgen og dybde). 

Metrics er et område der virkelig kan gøres noget ved. Der er meget få virksomheder som har en systematisk tilgang til anvendelse og brug af metrikker inden for testområdet, og de er meget sjældent standardiseret på tværs af testprojekter. Ved en ensartet måde og tilgang til brugen af testmetrikker er der potentielt et stærkt værktøj til styring, estimering og planlægning af testen. 

Et andet område med stort potentiale er test case design. Det er paradoksalt at der er en høj modenhed inden for tester professionalism, men at det ikke på alle områder udmøntes i praksis. Mange testere har fået uddannelse og træning, men det halter lidt med den faktiske anvendelse af f.eks. testteknikkerne, der kan hjælpe med at formalisere og reducere testens omfang på en systematisk måde.

En sammenfattende konklusion må være: "....der er fortsat plads til forbedringer af testmodenheden hos danske virksomheder".

Test i Danmark 2015

Velkommen til anden udgave af Test i Danmark rapporten. Test i Danmark har til formål at undersøge softwaretest og QA tendenser i Danmark og dets udvikling.

Undersøgelsen tager udgangspunkt i hovedkonklusionerne fra World Quality Report 2014-15, der er udarbejdet sammen med HP, og undersøger den danske softwaretests tilstand op mod resten af testverdenen.

Siden 2009 har Sogeti, Capgemini og HP publiceret denne rapport for at give indsigt i de seneste trends inden for applikationskvalitet, metoder, værktøjer og processer.

World Quality Report 2014-15 er baseret på i alt 1.543 detaljerede telefoninterviews på tværs af 25 lande med CIO’er, VP of Applications, it-direktører/chefer og QA direktører/chefer i private  virksomheder og offentlige organisationer.

I forbindelse med TestExpo-konferencen (www.testexpo.dk) den 29/1 2015 i Bella Center i København blev der foretaget en spørgeskemaundersøgelse. Der er 72 konferencedeltagere, der har besvaret undersøgelsens 10 spørgsmål.

Rapporten kan hentes via følgende link:

http://www.capgeminisogeti.dk/om-os/publikationer/test-i-danmark-2015/

Domæneanalyse - en spændende, relevant og effektiv testteknik

Som tester anvender man ofte både ækvivalenspartitionering og grænseværdianalyse - som er et par gode og anvendelige datadrevne testteknikker. Udfordringen er en gang imellem, at disse ser verden endimensionelt, men i mange situationer interagerer data med hinanden, og en paramenters dataværdi kan påvirke hvilke dataværdien for en anden parameter der er mulig.

Nedenstående tager udgangspunkt i, at der er tale om 2 parametre. Situationer med 3 eller flere parametre kræver værktøjsunderstøttelse, og behandles ikke her, men mange af principperne er de samme.

I en sådan situation som beskrevet i ovenstående er domæneanalyse en både relevant og effektiv testteknik. Domæneanalyse er rigtig god til at identificere om grænseværdierne er implementeret korrekt i systemet - det drejer sig om manglende grænseværdier, ekstra grænseværdier, grænseværdier der er skiftet/ændret og/eller grænseværdier der er 'vippet' (f.eks. er kravet til grænseværdien 'Y = X - 10', men der er implementeret 'Y = X + 10'.

Først en række definitioner af værdier - med de engelske betegnelser i parentes:

• INDE (IN) - repræsenterer en værdi der er i partitionen/domænet.
• UDE (OUT) - repræsenterer en værdi der er uden for partitionen/domænet/grænsen.
• PÅ (ON) - repræsenterer en værdi på grænsen af partitionen/domænet.
• UDENFOR (OFF) - repræsenterer en værdi lige udenfor partitionens/domænets grænse - altså den mindst mulige nominelle værdi.

Domænets grænser kan være lukkede eller åbne:

• LUKKEDE grænser - defineret med de matematiske operatorer '>=', '<=' eller '=' - betyder at grænsen ikke er inkluderet i domænet, hvilket betyder, at:
• PÅ-værdien er i domænet
• UDENFOR-værdien er ikke i domænet.
• ÅBNE grænser - defineret med de matematiske operatorer '>' eller '<' - betyder at grænsen ikke er inkluderet i domænet, hvilket betyder, at:
• PÅ-værdien er ikke i domænet
• UDENFOR-værdien er i domænet.

Domæneanalyseteknikken betyder så, at der for den meget 'strenge' operator '=' skal vælges en PÅ-værdi og to UDENFOR-værdier - en på hver side af grænsen, mens der for de resterende operatorer (>=, <=, >, <) skal vælges en PÅ-værdi og en UDENFOR-værdi.

En særdeles værdifuld hjælp til domæneanalyse er nedenstående tabel - kaldet en domæneanalysematrix:

I ovenstående domæneanalysematrix (tom skabelon) tester de første fire testcases PÅ og UDENFOR værdierne for betingelserne relateret til variabel 1 og INDE værdi for variabel 2, mens testcases 5 - 8 tester PÅ og UDENFOR værdierne for betingelserne relateret til variabel 2 og INDE værdi for variable 1.

Jeg håber dette indlæg viser værdien af domæneanalyse, samt hvordan testteknikken anvendes. 

International Workshop | Combinatorial Testing

I denne uge afvikles IEEE International Conference on Software Testing, Verification and Validation" - det foregår i Graz (Østrig).

En del af denne konference er en dag med workshops - hvor en af dem om brugen af kombinatoriske teknikker. En workshop hvor målet er at få kædet den akademiske forskning sammen med industrien (test).

Der var følgende på agendaen:

• Embedded Functions in Combinatorial Test Designs
• Introducing Combinatorial Testing in the Organization - a Report on a First Attempt
• Combining Minimization and Generation for Combinatorial Testing
• A First Systematic Mapping Study on Combinatorial Interaction Testing for Software Product Lines
• Evaluation of the IPO-Family Algorithms for Test Case Generation in Web Security Testing
• A Process for Non-Functional Combinatorial Testing - Selection of Parameter Values from a Nondiscrete Domain Space
• Combinatorial Interaction Testing of Tangled Configuration Options
• Relationship between Pairwise and MC/DC Testing: Initial Experimental Results
• Why Combinatorial Testing Works - Analyzing Minimal Failure-Causing Schemas in Logic Expressions
• Constraint Handling in Combinatorial Testing Generation Using Forbidden Tuples
• Using Decision Trees to aid Algorithm Selection in Combinatorial Interaction Test Generation
• Flattening or Not of the Combinatorial Interaction Testing Models
• Improving IPOG's Vertical Growth Based on a Graph Coloring Scheme
• Equivalence Class Verification and Oracle-free Testing Using Two-Layer Covering Arrays
• BEN: A Combinatorial Testing-Based Fault Localization Tool.

Det har været en interessant og spændende dag - og et godt forsøg på at få udbredt forskningsverdenens resultater til testverdenen. Der er mange input, og jeg er slet ikke klar til at videreformidle nogle af dem nu. Det må komme senere, idet det meste af materialet, i form af forskningsrapporter, først er gjort tilgængeligt i dag.

Men jeg vil den kommende tid behandle emnerne på denne blog.

Krav skal være testbare

Systemet skal være subjektivt tilfredsstillende for alle brugere

Ovenstående kravformulering har jeg hørt fra en kollega. Et krav der er umuligt at teste.

Test i Danmark 2015

I denne uge behandler og analyserer vi de svar vi fik indsamlet fra deltagerne på TestExpo 2015. Ligesom sidste år blev der også i år stillet 10 test relaterede spørgsmål - svarene og analysen samles i rapporten Test i Danmark 2015, som udkommer primo marts.

Rapporten fra 2014 kan bestilles på www.capgeminisogeti.dk

Når den nye rapport er klar bestilles den samme sted.

God fornøjelse.

iPad-opdatering satte S-tog i stå

»Mange linjer« aflyst mandag morgen på grund af bøvl med lokomotivførernes iPad.

Et typisk S-tog med otte vogne vejer i nærheden af 124 ton. Mandag morgen blev de stoppet af en iPad på lige omkring 437 gram. En fejl i en sikkerhedsopdatering på lokomotivførernes iPad skabte nemlig store problem og betød aflysninger på »mange linjer,« bekræfter DSB.

TEST - TEST - TEST - TEST - TEST

Nye testdesignteknikker

Så er jeg klar til at præsentere to nye testdesignteknikker i ISTQB Advanced Pensum for testanalytikere på TestExpo 2015 - domæneanalyse og test af userstory.

The Black Swan......

En spændende bog.......

TMap HD - en ny bog i TMap-suiten

Det seneste 'medlem' af TMap-familien er bogen 'Neils Quest for Quality - a TMap HD Story' - HD for Human Driven - se mere på www.tmap.net

Etik for softwaretestere - et forsøg på at uddybe disse.....

Deltagelse i softwaretest giver enkeltpersoner mulighed for at få indblik i fortrolige og interne oplysninger. Etiske regler er nødvendige blandt andet for at sikre, at oplysningerne ikke bruges på en upassende måde.

ISTQB har anvist en række etiske regler, men hvad betyder de i praksis - jeg vil her forsøge at komme med et første bud på dette:

OFFENTLIGHEDEN
ISTQB: Certificerede softwaretestere skal agere i overensstemmelse med offentlighedens interesser. 

Hvad betyder det: Hvis du finder en fejl der kan ramme brugerne er det vigtigt at rapportere denne. Du skal som tester ikke tilbageholde informationer om fejl.

KLIENT OG ARBEJDSGIVER

ISTQB: Certificerede softwaretestere skal agere på en måde, der bedst muligt tager hensyn til deres klients og arbejdsgivers interesser og er konsistent med offentlighedens interesser.
Hvad betyder det: Du må ikke lade personlige interesser/relationer påvirke rapporteringen af fejl eller prioriteringen/vurderingen af denne.

PRODUKT

ISTQB: Certificerede softwaretestere skal sikre, at de leverancer, de udarbejder (om de produkter og systemer, de tester), opfylder de højest mulige professionelle standarder.
Hvad betyder det: Som certificeret tester skal du fortsætte med at lære. Test som fagområde udvikler sig hele tiden, og test kræver den bedst mulige viden og færdighed. Som tester skal du aldrig nøjes med en overfladisk og forældet tilgang til test. 

VURDERING

ISTQB: Certificerede softwaretestere skal opretholde integritet og uafhængighed i deres professionelle vurdering.
Hvad betyder det: Der er måske en konflikt i forhold til kunden, arbejdsgiver eller andre der fortæller dig som tester, at du ikke skal rapportere en fejl, men du skal som tester raportere på en objektiv og professionel måde - hvis du mener der er en fejl - så rapporter den.

STYRING

ISTQB: Certificerede softwaretestansvarlige og ledere skal bidrage med og fremme en etisk tilgang til styring af softwaretest.
Hvad betyder det: Testafvikling er normalt meget presset i forhold til tidspunktet for levering af produktet, hvorfor overskridelser og forsinkelser i forhold til tid, budget er sandsynlig. Det er derfor nemt at tage en række genveje og dermed eliminere den gode testpraksis. Testlederen skal være opmærksom på dette. 

ERHVERV

ISTQB: Certificerede softwaretestere skal fremme erhvervets integritet og ry i overensstemmelse med offentlighedens interesse.
Hvad betyder det: Dette betyder, at testere ikke bare skal passe deres job - de skal også tale om det, skrive white papers og træne andre i at teste bedre. Erhvervets ry er bedst tjent med at være opmærksom på dette.

KOLLEGER

ISTQB: Certificerede softwaretestere skal være fair og støttende over for deres kolleger og fremme samarbejdet med softwareudviklerne.
Hvad betyder det: Som tester rapporterer du fejl og problemer, hvorfor det er nemt at komme i en slags 'krigstilstand' med udviklerne. Som skal tester skal du være konstruktiv og bidrage til projektets værdiskabelse.

PERSONLIGT

ISTQB: Certificerede softwaretestere skal deltage i livslang indlæring med hensyn til udøvelsen af deres erhverv, og de skal fremme en etisk tilgang til udøvelsen af erhvervet.
Hvad betyder det: Du skal altid være opmærksom på de krav der stilles til dit erhverv som tester - teknologien ændrer sig over tid, hvorfor du som tester skal udvikle dine kompetencer.
  

Techno Vision 2015 - Update

Så er dialog værktøjet Techno Vision opdateret til 2015. Spændende og praktisk tilgang til etablering af virksomhedens digitale strategi.

STARwest 2014 - afsluttende bemærkninger

Så er konferencen i Anaheim (Los Angeles) veloverstået, og de mange ideer og tanker er ved at bundfælde sig. Det tager altid lidt tid at få alle disse input efterbehandlet – i hvert fald med min begrænsede ’kapacitet’. Det er grunden til at der er gået nogle uger før disse afsluttende bemærkninger er forfattet.

Nu var dette jo min første konference på west-siden af USA, og det kan anbefales – det var en lang tur, men niveauet af faglighed er højt, og netværket udvides på en anden måde og i en anden retning – til stor glæde for alle parter. 

Ligesom STAReast er det agile-tema fortsat meget fremherskende – i den forstand der sker en fortsat modning af det agile tankesæt inden for test. Rob Galen fremgår i mit ’lille’ univers som en god referenceramme inden for den agile verden, og understøtter min ’personlige’ rejse (transition) mod en bredere dækning af tilgange til test. Hans ’three pillars of agile’ er for mig en god model til forståelse og læring af det agile tankesæt.

Der var specielt en key-note jeg vil fremhæve her i min afsluttende bemærkninger – The Power of the Individual Tester’ af Ben Simo, som havde prøvet hjemmesiden i relation til det nye amerikanske sundshedsprogram – healthcare.gov. Det var virkelig eksemplet på, hvad der kan gå galt. Ben var på STARwest som privatperson, da det var som privatperson han havde prøvet hjemmesiden – og det var rystende dels hvad han havde fundet og dels hvordan han blev af de amerikanske sundhedsmyndigheder udråbt til at være ’uddannet hacker’. Så meget for at påpege fejl og uhensigtsmæssigheder – som blev benægtet at var der, men som alligevel efterfølgende blev rettet.

En af de tutorials jeg deltog i som jeg specielt vil nævne her er Lee Copelands Fundamental Test Techniques – han havde en spændende opdeling af black-box teknikkerne i science og art – altså videnskab og kunst. Det får mig også lige til at erindre, at det jo netop er her i 2014 det er 30 år siden, at den første testbog udkom på dansk (1984), nemlig bogen Kunsten at teste edb-programmer af Glenford Meyer, hvor det at teste er kunst. Det er i hvert fald en kunst at teste struktureret og fornuftigt – derfor er testteknikkerne vigtige. I går, i dag og i morgen.

Jeg glæder mig til kommende oplevelser på STAR-konferencerne i både USA og Europa.

Skotsk bank får kæmpebøde for IT-problemer

"De regulerende myndigheder udtaler, at op til 635 systemer hos RBS blev ramt af en software-opdatering, som gjorde kunderne ude af stand til at benytte pengeautomater, netbank eller betale lån i op til 20 dage."

Interessant udvikling - som sikkert også skal ses i lyset af bankernes større placering og virke som en vital del af den finansielle infrastruktur - og gradueringen af bankerne i bl.a. 'systemiske' (SIFI).

Testing & Quality Leadership Summit @STARwest 2014

Så er det fredag, og fokus i dagens heldags Summit er test, kvalitet og ledelse, og med Julie Gardiner, Jon Bach, Rob Sabourin og Jeff Payne.

STARwest 2014 - reflektioner over torsdagens indtryk og oplevelser

Den første keynote torsdag morgen var virkelig en 'øjen-åbner' for alle deltagere, hvor Ben Simo (eBay - men det var ikke som repræsentant for denne virksomhed han var der, men som privatperson) præsenterede sine oplevelser som bruger af sitet www.healthcare.gov, som er 'indgangen' til det nye amerikanske sundhedssystem. Ben Simo's keynote hed The Power of an Individual Tester: The Healthcare.gov Experience.

Ben's keynote var virkelig en oplevelse - han brugte sin viden om test af websites, og viste eksempel efter eksempel på sikkerhedsbrister, fejl, uhensigtsmæssigheder m.m. på denne hjemmeside, som jo potentielt skal anvendes af mange millioner af amerikanere.

Han viste også klip fra forskellige TV-programmer og kongreshøringer, hvor han af chefen for den offentlige styrelse der er ansvarlig for sitet blev kaldt 'hacker', og alle situationerne (læs: problemerne) han fandt i web-løsningen for teoretiske - men det er alligevel blevet rettet en for en efterfølgende.

Efter dette 'morgen-break' var det nok svært at se det geniale i resten af dagens indlæg - men det lykkedes ganske udemærket for Deborah Kennedy i sit indlæg på track-session Testers, Use Metrics Wisely or Don't Use Them at All. Her viste hun en masse gode eksempler på, hvordan der kunne opstilles grafer, diagrammer og andre oversigten - som alene med den måde de blev opstillet på 'slørede' det faktiske billede - dejligt input til 'testrapporteringens spindoktor'.

Resten af torsdagen gik med Metrics That Matter med Pablo Garcia, The Unfortunate Triumph of Process over Purpose med James Christie, User Acceptance Testing in the Testing Center of Excellence med Deepika Mamnani og sluttede af med keynoten Softwarts: Security Testing for Muggles med Paco Hope. En rigtig 'Security Wizard'.

Alt-i-alt også en god sidste-dag på konferencen, og nu afventer kun fredagens 'The Testing & Quality Leadership Summit - Test Leadership on the Edge'.

STARwest 2014 - det fysiske udbytte

STARwest 2014 - jeg gik mig over sø og land

Jeg er nu på fjerde dagen af STARwest 2014 konferencen, og er nu kommet til tidspunktet, hvor der hos mig nogle gange opstår det der vist kaldes konference-kuller.

Det sker for selv den bedste, og altså også for mig. Når det sker plejer jeg at gå en tur. Nogle gange kort. Nogle gange langt. Nogle gange sker der noget magisk.

Så jeg gik mig over sø og land........og hvad så jeg.....Julie Gardiner?...... dog ikke, men følte mig lidt som Jeppe i baronens seng.......drømmer jeg eller er jeg vågen.

Jeg gik langt, men alligevel, nok ikke til Orlando i Florida. Og dog - pludselig så jeg i det fjerne, i smoggen i LA, noget der kunne minde om studenter-konceptet fra syden.

Og ja. Jeg så rigtigt. Konceptet med en restaurant drevet af kvindelige studerende med speciale i ugler med store øjne har spredt sig.

Jeg er jo et godt menneske. Så her sidder jeg. Blandt kvindelige studerende med speciale i ugler med store øjne. Meget store. Knap så store. I forskellige farver, mønstre og former.

Men støtter dem alle.........selvom de ikke taler tysk......og dog.....vielleicht......

STARwest 2014 - og det skete i de dage....og.....hører Bob Galen den danske gruppe 'På Slaget 12'?

Så blev det onsdag og dermed midtvejs i dette ugelange event med test, test og test på programmet. Som tidligere omtalt var der tutorials mandag og tirsdag, og onsdag og torsdag selve konferencedelen med tracksessions, hvor der afvikles typisk 6 sideløbende spor. Onsdag var der 3 key-notes, som man har mulighed for at deltage i alle sammen. 18 track-sessions som man har mulighed for at deltage i 3 af, da de kører sideløbende. Udover dette var der 9 såkaldte tekniske præsentationer, som typisk er værktøjsleverandører og andre udstillere på EXPO'et der tilbyder uddybende gennemgang. Disse kører også sideløbende med track-sessions. Så er der bonus-sessions og yderligere tekniske præsentationer under frokosten - så der er næsten dårlig samvittighed over alt det man ikke når at deltage i - næsten ligesom en rigtig test......

Åbnings key-noten var Quality Principles for Today's "Gluware" - Testing Web Services, Libraries and Frameworks med Julie Gardiner. Julie er en 'bombe' på mange områder, og ikke mindst på energi og engagement. En ren fornøjelse, og så viste hun sig også som tryllekunster. Hun talte bl.a. om information og kommunikation, og de komplicerende faktorer der er for at sikre det - teknologi, geografi/kultur og daglig multi-tasking. Et af hendes mange gode budskaber var, at vi som testere skal være bedre til at vise værdiskabelsen over for ledelsen - altså synliggørelse af f.eks. fejl fundet, og dermed forhåbenligt reduceret produktrisiko, og via metrikker som DDP. Hun talte også om, hvad vi skal være opmærksom på ved brug af eksterne systemleverandører - vi skal spørge ind til leverandørens test og kvalitets setup både før udvælgelsen, og under projektforløbet. Altså stille krav - det var smukt. Julie havde et par gode bemærkninger - eller der var faktisk mange - men et af dem var RISK RULED.

Dagens anden key-note var med Bob Galen over emnet Balancing the Crusty and Old with the Shiny and New. Et markant, og pragmatisk, indlæg om vor testverden, om dem og os. Traditionel udvikling eller agil udvikling. Men Bob havde for de mange situationer han beskrev, også en 'lige-midt-i-mellem' - og det får mig til at tænke over om Bob Galen kender den aarhusianske gruppe 'På Slaget 12' og deres skønne sang 'Lige Midt Imellem'? Og det var hans budskab - det er ikke et enten-eller, men mellem. Så derfor til de der arbejder med det agile - smid nu ikke de smarte ting fra den traditionelle testverden ud - risiko-baseret test er fortsat smart og nødvendigt, testteknikkerne er fortsat smarte og nødvendige osv., og omvendt den traditionelle 'verden' kan også sagtens bruge mang af ideerne fra den agile verden. Han havde dog en rigtig god udtalelse - den traditionelle verden 'deliver the ASK', men den agile verden 'deliver the NEED'. Han har nok ikke helt uret.

Jeg blev en del inspireret af Bob Galen, hvorfor jeg deltog i den første track-session hos ham - hvor han talte om A Tester's Guide to Collaborating with Product Owners. Det væsentligske budskab var vist - du skal have respekt for Product Owner - de har et hårdt job. Han præsenterede følgende ni områder, som guidelines for testernes samarbejde med Product Owner (PO):

1. Bridge stories from team to the PO - omtalte her de 3 Amigos (Tester - Udvikler - PO)
2. Help write solid Acceptance Tests
3. Hold everyone 'accountable' to DoD
4. Represent the customers
5. Ask questions - be inquisitive, be curious, explore
6. What about the Cost of Quality?
7. What about the Cost of Testing?
8. The backlog is a Plan - help focus it towards Release
9. Get to know your PO.

Afslutningsvis sagde han 'hjælp PO med at bygge det rigtige, og hjælp teamet med at bygge det rigtigt'. Meget godt ramt.

Min næste track-session var Martin Pol med Test Improvement in Our Rapidly Changing World. Et af hans budskaber var - det gælder ikke om at scope point i en modenhedsmodel, det drejer sig om at forbedre - og det har han da ret i. Et indlæg som var præget af, at han vist synes han skulle skabe en forbindelse mellem den traditionelle verden og den agile verden - inden for testforbedring, hvilket han delvist opnåede. Han brugte en del tid på at fortælle om TPI. :-)

Min sidste track-session onsdag var med Shelley Rueger over temaet Implementing Outsourced Testing Services with a Third Party Vendor. Hendes fokus var på crowd-sourcing, og tog udgangspunkt i en konkret case. Det var et spændende indlæg - dels fordi der ikke var mange der deltog og dermed kom vi tættere på med spørgsmål og kommentarer og dels fordi det var et relativt nyt emne for mig. Hun gennemgik bl.a. også forskellene mellem outsourcing og crows-sourcing - hvilket var spændende - og fordele/ulemper mellem disse, men med udgangspunkt i den konkrete case.

Dagens sidste aktivitet - på konferencen - var Lightning Strikes the Keynotes. Sessionen varer en time under facilitering af Lee Copeland, hvor 9 forskellige indlægsholdere taler i maksimalt 5 min. over et emne, som vedkommende føler for.......endnu engang et anderledes og faktisk ganske underholdende afslutning på en lang dag.

World Quality Report 2014-15 er nu på gaden

Den 6. udgave af World Quality Report (WQR) er nu offentliggjort, og den viser en række spændende forhold i forhold til test og kvalitet. Undersøgelsen er global med et lokalt tvist - og er baseret på 1.543 interviews med it-ledere, hvoraf 33 fra Danmark.

Der er en række spændende key-findings i WQR:

1. Transformationsprogrammer der bruger SMAC (Social, Mobile, Analytics, Cloud) og IoT (Internet of Things) ændrer fokus på test og kvalitet, og øger vigtigheden af samme.
2. Budgetterne for test og kvalitet fortsætter med at stige til højder der ikke er set tidligere, og dette er delvist drevet af nye digitaliseringsprojekter.
3. Mange virksomheder foretrækker at organisere deres test- og kvalitetsfunktioner som en kombination af centrale og decentrale enheder.
4. Mange virksomheder øger anvendelsen af eksterne serviceleverandører inden for test og kvalitet i fællesskab.
5. Andelen af rene offshore engagementer er faldende.
6. Ikke-funktionelle krav - specielt sikkerhed og performance - og kundeoplevelser bliver et mere og mere vigtigt fokusområde for test og kvalitet.
7. De fleste virksomheder kræver hurtige og tilpassede løsninger i forholdet mellem test og kvalitet og agile udviklingsmetoder.
8. Brugen af cloud-baserede løsninger for testområder er stigende.
9. Mange virksomheder har stigende modenhed indenfor områderne testmiljø, testdata management og testautomatisering.

WQR 2014-15 kan hentes på www.worldqualityreport.com eller på www.capgeminisogeti.dk - god fornøjelse med læsningen.

STARwest 2014 - Tirsdagens tutorials - reflektioner - og så er bogladen åben

Så er den officielle del af tirsdagens program overstået - eller det er faktisk ikke helt rigtigt, idet der senere på eftermiddagen er åbningsreception for konferencedelen der er onsdag og torsdag, hvor der er kortere præsentationer (30-45 min) og key notes.

Dagens 2 tutorials jeg deltog var udvalgt ud af 18 mulige - det er altid svært at fravælge, men det er ganske enkelt nødvendigt.

Fundamental Test Design Techniques

Det var en tutorial af Lee Copeland - som altid er engageret og fornøjelig at møde - og der blev præsenteret en række af de kendte testteknikker: Ækvivalensklasser, grænseværdianalyse, beslutningstabeltest, tilstandsovergangstest, udforskende test og defekttaksonomi.

På testteknik-siden var der ikke meget nyt for mig, men de eksempler Lee præsenterede og i forskellige sammenhænge gav mig mange ideer til, hvordan jeg fremover kan gøre præsentationen af disse testteknikker endnu bedre. Lee lavede en opdeling af blackbox-teknikkerne i to grupper - en videnskabelig (science) og en kunst (art) - en spændende og anderledes opdeling, som jeg vil prøve at arbejde videre med. Dette for mig lige til at mindes, at de jo er her i 2014 det er 30 år siden den første testbog udkom på dansk, nemlig oversættelsen af Glenford Meyers bog 'The Art of Software Testing', som selvfølgelig fik den mundrette titel 'Kunsten at test edb-programmer'.

Interessant er det, at i forhold til beslutningstabeltest, så skaber 'regel-begrebet' fortsat debat, spørgsmål og drøftelse - jeg vil altså finde en måde at få det bedre forklaret på.

Pairwise Testing Explained

Det var igen en Lee Copeland tutorial, men denne gang med parvis test. En testteknik jeg ofte underviser i og bruger. Formålet var primært at få nye ideer til, hvordan denne kan formidles. Han præsenterede brugen af ortogonale tabeller (som jeg også anvender), og så præsenterede han også brugen af 2 værktøjer - AllPairs og PICT. AllPairs udviklet af James Bach og PICT af Microsoft.

Jeg har set værktøjerne før, men lagde mærke til at PICT har denne specielle egenskab, at det kan anvendes med afhængigheder mellem parametre - altså hvis P1 har værdien X så kan P2 ikke have værdien Y m.m. En anvendelig og ofte savnet feature.

Men også en god tutorial, og spændende at se at de samme spørgsmål dukker op på tværs af kontinenter.

Bookstore Open at STARwest 2014

HURRA - så er bogladen åben - har allerede udset mig et par bøger jeg skal have købt og læst.