Testing United 2019 - Fredagens Oplevelser

Så kom vi til testkonferencens anden dag - altså fredagen, og den kom hurtigt, men sådan må det være med en kort konference.

Første keynote var med Ron Werner om temaet The X-Factor. Keynoten var i programmet sat til at omhandle Mobile Testing, så det var da lidt spændende, hvad han så ville tale om. Han gennemgik en række cases om forskellen mellem succes og fiasko inden for it-industrien, fra Atari til Amazon og en lang række andre eksempler - spændende gennemgang og lidt interessant at se, hvor mange af dem man selv kunne huske. Det var også en meget levende keynote med involvering af deltagerne i forskellige afstemninger på konference app'en. Nogle af konklusionerne var, at succes handler om 'innovation with right timing' og det er brugeren der bestemmer.

Første tracksession var Ingo Philipp med AI in Software Testing - Will a Bot Steal Your Spot?, som var et indlæg mere om hans holdninger til temaet end om beviser eller fakta. Han kom med et godt statement om test - det er at lukke gap'et mellem hvad vi ved og hvad vi ikke ved. Hans konklusion var opdelt mellem begreber checking og testing - hvor man mente at AI kunne klart overtage checkning (verificere), men ikke testing (undersøgende/undrende m.m.). Men AI ville klart kunne hjælpe os med testen, men ikke overtage den. Så i vores levetid var det hans vurdering, at AI ikke ville overtage vores jobs.

Efter formiddagens kaffepause var det Abian Blome med Fuzzing Industrial Devices - Implementing Feedback Driven Fuzzing Tests in an Embedded World, som var rigtigt spændende alene grundet det setup det skulle fungere i. Indlægsholderen kom fra Siemens så det var i alt fra små enheder til tog, og det drejede sig om indlejret software, så skulle det dække både hardware og software. Det var et meget ærligt indlæg, hvor han ikke kun fortalte om successen, men også om de fejltagelser de havde begået. Det er nok nødvendigt med lige at få defineret fuzzing testing: Fuzzing or fuzz testing is an automated software testing technique that involves providing invalid, unexpected, or random data as inputs to a computer program. The program is then monitored for exceptions such as crashes, failing built-in code assertions, or potential memory leaks.

Det er nu skønt med disse indlæg som også kommer ind på de fejltagelser, fejlvurderinger og dårlige beslutninger der tages og må gøres om eller justeres.

Derefter var der en længere paneldiskussion med Karen N. Johnson, Roman Nagy, Ron Werner og James Whittaker over konferencens tema og indlæg - alle keynotes talerne undtagen Greet Burkels. Altid interessant at overvære sådanne debatter og med spørgsmål fra deltagerne.

Efter frokosten var det Geoffrey van der Tas og Marta Wozniak-Semenniuk med et anderledes tema, nemlig Learn from a famous detective duo to improve your testing skills. Det var lidt sjovt da indlægsholderne var udklædt som Sherlock Holmes og Dr. Watson, og undervejs spillede rollerne ganske fint. Der var mange gode pointer fra dette indlæg i forhold til test, herunder observer - døm ikke. Ikke være biased. Få nye erfaringer. Få nye kompetencer. Brug deduktion i analyseprocessen om eventuelle årsager, herunder root-cause-analysis. Et dejligt skævt og sjovt indlæg og anderledes vinkel på testdisciplinen.

Konferencens sidste faglige indlæg var en keynote med Karen N. Johnson med emnet What We Bring Across Industries, og som var en mere personlig beretning om hendes opture og nedture, også rent personligt. Man kan have meget forskellige holdninger til sådanne indlæg, men det var ikke lige min kop te.

Samlet set en spændende og udbytterig konference, hvor jeg havde valgt at gå efter indlæg med AI vinkel, og når der er flere parallelle spor, så er der altid noget man går glip af. En god oplevelse, og lad os se om jeg når til Prag næste år.

Testing United 2019 - Torsdagens Oplevelser

Jeg kørte spændt til konferencens første dag - det er altid spændende med en ny kontekst. Samlet set var der ca. 300 deltagere, mange med germanske eller slaviske navne. Tydeligt en mere regional konference, men det er spændende at opleve, se og høre hvad der rør sig i testverdenen i mellemeuropa.

Konferencen åbnede med en introduktion til emnet og de to der skulle lede 'slagets' gang.

Den første keynote var med James Whittaker over emnet The Future of Technology and How It Will Impact Test, hvilket var en god åbning af konferencens faglige del. Han gennemgik de sidste 30 års teknologiske udvikling med 1980'erne som han kaldte 'powerful' med mainframes og centrale systemer, 1990'erne som blev kaldt 'accessible', hvor PC'erne blev introduceret og udbredt både arbejdsmæssigt og lidt i privaten, 2000'erne kaldt 'connected', hvor internettet blev 'folkeligt' og så kom han til 2010'erne kaldt 'mobile' med en masse enheder vi alle går rundt med og til sidste forsøgte han at kigge et tiår frem, nemlig 2020'erne som han kaldte 'ambient'. En interessant gennemgå og spådom. Interessant var det også med hans udtalelse om alle de smart-ting vi har i dag og vil få fremover, f.eks. SMART TV - han sagde at første byggede/udviklede man computeren og derefter TV'et, og ikke omvendt som man måske vill tro. Generelt var hans råd til testerne - lær at kode og sørg for at være i front med udviklingen.


Så begyndte tracksession, hvor der skulle vælges, og det første valg endte på Ewald Roodenrijs med emnet Implement Continuous Testing in an Organization. Et spændende tema, hvor han gennemgik den rejse de havde været igennem - præsentationen var overraskende lidt vaklende og han brugte kun det halve af den afsatte tid. Men spændende at høre om autonomous testing og de udfordringer, faldgruber m.m. der er. Han nævnte flere gange at det vigtigste aspekt var mennesket. Deres evne og vilje til forandring.

Så blev det Raj Subrameyer med emnet Being Mortal in the Age of Artificial Intelligence, hvor han kom bredt omkring emnet AI og hvor meget data betyder i den forbindelse. Han præsenterede bl.a. begreberne weak AI og strong AI, som den svage var AI med en ting og den stærke var at kunne emulere menneskelig adfærd. Han kom også ind på AI og test, herunder mulighederne for at AI kan lave testautomatiseringen, hvilket kunne gøre vedligeholdelsen lettere (læs: billigere). Han kom også ind på det emne der måske ligger mange i testverdenen på sinde - mister vi vores job? Hans klare bud på det var Nej - undersøgelser viser at for hvert job der nedlægges som følge af AI oprettes der 1-2 nye. Han sluttede af med at omtale 'safery' i forhold til AI, og opfordrede at man deltog i arbejdet i de forskellige organisationer der er.

Så var der en ny keynote efter frokosten med Roman Nagy med emnet Artificial Intelligence in Autonomous Driving - Chances and Challenges. Han lagde ud med en gennemgang af Gartners Hype Cycle for 2019, hvor man kan se hvilke trends der kommer. Hans indlæg var rigtig spændende og lærerigt, selvom hans fokus ikke var test, men han kom ind på flere emner der var relevante, herunder de fælder der ved læring med billeder for AI modellen. Sådanne forhold er jo ganske relevante for testere.

Så påny tracksessions og den første efter keynoten var Vipin Jain med IOT Testing to deliver Values Across Industries. Han lagde ud med et statement om forskellen på 'almindelig' test og test af IoT - IoT er hardware, software og connectivity, og ALT skal testes. Antallet af devices og IoT enheder er stort og bliver endnu større med de fremskrivninger der foretaget, hvilket gør testen kompleks. Hans generelle budskab var 'det er her nu og det vil kun blive større'.

Så valgte jeg Lan Xia og Shelley Lambert med temaet Dealing with Verification Data Overload, og det var fra min side et lidt fejlvalg - det var meget teknisk og arkitekturmæssigt med en masse om Jenkins-servere m.m., men de fangede mig noget da de begyndte at omtale testdækning og måling af kodedækningen - de kunne dog ikke redegøre nærmere for, hvilke(n) af de mange kodedækningsmetrikker der er de anvendte. De var ikke testere.

Dagens sidste keynote af Greet Burkels med Multi-Industry Testing of New Amsterdam Metro Lin, som var en god afslutning på dagen, og relevant i forhold til Københavns metro.


Om aftenen var der Networking Party.

Samlet set en god og interessant første dag på Testing United, og ser frem til fredagens oplevelser.

Testing United 2019 - Test konference - Starter om få timer

Nogle gange skal man prøve noget nyt (og spændende) - denne gang er det en ny testkonference. Den hedder Testing United og foregår denne gang i Wien. Den roterer mellem tre byer - Wien, Prag og Bratislava. Min vurdering er, at det mere er en slags regional konference modsat de mere internationale som STAReast og STARwest i USA. Udvalget af sessioner er også mindre og så varer den kun to dage, men så undgår jeg sandsynligvis den 'traditionelle' konferencekuller, som jeg nogle gange har oplevet ved ugekonferencerne. Men spændende bliver det, og jeg vil efter hver dag skrive her på bloggen - så følg gerne med. 

Grænseværdianalyse i Wien

Grænseværdianalyse er en af testanalytikerens basisteknikker. Når man har undervist i testteknikken i mere end 10 år har man (læs: jeg) den under huden, og som en del af min DNA. Som nogle ved rejser jeg meget ofte til Wien, og senest fik jeg set på billetten til hurtigtoget fra lufthavnen til Wien centrum. Børn til og med 14,99 år rejser gratis med. Men hvor gammel er man når man er ældre end 14,99 år? Man er 14 år og 361,35 dage og 362,34 dage i skudår. Så man skal faktisk betale for rejsen 3/4 dage FØR man fylder 15 år. Det her bliver en spændende test. 

Testprocesforbedring - hvad skal være fokus?

I mange organisationer og virksomheder er interessen for at forbedre test- og kvalitetsprocesserne stor, men der er ofte tvivl om, hvilket fokus der skal være. For hvad betyder det at forbedre processerne i forhold til kvalitet og test?

I nedenstående figur er vist nogle af de fokusområder der kan være. Basis i figuren er testprocessen med input som testobjektet og forskellige midler, herunder ressourcer og tid, og med output i form af testresultaterne. Disse to inputemner og et outputemne kan være omdrejningspunktet omkring valg af fokus i modenhedsudviklingen.

Nogle af de spørgsmål man typisk vil have svar på kan være:

• Findes de vigtigste fejl i testobjektet så tidligt som muligt? (Egnethed)
• Hvor effektiv er testprocessen med hensyn til ressourcer og tid? (Effektivitet)
• Fungerer testprocessen som aftalt? (Verificerbarhed)

Hvad fokus der skal være i en analyse af modenheden afhænger naturligvis af virksomhedens situation og forretningsmæssige fokus - der er ikke nødvendigvis tale om et valg mellem de tre aspekter: Egnethed, effektivitet og verificerbarhed. Der er derimod ofte tale om et fokus der kombinerer de tre aspekter, men det er vigtigt i starten af arbejdet med modenheden, at være enige med ledelsen om, hvilket fokus der ønskes, idet dette påvirker scope for analysen og de tiltag der foreslås.

Back to the future - testmanagerens rolle i fremtiden med scaleret agilt setup

I foråret havde vi et Quality Time arrangement over temaet ’Har vi brug for testmanagers fremover?’ – det var en aktiv workshop over to dage med 9 aktive deltagere fra 6 forskellige virksomheder og organisationer.

Workshoppen startede med præsentation af hypotesen ’Vi har i fremtiden behov for testmanagement, men måske ikke rollen testmanager’. Jeg er ikke i tvivl om, at den ’traditionelle’ testmanager rolle som vi kender, og som vi har kendt i en del år nu, vil ændre sig, og i mange tilfælde helt udgå som en fast rolle. Men det er ikke det samme som at de opgaver som udføres af testmanageren i dag ikke skal løses fremover, men det sker sandsynligvis bare i et mere løst og differentieret set-up.

Mange virksomheder og organisationer har taget scaled agile til sig – oftest i form af Scaled Agile Framework (SAFe), hvorfor det kan være interessant at fokusere på netop denne metode. Det er dog ikke den eneste metode til håndtering af skaleret agil udvikling.

På teamniveauet foregår testen naturligvis som en integreret del af scrum-teamets arbejde, og vil typisk også indgå i slutkriterierne (Definition of Done), og teamets opgaver. 

På programniveauet kan testen forankres i systemteamet og/eller i shared services. I system-teamet kunne end-to-end testen foregå samt en tværgående regressionstest i forhold til ART’en, mens der i shared services kunne være opgaver som en samlede teststrategi, teatautomatiseringsstrategi og -services, værktøjsstøtte m.m.

Men er det så gammel vin på nye flasker? Nej, faktisk ikke, og det er heller ikke ny vin på gamle flasker. Det er faktisk ny vin på nye flasker. Det skal forstås på den måde, at vi er nødt til at tilpasse os den nye verden, men også at se på test med nye øjne.

På workshoppen var der bred enighed om hypotesen, dog med indsættelse af ordet traditionelle i anden del.

Syv testprincipper - men ikke fra ISTQB

Principle 1: Definition

To test a program is to try to make it fail.

Principle 2: Tests versus specs

Tests are no substitute for specifications.

Principle 3: Regression testing

Any failed execution must yield a test case, to remain a permanent part of the project’s test suite.

Principle 4: Applying oracles

Determining success or failure of tests must be an automatic process.

Principle 4 (variant): Contracts as oracles

Oracles should be part of the program text, as contracts. Determining test success or failure should be an automatic process consisting of monitoring contract satisfaction during execution.

Principle 5: Manual and automatic test cases

An effective testing process must include both manually and automatically produced test cases.

Principle 6: Empirical assessment of testing strategies

Evaluate any testing strategy, however attractive in principle, through objective assessment using explicit criteria in a reproducible testing process.

Principle 7: Assessment criteria

A testing strategy’s most important property is the number of faults it uncovers as a function of time.

Fra Test Manager til QA Manager

I takt med den generelle udvikling i teknologier og udviklingsmetoder sker der også en afsmitning i forhold til de roller og titler der bruges inden for testverdenen. Da jeg startede i test var der ikke særskilte roller og titler, og slet ikke test manager.

I takt med udbredelsen af de mere dynamiske udviklingsmetoder som agile, DevOps, NEXUS og SAFe nævnes det oftere og oftere, at test manager rollen vil forsvinde eller i hvert fald ændre sig. Forandringen vil være fra udførende til rådgivende og støttende.

Det nævnes også ofte, at scopet/indholdet vil ændre sig, så den 'nye' test manager også har ansvaret for politikker og processer i bredere forstand.

Det er naturligvis en spændende udvikling vi går i møde - og måske skal du i den kommende tid have nye visitkort, og ikke mere tituleres test manger, men måske QA Manager, Test Master, Test Mentor eller Test Coach.

Bliv opdateret på de nyeste trends indenfor test og kvalitet - World Quality Report 2017-18 er her nu

Hvorfor ændringen af QA og Test er en strategisk nødvendighed

Værdien af ​​test og kvalitet integreret i hele livscyklussen for softwareudvikling er åbenbar og en nødvendighed. Og mens vi alle ved, at kvaliteten i dagens it-løsninger er kritisk, ændres det, hvordan test og kvalitetssikringen udføres af nutidens QA og testpersonale, dramatisk. Men skifter det hurtigt nok?

Vi har netop offentliggjort World Quality Report for 2017-18, hvor 1.660 CIO'er og senior it-medarbejdere i 34 forskellige lande er udspurgt, herunder 165 fra de nordiske lande. 25 af disse fra Danmark. Der er en række interessante tendenser, og nogle skuffende udviklinger. Udgivelsen sker i et samarbejde mellem Sogeti, Micro Focus og Capgemini.

Et af årets hovedresultater viser et voksende behov for effektiv QA og test i vores hurtigt skiftende, digitale og komplekse verden. Hele organiseringen af ​​QA og test er ved at ændre sig som svar på dette behov. Fra centraliserede testteams til decentraliserende der bliver integreret i den agile og DevOps-cyklus. 

Kontinuerlig kvalitetssikring

Alligevel rejser denne decentralisering af QA og test spørgsmål, især med den kvalitet, der skal sikres. Den hurtigere frigivelsescyklus i en agil og DevOps-model sammen med et stadig mere komplekst applikationslandskab risikerer alvorlige fejl at blive introduceret i softwaren. Derfor skal det sikres, at der er en kontinuerlig kvalitetssikring af applikationer i hele udviklingsforløbet. Det er vigtigt at få indsigt i, hvilken del af en applikation der bruges, hvordan den bruges, og hvad dens indvirkning er på virksomheden.

Det er imidlertid klart, at mange organisationer mangler denne kontinuerlige kvalitetsvinkel, hvilket er bekymrende. Tanken om, at kvalitet er alles ansvar i den decentrale QA og test organiation inden for DevOps, udgør risikoen for, at det bliver ingens overordnet ansvar. Dette kan sætte hele virksomheden i fare.

En overskuelig online søgning giver en vis fornemmelse af den potentielle forretningsmæssige indvirkning af et kvalitetsproblem, post go live. Disse spænder fra tilbagekaldelse af køretøjer, flyforsinkelser og mislykkede bankbetalinger, til brud på data, butikslukninger og brugerfrustration med nye mobiltelefonfunktioner - alt som skyldes softwarefejl.

Svaret er at genoverveje, hvordan QA og test fungerer inden for udviklingscyklusen. Ved at anerkende behovet for en kontinuerlig kvalitetssyn, kan virksomhederne investere i et kvalitetsdashboard, der giver synlighed i hele produktudviklingscyklusen. De indsamlede oplysninger, som f.eks. brugerfeedback, kan sendes tilbage til QA og test, så de kan fokusere deres indsats på det rigtige, i stedet for at spilde tid på at teste irrelevante softwarekomponenter.

Automatisering er et af nøgleordene – og underforstået automatisering af alle processerne i udviklingsforløbet. Med algoritmisk analyse og dynamisk rapportering i dette dashboard er blot et aspekt af mere intelligensledet QA og test - hvor robotter, maskinindlæring og kunstig intelligens (AI) kan hjælpe med at styre beslutninger om, hvad man skal teste og hvor langt. Det samlede niveau for automatisering, der er registreret i årets World Quality Report er kun 16%, hvilket giver plads til massiv vækst i de kommende år.

En af de tilknyttede services i relation til dette område er et DevOps Readiness Scan, hvor det undersøges, hvor klar virksomheden er til DevOps, herunder anbefalinger for at øge paratheden. Kontakt os for nærmere information og eventuelt tilbud.

En smartere vej fremad

En mere kognitiv tilgang til QA og test med indførelsen af ​​smarte platforme og intelligent automatisering vil bidrage til at løse disse udfordringer. Med så mange flere frigivelser af software i dag bliver det stadig vanskeligere at styre QA og test uden at lave nogle organisatoriske ændringer og integrere smart QA i udviklingslivscyklussen.

Som samlet testindustri er vi ikke der endnu, men i betragtning af fremkomsten af ​​smartere applikationer og produkter, der kræver en integreret, intelligent og automatiseret tilgang til test, er der ikke tid til at vente.

Nordiske lande

Tendensen i de nordiske lande er også klar, og næsten alle adspurgte virksomheden anvender et eller flere af DevOps-principperne i deres udviklingsprocesser. En markant stigning, og fastholdelse af en flot nordisk position.

Anvendelsen af SAFe – altså Scaled Agile Framework – er også markant i de nordiske lande med en 7% anvendelse, hvilket gør de nordiske lande til førende inden for dette felt i forhold til øvrige adspurgte lande.

Anvendelsen af cloud-baserede løsninger er også markant større blandt de nordiske lande end i resten af de adspurgte, så der er en klar tendens om nye strømningerne inden for teknologi og metoder – de udbredes lidt hurtigere blandt de nordiske virksomheder.

Et af de testområder der har markant fokus er sikkerhed, og specielt markant er dette fokus i Danmark – både generelt og i forhold til testdata, hvor alene i Danmark har 60% svaret at det er en udfordring for dem at leve op til de regulatoriske krav (nuværende og kommende) inden for testdata.

Så set fra et nordisk synspunkt er vi godt med, og på en række områder også frontløbere, men har da også vores udfordringerne i en konstant foranderlig verden. World Quality Report 2017-18 kan downloades fra World Quality Report 2017-18 Download 

God fornøjelse med læsningen.

Test i 30 år - er det ikke nok?

Netop i dag den 3. August 2017 er det præcis 30 år siden jeg startede med softwaretest - rent professionelt. Den 3. August 1987 havde jeg min første arbejdsdag hos LEC i Aarhus, og efter den traditionelle velkomst om formiddagen og frokosten med min daværende chef, skulle han finde på noget at lave til mig.

Projektleder skulle det ikke være endnu, da jeg jo ikke havde nogen erfaring. Udvikler heller ikke, da min baggrund er civiløkonom og ikke datalogi. Så det blev test - uden noget systemkendskab, intet domænekendskab, intet kendskab til test. Gode forudsætninger - eller hvad?

Det er nu blevet til 30 år - dog med et par svinkeærinder som udvikler, projektleder, systemanalytiker - men det er altid endt med test.

Der er dog blevet bygget en del teoretisk viden på siden da, og ikke mindst en masse erfaringer og gode oplevelser.

Men jeg får tit spørgsmålet: 'Ole har du ikke snart testet nok?' - NEJ - overhovedet ikke, det kan jeg blive ved med.

Forbedring af testprocessen.......

Jeg læste en oversigt over tiltag der kan forbedre testprocessen, og dette var punkt 5:

"Keep developers away from test environments."

Er du enig?

STAReast 2017 - The Testing & Quality Leadership Summit

Fredag var der det traditionelle 'The Testing & Quality Leadership Summit', hvor årets tema var 'Building Your Personal Leadership Skills'.

Typisk er der et par inspirationsindlæg - i år 'Agile Leadership to Empower Your Team' og 'Intentionality: Leading an Intentional Culture'.

Derefter var der en række rundbords-diskussioner om emnerne. Typisk i tre runder - Problem Definitions. Leadership Solutions. Presentation of Results.

En glimrende afslutning på en fantastisk uge på STAReast.

STAReast 2017 - Torsdagens Oplevelser

Så nåede jeg frem til afslutningen på selve konferencedelen af STAReast 2017.

Torsdagen startede med en keynote over temaet 'Step Aside: Stop Leading from the Front' med Bob Galen. Bob Galen er altid en fornøjelse, og meget engageret og levende i sine præsentationer, også denne gang. Hans gennemgående statement var 'We are all Leaders' - som jeg reflekterede noget over i sin keynote, og kom også ind på en række personlige oplevelser gennem sine mange år i branchen. En god start på dagen.

Derefter var der track sessions, og den første var 'Rediscover Exploratory Testing' med Ingo Philipp. Dette var helt klart et af de bedre indlæg - meget engageret, meget levende og meget lærerigt.

Han sammenlignede lidt Exploratory Testing (ET) med Teenage Sex:

Det vakte naturligvis lidt morskab blandt tilhørerne.

Ellers kom Ingo ind på de mange fordele og styrker der er ved ET, og kom også lige omkring Whittakers ET ture:

Ovenstående ET ture skal så anvendes som inspiration for den udforskende test.

Han kom også ind på, hvordan man kan bruge Six Thinking Hats til designet af sin ET. Spændende tanker blev sat igang.

Han sluttede også lige af med et Michael Bolton citat: 'Exploratory testing is not so much a thing that
you do, it’s far more a way you think'.

Efter endnu et besøg på EXPO-området drejede det sig om 'Test Data Management and Its Role in DevOps' med Sunil Sehgal. Et spændende og utroligt vigtigt emne - specielt når det gælder DevOps verdenen:

Ovenstående giver et meget godt overblik over indlægget. Ligesom følgende giver de fire key take aways:

Endnu et spændende indlæg, som var lige ved at kamme over til at være 'køb dette her hos os'.

Derefter var det om 'Infrastructure Testing: The Ultimate Shift Left' med Carl Delmolino and Hitesh Patel. Jeg blev fanget lidt at begrebet 'ultimate shift left' - det var vist lidt salgsgas - eller også havde de glemt hvad der stod i titlen. Et spændende emne ellers 'test af infrastruktur' - alene deres gennemgang, hvad det omfattede af komponenter, basis software, sikkerhed og en række kvalitetskarakteristikker, som vi ikke tænker over så tit.

Den sidste track session var om 'An Agile Testing Dashboard: Metrics that Matter' med Prachi Maini. Jeg har det med indlæg om testprocesforbedring som med metrikker - jeg skal bare se og høre mere og mere og mere - så det var naturligt at vælge dette. Hendes key points kan fremstilles på følgende overblik:

Et spændende statement var automatisering af metrikkerne via API'er. Det giver rigtig god mening, men ikke kun i agilt sammenhæng, men også. Jeg savnede personligt brugen af GQM-metoden - altså Goal, Question, Metric - som en god metode til at sikre at metrikkerne giver den indsigt man ønsker.

Konferencen sluttede af med en keynote 'Navigating the Nuances of Detailed Test Strategy Creation' med Randi Rice. En udemærket afslutning på konferencen - lidt blandede bolcher.

STAReast 2017 - Onsdagens Oplevelser

Så blev det tredje dagen på STAReast-konferencen, og dermed en dag med mange flere forskellige indtryk og oplevelser. Hvor mandagen og tirsdagen har været fyldt med halvdags tutorials, så er det om onsdagen, at der er track sessions. Ved track sesions kører der 6 parallelle faglige præsentationer og 3 tekniske præsentationer (sponsorerne) - så der skal tilvælges og fravælges. Udover dette kører der også nogle generelle sessioner kaldet Keynotes.

Morgenen startede med, at Lee Copeland officielt åbnede konferencen, og introducerede den første keynote.

Den første keynote var med emnet 'The Power of Doubt: Becoming a Software Skeptic' med Zeger Van Hese. Det var et indlæg om hans lidt personlige rejse mod skeptisisme og det lidt okulte. En meget god start på, da det var med lidt brede pensler, men alligevel ganske interessant og relevant. Hvis jeg skal uddrage nogen punkter om, hvordan skeptisisme kan hjælpe i test, så er det: (1) Stil spørgsmål, og udfordr svarene. (2) Afvis sikkerhed. (3) Accepter der er ting vi ikke ved. (4) Gør brug af styrken (force) ved skeptisismen.

Det er så populært at opstille manifester, og det skete også her:

Den anden keynote var med emnet 'What Really Happens When You Deliver Software Quickly' med Sally Goble (Head of QA). En spændende fortælling om The Guardian's rejse mod en ny leverancemodel med fokus på time-2-market - og med fokus på ændringen af QA-rollen. Først og fremmest drejede det sig om en holdningsændring, idet der ikke mere er beov for perfekt software - der sker kontinuerlig deploy til produktion, og med op til 100 releases i døgnet, er der mange muligheder for at få rettet fejl. De smed al automatiseret test ud, og begyndte hvad de kaldte 'light touch testing', og som kan udføres af alle i teamet. De havde også indført mottoet 'Not Wrong Long'. Hun nævnte følgende tre hovedindsatsområder:

1. Gør det muligt for teams at forbedre kvaliteten: Nye og innovative værktøjer, sætte standarder og en væg med de mest anvendte devices.
2. Find problemerne i produktion hurtigt: Tip værktøjer, overvågning og metrikker.
3. Crowd source brugerne: Erstattet test med beta versioner, fejlrapporteringsværktøj i app'en og inddragelse af brugerhjælpteamet.

Efter de to keynotes var EXPO'et åbent med 39 stande med forskellige udbydere af værktøjer m.m., herunder en virksomhed som søgte testere (forskellige roller) - det var meget åbent med rekruttering.

Så begyndte de forskellige track sessions, og som før nævnt, dermed også en masse valg - til og fra.

Den første track session jeg valgte var 'AI and Machine Learning for Testers' med Jason Arbon. En spændende, men meget nørdet præsentation. Der var to dele i hans præsentation: Brug af AI i test og test af AI. Jason forsøgte at præsentere, hvordan man skriver kode der tester en app jeg ikke kender? Der var en masse konkrete visninger med eksempler, som var rigtig interessant, men også en række udtalelser - som 'AI erstatter automatiseret test, det sker i dag, det er ikke kun fremtiden, det er her nu'. Men også en udtalelse som var i relation til test af AI - nemlig at teste ved grænserne, altså udfordre udfaldsrummet. Så vi kan godt bruge nogle af testteknikkerne her også.

Derefter var det 'Continuous Context Driven Test Improvement' med Jeroen Mengerink. Når nu der er et emne der omhandler testprocesforbedring - så kan jeg bare ikke lade være. Jeroen opstillede i ny og anderledes måde, at gennemføre assessments på - det var rigtigt spændende, og jeg havde nogle gode diskussioner med ham - MEN MEN MEN: Der var ikke meget nyt. Det han siger kort og godt er, at man altid skal tilpasse sig til situationen - JAMEN, det gør jeg da altid, når jeg laver assessments. Nyt var det til gengæld at formulere forbedringsforslagene som user stories:

As senior IT-director,
I want to increase test efficiency,
so that the testing cost is reduced by 20%

As scrum team member,
I want to automate the regression tests,
so that the effort for regression testing is reduced

As product manager,
I want to increase the release frequency,
so that we will be more competitive.

Dagens sidste track session var med emnet 'The DevOps Challenge: Now Is the Time to Be a Champion of Quality' med Lisa Dronzek. Der er altid en smutter på disse konferencer, og den havde jeg valgt. Det var mere salg af nogle ydelser, og ikke præsentation der dækkede titlen. Skuffende.

Onsdagen sluttede af med 'Lightning Strikes the Keynotes' - hvor der kommer en række indlægsholdere op i 5 minutter, og præsenterer et emne - som sædvanligt både sjovt og interessant. 

STAReast 2017 - Tirsdagens Oplevelser

Så er jeg kommet igennem anden dagen af STAReast 2017, og dermed også de sidste 2 tutorials i denne omgang. Generelt vil jeg sige, at niveauet er højt, og dermed er der også et klart udbytte.

Tirsdagens program for mig var de 2 halvdags tutorials jeg valgte forud for konferencen - om formiddagen 'Agile Testing - Team Tactics that Deliver the Goods' og om eftermiddagen 'Requirements Engineering for Testers'.

Den første tutorial var med Bob Galen og Mary Thorn. Det er altid en fornøjelse at deltage hos dem. De er begge megen vidende om det agile. De lagde ud, som sædvanligt, med at definere de 3-Amigos i et agilt team: Product Owner, Tester og Developer. Det er ofte disse tre roller mange ting drejer sig om i det agile team, herunder user stories, backlog forfining m.m.

Nogle gang kommer der nogle statements der giver eftertanke: Kun 10% af PO'erne skriver gode user stories. Den kom meget pludseligt, og jeg nåede desværre ikke at spørge ind til 'kilden' til dette statement.

Risiko-baseret test er ved virkeligt at få sit fodfæste i den agile tænkning - bare for nogle år siden var det næsten 'forbudt' - dette indgik derfor også som en naturlig del af denne tutorial.

Derefter kom vi ind på generering af testideer - her er det vigtigt at tænke 'outside the box', og de kom ind på en række kilder til disse:

• Capabilities
• Failure Modes
• Quality Factors
• Usage Scenarios 
• Creative Ideas
• States
• Data
• Environments
• White Box
• Taxonomies

 Testideerne skal naturligvis også prioriteres efter den risikobaserede testtilgang. SÅDAN.

Derefter kom de ind på brugen af Mind Map til visuelt at organisere sit testdesign - jeg er helt enig - det er en god, smart og dynamisk måde at arbejde og dokumentere på. Så kom vi forbi brugen af Exploratory Test og Pairwise Test. Det glæder altid mit testerhjerte, når der nævnes testdesignteknikkerne i relation til agile test - igen igen, for få år siden var det nærmest forbudt. Men selvfølgelig kan de anvendes, og argumentet med at man ikke har tid til at bruge dem - den køber jeg ikke rigtigt - tværtimod - jeg har ikke tid til ikke at bruge dem.

En god tutorial - og jeg kan iøvrigt anbefale at besøge Bob's hjemmeside: www.rgalen.com

Dagens anden tutorial var 'Requirements Engineering for Testers' med Erik van Veenendaal. En fantastisk og meget relevant tutorial. Der er mange interessenter til udarbejdelse af krav - alle med forskellige mål.

Erik oplistede grundlæggende tre typer af krav:

• Funktionelle krav - hvad skal systemet kunne gøre
• Ikke-funktionelle krav - hvor godt skal systemet......f.eks. performance, brugervenlighed m.m.
• Begrænsninger (constraints) - i forhold til systemets/produktets design eller scope.

Kravprocessen blev også gennemgået:

1. Kick-Off phase
2. Requirements gathering
3. Requirements specification
4. V&V
5. Requirements management.

Ovenstående proces virker meget sekventiel, og fungerer også i det agile - dog nok ikke så lineær, men aktiviteterne gennemføres (og kaldes måske noget andet. Han præsenterede også et 'Requirements Card':

Det giver faktisk en god struktur, og vi prøvede dem også af.

 

Det blev også anbefalet at udarbejde regler til/om sine krav, og klart definere, hvilke felter der hører med - se kortet. Brug template. Brug SMART-konceptet. Brug INVEST-konceptet ved user stories.

INVEST står for I (Independent), N (Negotiable), V (Valuable), E (Estimable), S (Small) og T (Testable).

Alt i alt en god tutorial, og en god dag, med mange indtryk og oplevelser.

STAReast 2017 - Mandagens Oplevelser

Så gik starten på årets STAReast 2017 i Orlando (Florida). Mandagens program bestod af 2 heldags tutorials og 12 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd. Mine valg for mandagen var om emnerne 'Influence Diagrams: A New Way to Understand Testing' med Isabel Evans og 'Applying Emotional Intelligence in Your Testing' med Julie Gardiner.

Den første tutorial var med Isabel Evans. I det følgende vil jeg omtale Influence Diagrams med forkortelsen ID. ID er en visuel repræsentation af hvad der sker og hvad der forventes at ske derefter. Her er vist en simpelt ID:

 

Ovenstående ID viser desto mere solskin desto flere turister, og jo flere turister desto færre ledige parkeringspladser vil der være. Det er selvfølgelig et simpelt eksempel, men det illustrerer meget godt hvad det drejer sig om. 

Basalt set har man behov for et whiteboard eller masser af papir, penne/tuscher, et par hjerner for at kunne konstruere. Med et par hjerner menes at to tænker bedre og anderledes end en.

Det viste sig dog i praksis, at det gav lidt flere udfordringer at lave disse ID'er - men øvelse gør vel mester, og i dette tilfælde.

Nedenstående ID viser softwaretest:

 

Jeg synes det er en spændende teknik, og min forventning da jeg valgte denne tutorial var, at det var en metode jeg kunne bruge når jeg arbejder med modenhedsvurdering og testprocesforbedring. Specielt når jeg skal analysere årsager m.m.

Så den første tutorial gav et godt udbytte. Som tester kan man jo altid finde kritikpunkter og detaljer man selv ville have gjort anderledes, men jeg kom helt sikkert fra denne tutorial med noget jeg kunne bruge og forventes at anvende fremover - skal nok lige øve mig før det kører gnidningsfrit.

Så var det den anden tutorial med Julie Gardiner. Emnet var Emotional Intelligence (herefter EI), Budskabet var at EI ofte blev vurderet til at være vigtigere end IQ. Det var en tutorial, hvor man skulle reflektere om og med sig selv - så hele tanken var det der blev sagt og gjort på denne tutorial forblev der. EI drejer sig om at bruge vor forståelse af følelser, både vor egne og andres, og gøre vor ageren endnu bedre for os selv og andre.

Der blev refereret forskning der viste at 70% af lederne lagte større vægt på EI end IQ. Julie omtalte Sheldon Cooper fra Big Bang Theory, som et godt eksempel på en person med (meget) høj IQ, men (meget) lav EI. Årsagerne til at foretrække høj EI er bl.a. at de personer forbliver rolige under pres, de er empatiske og agerer efter det, lead by example, beslutninger tages med forretningsmæssigt udgangspunkt, de håndterer konflikter effektivt.

Det var en god rejse gennem EI universet, og med meget selvreflektion.

EI har jeg stødt på flere gange - herunder på ISTQB Expert Kurserne - men dette var en meget levende og fantastisk tutorial - meget på grund af personen Julie Gardiner. 

Tutorial to var altså også en god oplevelse.