torsdag den 5. oktober 2017

Bliv opdateret på de nyeste trends indenfor test og kvalitet - World Quality Report 2017-18 er her nu

Hvorfor ændringen af QA og Test er en strategisk nødvendighed

Værdien af ​​test og kvalitet integreret i hele livscyklussen for softwareudvikling er åbenbar og en nødvendighed. Og mens vi alle ved, at kvaliteten i dagens it-løsninger er kritisk, ændres det, hvordan test og kvalitetssikringen udføres af nutidens QA og testpersonale, dramatisk. Men skifter det hurtigt nok?

Vi har netop offentliggjort World Quality Report for 2017-18, hvor 1.660 CIO'er og senior it-medarbejdere i 34 forskellige lande er udspurgt, herunder 165 fra de nordiske lande. 25 af disse fra Danmark. Der er en række interessante tendenser, og nogle skuffende udviklinger. Udgivelsen sker i et samarbejde mellem Sogeti, Micro Focus og Capgemini.

Et af årets hovedresultater viser et voksende behov for effektiv QA og test i vores hurtigt skiftende, digitale og komplekse verden. Hele organiseringen af ​​QA og test er ved at ændre sig som svar på dette behov. Fra centraliserede testteams til decentraliserende der bliver integreret i den agile og DevOps-cyklus. 


Kontinuerlig kvalitetssikring

Alligevel rejser denne decentralisering af QA og test spørgsmål, især med den kvalitet, der skal sikres. Den hurtigere frigivelsescyklus i en agil og DevOps-model sammen med et stadig mere komplekst applikationslandskab risikerer alvorlige fejl at blive introduceret i softwaren. Derfor skal det sikres, at der er en kontinuerlig kvalitetssikring af applikationer i hele udviklingsforløbet. Det er vigtigt at få indsigt i, hvilken del af en applikation der bruges, hvordan den bruges, og hvad dens indvirkning er på virksomheden.

Det er imidlertid klart, at mange organisationer mangler denne kontinuerlige kvalitetsvinkel, hvilket er bekymrende. Tanken om, at kvalitet er alles ansvar i den decentrale QA og test organiation inden for DevOps, udgør risikoen for, at det bliver ingens overordnet ansvar. Dette kan sætte hele virksomheden i fare.



En overskuelig online søgning giver en vis fornemmelse af den potentielle forretningsmæssige indvirkning af et kvalitetsproblem, post go live. Disse spænder fra tilbagekaldelse af køretøjer, flyforsinkelser og mislykkede bankbetalinger, til brud på data, butikslukninger og brugerfrustration med nye mobiltelefonfunktioner - alt som skyldes softwarefejl.

Svaret er at genoverveje, hvordan QA og test fungerer inden for udviklingscyklusen. Ved at anerkende behovet for en kontinuerlig kvalitetssyn, kan virksomhederne investere i et kvalitetsdashboard, der giver synlighed i hele produktudviklingscyklusen. De indsamlede oplysninger, som f.eks. brugerfeedback, kan sendes tilbage til QA og test, så de kan fokusere deres indsats på det rigtige, i stedet for at spilde tid på at teste irrelevante softwarekomponenter.


Automatisering er et af nøgleordene – og underforstået automatisering af alle processerne i udviklingsforløbet. Med algoritmisk analyse og dynamisk rapportering i dette dashboard er blot et aspekt af mere intelligensledet QA og test - hvor robotter, maskinindlæring og kunstig intelligens (AI) kan hjælpe med at styre beslutninger om, hvad man skal teste og hvor langt. Det samlede niveau for automatisering, der er registreret i årets World Quality Report er kun 16%, hvilket giver plads til massiv vækst i de kommende år.


En af de tilknyttede services i relation til dette område er et DevOps Readiness Scan, hvor det undersøges, hvor klar virksomheden er til DevOps, herunder anbefalinger for at øge paratheden. Kontakt os for nærmere information og eventuelt tilbud.


En smartere vej fremad


En mere kognitiv tilgang til QA og test med indførelsen af ​​smarte platforme og intelligent automatisering vil bidrage til at løse disse udfordringer. Med så mange flere frigivelser af software i dag bliver det stadig vanskeligere at styre QA og test uden at lave nogle organisatoriske ændringer og integrere smart QA i udviklingslivscyklussen.



Som samlet testindustri er vi ikke der endnu, men i betragtning af fremkomsten af ​​smartere applikationer og produkter, der kræver en integreret, intelligent og automatiseret tilgang til test, er der ikke tid til at vente.


Nordiske lande

Tendensen i de nordiske lande er også klar, og næsten alle adspurgte virksomheden anvender et eller flere af DevOps-principperne i deres udviklingsprocesser. En markant stigning, og fastholdelse af en flot nordisk position.

Anvendelsen af SAFe – altså Scaled Agile Framework – er også markant i de nordiske lande med en 7% anvendelse, hvilket gør de nordiske lande til førende inden for dette felt i forhold til øvrige adspurgte lande.

Anvendelsen af cloud-baserede løsninger er også markant større blandt de nordiske lande end i resten af de adspurgte, så der er en klar tendens om nye strømningerne inden for teknologi og metoder – de udbredes lidt hurtigere blandt de nordiske virksomheder.

Et af de testområder der har markant fokus er sikkerhed, og specielt markant er dette fokus i Danmark – både generelt og i forhold til testdata, hvor alene i Danmark har 60% svaret at det er en udfordring for dem at leve op til de regulatoriske krav (nuværende og kommende) inden for testdata.

Så set fra et nordisk synspunkt er vi godt med, og på en række områder også frontløbere, men har da også vores udfordringerne i en konstant foranderlig verden. World Quality Report 2017-18 kan downloades fra World Quality Report 2017-18 Download 

God fornøjelse med læsningen.

torsdag den 3. august 2017

Test i 30 år - er det ikke nok?

Netop i dag den 3. August 2017 er det præcis 30 år siden jeg startede med softwaretest - rent professionelt. Den 3. August 1987 havde jeg min første arbejdsdag hos LEC i Aarhus, og efter den traditionelle velkomst om formiddagen og frokosten med min daværende chef, skulle han finde på noget at lave til mig.

Projektleder skulle det ikke være endnu, da jeg jo ikke havde nogen erfaring. Udvikler heller ikke, da min baggrund er civiløkonom og ikke datalogi. Så det blev test - uden noget systemkendskab, intet domænekendskab, intet kendskab til test. Gode forudsætninger - eller hvad?

Det er nu blevet til 30 år - dog med et par svinkeærinder som udvikler, projektleder, systemanalytiker - men det er altid endt med test.

Der er dog blevet bygget en del teoretisk viden på siden da, og ikke mindst en masse erfaringer og gode oplevelser.

Men jeg får tit spørgsmålet: 'Ole har du ikke snart testet nok?' - NEJ - overhovedet ikke, det kan jeg blive ved med.

tirsdag den 27. juni 2017

Forbedring af testprocessen.......

Jeg læste en oversigt over tiltag der kan forbedre testprocessen, og dette var punkt 5:

"Keep developers away from test environments."

Er du enig?

fredag den 12. maj 2017

STAReast 2017 - The Testing & Quality Leadership Summit

Fredag var der det traditionelle 'The Testing & Quality Leadership Summit', hvor årets tema var 'Building Your Personal Leadership Skills'.

Typisk er der et par inspirationsindlæg - i år 'Agile Leadership to Empower Your Team' og 'Intentionality: Leading an Intentional Culture'.

Derefter var der en række rundbords-diskussioner om emnerne. Typisk i tre runder - Problem Definitions. Leadership Solutions. Presentation of Results.

En glimrende afslutning på en fantastisk uge på STAReast.

STAReast 2017 - Torsdagens Oplevelser

Så nåede jeg frem til afslutningen på selve konferencedelen af STAReast 2017.

Torsdagen startede med en keynote over temaet 'Step Aside: Stop Leading from the Front' med Bob Galen. Bob Galen er altid en fornøjelse, og meget engageret og levende i sine præsentationer, også denne gang. Hans gennemgående statement var 'We are all Leaders' - som jeg reflekterede noget over i sin keynote, og kom også ind på en række personlige oplevelser gennem sine mange år i branchen. En god start på dagen.

Derefter var der track sessions, og den første var 'Rediscover Exploratory Testing' med Ingo Philipp. Dette var helt klart et af de bedre indlæg - meget engageret, meget levende og meget lærerigt.

Han sammenlignede lidt Exploratory Testing (ET) med Teenage Sex:

Det vakte naturligvis lidt morskab blandt tilhørerne.

Ellers kom Ingo ind på de mange fordele og styrker der er ved ET, og kom også lige omkring Whittakers ET ture:


Ovenstående ET ture skal så anvendes som inspiration for den udforskende test.

Han kom også ind på, hvordan man kan bruge Six Thinking Hats til designet af sin ET. Spændende tanker blev sat igang.

Han sluttede også lige af med et Michael Bolton citat: 'Exploratory testing is not so much a thing that
you do, it’s far more a way you think'.

Efter endnu et besøg på EXPO-området drejede det sig om 'Test Data Management and Its Role in DevOps' med Sunil Sehgal. Et spændende og utroligt vigtigt emne - specielt når det gælder DevOps verdenen:


Ovenstående giver et meget godt overblik over indlægget. Ligesom følgende giver de fire key take aways:


Endnu et spændende indlæg, som var lige ved at kamme over til at være 'køb dette her hos os'.

Derefter var det om 'Infrastructure Testing: The Ultimate Shift Left' med Carl Delmolino and Hitesh Patel. Jeg blev fanget lidt at begrebet 'ultimate shift left' - det var vist lidt salgsgas - eller også havde de glemt hvad der stod i titlen. Et spændende emne ellers 'test af infrastruktur' - alene deres gennemgang, hvad det omfattede af komponenter, basis software, sikkerhed og en række kvalitetskarakteristikker, som vi ikke tænker over så tit.

Den sidste track session var om 'An Agile Testing Dashboard: Metrics that Matter' med Prachi Maini. Jeg har det med indlæg om testprocesforbedring som med metrikker - jeg skal bare se og høre mere og mere og mere - så det var naturligt at vælge dette. Hendes key points kan fremstilles på følgende overblik:



Et spændende statement var automatisering af metrikkerne via API'er. Det giver rigtig god mening, men ikke kun i agilt sammenhæng, men også. Jeg savnede personligt brugen af GQM-metoden - altså Goal, Question, Metric - som en god metode til at sikre at metrikkerne giver den indsigt man ønsker.

Konferencen sluttede af med en keynote 'Navigating the Nuances of Detailed Test Strategy Creation' med Randi Rice. En udemærket afslutning på konferencen - lidt blandede bolcher.

torsdag den 11. maj 2017

STAReast 2017 - Onsdagens Oplevelser

Så blev det tredje dagen på STAReast-konferencen, og dermed en dag med mange flere forskellige indtryk og oplevelser. Hvor mandagen og tirsdagen har været fyldt med halvdags tutorials, så er det om onsdagen, at der er track sessions. Ved track sesions kører der 6 parallelle faglige præsentationer og 3 tekniske præsentationer (sponsorerne) - så der skal tilvælges og fravælges. Udover dette kører der også nogle generelle sessioner kaldet Keynotes.

Morgenen startede med, at Lee Copeland officielt åbnede konferencen, og introducerede den første keynote.

Den første keynote var med emnet 'The Power of Doubt: Becoming a Software Skeptic' med Zeger Van Hese. Det var et indlæg om hans lidt personlige rejse mod skeptisisme og det lidt okulte. En meget god start på, da det var med lidt brede pensler, men alligevel ganske interessant og relevant. Hvis jeg skal uddrage nogen punkter om, hvordan skeptisisme kan hjælpe i test, så er det: (1) Stil spørgsmål, og udfordr svarene. (2) Afvis sikkerhed. (3) Accepter der er ting vi ikke ved. (4) Gør brug af styrken (force) ved skeptisismen.

Det er så populært at opstille manifester, og det skete også her:



Den anden keynote var med emnet 'What Really Happens When You Deliver Software Quickly' med Sally Goble (Head of QA). En spændende fortælling om The Guardian's rejse mod en ny leverancemodel med fokus på time-2-market - og med fokus på ændringen af QA-rollen. Først og fremmest drejede det sig om en holdningsændring, idet der ikke mere er beov for perfekt software - der sker kontinuerlig deploy til produktion, og med op til 100 releases i døgnet, er der mange muligheder for at få rettet fejl. De smed al automatiseret test ud, og begyndte hvad de kaldte 'light touch testing', og som kan udføres af alle i teamet. De havde også indført mottoet 'Not Wrong Long'. Hun nævnte følgende tre hovedindsatsområder:
  1. Gør det muligt for teams at forbedre kvaliteten: Nye og innovative værktøjer, sætte standarder og en væg med de mest anvendte devices.
  2. Find problemerne i produktion hurtigt: Tip værktøjer, overvågning og metrikker.
  3. Crowd source brugerne: Erstattet test med beta versioner, fejlrapporteringsværktøj i app'en og inddragelse af brugerhjælpteamet.
Efter de to keynotes var EXPO'et åbent med 39 stande med forskellige udbydere af værktøjer m.m., herunder en virksomhed som søgte testere (forskellige roller) - det var meget åbent med rekruttering.

Så begyndte de forskellige track sessions, og som før nævnt, dermed også en masse valg - til og fra.

Den første track session jeg valgte var 'AI and Machine Learning for Testers' med Jason Arbon. En spændende, men meget nørdet præsentation. Der var to dele i hans præsentation: Brug af AI i test og test af AI. Jason forsøgte at præsentere, hvordan man skriver kode der tester en app jeg ikke kender? Der var en masse konkrete visninger med eksempler, som var rigtig interessant, men også en række udtalelser - som 'AI erstatter automatiseret test, det sker i dag, det er ikke kun fremtiden, det er her nu'. Men også en udtalelse som var i relation til test af AI - nemlig at teste ved grænserne, altså udfordre udfaldsrummet. Så vi kan godt bruge nogle af testteknikkerne her også.

Derefter var det 'Continuous Context Driven Test Improvement' med Jeroen Mengerink. Når nu der er et emne der omhandler testprocesforbedring - så kan jeg bare ikke lade være. Jeroen opstillede i ny og anderledes måde, at gennemføre assessments på - det var rigtigt spændende, og jeg havde nogle gode diskussioner med ham - MEN MEN MEN: Der var ikke meget nyt. Det han siger kort og godt er, at man altid skal tilpasse sig til situationen - JAMEN, det gør jeg da altid, når jeg laver assessments. Nyt var det til gengæld at formulere forbedringsforslagene som user stories:

As senior IT-director,
I want to increase test efficiency,
so that the testing cost is reduced by 20%

As scrum team member,
I want to automate the regression tests,
so that the effort for regression testing is reduced

As product manager,
I want to increase the release frequency,
so that we will be more competitive.

Dagens sidste track session var med emnet 'The DevOps Challenge: Now Is the Time to Be a Champion of Quality' med Lisa Dronzek. Der er altid en smutter på disse konferencer, og den havde jeg valgt. Det var mere salg af nogle ydelser, og ikke præsentation der dækkede titlen. Skuffende.

Onsdagen sluttede af med 'Lightning Strikes the Keynotes' - hvor der kommer en række indlægsholdere op i 5 minutter, og præsenterer et emne - som sædvanligt både sjovt og interessant. 

onsdag den 10. maj 2017

STAReast 2017 - Tirsdagens Oplevelser

Så er jeg kommet igennem anden dagen af STAReast 2017, og dermed også de sidste 2 tutorials i denne omgang. Generelt vil jeg sige, at niveauet er højt, og dermed er der også et klart udbytte.

Tirsdagens program for mig var de 2 halvdags tutorials jeg valgte forud for konferencen - om formiddagen 'Agile Testing - Team Tactics that Deliver the Goods' og om eftermiddagen 'Requirements Engineering for Testers'.

Den første tutorial var med Bob Galen og Mary Thorn. Det er altid en fornøjelse at deltage hos dem. De er begge megen vidende om det agile. De lagde ud, som sædvanligt, med at definere de 3-Amigos i et agilt team: Product Owner, Tester og Developer. Det er ofte disse tre roller mange ting drejer sig om i det agile team, herunder user stories, backlog forfining m.m.

Nogle gang kommer der nogle statements der giver eftertanke: Kun 10% af PO'erne skriver gode user stories. Den kom meget pludseligt, og jeg nåede desværre ikke at spørge ind til 'kilden' til dette statement.

Risiko-baseret test er ved virkeligt at få sit fodfæste i den agile tænkning - bare for nogle år siden var det næsten 'forbudt' - dette indgik derfor også som en naturlig del af denne tutorial.

Derefter kom vi ind på generering af testideer - her er det vigtigt at tænke 'outside the box', og de kom ind på en række kilder til disse:
  • Capabilities
  • Failure Modes
  • Quality Factors
  • Usage Scenarios 
  • Creative Ideas
  • States
  • Data
  • Environments
  • White Box
  • Taxonomies
 Testideerne skal naturligvis også prioriteres efter den risikobaserede testtilgang. SÅDAN.

Derefter kom de ind på brugen af Mind Map til visuelt at organisere sit testdesign - jeg er helt enig - det er en god, smart og dynamisk måde at arbejde og dokumentere på. Så kom vi forbi brugen af Exploratory Test og Pairwise Test. Det glæder altid mit testerhjerte, når der nævnes testdesignteknikkerne i relation til agile test - igen igen, for få år siden var det nærmest forbudt. Men selvfølgelig kan de anvendes, og argumentet med at man ikke har tid til at bruge dem - den køber jeg ikke rigtigt - tværtimod - jeg har ikke tid til ikke at bruge dem.

En god tutorial - og jeg kan iøvrigt anbefale at besøge Bob's hjemmeside: www.rgalen.com

Dagens anden tutorial var 'Requirements Engineering for Testers' med Erik van Veenendaal. En fantastisk og meget relevant tutorial. Der er mange interessenter til udarbejdelse af krav - alle med forskellige mål.

Erik oplistede grundlæggende tre typer af krav:
  • Funktionelle krav - hvad skal systemet kunne gøre
  • Ikke-funktionelle krav - hvor godt skal systemet......f.eks. performance, brugervenlighed m.m.
  • Begrænsninger (constraints) - i forhold til systemets/produktets design eller scope.
Kravprocessen blev også gennemgået:

  1. Kick-Off phase
  2. Requirements gathering
  3. Requirements specification
  4. V&V
  5. Requirements management.
Ovenstående proces virker meget sekventiel, og fungerer også i det agile - dog nok ikke så lineær, men aktiviteterne gennemføres (og kaldes måske noget andet. Han præsenterede også et 'Requirements Card':

Det giver faktisk en god struktur, og vi prøvede dem også af.
 
Det blev også anbefalet at udarbejde regler til/om sine krav, og klart definere, hvilke felter der hører med - se kortet. Brug template. Brug SMART-konceptet. Brug INVEST-konceptet ved user stories.

INVEST står for I (Independent), N (Negotiable), V (Valuable), E (Estimable), S (Small) og T (Testable).

Alt i alt en god tutorial, og en god dag, med mange indtryk og oplevelser.




tirsdag den 9. maj 2017

STAReast 2017 - Mandagens Oplevelser

Så gik starten på årets STAReast 2017 i Orlando (Florida). Mandagens program bestod af 2 heldags tutorials og 12 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd. Mine valg for mandagen var om emnerne 'Influence Diagrams: A New Way to Understand Testing' med Isabel Evans og 'Applying Emotional Intelligence in Your Testing' med Julie Gardiner.

Den første tutorial var med Isabel Evans. I det følgende vil jeg omtale Influence Diagrams med forkortelsen ID. ID er en visuel repræsentation af hvad der sker og hvad der forventes at ske derefter. Her er vist en simpelt ID:

 
Ovenstående ID viser desto mere solskin desto flere turister, og jo flere turister desto færre ledige parkeringspladser vil der være. Det er selvfølgelig et simpelt eksempel, men det illustrerer meget godt hvad det drejer sig om. 

Basalt set har man behov for et whiteboard eller masser af papir, penne/tuscher, et par hjerner for at kunne konstruere. Med et par hjerner menes at to tænker bedre og anderledes end en.

Det viste sig dog i praksis, at det gav lidt flere udfordringer at lave disse ID'er - men øvelse gør vel mester, og i dette tilfælde.

Nedenstående ID viser softwaretest:

 
Jeg synes det er en spændende teknik, og min forventning da jeg valgte denne tutorial var, at det var en metode jeg kunne bruge når jeg arbejder med modenhedsvurdering og testprocesforbedring. Specielt når jeg skal analysere årsager m.m.

Så den første tutorial gav et godt udbytte. Som tester kan man jo altid finde kritikpunkter og detaljer man selv ville have gjort anderledes, men jeg kom helt sikkert fra denne tutorial med noget jeg kunne bruge og forventes at anvende fremover - skal nok lige øve mig før det kører gnidningsfrit.

Så var det den anden tutorial med Julie Gardiner. Emnet var Emotional Intelligence (herefter EI), Budskabet var at EI ofte blev vurderet til at være vigtigere end IQ. Det var en tutorial, hvor man skulle reflektere om og med sig selv - så hele tanken var det der blev sagt og gjort på denne tutorial forblev der. EI drejer sig om at bruge vor forståelse af følelser, både vor egne og andres, og gøre vor ageren endnu bedre for os selv og andre.

Der blev refereret forskning der viste at 70% af lederne lagte større vægt på EI end IQ. Julie omtalte Sheldon Cooper fra Big Bang Theory, som et godt eksempel på en person med (meget) høj IQ, men (meget) lav EI. Årsagerne til at foretrække høj EI er bl.a. at de personer forbliver rolige under pres, de er empatiske og agerer efter det, lead by example, beslutninger tages med forretningsmæssigt udgangspunkt, de håndterer konflikter effektivt.

Det var en god rejse gennem EI universet, og med meget selvreflektion.

EI har jeg stødt på flere gange - herunder på ISTQB Expert Kurserne - men dette var en meget levende og fantastisk tutorial - meget på grund af personen Julie Gardiner. 

Tutorial to var altså også en god oplevelse.

 

mandag den 8. maj 2017

STAReast 2017 - Det Hele Starter Om 2 Timer

Så skal vi til det igen - en uge med en masse nye indtryk, oplevelser og ny lærdom.

Stedet er Orlando i Florida, emnet er softwaretest, konferencen er STAReast, året er 2017.

Konceptet følger de andre års - mandag og tirsdag er der hel- eller halvdags tutorials, onsdag og torsdag keynotes og de kortere konferenceindlæg, og fredag sluttes af med en heldags session om ledelse i test og kvalitet.

Jeg vil på denne blog skrive indlæg hele ugen om de forskellige præsentationer, indlæg og indtryk. Mandag deltager jeg i 2 halvdags tutorials, og det samme tirsdag. De er valgt på forhånd, og heldigvis var jeg i lidt god tid med reservationen, da de godt kan være 'udsolgt'.

De to tutorials mandag er 'Influence Diagrams: A New Way to Understand Testing' med Isabel Evans og 'Applying Emotional Intelligence in Your Testing' med Julie Gardiner. Tirsdag deltager jeg i 'Agile Testing: Team Tactics that Deliver the Good' med Bob Galen og Mary Thorn og 'Requirements Engineering for Testers' med Erik van Veenendaal.

Jeg har store forventninger til ugen, og glæder mig utroligt meget, og også denne gang har jeg lovet mig selv at skrive mindst et blogindlæg pr. dag om indtryk, oplevelser og reflektioner.

torsdag den 9. februar 2017

World Quality Report 2016-17

Ventet med længsel - så kom den endelig - årets World Quality Report 2016-17 i samarbejde med HPE, Sogeti og søsterselskabet Capgemini. Ventet med længsel fordi rapporten opsummerer tilstanden for test- og kvalitetsområdet. Denne rapport er udarbejdet med baggrund i 1.600 interviews fra 21 lande og fordelt på 10 forskellige brancher/sektorer.

De fem vigtigste key-findings er:
  1. Digital Transformation continues to drive IT strategy and make itself felt in the QA and Testing function.
  2. Agile and DevOps continue to grow in adoption, with QA making a corresponding move.
  3. The emergence of Internet of Things functionality i a disrupting force with the potential to increase the impact of failure.
  4. The challenges around managing and driving down the cost of test environment management are growing.
  5. The continued requirement to find efficiencies at every level in QA and Testing remains evident despite this year's success in containing costs.
Dette har resulteret i følgende key-recommendations:
  1. Invest in intelligent self-learning QA and Testing platforms for all areas of the application landscape.
  2. Adopt a QA approach for DevOps, agile and traditional - powered by enablement teams that help to truly shift left quality.
  3. Invest in as-a-service solutions for test environment management, test data management and test execution.
  4. Develop Internet of Things-specific test strategies.
  5. Manage quality with simple balanced scorecards per Line of Business and per application or process.
Årets World Quality Report kan downloades her:

https://www.capgeminisogeti.dk/om-os/publikationer/rapporter/world-quality-report-2016-2017/