Den nye standard for softwaretest (ISO/IEC/IEEE 29119) har som et af de organisatoriske testspecifikationer defineret indholdet i en testpolitik. Det er godt at se, at der nu er en 'officiel' definition på dette indhold. 29119-standardens indhold i testpoltikken er på 10 punkter - som er følgende:
1) Målet med test: Her beskrives formålet, målet og det overordnede omfang af softwaretest inden for den pågældende virksomhed/organisation. Der skrives også noget om, hvorfor test udføres og hvad der ønskes opnået.
2) Testproces: Her angives, hvilken testproces der følges - eventuelt i form af en reference til denne i et andet dokument e.lign.
3) Testorganisationens struktur: Her angives roller og organisationsstruktur for testområdet. Det kan være i form af et diagram eller i en tabel.
4) Uddannelse og træning for testerne: Krævet uddannelse og certifikater for de personer der arbejder i testorganisationen.
5) Etik for testområdet: Her angives det etiske kodeks for testerne.
6) Standarder: Anviser hvilke standarder der anvendes inden for testorganisationen.
7) Andre relevante politikker: Angiver andre af virksomhedens politikker der påvirker testorganisationen.
8) Måling af værdien af softwaretest: Fastlægger hvordan testens ROI opgøres og måles, herunder hvad målet med denne måling er.
9) Arkivering og genbrug af testaktiver: Omfatter hvad og hvordan testaktiverne arkiveres, og hvad holdningen til genbrug er.
10) Forbedring af testprocessen: Angiver fremgangsmåden for at sikre en vedvarende forbedring af testprocessen - et eksempel kunne være anvendelse af TPI-modellen e.lign.
Jeg mener klart, at disse 10 punkter er et rigtig godt udgangspunkt til indholdet i en testpolitik. Specielt er det godt at se forhold omkring uddannelse m.m. er medtaget. Det illustrerer klart, at softwaretest er en kendt, og anerkendt, disciplin.
Nu er det så interessant at se, hvordan de danske virksomheder modtager disse 10 punkter - forhåbenligt kommer vi til at se flere virksomheder/organisationer der har en testpolitik de kommende år.
lørdag den 30. november 2013
fredag den 22. november 2013
Ny bog om kombinatorisk test
Så kom Kuhn et al's bog 'Introduction to Combinatorial Testing'. Glæder mig til at læse den.
mandag den 18. november 2013
Så kom bogpakken endelig..........
......med bogen 'Software Test Attacks to Break Mobile and Embedded Devices' - glæder til at angribe bogen.
onsdag den 6. november 2013
Den nye teststandard - ISO 29119 - eller.............
Sidder og hygger mig med den nye ISO-standard til softwaretest - kaldet 29119. Min overskrift om at det er en ISO-standard, og kun en ISO-standard, bliver hurtigt gjort lidt til skamme. Det er både en ISO-, IEC- og IEEE-standard - så blev jeg så klogere.
Der er fire dele - eller det vil sige faktisk kun 3 - for den fjerde må vi vente lidt på.
Del 1 omhandler koncepter og definitioner, del 2 omhandler testprocesser og del 3 omhandler testdokumentation. Del 4, som vi jo desværre må vente lidt på endnu, omhandler testteknikker.
Det er altid spændende at fordybe sig i en sådan ny standard inden for ens professionelle virke - så jeg glæder mig.
Der er fire dele - eller det vil sige faktisk kun 3 - for den fjerde må vi vente lidt på.
Del 1 omhandler koncepter og definitioner, del 2 omhandler testprocesser og del 3 omhandler testdokumentation. Del 4, som vi jo desværre må vente lidt på endnu, omhandler testteknikker.
Det er altid spændende at fordybe sig i en sådan ny standard inden for ens professionelle virke - så jeg glæder mig.
tirsdag den 15. oktober 2013
søndag den 29. september 2013
onsdag den 25. september 2013
Aftenens læsning......
.....The Economics of Software Quality af Capers Jones et al. Spændende og interessant læsning.
torsdag den 18. juli 2013
Dagens bog er............
......Perfect Software and other illusions about testing af Gerald Weinberg. Skønt gensyn og -læsning.
tirsdag den 7. maj 2013
Test af Data Warehouse
Jeg har nu set de mange positive og konstruktive kommentarer der er kommet på baggrund af mine refleksioner over de indlæg på STAReast jeg deltog i - og jeg er nået til den konklusion, at test af data warehouse har en stor interesse og bevågenhed.
Jeg har derfor sat mig det mål, at bearbejde dette emne endnu mere, når jeg er tilbage.
Jeg har derfor sat mig det mål, at bearbejde dette emne endnu mere, når jeg er tilbage.
Facilitering - En Vigtig Disciplin i Test
På STAReast-konferencen 'faldt' jeg over følgende bog 'Designing the Conversation - Techniques for Successful Facilitation' - den omhandler både facilitering af enkeltpersoner og grupper/workshops - jeg glæder mig til at få den læst nærmere:
fredag den 3. maj 2013
Once Upon A Time In Orlando At STAReast 2013
Det er jo ofte populært at lave indlæg med henvisning til kendte film - så nu følger jeg strømmen - og henviser til mafia-filmen 'Once Upon A Time In America'.
I forbindelse med at sammensætte mine afsluttende kommentarer omkring STAReast 2013 konferencen i Orlando gik jeg mig en tur for at få lidt frisk luft og klare hjernen. Så kom jeg forbi, hvad jeg formoder er en lokal forening af ornitologi-studerende med særlig interesse for ugler - for de driver åbenbart en restaurant her i nærheden, hvor logo'et netop er en ugle med store øjne. Jeg tænkte - en ugle er jo en klogt dyr - så måske det kunne hjælpe med at organisere mine tanker og ideer for disse slutbemærkninger, hvorfor jeg gik derind. Jeg blev modtaget af en ung kvindelig ornitologi-studerende med særlig fokus på ugler og deres øjne - og efter at havde fået bestilt et glas vand og en lille salat - begyndte jeg at skrive - hun - altså denne kvindelige ornitologi-studerende med særlig interesse for ugler - kom forbi og spurgte om jeg var forfatter siden jeg sad og skrev - jeg kunne selvfølgelig havde valgt at gøre mig mere interessant end jeg nok er og svare bekræftende, men det er jo svært som tester - for vi er jo ærlige og redelige mennesker. Så jeg fortalte hende sandheden - at jeg arbejder med softwaretest - uglens øjne blev lidt blanke, hvorefter hun spurgte om jeg skulle have mere 'vand'. Det bekræftede jeg dog.
Samlet set har det været en fantastisk konference, og jeg har mødt en hel del virkelig dedikerede mennesker til vort fagområde. Jeg er helt sikkert blevet bekræftet i, at softwaretest er en disciplin i konstant udvikling og fornyelse. Temaet for STAReast 2013 'Tune In to Innovative Testing' har også levet op til sit fulde mål.
Det har klart været en uge med mange dejlige indtryk, oplevelser og et udvidet netværk på tværs af atlanten. Men der er også behov for at alt dette kan bundfælde sig.
Udover de mange blog-indlæg om præsentationerne jeg har haft, er der dog een ting som tegner sig tydeligt for mig - nemlig det fortsatte fokus på testhåndværket som vi bør have - herunder har specielt testteknikkerne været omtalt af en del indlægsholdere. Men også behovet for at specialisere sig som tester - inden for et givet område som f.eks. ikke-funktionelle egenskaber, men det kunne også være andre områder.
Men er der så ikke noget jeg er ked af - jo en del - men det opvejes af de mange positive elementer. Jeg er ked af at jeg kun kunne deltage i 3 ud af 34 tutorials. At jeg kun kunne deltage i 7 ud af 42 sessioner. At jeg ikke deltog i nogen af de tekniske præsentationer. Og HUSK inden der er nogen der dømmer mig - det er umuligt at deltage i mere end jeg har gjort - da disse kører parallelt. Jeg deltog dog i 100% af keynotes, EXPO og de sociale aktiviteter (= networking).
En anden ting jeg kan sige - de mange udsagn på EuroSTAR m.m. om at '....testing is dead....'.....de udtalelser vil jeg gerne melde 'død' - det er langtfra tilfældet. Der er fortsat brug for vor disciplin, men vi skal selvfølgelig tilpasse os nye tider. MEN det er jo ikke noget nyt - det har vi jo altid gjort. Nye arbejdsformer. Nye teknologier. Nye metoder.
Og som en af indlægsholderne sagde '.....HOPE is not a strategy in testing.....' - og det er korrekt.
Denne uge har givet sig udslag i mange ideer og inspiration, som jeg vil gøre brug af på kurser, white papers, indlæg og blogs det kommende år, og det er alt sammen noget jeg glæder mig til at dele med alle mine kollegaer i det danske testsamfund. Det bliver dog også skønt at få lidt tid til at fordybe sig i det meget materiale jeg har fået med herfra.
I forbindelse med at sammensætte mine afsluttende kommentarer omkring STAReast 2013 konferencen i Orlando gik jeg mig en tur for at få lidt frisk luft og klare hjernen. Så kom jeg forbi, hvad jeg formoder er en lokal forening af ornitologi-studerende med særlig interesse for ugler - for de driver åbenbart en restaurant her i nærheden, hvor logo'et netop er en ugle med store øjne. Jeg tænkte - en ugle er jo en klogt dyr - så måske det kunne hjælpe med at organisere mine tanker og ideer for disse slutbemærkninger, hvorfor jeg gik derind. Jeg blev modtaget af en ung kvindelig ornitologi-studerende med særlig fokus på ugler og deres øjne - og efter at havde fået bestilt et glas vand og en lille salat - begyndte jeg at skrive - hun - altså denne kvindelige ornitologi-studerende med særlig interesse for ugler - kom forbi og spurgte om jeg var forfatter siden jeg sad og skrev - jeg kunne selvfølgelig havde valgt at gøre mig mere interessant end jeg nok er og svare bekræftende, men det er jo svært som tester - for vi er jo ærlige og redelige mennesker. Så jeg fortalte hende sandheden - at jeg arbejder med softwaretest - uglens øjne blev lidt blanke, hvorefter hun spurgte om jeg skulle have mere 'vand'. Det bekræftede jeg dog.
Samlet set har det været en fantastisk konference, og jeg har mødt en hel del virkelig dedikerede mennesker til vort fagområde. Jeg er helt sikkert blevet bekræftet i, at softwaretest er en disciplin i konstant udvikling og fornyelse. Temaet for STAReast 2013 'Tune In to Innovative Testing' har også levet op til sit fulde mål.
Det har klart været en uge med mange dejlige indtryk, oplevelser og et udvidet netværk på tværs af atlanten. Men der er også behov for at alt dette kan bundfælde sig.
Udover de mange blog-indlæg om præsentationerne jeg har haft, er der dog een ting som tegner sig tydeligt for mig - nemlig det fortsatte fokus på testhåndværket som vi bør have - herunder har specielt testteknikkerne været omtalt af en del indlægsholdere. Men også behovet for at specialisere sig som tester - inden for et givet område som f.eks. ikke-funktionelle egenskaber, men det kunne også være andre områder.
Men er der så ikke noget jeg er ked af - jo en del - men det opvejes af de mange positive elementer. Jeg er ked af at jeg kun kunne deltage i 3 ud af 34 tutorials. At jeg kun kunne deltage i 7 ud af 42 sessioner. At jeg ikke deltog i nogen af de tekniske præsentationer. Og HUSK inden der er nogen der dømmer mig - det er umuligt at deltage i mere end jeg har gjort - da disse kører parallelt. Jeg deltog dog i 100% af keynotes, EXPO og de sociale aktiviteter (= networking).
En anden ting jeg kan sige - de mange udsagn på EuroSTAR m.m. om at '....testing is dead....'.....de udtalelser vil jeg gerne melde 'død' - det er langtfra tilfældet. Der er fortsat brug for vor disciplin, men vi skal selvfølgelig tilpasse os nye tider. MEN det er jo ikke noget nyt - det har vi jo altid gjort. Nye arbejdsformer. Nye teknologier. Nye metoder.
Og som en af indlægsholderne sagde '.....HOPE is not a strategy in testing.....' - og det er korrekt.
Denne uge har givet sig udslag i mange ideer og inspiration, som jeg vil gøre brug af på kurser, white papers, indlæg og blogs det kommende år, og det er alt sammen noget jeg glæder mig til at dele med alle mine kollegaer i det danske testsamfund. Det bliver dog også skønt at få lidt tid til at fordybe sig i det meget materiale jeg har fået med herfra.
Der er ikke noget som politiske formuleringer...........
”........ikke længere er fuldt kompatibel med begge parters kommercielle interesser....." - sådan formuleres det når to virksomheder stopper et kommercielt joint venture.....
STAReast 2013 - Refleksioner over torsdagens oplevelser
Så fik jeg tid til at få nedfældet mine refleksioner over de fortsat mange gode indtryk og oplevelser en sådan konference giver.
Torsdagen startede med en keynote over temaet 'Asking the Right Questions? What Journalism can Teach Testers' - god start på morgenen. Indlægsholderen har sikkert ret i, at vi testere kan lære meget om kommunikation og sikkert også fra journalister; men jeg har altid i baghovedet et indlæg fra en dansk journalist jeg overværede - han talte kun om nyhedskriterier - konflikter, ulykker, ballade m.m. Dette bliver vist en ren tilståelsessag fra min side - jeg var nok forudindtaget. Men lad det lige bundfælde sig lidt mere, så vender jeg tilbage en anden gang.
Dagens helt store oplevelse var Lloyd Roden om 'Building Successful Test Teams' - han er en fornøjelse at lytte til - han brænder for det, har stor viden og erfaring, og ikke mindst humor. Han tog udgangspunkt i en væsentlig udfordring der er ofte er i dag, når vi skal sammensætte vores testteam - de forskellige modeller for ressourceorganisering: distribueret, outsourcet, insourcet, off-shore m.m. og dette kombineret med forskellige udviklingsmodelller - så bliver det udfordrende. Han præsenterede fire typer af testere: pragmatikeren, pioneren, analytikeren og facilitatoren, og et lille og praktisk orienteret spørgeskema til at identificere disse typer - vi testede selv spørgeskemaet og fandt vor egen profil/type. Han gjorde sig også nogle gode tanker om de forskellige situationer der er: sammensætning af et nyt team, rekruttere til et eksisterende team, og brug af disse forskellige personlighedstest (Belbin, MBTI, 16PF, sit eget spørgeskema), og så sluttede han af med nogle gode råd til at motivere testerne:
- støt dit team
- varier arbejdsindholdet for testerne
- giv værktøjer der hjælper og ikke hindrer
- etabler mentorprogram
- indarbejd slæk i tidsplanen.
Et par indlæg som jeg også var inde til var 'A Year of Testing in the Cloud: Lessons Learned' og 'Strength in Numbers: Using Web Analytics to Drive Test Requirements', og så selvfølgelig fortsat besøg på EXPO-området.
Den sidste session jeg var til, før den afsluttende keynote' var 'New Testing Standards are on the Horizon - What will be their Impact?' - om den nye ISO 29119 standard for test. Den nye ISO-standard for test er en sammenskrivning af flere eksisterende standarder, og er mere fleksibel og skalerbar end de nuværende ofte opleves som. Der er fire dele i standarden: Del 1 omfatter testkonceptet og definitioner. Del 2 omfatter testprocesser. Del 3 omfatter testdokumentation - hvor testpolitikken er et af de nye officielle dokumenter, men der kommer også dokumenter der omfatter testdata og testmiljø. Del 4 omfatter testteknikker - specifikationsbaserede og strukturbaserede.
HVAD BLEV DER AF DE STATISKE TEKNIKKER???????????
Det bliver spændende at komme til at arbejde med denne standard.
Dagen og selve konferencen sluttede af med Lee Copeland's afsluttende keynote om 'The Mismeasure of Software: The Last Talk on Measurement You'll Ever Need to Hear' - Lee gjorde sig nogle filosofiske betragtninger om målinger, og sluttede af med hans fire 'don't':
Torsdagen startede med en keynote over temaet 'Asking the Right Questions? What Journalism can Teach Testers' - god start på morgenen. Indlægsholderen har sikkert ret i, at vi testere kan lære meget om kommunikation og sikkert også fra journalister; men jeg har altid i baghovedet et indlæg fra en dansk journalist jeg overværede - han talte kun om nyhedskriterier - konflikter, ulykker, ballade m.m. Dette bliver vist en ren tilståelsessag fra min side - jeg var nok forudindtaget. Men lad det lige bundfælde sig lidt mere, så vender jeg tilbage en anden gang.
Dagens helt store oplevelse var Lloyd Roden om 'Building Successful Test Teams' - han er en fornøjelse at lytte til - han brænder for det, har stor viden og erfaring, og ikke mindst humor. Han tog udgangspunkt i en væsentlig udfordring der er ofte er i dag, når vi skal sammensætte vores testteam - de forskellige modeller for ressourceorganisering: distribueret, outsourcet, insourcet, off-shore m.m. og dette kombineret med forskellige udviklingsmodelller - så bliver det udfordrende. Han præsenterede fire typer af testere: pragmatikeren, pioneren, analytikeren og facilitatoren, og et lille og praktisk orienteret spørgeskema til at identificere disse typer - vi testede selv spørgeskemaet og fandt vor egen profil/type. Han gjorde sig også nogle gode tanker om de forskellige situationer der er: sammensætning af et nyt team, rekruttere til et eksisterende team, og brug af disse forskellige personlighedstest (Belbin, MBTI, 16PF, sit eget spørgeskema), og så sluttede han af med nogle gode råd til at motivere testerne:
- støt dit team
- varier arbejdsindholdet for testerne
- giv værktøjer der hjælper og ikke hindrer
- etabler mentorprogram
- indarbejd slæk i tidsplanen.
Et par indlæg som jeg også var inde til var 'A Year of Testing in the Cloud: Lessons Learned' og 'Strength in Numbers: Using Web Analytics to Drive Test Requirements', og så selvfølgelig fortsat besøg på EXPO-området.
Den sidste session jeg var til, før den afsluttende keynote' var 'New Testing Standards are on the Horizon - What will be their Impact?' - om den nye ISO 29119 standard for test. Den nye ISO-standard for test er en sammenskrivning af flere eksisterende standarder, og er mere fleksibel og skalerbar end de nuværende ofte opleves som. Der er fire dele i standarden: Del 1 omfatter testkonceptet og definitioner. Del 2 omfatter testprocesser. Del 3 omfatter testdokumentation - hvor testpolitikken er et af de nye officielle dokumenter, men der kommer også dokumenter der omfatter testdata og testmiljø. Del 4 omfatter testteknikker - specifikationsbaserede og strukturbaserede.
HVAD BLEV DER AF DE STATISKE TEKNIKKER???????????
Det bliver spændende at komme til at arbejde med denne standard.
Dagen og selve konferencen sluttede af med Lee Copeland's afsluttende keynote om 'The Mismeasure of Software: The Last Talk on Measurement You'll Ever Need to Hear' - Lee gjorde sig nogle filosofiske betragtninger om målinger, og sluttede af med hans fire 'don't':
- mål ikke hvis du ikke ved hvad det betyder
- mål ikke hvis du ikke vil bruge målingen til noget, og til at gøre noget
- ændre ikke din måling til at være et mål
- fokuser ikke på at måle indsatsen, men hvad der er opnået.
torsdag den 2. maj 2013
Torsdag - STAReast 2013
Så blev det torsdag - næstsidste dag på en spændende konference. Torsdagen byder indledningsvis på en keynote 'Asking the Right Questions? What Journalism Can Teach Testers'. Derefter er der 9 sessions spor - i dag er det: Test Management, Test Techniques, Test Automation, Mobile Testing, Cloud Testing (formiddag) / Security Testing (eftermiddag), Special Topics, og så de 3 spor med Technical Presentations (leverandører/sponsorer). Og torsdag slutter af med en keynote: 'The Mismeasure of Software: The Last Talk on Measurement You'll Ever Need to Hear'.
Så endnu en spændende dag.
Så endnu en spændende dag.
STAReast 2013 - Refleksioner over onsdagens oplevelser
Onsdagen startede helt fantastisk med en keynote af Jeff Payne over temaet 'Testing in a Test-Driven World'. Han lagde ud med følgende statement 'Test driver udvikling' og ikke omvendt - det skabte naturligvis en god stemning. Hans udtalelse om, at alle er ansvarlige for kvaliteten af softwaren gjorde ikke skade på den gode stemning.
Hans keynote var bygget op om filmen 'The Good,The Bad and The Ugly'. Han fik så vendt forskellige vinkler på test i det lys. The Good var med vinklen '...testing drives development'. The Bad var med vinklen '.......lots of testing is needed in a short amount of time'. The Ugly var med vinklen '.....a belief by some that testers are not needed'.
Han kom virkelig ud over rampen med sit budskab: test findes også i fremtidens it-projekter. Han mente dog, at vi som fag skulle være meget lydhøre over for de ændringer der sker i vore omgivelser, som gør at rollen vil ændre sig over tid, og vi skal være klar til at gribe den. Hans budskab var bl.a. at software i dag er meget kritisk for mange virksomheder, hvorfor kravet til test øges, men det gør kravet om time-to-market også. Dette betyder bl.a. at 'speed is king' - så automatisering kommer endnu mere i fokus, og det er her vi som testere skal være åbne - vi skal lære at kode og scripte. Han mente også, at ikke-professionelle testere var dårlige til at teste - men at vi som professionelle testere skulle kunne vort håndværk - han nævnte helt specifikt testteknikkerne som et område, hvor vi kan gøre en forskel, og bør gøre det. Afslutningen var ret god: 'Test forsvinder ikke - det bliver bare mere spændende og udfordrende'. Min umiddelbare tanke er, at hans tanker og ideer minder utrolig meget om Sogeti's vision PointZERO, men skønt med flere der har gjort sig de samme tanker.
Ellers gik onsdagen med følgende sessioner:
The Test Coverage Outline: Your Testing Road Map - ganske spændende koncept, som har sit udgangspunkt i Rapid Software Testing, og hvor der udarbejdes en oversigt/liste over forskellige aspekter af softwaren. Denne bruges så til prioritering.
Presenting Test Results with Clarity and Confidence - som udgangspunkt et vigtigt og spændende område, som indlægsholderen desværre fik forplumret med en meget filosofisk tilgang til temaet - så filosofisk, at jeg følge mig sat 30 år tilbage, og igen sad og havde 'Videnskabsteori' på Handelshøjskolen. Så jeg har desværre ikke meget at berette her.
Reports of the Death of Testing have been greatly exaggerated - et indlæg jeg følte jeg måtte overvære, idet der på de seneste par EuroSTAR's har været indlæg om det modsatte. Jeg blev ikke skuffet over Ruud's indlæg. Kravene til test ændrer sig, og det skal vi så gøre i samme forbindelse, og gerne være på forkant.
EXPO - det var også onsdag at EXPO-området åbnede med en række stande med værktøjer, metoder m.m. Jeg har ikke været rundt endnu til alle, men jeg har indsamlet en del materiale, som jeg vil få studeret nærmere. Lidt underligt at være på en testkonference, hvor Sogeti ikke har en stand.
Øvrigt - Eftermiddagen sluttede af med 9 korte 'key-notes' (hver af 5 min. varighed), hvor de udvalgte indlægsholdere kunne fremføre et budskab - ingen nævnt ingen glemt - men nogle var klart bedre end andre - og så var der et par klovne. Dagen sluttede - her var det blevet aften - i bedste Las Vegas stil med 'Shake, Rattle 'n' Roll - hvor der var et stort kasino, levende musik, god stemning og networking. Ak ja 'kasino' - og mig der ikke er en spillenatur - men underholdende var det.
Hans keynote var bygget op om filmen 'The Good,The Bad and The Ugly'. Han fik så vendt forskellige vinkler på test i det lys. The Good var med vinklen '...testing drives development'. The Bad var med vinklen '.......lots of testing is needed in a short amount of time'. The Ugly var med vinklen '.....a belief by some that testers are not needed'.
Han kom virkelig ud over rampen med sit budskab: test findes også i fremtidens it-projekter. Han mente dog, at vi som fag skulle være meget lydhøre over for de ændringer der sker i vore omgivelser, som gør at rollen vil ændre sig over tid, og vi skal være klar til at gribe den. Hans budskab var bl.a. at software i dag er meget kritisk for mange virksomheder, hvorfor kravet til test øges, men det gør kravet om time-to-market også. Dette betyder bl.a. at 'speed is king' - så automatisering kommer endnu mere i fokus, og det er her vi som testere skal være åbne - vi skal lære at kode og scripte. Han mente også, at ikke-professionelle testere var dårlige til at teste - men at vi som professionelle testere skulle kunne vort håndværk - han nævnte helt specifikt testteknikkerne som et område, hvor vi kan gøre en forskel, og bør gøre det. Afslutningen var ret god: 'Test forsvinder ikke - det bliver bare mere spændende og udfordrende'. Min umiddelbare tanke er, at hans tanker og ideer minder utrolig meget om Sogeti's vision PointZERO, men skønt med flere der har gjort sig de samme tanker.
Ellers gik onsdagen med følgende sessioner:
The Test Coverage Outline: Your Testing Road Map - ganske spændende koncept, som har sit udgangspunkt i Rapid Software Testing, og hvor der udarbejdes en oversigt/liste over forskellige aspekter af softwaren. Denne bruges så til prioritering.
Presenting Test Results with Clarity and Confidence - som udgangspunkt et vigtigt og spændende område, som indlægsholderen desværre fik forplumret med en meget filosofisk tilgang til temaet - så filosofisk, at jeg følge mig sat 30 år tilbage, og igen sad og havde 'Videnskabsteori' på Handelshøjskolen. Så jeg har desværre ikke meget at berette her.
Reports of the Death of Testing have been greatly exaggerated - et indlæg jeg følte jeg måtte overvære, idet der på de seneste par EuroSTAR's har været indlæg om det modsatte. Jeg blev ikke skuffet over Ruud's indlæg. Kravene til test ændrer sig, og det skal vi så gøre i samme forbindelse, og gerne være på forkant.
EXPO - det var også onsdag at EXPO-området åbnede med en række stande med værktøjer, metoder m.m. Jeg har ikke været rundt endnu til alle, men jeg har indsamlet en del materiale, som jeg vil få studeret nærmere. Lidt underligt at være på en testkonference, hvor Sogeti ikke har en stand.
Øvrigt - Eftermiddagen sluttede af med 9 korte 'key-notes' (hver af 5 min. varighed), hvor de udvalgte indlægsholdere kunne fremføre et budskab - ingen nævnt ingen glemt - men nogle var klart bedre end andre - og så var der et par klovne. Dagen sluttede - her var det blevet aften - i bedste Las Vegas stil med 'Shake, Rattle 'n' Roll - hvor der var et stort kasino, levende musik, god stemning og networking. Ak ja 'kasino' - og mig der ikke er en spillenatur - men underholdende var det.
onsdag den 1. maj 2013
Onsdag - STAReast 2013
Så blev det onsdag morgen her i Orlando. De to første dage har været fyldt med hel- og halvdags tutorial - nu kommer vi til keynotes og sessions. Vi skal starte dagen med to keynotes.
Den første er 'Testing in a Test-Driven World' af Jeff Payne, og den anden er 'Surviving or Thriving: Top Ten Lessons for the Professional Tester' af Lloyd Roden.
Derefter kører der resten (næsten) af dagen ni parallelle spor med sessioner. Det er 'Test Management', 'Test Techniques', 'Test Automation', 'Agile Testing', 'Performance Testing', 'Special Topics', og så kører der tre spor med 'Technical Presentation'. Disse tekniske præsentationer er typisk sponsorerne der står for dem.
Dagen slutter af med en keynote - eller nærmere en masse 5 minutters små keynotes.
Det er jo også i dag, hvor EXPO-området åbnes - det bliver spændende at se eventuelle nye værktøjer, trends m.m.
Den første er 'Testing in a Test-Driven World' af Jeff Payne, og den anden er 'Surviving or Thriving: Top Ten Lessons for the Professional Tester' af Lloyd Roden.
Derefter kører der resten (næsten) af dagen ni parallelle spor med sessioner. Det er 'Test Management', 'Test Techniques', 'Test Automation', 'Agile Testing', 'Performance Testing', 'Special Topics', og så kører der tre spor med 'Technical Presentation'. Disse tekniske præsentationer er typisk sponsorerne der står for dem.
Dagen slutter af med en keynote - eller nærmere en masse 5 minutters små keynotes.
Det er jo også i dag, hvor EXPO-området åbnes - det bliver spændende at se eventuelle nye værktøjer, trends m.m.
I Sliced Up Fun - Mobile Applications Testing - Heldags Tutorial
En god tutorial - og man når trods alt godt rundt i 'managen' når der er afsat en hel dag til emnet - test af mobile apps. Jonathan Kohl havde denne tutorial, og jeg kan stærkt anbefale at høre ham, hvis du engang får muligheden, eller at læse nogle af hans skrifter/bøger.
Vi kom som sagt godt rundt om emnet, og hvor vi fik testet både STAReast 2013 app'en og andre apps. En god chance for at få emnerne afprøvet med det samme.
En enkelt ide til generering af testideer han præsenterede er: I Sliced Up Fun, hvor hver enkelt bogstav står for en tilgang eller overvejelse til generering af testideer:
I - Inputs into Device: tastatur, trykfølsom skærm, lyd, lys og bevægelsessensorer, synkronisering med andre enheder, udstyr og andet som kan forbinde med din enhed.
S - Store Submission: specifikationer og udvikligsguides, guidelines for fejlhåndtering, tilladelser, adgang.
L - Location Testing: brug lokaliseringsfunktionerne, herunder gps, mobile netværks wifi, bevægelsessensorer, prøv at bevæge dig, herunder mellem de forskellige netværkstyper.
I - Interactions/Interruptions: afvikling af flere apps på samme tid, multitasking, brug notifikationer, fremprovoker fejlmeddelelser ex tab af netværksforbindelse m.m.
C - Communications: Lyd, videochat, tekst, mails, im, og brug disse i forbindelse med brug af din app. Kan din app håndtere at du tager en telefonsamtale eller ej.
E - Ergonomics: Skærmstørrelse, nemt eller ej at bruge app'en.
D - Data: Forskellige typer af input, herunder specialkarakterer, sprog varianter, filer.
U - Usability: Usability er nok en af de mest vigtige faktorer for at få succes med en mobil app. Usability is king. Ofte er der mindre formel dokumentation ved mobile apps, hvorfor disse skal være mere intuitive at bruge.
P - Platforms: Teste forskellige konfigurationer af platformen, herunder forskellige mærker af enheder, hardware versioner, os versioner, netværkstyper (wifi, 2G, 3G, 4G....), SSL og ikke-sikkert. Området her kan der potentielt findes mange fejl.
F - Functional Properties: Analyser hvilke properties på enheden/os som din app gør brug af - udforsk dette og afprøv forskellige kombinationer af egenskaberne - her lyder klassifikationstræ og/eller parvis test, som et par gode testteknikker (den sidste er for min egen regning, og skal ikke belaste Jonathan Kohl).
U - User Scenarios: Vi mennesker bruger de mobile enheder forskelligt i forhold til PC. Analyser hvordan app'en vil blive brugt, og test der. Lav eventuelt forskellige 'tours' - et ungt menneske, et ældre menneske osv. Selvfølgeligt ud fra app'ens målgruppe og faktiske brugere.
N - Network: Kombiner forskellige netværkstyper, herunder typer med forskellig performance, signal styrke og prøv af fremprovoker netværksfejl. Her kunne fokus være ex fejlhåndtering m.m.
Men ellers var et vigtigt budskab nok: Der er ikke mange standarder - det er rent wild west.
Vi kom som sagt godt rundt om emnet, og hvor vi fik testet både STAReast 2013 app'en og andre apps. En god chance for at få emnerne afprøvet med det samme.
En enkelt ide til generering af testideer han præsenterede er: I Sliced Up Fun, hvor hver enkelt bogstav står for en tilgang eller overvejelse til generering af testideer:
I - Inputs into Device: tastatur, trykfølsom skærm, lyd, lys og bevægelsessensorer, synkronisering med andre enheder, udstyr og andet som kan forbinde med din enhed.
S - Store Submission: specifikationer og udvikligsguides, guidelines for fejlhåndtering, tilladelser, adgang.
L - Location Testing: brug lokaliseringsfunktionerne, herunder gps, mobile netværks wifi, bevægelsessensorer, prøv at bevæge dig, herunder mellem de forskellige netværkstyper.
I - Interactions/Interruptions: afvikling af flere apps på samme tid, multitasking, brug notifikationer, fremprovoker fejlmeddelelser ex tab af netværksforbindelse m.m.
C - Communications: Lyd, videochat, tekst, mails, im, og brug disse i forbindelse med brug af din app. Kan din app håndtere at du tager en telefonsamtale eller ej.
E - Ergonomics: Skærmstørrelse, nemt eller ej at bruge app'en.
D - Data: Forskellige typer af input, herunder specialkarakterer, sprog varianter, filer.
U - Usability: Usability er nok en af de mest vigtige faktorer for at få succes med en mobil app. Usability is king. Ofte er der mindre formel dokumentation ved mobile apps, hvorfor disse skal være mere intuitive at bruge.
P - Platforms: Teste forskellige konfigurationer af platformen, herunder forskellige mærker af enheder, hardware versioner, os versioner, netværkstyper (wifi, 2G, 3G, 4G....), SSL og ikke-sikkert. Området her kan der potentielt findes mange fejl.
F - Functional Properties: Analyser hvilke properties på enheden/os som din app gør brug af - udforsk dette og afprøv forskellige kombinationer af egenskaberne - her lyder klassifikationstræ og/eller parvis test, som et par gode testteknikker (den sidste er for min egen regning, og skal ikke belaste Jonathan Kohl).
U - User Scenarios: Vi mennesker bruger de mobile enheder forskelligt i forhold til PC. Analyser hvordan app'en vil blive brugt, og test der. Lav eventuelt forskellige 'tours' - et ungt menneske, et ældre menneske osv. Selvfølgeligt ud fra app'ens målgruppe og faktiske brugere.
N - Network: Kombiner forskellige netværkstyper, herunder typer med forskellig performance, signal styrke og prøv af fremprovoker netværksfejl. Her kunne fokus være ex fejlhåndtering m.m.
Men ellers var et vigtigt budskab nok: Der er ikke mange standarder - det er rent wild west.
tirsdag den 30. april 2013
Jubii - bogstanden på STAReast åbner
Så er bog-standen på STAReast åbnet. Så skal der handles. Det generelle EXPO-område åbner i morgen.
Ellers tester vi STAReast 2013 App'en - der er vist plads til forbedringer, eller er der tale om fejlplantning?
Ellers tester vi STAReast 2013 App'en - der er vist plads til forbedringer, eller er der tale om fejlplantning?
Mobile Applications Testing - Heldags Tutorial
En spændende dag. Test af mobile apps med hands-on øvelser.
mandag den 29. april 2013
Testing the Data Warehouse - STAReast - Tutorial - Geoff Horne
Så kom turen til mandagens anden halvdags tutorial - her var mit valg blevet 'test af datawarehouse', som jeg tidligere har arbejdet en del med - primært i den finansielle sektor. Jeg har fået nogle kommentarer via sms om min 'langsommelighed' med at opdatere min blog - husk venligst de 6 timers forskel i tiden - nu er kl. 16.55 her, og 22.55 hjemme i Danmark - så min dag/aften har fortsat mange timer - som jeg vil nyde her i selskab med mange interessante testkollegaer fra det meste af verdenen - dog var jeg den eneste ikke amerikaner til denne tutorial.
Geoff Horne startede sin tutorial med udgangspunkt i et af de hotte buzz-word i øjeblikket - BIG DATA. Det refererer det de gigantiske mængder af data - ofte på ustruktureret form - vi i dag har i forskellige systemer. Af disse ofte er i ustruktureret form giver selvfølgelig mening når man tænker på de mange forskellige kildesystemer og -former, herunder sociale medier, blogs m.m. En måde at få struktur på dem er 'selvfølgelig' via et datawarehouse.
Hvis du har behov for at blive opdateret med hensyn til BIG DATA - så har Sogeti's VINT-center udarbejdet en række skrifter om disse - tjek nedenstående link til et af disse skrifter:
BIG DATA
Det var gennemgående i tutorialen at test i datawarehouse er vigtigt - bl.a. med udgangspunkt i den ofte meget svingende kvalitet i kildedata, opsætning af ETL-regler og 'rensning' af data. Et af hans budskaber var da også en løbende måling af datakvaliteten i kildesystemerne, herunder udbedring af disse' klart skulle overvejes af alle FØR etablering af et datawarehouse.
Det er umiddelbart spændende at se på, hvilke færdigheder det kræver af testere i forhold til datawarehouse-test - altså udover de sædvanlige:
- kendskab til datawarehouse konceptet
- viden om både de tekniske emner og den forretningsmæssige brug
- kendskab til SQL, stored procedures, SQL-test
- kendskab til datamodellering, datamapping, ETL-tools, DBA-viden - nogle af disse til brug for review
- excel - specielt datanalyse-delen
- kendskab til sammenhæng mellem data og forretningsprocesser.
Test af datawarehouse er jo en meget 'data-nær-test' (mit eget begreb - ved ikke om det findes - men nu gør det ihvertfald).
Jeg kunne ikke lade være med at spørge til hvilke testdesignteknikker der var mest anvendelig, når det kommer til test af datawarehouse. Min umiddelbare - ikke særligt beskedne - holdning er nok, at jeg nok kunne lære ham og de øvrige ca. 40 deltagere, lidt....måske mere end lidt. Udover ækvivalensklasser, grænseværditest og parvis test, kunne beslutningstabeltest også finde anvendelse ved f.eks. test af mapping-regler.
Geoff Horne startede sin tutorial med udgangspunkt i et af de hotte buzz-word i øjeblikket - BIG DATA. Det refererer det de gigantiske mængder af data - ofte på ustruktureret form - vi i dag har i forskellige systemer. Af disse ofte er i ustruktureret form giver selvfølgelig mening når man tænker på de mange forskellige kildesystemer og -former, herunder sociale medier, blogs m.m. En måde at få struktur på dem er 'selvfølgelig' via et datawarehouse.
Hvis du har behov for at blive opdateret med hensyn til BIG DATA - så har Sogeti's VINT-center udarbejdet en række skrifter om disse - tjek nedenstående link til et af disse skrifter:
BIG DATA
Det var gennemgående i tutorialen at test i datawarehouse er vigtigt - bl.a. med udgangspunkt i den ofte meget svingende kvalitet i kildedata, opsætning af ETL-regler og 'rensning' af data. Et af hans budskaber var da også en løbende måling af datakvaliteten i kildesystemerne, herunder udbedring af disse' klart skulle overvejes af alle FØR etablering af et datawarehouse.
Det er umiddelbart spændende at se på, hvilke færdigheder det kræver af testere i forhold til datawarehouse-test - altså udover de sædvanlige:
- kendskab til datawarehouse konceptet
- viden om både de tekniske emner og den forretningsmæssige brug
- kendskab til SQL, stored procedures, SQL-test
- kendskab til datamodellering, datamapping, ETL-tools, DBA-viden - nogle af disse til brug for review
- excel - specielt datanalyse-delen
- kendskab til sammenhæng mellem data og forretningsprocesser.
Test af datawarehouse er jo en meget 'data-nær-test' (mit eget begreb - ved ikke om det findes - men nu gør det ihvertfald).
Jeg kunne ikke lade være med at spørge til hvilke testdesignteknikker der var mest anvendelig, når det kommer til test af datawarehouse. Min umiddelbare - ikke særligt beskedne - holdning er nok, at jeg nok kunne lære ham og de øvrige ca. 40 deltagere, lidt....måske mere end lidt. Udover ækvivalensklasser, grænseværditest og parvis test, kunne beslutningstabeltest også finde anvendelse ved f.eks. test af mapping-regler.
Rick Craig - bruger TPI, men også en masse om metrikker
Som nævnt har jeg tilbragt formiddagen i selskab med Rick Craig - og sikke en inspiration. Hans tutorial var over temaet 'Measurement and Metrics for Test Managers', men han kom også lige til at nævne, at han bruger TPI-modellen, og har gjort det i mange år. Lyder godt.
Men en god tutorial med en masse gode drøftelser og erfaringsudvekslinger mellem de ca. 70 deltagere.
Der var specielt mange diskussioner om brugen af DDP som metrik (Defect Detection Percentage) - fordele, ulemper, brug og misbrug og ikke mindst fælder ved brug af den. Diskussionerne gik også på, hvilket niveau man skulle være på. Her er der jo ganske enkelt ikke noget enkelt og entydigt svar. Hvis man arbejder i en branche, hvor time-to-market er en af de vigtige konkurrenceparametre kan en lavere DDP være relevant, mens det for virksomheder der arbejder med såkaldt sikkerhedskritisk software (pharma, flykontrol m.m.) kan det være relevant at have en DDP i den højere ende.
Men man skal jo altid være opmærksom på, hvad omkostningen er ved at stige i DDP - omkostningen ved at stige fra 50% til 51% er nok lavere end hvis det er fra 97% til 98%.
Et andet område der blev diskuteret var metrikker til kodedækning. Overraskende var den mest udbredte instruktionsdækning, og når man tænker på at det jo er det laveste niveau det giver mening af måle på - ja så er det lidt overraskende at de andre ikke rigtig anvendes.
Et andet godt point fra Rick var holdningen til metrikker - opfat alle metrikker som midlertidige - evaluer værdien af disse en gang om året, og fjern og erstat de som ikke giver værdi. På den måde kan det sikres, at vi ikke bare bruger denne eller hint metrik fordi det har vi altid gjort.
Gode tanker og ideer til mit fortsatte arbejde med testmetrikker.
Men en god tutorial med en masse gode drøftelser og erfaringsudvekslinger mellem de ca. 70 deltagere.
Der var specielt mange diskussioner om brugen af DDP som metrik (Defect Detection Percentage) - fordele, ulemper, brug og misbrug og ikke mindst fælder ved brug af den. Diskussionerne gik også på, hvilket niveau man skulle være på. Her er der jo ganske enkelt ikke noget enkelt og entydigt svar. Hvis man arbejder i en branche, hvor time-to-market er en af de vigtige konkurrenceparametre kan en lavere DDP være relevant, mens det for virksomheder der arbejder med såkaldt sikkerhedskritisk software (pharma, flykontrol m.m.) kan det være relevant at have en DDP i den højere ende.
Men man skal jo altid være opmærksom på, hvad omkostningen er ved at stige i DDP - omkostningen ved at stige fra 50% til 51% er nok lavere end hvis det er fra 97% til 98%.
Et andet område der blev diskuteret var metrikker til kodedækning. Overraskende var den mest udbredte instruktionsdækning, og når man tænker på at det jo er det laveste niveau det giver mening af måle på - ja så er det lidt overraskende at de andre ikke rigtig anvendes.
Et andet godt point fra Rick var holdningen til metrikker - opfat alle metrikker som midlertidige - evaluer værdien af disse en gang om året, og fjern og erstat de som ikke giver værdi. På den måde kan det sikres, at vi ikke bare bruger denne eller hint metrik fordi det har vi altid gjort.
Gode tanker og ideer til mit fortsatte arbejde med testmetrikker.
Så er det begyndt - 'Tune In to Innovative Testing' @ STAReast
Så er STAReast 2013 i gang med temaet 'Tune In to Innovative Testing'. Her til formiddag er jeg til en tutorial med Rick Craig om 'Measurement and Metrics for Test Managers'.
søndag den 28. april 2013
STAReast 2013 i Orlando
Så er jeg klar til STAReast 2013 der foregår på Rosen Shingle Creek Hotel & Conference Center i Orlando.
Konferencen foregår hele ugen - fra mandag til fredag - dog er der nogle der allerede er startet i dag søndag - idet der er nogle kursusmuligheder - herunder ISTQB Foundation Certificering, kravspecifikation m.m.
Mandag og tirsdag er der hel- og halvdags tutorials, hvor man kan fordybe sig specifikke emner. Onsdag og torsdag kører der 4-5 spor med forskellige indlæg samt keynotes morgen og sidst eftermiddag. Fredag er der test summit. Undervejs er EXPO-området også åbent med stande fra forskellige leverandører m.m.
Jeg vil i ugens løb opdatere min blog med forskellige indtryk, ideer, inspiration m.m.
Konferencen foregår hele ugen - fra mandag til fredag - dog er der nogle der allerede er startet i dag søndag - idet der er nogle kursusmuligheder - herunder ISTQB Foundation Certificering, kravspecifikation m.m.
Mandag og tirsdag er der hel- og halvdags tutorials, hvor man kan fordybe sig specifikke emner. Onsdag og torsdag kører der 4-5 spor med forskellige indlæg samt keynotes morgen og sidst eftermiddag. Fredag er der test summit. Undervejs er EXPO-området også åbent med stande fra forskellige leverandører m.m.
Jeg vil i ugens løb opdatere min blog med forskellige indtryk, ideer, inspiration m.m.
mandag den 18. februar 2013
De 'bløde' sider ved softwaretest og testledelse - ny bog
Når vi mennesker samarbejder fokuserer vi ofte på de 'hårde' ting - med andre ord, hvad kan vi fagligt. Uddannelsen af testere og testledere fokuserer først rigtigt på dette område på ISTQB advanced level (men fortsat kun lidt).
Der er kommet en bog der fokuserer på emnet - dog på tysk - og som behandler bl.a. sådan 'overlever' du som tester i spændingsfeltet mellem alle interessenterne, nødvendige sociale kompetencer, konflikt- og stresshåndtering, kommunikation, testlederen som teamchef.
En bog jeg netop har bestilt og glæder mig til at læse.
Abonner på:
Opslag (Atom)