tirsdag den 7. maj 2013

Test af Data Warehouse

Jeg har nu set de mange positive og konstruktive kommentarer der er kommet på baggrund af mine refleksioner over de indlæg på STAReast jeg deltog i - og jeg er nået til den konklusion, at test af data warehouse har en stor interesse og bevågenhed.

Jeg har derfor sat mig det mål, at bearbejde dette emne endnu mere, når jeg er tilbage.

Facilitering - En Vigtig Disciplin i Test

På STAReast-konferencen 'faldt' jeg over følgende bog 'Designing the Conversation - Techniques for Successful Facilitation' - den omhandler både facilitering af enkeltpersoner og grupper/workshops - jeg glæder mig til at få den læst nærmere:


fredag den 3. maj 2013

Once Upon A Time In Orlando At STAReast 2013

Det er jo ofte populært at lave indlæg med henvisning til kendte film - så nu følger jeg strømmen - og henviser til mafia-filmen 'Once Upon A Time In America'.

I forbindelse med at sammensætte mine afsluttende kommentarer omkring STAReast 2013 konferencen i Orlando gik jeg mig en tur for at få lidt frisk luft og klare hjernen. Så kom jeg forbi, hvad jeg formoder er en lokal forening af ornitologi-studerende med særlig interesse for ugler - for de driver åbenbart en restaurant her i nærheden, hvor logo'et netop er en ugle med store øjne. Jeg tænkte - en ugle er jo en klogt dyr - så måske det kunne hjælpe med at organisere mine tanker og ideer for disse slutbemærkninger, hvorfor jeg gik derind. Jeg blev modtaget af en ung kvindelig ornitologi-studerende med særlig fokus på ugler og deres øjne - og efter at havde fået bestilt et glas vand og en lille salat - begyndte jeg at skrive - hun - altså denne kvindelige ornitologi-studerende med særlig interesse for ugler - kom forbi og spurgte om jeg var forfatter siden jeg sad og skrev - jeg kunne selvfølgelig havde valgt at gøre mig mere interessant end jeg nok er og svare bekræftende, men det er jo svært som tester - for vi er jo ærlige og redelige mennesker. Så jeg fortalte hende sandheden - at jeg arbejder med softwaretest - uglens øjne blev lidt blanke, hvorefter hun spurgte om jeg skulle have mere 'vand'. Det bekræftede jeg dog.

Samlet set har det været en fantastisk konference, og jeg har mødt en hel del virkelig dedikerede mennesker til vort fagområde. Jeg er helt sikkert blevet bekræftet i, at softwaretest er en disciplin i konstant udvikling og fornyelse. Temaet for STAReast 2013 'Tune In to Innovative Testing' har også levet op til sit fulde mål.

Det har klart været en uge med mange dejlige indtryk, oplevelser og et udvidet netværk på tværs af atlanten. Men der er også behov for at alt dette kan bundfælde sig.

Udover de mange blog-indlæg om præsentationerne jeg har haft, er der dog een ting som tegner sig tydeligt for mig - nemlig det fortsatte fokus på testhåndværket som vi bør have - herunder har specielt testteknikkerne været omtalt af en del indlægsholdere. Men også behovet for at specialisere sig som tester - inden for et givet område som f.eks. ikke-funktionelle egenskaber, men det kunne også være andre områder.

Men er der så ikke noget jeg er ked af - jo en del - men det opvejes af de mange positive elementer. Jeg er ked af at jeg kun kunne deltage i 3 ud af 34 tutorials. At jeg kun kunne deltage i 7 ud af 42 sessioner. At jeg ikke deltog i nogen af de tekniske præsentationer. Og HUSK inden der er nogen der dømmer mig - det er umuligt at deltage i mere end jeg har gjort - da disse kører parallelt. Jeg deltog dog i 100% af keynotes, EXPO og de sociale aktiviteter (= networking).

En anden ting jeg kan sige - de mange udsagn på EuroSTAR m.m. om at '....testing is dead....'.....de udtalelser vil jeg gerne melde 'død' - det er langtfra tilfældet. Der er fortsat brug for vor disciplin, men vi skal selvfølgelig tilpasse os nye tider. MEN det er jo ikke noget nyt - det har vi jo altid gjort. Nye arbejdsformer. Nye teknologier. Nye metoder.

Og som en af indlægsholderne sagde '.....HOPE is not a strategy in testing.....' - og det er korrekt.

Denne uge har givet sig udslag i mange ideer og inspiration, som jeg vil gøre brug af på kurser, white papers, indlæg og blogs det kommende år, og det er alt sammen noget jeg glæder mig til at dele med alle mine kollegaer i det danske testsamfund. Det bliver dog også skønt at få lidt tid til at fordybe sig i det meget materiale jeg har fået med herfra.

Der er ikke noget som politiske formuleringer...........

”........ikke længere er fuldt kompatibel med begge parters kommercielle interesser....." - sådan formuleres det når to virksomheder stopper et kommercielt joint venture.....

STAReast 2013 - Refleksioner over torsdagens oplevelser

Så fik jeg tid til at få nedfældet mine refleksioner over de fortsat mange gode indtryk og oplevelser en sådan konference giver.

Torsdagen startede med en keynote over temaet 'Asking the Right Questions? What Journalism can Teach Testers' - god start på morgenen. Indlægsholderen har sikkert ret i, at vi testere kan lære meget om kommunikation og sikkert også fra journalister; men jeg har altid i baghovedet et indlæg fra en dansk journalist jeg overværede - han talte kun om nyhedskriterier - konflikter, ulykker, ballade m.m. Dette bliver vist en ren tilståelsessag fra min side - jeg var nok forudindtaget. Men lad det lige bundfælde sig lidt mere, så vender jeg tilbage en anden gang.

Dagens helt store oplevelse var Lloyd Roden om 'Building Successful Test Teams' - han er en fornøjelse at lytte til - han brænder for det, har stor viden og erfaring, og ikke mindst humor. Han tog udgangspunkt i en væsentlig udfordring der er ofte er i dag, når vi skal sammensætte vores testteam - de forskellige modeller for ressourceorganisering: distribueret, outsourcet, insourcet, off-shore m.m. og dette kombineret med forskellige udviklingsmodelller - så bliver det udfordrende. Han præsenterede fire typer af testere: pragmatikeren, pioneren, analytikeren og facilitatoren, og et lille og praktisk orienteret spørgeskema til at identificere disse typer - vi testede selv spørgeskemaet og fandt vor egen profil/type. Han gjorde sig også nogle gode tanker om de forskellige situationer der er: sammensætning af et nyt team, rekruttere til et eksisterende team, og brug af disse forskellige personlighedstest (Belbin, MBTI, 16PF, sit eget spørgeskema), og så sluttede han af med nogle gode råd til at motivere testerne:

- støt dit team
- varier arbejdsindholdet for testerne
- giv værktøjer der hjælper og ikke hindrer
- etabler mentorprogram
- indarbejd slæk i tidsplanen.

Et par indlæg som jeg også var inde til var 'A Year of Testing in the Cloud: Lessons Learned' og 'Strength in Numbers: Using Web Analytics to Drive Test Requirements', og så selvfølgelig fortsat besøg på EXPO-området.

Den sidste session jeg var til, før den afsluttende keynote' var 'New Testing Standards are on the Horizon - What will be their Impact?' - om den nye ISO 29119 standard for test. Den nye ISO-standard for test er en sammenskrivning af flere eksisterende standarder, og er mere fleksibel og skalerbar end de nuværende ofte opleves som. Der er fire dele i standarden: Del 1 omfatter testkonceptet og definitioner. Del 2 omfatter testprocesser. Del 3 omfatter testdokumentation - hvor testpolitikken er et af de nye officielle dokumenter, men der kommer også dokumenter der omfatter testdata og testmiljø. Del 4 omfatter testteknikker - specifikationsbaserede og strukturbaserede.

HVAD BLEV DER AF DE STATISKE TEKNIKKER???????????

Det bliver spændende at komme til at arbejde med denne standard.

Dagen og selve konferencen sluttede af med Lee Copeland's afsluttende keynote om 'The Mismeasure of Software: The Last Talk on Measurement You'll Ever Need to Hear' - Lee gjorde sig nogle filosofiske betragtninger om målinger, og sluttede af med hans fire 'don't':

  1. mål ikke hvis du ikke ved hvad det betyder
  2. mål ikke hvis du ikke vil bruge målingen til noget, og til at gøre noget
  3. ændre ikke din måling til at være et mål
  4. fokuser ikke på at måle indsatsen, men hvad der er opnået.
Så forestår fredagens 'Testing & Quality Leadership Summit'.

torsdag den 2. maj 2013

Det fysiske udbytte af STAReast 2013

Her er et overblik over det mere fysiske udbytte indtil nu.

Torsdag - STAReast 2013

Så blev det torsdag - næstsidste dag på en spændende konference. Torsdagen byder indledningsvis på en keynote 'Asking the Right Questions? What Journalism Can Teach Testers'. Derefter er der 9 sessions spor - i dag er det: Test Management, Test Techniques, Test Automation, Mobile Testing, Cloud Testing (formiddag) / Security Testing (eftermiddag), Special Topics, og så de 3 spor med Technical Presentations (leverandører/sponsorer). Og torsdag slutter af med en keynote: 'The Mismeasure of Software: The Last Talk on Measurement You'll Ever Need to Hear'.

Så endnu en spændende dag.

STAReast 2013 - Refleksioner over onsdagens oplevelser

Onsdagen startede helt fantastisk med en keynote af Jeff Payne over temaet 'Testing in a Test-Driven World'. Han lagde ud med følgende statement 'Test driver udvikling' og ikke omvendt - det skabte naturligvis en god stemning. Hans udtalelse om, at alle er ansvarlige for kvaliteten af softwaren gjorde ikke skade på den gode stemning.

Hans keynote var bygget op om filmen 'The Good,The Bad and The Ugly'. Han fik så vendt forskellige vinkler på test i det lys. The Good var med vinklen '...testing drives development'. The Bad var med vinklen '.......lots of testing is needed in a short amount of time'. The Ugly var med vinklen '.....a belief by some that testers are not needed'.

Han kom virkelig ud over rampen med sit budskab: test findes også i fremtidens it-projekter. Han mente dog, at vi som fag skulle være meget lydhøre over for de ændringer der sker i vore omgivelser, som gør at rollen vil ændre sig over tid, og vi skal være klar til at gribe den. Hans budskab var bl.a. at software i dag er meget kritisk for mange virksomheder, hvorfor kravet til test øges, men det gør kravet om time-to-market også. Dette betyder bl.a. at 'speed is king' - så automatisering kommer endnu mere i fokus, og det er her vi som testere skal være åbne - vi skal lære at kode og scripte. Han mente også, at ikke-professionelle testere var dårlige til at teste - men at vi som professionelle testere skulle kunne vort håndværk - han nævnte helt specifikt testteknikkerne som et område, hvor vi kan gøre en forskel, og bør gøre det. Afslutningen var ret god: 'Test forsvinder ikke - det bliver bare mere spændende og udfordrende'. Min umiddelbare tanke er, at hans tanker og ideer minder utrolig meget om Sogeti's vision PointZERO, men skønt med flere der har gjort sig de samme tanker.

Ellers gik onsdagen med følgende sessioner:

The Test Coverage Outline: Your Testing Road Map - ganske spændende koncept, som har sit udgangspunkt i Rapid Software Testing, og hvor der udarbejdes en oversigt/liste over forskellige aspekter af softwaren. Denne bruges så til prioritering.

Presenting Test Results with Clarity and Confidence - som udgangspunkt et vigtigt og spændende område, som indlægsholderen desværre fik forplumret med en meget filosofisk tilgang til temaet - så filosofisk, at jeg følge mig sat 30 år tilbage, og igen sad og havde 'Videnskabsteori' på Handelshøjskolen. Så jeg har desværre ikke meget at berette her.

Reports of the Death of Testing have been greatly exaggerated - et indlæg jeg følte jeg måtte overvære, idet der på de seneste par EuroSTAR's har været indlæg om det modsatte. Jeg blev ikke skuffet over Ruud's indlæg. Kravene til test ændrer sig, og det skal vi så gøre i samme forbindelse, og gerne være på forkant.

EXPO - det var også onsdag at EXPO-området åbnede med en række stande med værktøjer, metoder m.m. Jeg har ikke været rundt endnu til alle, men jeg har indsamlet en del materiale, som jeg vil få studeret nærmere. Lidt underligt at være på en testkonference, hvor Sogeti ikke har en stand.

Øvrigt - Eftermiddagen sluttede af med 9 korte 'key-notes' (hver af 5 min. varighed), hvor de udvalgte indlægsholdere kunne fremføre et budskab - ingen nævnt ingen glemt - men nogle var klart bedre end andre - og så var der et par klovne. Dagen sluttede - her var det blevet aften - i bedste Las Vegas stil med 'Shake, Rattle 'n' Roll - hvor der var et stort kasino, levende musik, god stemning og networking. Ak ja 'kasino' - og mig der ikke er en spillenatur - men underholdende var det.

onsdag den 1. maj 2013

Ny titel: Quality Rock Star

EXPO på STAReast 2013 er nu åbent

Lee Copeland byder velkommen og åbner konference-delen på STAReast 2013

Onsdag - STAReast 2013

Så blev det onsdag morgen her i Orlando. De to første dage har været fyldt med hel- og halvdags tutorial - nu kommer vi til keynotes og sessions. Vi skal starte dagen med to keynotes.

Den første er 'Testing in a Test-Driven World' af Jeff Payne, og den anden er 'Surviving or Thriving: Top Ten Lessons for the Professional Tester' af Lloyd Roden.

Derefter kører der resten (næsten) af dagen ni parallelle spor med sessioner. Det er 'Test Management', 'Test Techniques', 'Test Automation', 'Agile Testing', 'Performance Testing', 'Special Topics', og så kører der tre spor med 'Technical Presentation'. Disse tekniske præsentationer er typisk sponsorerne der står for dem.

Dagen slutter af med en keynote - eller nærmere en masse 5 minutters små keynotes.

Det er jo også i dag, hvor EXPO-området åbnes - det bliver spændende at se eventuelle nye værktøjer, trends m.m.

I Sliced Up Fun - Mobile Applications Testing - Heldags Tutorial

En god tutorial - og man når trods alt godt rundt i 'managen' når der er afsat en hel dag til emnet - test af mobile apps. Jonathan Kohl havde denne tutorial, og jeg kan stærkt anbefale at høre ham, hvis du engang får muligheden, eller at læse nogle af hans skrifter/bøger.

Vi kom som sagt godt rundt om emnet, og hvor vi fik testet både STAReast 2013 app'en og andre apps. En god chance for at få emnerne afprøvet med det samme.

En enkelt ide til generering af testideer han præsenterede er: I Sliced Up Fun, hvor hver enkelt bogstav står for en tilgang eller overvejelse til generering af testideer:

I - Inputs into Device: tastatur, trykfølsom skærm, lyd, lys og bevægelsessensorer, synkronisering med andre enheder, udstyr og andet som kan forbinde med din enhed.

S - Store Submission: specifikationer og udvikligsguides, guidelines for fejlhåndtering, tilladelser, adgang.

L - Location Testing: brug lokaliseringsfunktionerne, herunder gps, mobile netværks wifi, bevægelsessensorer, prøv at bevæge dig, herunder mellem de forskellige netværkstyper.

I - Interactions/Interruptions: afvikling af flere apps på samme tid, multitasking, brug notifikationer, fremprovoker fejlmeddelelser ex tab af netværksforbindelse m.m.

C - Communications: Lyd, videochat, tekst, mails, im, og brug disse i forbindelse med brug af din app. Kan din app håndtere at du tager en telefonsamtale eller ej.

E - Ergonomics: Skærmstørrelse, nemt eller ej at bruge app'en.

D - Data: Forskellige typer af input, herunder specialkarakterer, sprog varianter, filer.

U - Usability: Usability er nok en af de mest vigtige faktorer for at få succes med en mobil app. Usability is king. Ofte er der mindre formel dokumentation ved mobile apps, hvorfor disse skal være mere intuitive at bruge.

P - Platforms: Teste forskellige konfigurationer af platformen, herunder forskellige mærker af enheder, hardware versioner, os versioner, netværkstyper (wifi, 2G, 3G, 4G....), SSL og ikke-sikkert. Området her kan der potentielt findes mange fejl.

F - Functional Properties: Analyser hvilke properties på enheden/os som din app gør brug af - udforsk dette og afprøv forskellige kombinationer af egenskaberne - her lyder klassifikationstræ og/eller parvis test, som et par gode testteknikker (den sidste er for min egen regning, og skal ikke belaste Jonathan Kohl).

U - User Scenarios: Vi mennesker bruger de mobile enheder forskelligt i forhold til PC. Analyser hvordan app'en vil blive brugt, og test der. Lav eventuelt forskellige 'tours' - et ungt menneske, et ældre menneske osv. Selvfølgeligt ud fra app'ens målgruppe og faktiske brugere.

N - Network: Kombiner forskellige netværkstyper, herunder typer med forskellig performance, signal styrke og prøv af fremprovoker netværksfejl. Her kunne fokus være ex fejlhåndtering m.m.

Men ellers var et vigtigt budskab nok: Der er ikke mange standarder - det er rent wild west.