mandag den 2. maj 2016

STAReast 2016 - Mandagens Oplevelser

Så gik starten på årets STAReast 2016 i Orlando (Florida). Mandagens program bestod af 2 heldags tutorials og 12 halvdags tutorials - typisk udfordring for en tester - vil gerne det hele, men der er det problem, at man jo kun kan være et sted af gangen. Så der skal foretages et valg - og det sker typisk ved tilmeldingen - en heldags tutorial eller to halvdags - og emnet skal også vælges på forhånd. Mine valg for mandagen var om emnerne 'Testing the Internet of Things' og 'Successful Test Automation - A Managers View'.

Forventningerne til dagens to store emner var tilsvarende også store.

Formiddagen foregik i selskab med en mindre skare af testere - ikke alle er åbenbart interesseret i dette emne: 'Testing the Internet of Things'. Oplægsholderen var Jon Hagar, og han havde en lille robot med, som skulle testes, og dette indgik i øvelserne til denne tutorial.

Jon Hagar indledte med en gennemgang af principper/arkitekturen for IoT (Internet of Things), og hvad er en IoT Device: Software som er en del af et stykke specialiseret hardware, mobile devices, netværk, cloud og it - ELLER lettere omskrevet: IoT er traditionelle og nye devices med software og kommunikationskanaler tilknyttet.

Aspekterne ved IoT er spændende, og måske også lidt skræmmende. Forestillingen om, at 'alt' er forbundet. Perspektiverne er helt klart spændende rent forretningsmæssigt, og brancher som transport kan helt sikkert se store muligheder, men også inden for sundhed og sikkerhed er der ganske klart muligheder og perspektiv.

Men man kunne godt mærke på indlægsholderen og spørgsmål og kommentarer fra deltagerne, at sikkerhed er et emne der præger billedet.

Det testmæssige var naturligvis i fokus, og et ofte anvendt begreb var 'field test' - det skal prøves af i praksis.

Det første område der behandlet testmæssigt var anvendelsen af angreb (attack), som en vigtig teknik til brug ved test af IoT, og der blev opstillet 33 'attack pattern examples' - for her at komme med eksempler kan jeg nævne: Udfør statisk analyse af koden, bekræft installerbarhed, tidsrelaterede scenarier og 'testing tours' m.m. En oplistning som kan give en række ideer til testen.

En anden teknik var anvendelse af taksonomier (klassifikationer af data), og hvor de fejl der findes over tid klassificeres i henhold til taksonomien. Denne viden anvendes så ved de angrebs-test der skal udføres. En taksonomi anvendes netop til at opnå forståelse og viden om området. Det var lidt spændende, at der blev anvende Mind Map til etablering af taksonomierne, hvilket var interessant at se.

Der blev nævnt et par forskellige kvalitetskarakteristikker, men sikkerhed (security) blev nævnt meget ofte, og ikke mindst i forhold til personfølsomme oplysninger (Privacy), hvor vi normalt jo ikke ønsker at få disse lagt til offentlig beskuelse.

Begrebet modelbaseret-test blev også nævnt et par gange, hvorfor det nok skal dyrkes lidt mere i fremtiden. Men nyt er det også for mange, at med IoT er det ikke kun softwaretest, men også hardwaretest, og interaktionen mellem disse der er i scope, og målet med testen.

Jeg vil her henvise til det blogindlæg jeg skrev for nogle uger siden om emnet i forhold til den bog Sogeti netop har udgivet.

Der er ingen tvivl om, at test af IoT er stort, og kompliceret. På TestExpo i januar talte jeg om bl.a. dette emne, og min konklusion var klar på det tidspunkt. Vi er der endnu ikke - som testere. Vi har endnu ikke alle teknikkerne, værktøjerne, teknisk viden og miljøerne, viden om dataanalyse m.m.

Dagens anden tutorial var 'Successful Test Automation - A Managers View' med Dorothy Graham. Jeg citerer hende ofte for udtalelsen 'A Fool with a Tool is still a Fool'. Det er nogle år siden jeg sidst har hørt et indlæg fra hende, og det var også denne gang en god oplevelse.

Jeg faldt lidt for denne tutorial grundet det ikke-tekniske - altså alt det andet der omkranser testautomatisering som værktøjer, script-sprog m.m.

Der blev indledt med en drøftelse af målet med testautomatisering, og hvad der bør automatiseres. Udgangspunktet var, at det var vigtigt, at det der blev automatiseret var den 'gode' test. Hvis man automatiserer en dårlig test får man jo alene en hurtigere dårlig test. Hvis startpunktet er en dårlig manuel test er det vigtigt først at gøre den manuelle test god, og derefter automatisere den. En rigtig interessant udlægning, og jeg fik nogle nye perspektiver på dette tema, som jeg klart kan anvende i min hverdag.

Men den gode målsætning for testautomatisering er:
  • Realistisk og opnåelig
  • Både kortsigtet og langsigtet
  • Løbende opdateret
  • Målbar.
Der blev opstillet en række pattern som var hendes udgangspunkt for en succesfuld testautomatisering:
  • Set Clear Goals
  • Sell the Benefits
  • Automate the Metrics
  • Do a Pilot
  • Automate Good Tests
  • Testware Architecture.
Hun talte også om ROI (Return On Investment) i forhold til testautomatisering, og opstillede også den generelle formel. Men jeg syntes der manglede lidt kød her. Det er heller ikke et nemt område, men det er vigtigt. Vigtigt fordi vi som testere skal have 'funding' af et eventuelt testautomatiseringsprojekt hos ledelsen - og ROI er typisk ledelsessprog.

Hun talte en del om hvad der skal automatiseres og hvad der ikke skal, herunder hvad hun kaldte 'what can be lost in automation'. Her tænkte hun på forhold som awareness, brugerperspektivet, intuition, variationer og fleksibilitet.

Dot Graham havde også nogle synspunkter omkring begrebet dækning, og det glædede mig, at vi er helt på bølgelængde der.

Alt i alt en god mandag her på STAReast. Jeg håber og tror på, at resten af konferencen bliver lige så spændende og udbytterig.

Ingen kommentarer:

Send en kommentar