I takt med at kunstig intelligens bevæger sig fra eksperimenter og pilotprojekter til at blive en integreret del af virksomheders forretningsmodeller, ser vi også nye roller opstå i ledelseslagene. En af de mest interessante er rollen som Chief Artificial Intelligence Officer (CAIO).
For få år siden var det primært CIO'er, CTO'er og CDO'er, der havde ansvaret for virksomhedens digitale udvikling. Men AI har vist sig at være mere end blot endnu en teknologi. Kunstig intelligens påvirker måden, vi træffer beslutninger på, udvikler produkter, interagerer med kunder og automatiserer arbejdsprocesser. Derfor vælger flere organisationer nu at placere det overordnede ansvar for AI hos en dedikeret leder – en CAIO.
CAIO'ens opgave er ikke blot at sikre, at virksomheden anvender AI. Rollen handler i lige så høj grad om at sikre, at AI anvendes ansvarligt, sikkert og med dokumenteret forretningsværdi. Det kræver en balance mellem innovation, governance, risikostyring og compliance. Med EU AI Act og stigende regulatoriske krav bliver dette ansvar kun mere centralt i de kommende år.
For mange testledere kan CAIO-rollen umiddelbart virke langt væk fra den traditionelle testverden. Men ser man nærmere på udviklingen, er der faktisk en tæt forbindelse mellem de to områder.
Historisk har testmanagement primært fokuseret på at verificere og validere softwareløsninger. Vi har arbejdet med krav, testdesign, fejlrapportering, risikostyring og kvalitetssikring af systemer. Når AI bliver en del af løsningen, ændrer selve kvalitetsbegrebet sig imidlertid markant.
I traditionelle systemer kan vi ofte afgøre, om et resultat er korrekt eller forkert. En beregning giver enten det rigtige svar eller ikke. En funktion opfører sig enten som specificeret eller afviger fra kravene. Med AI er virkeligheden langt mere kompleks.
En generativ AI-model kan producere forskellige svar på det samme spørgsmål. En machine learning-model kan levere statistisk korrekte resultater, men samtidig introducere bias eller uønskede mønstre. En beslutningsmodel kan fungere korrekt i dag, men ændre adfærd over tid som følge af ændringer i data eller omgivelser.
Derfor bliver spørgsmål som "Virker systemet?" gradvist erstattet af spørgsmål som "Kan vi stole på systemet?", "Er beslutningerne retfærdige?" og "Er risikoen acceptabel?". Disse spørgsmål ligger i krydsfeltet mellem CAIO'ens strategiske ansvar og testorganisationens kvalitetsansvar.
I mange organisationer vil CAIO'en derfor få behov for en stærk partner i testledelsen. Hvor CAIO'en fastlægger AI-strategien og governance-modellen, vil testmanageren være med til at omsætte disse principper til konkrete kvalitetssikringsaktiviteter. Det gælder blandt andet etablering af teststrategier for AI-løsninger, dokumentation af risici, validering af modeller og sikring af compliance med både interne og eksterne krav.
Dette indebærer samtidig en udvikling af testfaget. Fremtidens testorganisation skal ikke alene kunne teste software. Den skal også kunne teste AI.
Det betyder blandt andet, at testteams skal opbygge kompetencer inden for modelvalidering, datakvalitet, bias-analyse og robusthedstest. Når virksomheder implementerer generative AI-løsninger, bliver områder som hallucinationstest, prompt testing og sikkerhedstest lige så relevante som klassiske funktionelle testcases.
Samtidig bliver overvågning efter idriftsættelse vigtigere end nogensinde før. Traditionelle systemer ændrer normalt ikke adfærd uden nye releases. AI-systemer kan derimod gradvist ændre deres performance som følge af dataændringer eller modeldrift. Derfor bliver kvalitetssikring i stigende grad en kontinuerlig aktivitet fremfor en fase, der afsluttes før produktion.
Denne udvikling åbner også nye muligheder for testledere. Mange af de kompetencer, som allerede findes inden for moderne testmanagement – risikobaseret test, kvalitetssikring, governance og måling – er direkte anvendelige i arbejdet med AI. Faktisk kan man argumentere for, at testledere er blandt de bedst placerede kandidater til at tage lederskab inden for det voksende område, der ofte betegnes som AI Assurance.
På samme måde som informationssikkerhed gennem de seneste årtier har udviklet sig til et selvstændigt fagområde med egne ledelsesroller, standarder og processer, ser vi nu AI Assurance udvikle sig som et nyt disciplinområde. Her vil samarbejdet mellem CAIO, CISO, CIO og testledelsen blive afgørende.
For testmanageren betyder det, at fremtidens kompetenceprofil sandsynligvis kommer til at omfatte langt mere end klassisk testledelse. Kendskab til AI-governance, EU AI Act, ISO/IEC 42001, datakvalitet og AI-risikostyring bliver stadig vigtigere. Samtidig vil evnen til at dokumentere og skabe tillid til AI-systemer blive en strategisk nøglekompetence.
CAIO-rollen er derfor ikke blot endnu en titel i organisationens ledelsesstruktur. Den repræsenterer et skifte i måden, virksomheder tænker kvalitet, risiko og teknologi på. For testledere er det en udvikling, der bør vække interesse. Hvor testmanagement tidligere handlede om at sikre, at systemet fungerede korrekt, kommer fremtidens fokus i stigende grad til at handle om at sikre, at kunstig intelligens opfører sig ansvarligt, pålideligt og troværdigt.
For testledere handler forberedelsen først og fremmest om at udvide kvalitetsbegrebet. Det er ikke længere tilstrækkeligt kun at tænke i funktionelle test, regressionstest og klassiske acceptkriterier. Når AI indgår i løsningen, skal testlederen også kunne forholde sig til datakvalitet, modeladfærd, bias, forklarbarhed, robusthed og løbende overvågning efter idriftsættelse. Det kræver ikke nødvendigvis, at testlederen bliver data scientist, men det kræver en forståelse for, hvilke risici AI introducerer, og hvordan disse risici kan omsættes til konkrete test- og kontrolaktiviteter.
En god start er at etablere et fælles sprog mellem testorganisationen, forretningen, data-specialisterne og den kommende eller eksisterende CAIO-funktion. Testlederen bør kunne forklare, hvordan kendte discipliner som risikobaseret test, sporbarhed, testdokumentation og kvalitetsrapportering kan anvendes i AI-sammenhæng. Samtidig bør testlederen være nysgerrig på nye teknikker som prompt testing, hallucinationstest, bias testing og model drift-overvågning.
Det er også vigtigt, at testledere begynder at tænke mere i governance og evidens. En CAIO vil typisk have behov for dokumentation, der viser, at AI-løsninger er vurderet, testet og kontrolleret på en systematisk måde. Her kan testmanagement bidrage stærkt med teststrategier, risikovurderinger, testresultater, afvigelsesrapporter og beslutningsgrundlag for release eller fortsat drift.
Endelig bør testledere se CAIO-rollen som en mulighed for at løfte testområdet tættere på den strategiske ledelse. AI skaber nye kvalitetsrisici, men også nye muligheder for testfaget. De testledere, der formår at kombinere klassisk testmanagement med AI Assurance, compliance og forretningsforståelse, vil stå stærkt i de kommende år. De kan blive nøglepersoner i arbejdet med at sikre, at organisationens AI-løsninger ikke blot er teknisk imponerende, men også pålidelige, ansvarlige og værdiskabende.
Og netop her mødes CAIO'en og testmanageren.
