Agentic AI i testmanagement – hvor meget bør vi overlade til AI?

AI i softwaretest er ikke længere kun et spørgsmål om at generere testcases eller automatiseringskode.

Vi bevæger os mod Agentic AI – AI-agenter, der ikke blot besvarer spørgsmål, men selv kan analysere situationer, planlægge aktiviteter, anvende værktøjer, udføre handlinger og tilpasse deres næste skridt.

Inden for testmanagement kan det betyde, at en AI-agent kan:

• analysere kodeændringer

• identificere risikoområder

• prioritere regressionstest

• generere testdesign

• gennemføre tests

• analysere fejl

• foreslå rodårsager

• anbefale næste handling.

Det centrale spørgsmål bliver derfor ikke længere:

“Hvordan kan AI hjælpe med test?”

men:

“Hvor meget af testmanagement kan vi delegere til en AI-agent – og hvad bør fortsat være et menneskeligt ansvar?”

Fra automatisering til autonomi

Traditionel testautomatisering udfører noget, mennesker allerede har besluttet.

Agentic AI kan i stigende grad selv beslutte:

• Hvad skal testes?
• Hvornår?
• Hvordan?
• Hvad betyder resultatet?
• Hvad bør næste handling være?

Det er en væsentlig forskel.

Vi automatiserer ikke længere kun aktiviteter.

Vi begynder også at automatisere beslutninger.

Det er netop her, Agentic AI bliver et testmanagement-emne og ikke blot endnu en testteknologi.

Delegering bør være risikobaseret

At en AI-agent teknisk kan træffe en beslutning betyder ikke nødvendigvis, at den bør have mandat til det.

Et godt princip er derfor:

Jo større konsekvensen af en forkert beslutning er, desto større bør den menneskelige kontrol være.

En agent kan eksempelvis med relativt lav risiko:

• gruppere testfejl

• foreslå ekstra tests

• analysere logs

• identificere påvirkede komponenter.

Men beslutninger som:

• at reducere testomfanget

• at ignorere en alvorlig defekt

• at ændre en quality gate

• at acceptere residual risiko

• at anbefale eller godkende produktionsrelease

kræver et langt højere kontrolniveau.

Det vigtigste spørgsmål er derfor ikke:

“Hvor intelligent er agenten?”

men:

“Hvad sker der, hvis agenten tager fejl?”

Human-in-the-loop skal designes bevidst

Det er ikke nok blot at sige, at “et menneske skal være involveret”.

Der bør skelnes mellem forskellige kontrolformer:

Human-in-the-loop: mennesket skal godkende handlingen.

Human-on-the-loop: agenten handler, men mennesket overvåger og kan stoppe den.

Human-over-the-loop: mennesket fastlægger politikker, guardrails og eskalationsregler.

Lavrisikoaktiviteter kan ofte automatiseres langt mere end beslutninger med stor forretningsmæssig konsekvens.

Derfor bør autonomi designes efter risiko.

Hvem tester testagenten?

Hvis en AI-agent skal være med til at skabe evidens om produktets kvalitet, skal organisationen samtidig have evidens for agentens egen kvalitet.

Det betyder, at vi bør kunne måle og overvåge blandt andet:

• hvor ofte agenten træffer korrekte beslutninger

• false positives og false negatives

• om den eskalerer på de rigtige tidspunkter

• hvilke data den anvender

• hvilke handlinger den foretager

• om dens adfærd ændrer sig over tid.

Det er ikke nok, at agentens output ser overbevisende ud.

Vi skal kunne stole på processen bag handlingerne.

Auditability bliver vigtigere end perfekte forklaringer

I praksis er det måske mindre vigtigt, om en agent kan forklare sin “tankegang”, og mere vigtigt, om vi kan rekonstruere dens handlinger.

Vi bør kunne se:

• Hvad observerede den?
• Hvilke data anvendte den?
• Hvilke værktøjer brugte den?
• Hvad besluttede den?
• Hvad udførte den?
• Hvornår eskalerede den?

Det gør revisionsspor til en central del af Agentic AI governance.

Observability viser retningen

Udviklingen inden for observability og IT operations giver et godt billede af, hvor testmanagement kan bevæge sig hen.

Vi går fra:

Detect → Alert → Human investigates

mod:

Detect → Analyze → Decide → Act → Verify

Noget tilsvarende kan ske i test:

Change → Risk analysis → Test → Result analysis → Action

I stedet for at mennesker manuelt orkestrerer hvert trin, kan en agent udføre store dele af kæden.

Testmanagement bliver dermed mere kontinuerligt og tættere integreret med CI/CD, observability og drift.

Testmanagerens rolle ændrer sig

Agentic AI behøver ikke gøre testmanageren mindre relevant.

Men den kan gøre dele af den traditionelle rolle mindre værdifulde.

Aktiviteter som:

• fordeling af testarbejde

• opfølgning på execution

• manuel sammenstilling af resultater

• statusrapportering

kan i stigende grad automatiseres.

Testmanagerens værdi flytter derfor mod:

• risikostyring
• governance
• kvalitetsevidens
• beslutningsstøtte
• orkestrering af mennesker og AI-agenter.

Fremtidens testmanager bliver måske mindre leder af testaktiviteter og mere Quality Orchestrator.

Hvad bør aldrig delegeres fuldt ud?

Der findes beslutninger, hvor det menneskelige ansvar bør være tydeligt.

Det gælder især:

Accept af væsentlig forretningsrisiko.

AI kan analysere og anbefale, men den relevante risikoejer bør acceptere risikoen.

Etiske og værdibaserede beslutninger.

AI kan levere information, men organisationen bør eje værdierne.

Fastlæggelse af kvalitetspolitik.

AI kan hjælpe med at håndhæve politikken, men bør ikke definere den alene.

Ansvarlighed.

En organisation bør aldrig kunne forklare en kritisk beslutning med:

“AI-systemet besluttede det.”

Man kan delegere handlinger.

Man kan ikke delegere ansvar.

Governance of Autonomy

En central fremtidig testmanagement-disciplin bliver derfor styring af autonomi.

For hver agent bør organisationen definere:

• formål

• scope

• dataadgang

• værktøjsadgang

• beslutningsmandat

• guardrails

• eskalationsregler

• audit trail

• overvågning

• mulighed for at stoppe agenten.

Det er sandsynligvis her, testmanagerrollen bliver mest interessant.

Ikke som den person, der følger alle testcases.

Men som den person, der sikrer, at autonome kvalitetssystemer opererer inden for kontrollerede og risikobaserede rammer.

Den vigtigste pointe

Agentic AI ændrer softwaretest, fordi vi bevæger os fra:

AI, der hjælper os med at udføre testarbejde

til:

AI, der selv begynder at træffe testbeslutninger.

Derfor bliver fremtidens centrale spørgsmål ikke:

“Hvor meget kan vi automatisere?”

men:

“Hvad kan vi trygt delegere, hvad skal vi kontrollere, og hvad skal vi fortsat selv tage ansvar for?”

Det er sandsynligvis en af de vigtigste ledelsesdiskussioner inden for testmanagement de kommende år.