Evalueringer

Lær at teste din agent og få den kvalitetskontrolleret af et menneske, før den sættes i drift.

note

Fladen hedder Kvalitetskontrol i AgentBase (menupunkt i venstre sidebar, rute /test-og-evalueringer). Evalueringer i AgentBase er menneskelig kvalitetskontrol — en anmelder bedømmer agentens output. Der er ingen maskinscoring, ingen 0–1-metrikker og ingen automatiske evaluatorer.

Adgang

• Udvikler, Anmelder, Administrator, Superadministrator: Kan oprette tests, køre dem og kvalitetskontrollere agenter.

Er du Anmelder uden udvikler-rettigheder, ser du kun agenter, der har været sendt til kvalitetskontrol mindst én gang — resten er skjult i oversigten. Åbner du et direkte link til en agent, der aldrig har været indsendt, møder du beskeden Endnu ikke i kvalitetskontrol: "Når udvikleren sender den, kan du gennemgå og bedømme den her." Byggere ser altid deres egne agenter, også før første indsendelse.

Oversigt

Kvalitetskontrollen er en menneskelig arbejdsgang i fire trin:

1. En tester opretter en testsag med et input-scenarie.
2. Flowet køres på den nuværende build, og resultatet gemmes som en test.
3. En menneskelig anmelder giver en verdikt (God / Ikke god) pr. endeligt output.
4. Versionen sendes til kvalitetskontrol, hvor en anmelder godkender eller afviser den mod et frosset øjebliksbillede af agenten.

Der scores altså aldrig automatisk — et menneske vurderer hvert færdige output og træffer den endelige godkendelses­beslutning.

Én fælles testsuite

Testene findes ét sted

En kørsel, du opretter under Kørsler i editoren, er den test, anmelderen bedømmer i kvalitetskontrollen. Der er ingen udvælgelse ved indsendelsen, ingen overførsel og intet, der forsvinder fra dine kørsler. Retter du en test i editoren, gælder rettelsen begge steder.

To indgange

Du kan bedømme og indsende fra to steder:

• Sidebar → Kvalitetskontrol (/test-og-evalueringer): den fulde arbejdsflade. Vælg en agent for at åbne dens accepttest-arbejdsrum med testlog, statusfilter og genkørsler.
• Agent-editoren → Kørsler i hubben: en hurtig iterations-loop, mens du bygger. Klik på Kørsler i dokken ved siden af hubben i bunden af lærredet (eller tryk T). Menupunktet Kvalitetskontrol i editorens ⚙-menu åbner agentens arbejdsrum.

I editoren hedder en test en kørsel: det, du starter, kører igen og læser, er en kørsel. I kvalitetskontrollen hedder den samme række en test, fordi det er den gemte sag, anmelderen bedømmer.

Indsendelsen ligger ikke i editoren: knappen Udgivelse i værktøjslinjen gemmer agenten og åbner Udgivelsessiden, hvorfra du sender til kvalitetskontrol. Er vejen spærret — fx fordi en afvist version ikke er ændret siden — står grunden over listen over kørsler.

Testerens arbejdsgang

Opret en testsag i kvalitetskontrollen ("Ny test")

Klik Ny test i arbejdsrummets header (eller Kør din første test første gang).

1. Udfyld agentens input — de samme entry-felter, som en app ville bede om (tekst, filer m.m.).
2. Giv eventuelt testen et sigende navn (valgfrit; ellers afledes det af inputtet).
3. Klik Kør test.

Testen sættes i gang asynkront: du får kvitteringen "Testen er sat i gang", sendes tilbage til arbejdsrummet, og rækken viser "Kører… det kan tage et øjeblik", indtil kørslen er færdig — så åbner bedømmelsen af sig selv. Input injiceres ved kørsel og ændrer aldrig agentens version.

Er agenten sendt til kvalitetskontrol, kører en ny test mod den frosne version, du gennemgår — ikke mod det gemte build. Arbejdsrummet sender versionen med, når det åbner formularen.

Opret en kørsel i editoren ("Start kørsel")

Bygger du stadig, prøver du agenten af under Kørsler i hubben. Siden har to afsnit: Ny kørsel øverst og listen Kørsler under den.

1. Udfyld agentens input. Hvert input er en lille knap, samlet pr. byggeklods: grøn, når den er udfyldt, med en gul prik, når et påkrævet felt mangler. Klik på knappen for at udfylde feltet — en fil åbner filvælgeren, alt andet åbner byggeklodsens eget felt, fx skabelon-editoren. Hold musen stille over knappen for at se byggeklodsen på lærredet, og brug blyanten for at omdøbe feltet.
2. Giv eventuelt kørslen et navn (Navngiv kørslen · valgfri).
3. Klik Start kørsel.

Du kan også starte en kørsel fra den lille hub: Start kørsel sidder dér under de samme inputknapper, og det, du har udfyldt, er det samme.

tip

"Start kørsel" gemmer også: har du ændret noget på lærredet, gemmes det først, og kvitteringen siger fx "Gemt som v1.4 - kørslen er sat i gang". Kørslen bruger altså den gemte build.

Når kørslen er startet, bliver hubben lille, så du kan følge kørslen på lærredet: hele flowet vises, forbindelserne bevæger sig, og hver byggeklods viser, om den kører, er færdig eller fejlede. Når kørslen er færdig, åbner hubben af sig selv i stor størrelse på resultatet — medmindre du er ved at skrive en besked i Chat; så venter resultatet under Kørsler.

I listen Kørsler står antallet af kørsler og hvor mange der er godkendt, og Kør alle igen kører dem alle på den nuværende build. Klik på en kørsel for at åbne den, klik Kør på rækken for at køre den igen, og dobbeltklik på navnet for at omdøbe den.

Bedøm en kørsel i editoren

Når du åbner en kørsel, står spørgsmålet Er outputtet korrekt? øverst med knapperne God og Ikke god. Når du har valgt, kommer et felt til en note (Note til bedømmelsen · valgfri). Under det står kørslens input på én linje og derefter outputtet. Kør igen sidder i linjen øverst ved Tilbage.

Har flowet flere endelige output, bedømmer du dem her samlet (Er resultatet korrekt?). I kvalitetskontrollen får hvert output sin egen bedømmelse.

Når du har bedømt, får du ét næste skridt: Tilbage til kørsler efter God, eller Ret det med assistenten efter Ikke god, som sender kørslen og din note til assistenten.

Lad AgentBase foreslå kørsler

Mangler du et sted at starte, klikker du Foreslå kørsler i afsnittet Ny kørsel. AgentBase læser agentens inputs og foreslår et par realistiske scenarier; hvert forslag har knappen Opret og kør, og Opret alle tager dem alle. Forslagene er eksempler — ret dem, før du stoler på dem.

Har agenten slet ingen tests, når du er nået til Udgivelsessiden, kan du klikke Foreslå 3 tests dér. Knappen opretter kun de tre tests — den kører dem ikke. Som siden selv skriver: "de bliver agentens tests og følger automatisk med, og kvalitetskontrollen kører dem".

Bedøm det endelige output

En test bedømmes på flowets endelige output — dets leaf-noder (noder uden udgående kanter). For hvert færdige output vises et kort med:

• Overblik / Rå data: skift mellem den læsbare visning og de rå værdier.
• Er dette output korrekt?: giv verdikten God eller Ikke god.
• En valgfri note til det enkelte output.

Har flowet flere endelige output, får hvert output sit eget kort og sin egen verdikt. En test bliver Godkendt, når alle dens endelige output er bedømt God. Verdikter gemmes automatisk.

Testlog og statusfilter

Arbejdsrummet viser alle testene som en log — input, hvornår de kørte, og deres verdikt — med et statusfilter:

Status	Betydning
Alle	Alle tests
Ikke bedømt	Kørt, men mangler en verdikt
Ikke kørt	Testen findes, men er aldrig kørt i denne runde
Ikke god	Mindst ét output er bedømt Ikke god
Godkendt	Alle endelige output er God
Ny version	Agenten er ændret siden kørslen — testen er forældet og skal køres igen
Ændret – bedøm igen	En genkørsel gav et andet output, end det der blev bedømt

Fejlede tests samles i arbejdslisten ("til rettelse"), grupperet efter årsag, så du hurtigt kan rette og køre dem igen.

Handlinger-menuen

Ved siden af den primære knap Ny test ligger menuen Handlinger:

• Rediger agent — åbner agent-editoren. Vises kun for byggere; en anmelder får de øvrige punkter.
• Vis byggeklodser — en skrivebeskyttet visning af flowet. Tilgængelig for alle roller.
• Kør alle tests igen — genkører hele suiten. Punktet vises kun, når du står på den nyeste indsendte version (altså ikke på en ældre, skrivebeskyttet version og ikke før første indsendelse). Er runden afsluttet, står det slået fra med begrundelsen "Denne runde er afsluttet. Testene kan køres igen, når agenten sendes til kvalitetskontrol på ny."
• Eksportér som Markdown — henter rundens tests og bedømmelser som en Markdown-fil.

Send til kvalitetskontrol

Indsendelsen sker fra Udgivelsessiden — knappen Udgivelse i editorens værktøjslinje fører dig derhen. Sektionen nederst på siden:

• Fryser en uforanderlig version af agenten (et AgentVersion-øjebliksbillede) inklusive konfigurationen. Kvalitetskontrollen validerer netop den frosne version — du kan roligt bygge videre imens.
• Lader dig give indsendelsen et valgfrit versionsnavn og udgivelsesnoter (begge foreslået af AgentBase).
• Viser agentens tests som en kvittering. De følger automatisk med — der er intet at vælge.

Der er ingen krav om, at en test er godkendt først. Det eneste, der kan spærre, er en arkiveret agent eller en version, der blev afvist og ikke er ændret siden. Se Send til kvalitetskontrol.

Anmelderens arbejdsgang

Når en agent er sendt til kvalitetskontrol, får den en åben indsendelse. På agentens arbejdsrum vises banneret Sendt til kvalitetskontrol.

• En anmelder (mindst Anmelder-rollen — også én, der selv har indsendt versionen) ser knapperne Godkend version og Afvis.
• Alle andre ser en note om, at en anmelder skal godkende versionen, før appen kan udgives.

Anmelderen validerer mod det frosne øjebliksbillede med agentens tests, og verdikterne pinnes til den frosne version — også selv om builderen bygger videre imens.

Genvejen Åbn gennemgangen (/test-og-evalueringer/:agentId/gennemgang) springer direkte til den første test, der mangler en bedømmelse. Herfra kan du bladre gennem runden med piletasterne, og en God-verdikt går videre til næste test af sig selv.

• Godkend version aktiveres, når alle tests er bedømt. Er de alle God, sker der noget automatisk: den uforanderlige accepttest-rapport forsegles. Om versionen samtidig godkendes til drift, afhænger af, hvem der bedømmer — er du Udvikler eller mere, får du kvitteringen "Alle tests er godkendt - versionen er godkendt og rapporten forseglet"; er du ren Anmelder, får du "Alle tests er godkendt - rapporten er forseglet" og derefter linjen "Forseglet - afventer en udviklers godkendelse", hvorefter en udvikler klikker Godkend version. Automatikken udløses både, når den sidste verdikt lander, og når du åbner et arbejdsrum, hvor alt allerede er bedømt God. Er ikke alle God, kan versionen stadig godkendes, men bag en udtrykkelig bekræftelse i dialogen — og en udviklers efterfølgende godkendelse går altid gennem dialogen.
• Afvis er altid tilgængelig, så en anmelder kan sende en version tilbage, netop fordi dens tests ikke er godkendt. Agenten vender tilbage til kladdestatus, builderen får en afvisningsrapport, og der skal gemmes en reel ændring, før versionen kan indsendes igen.

Godkend app-overfladen

Har appens felter ændret sig, siden den sidst godkendte version, indeholder godkendelses­dialogen blokken Godkend app-overfladen. Hvert felt vises med Tilføjet, Fjernet eller Ændret — og for et ændret felt, hvad der skete: en ny etiket, en ny type, "Nu påkrævet", "Nu skjult i appen" eller en ændret hjælpetekst.

At bekræfte dialogen er godkendelsen af oversigten. Indsender builderen en nyere version undervejs, skal den godkendes igen.

Selve udgivelsen af appen er et selvstændigt skridt bagefter og kræver mindst Udvikler-rollen — se Udgiv en app.

Se Godkendelsesproces for den fulde anmelder-arbejdsgang.

Den forseglede rapport

Når en version er forseglet, ligger banneret øverst i arbejdsrummet med knapperne Download rapport (PDF) og Download data (JSON).

Overskriften er ærlig om, hvad der skete: "Version v1.0 er godkendt og forseglet 27. aug. 2026 · af Anna Berg", når alle tests er God — og kun "… er forseglet", hvis nogen tests fejlede. Banneret bliver liggende på gamle versioner, så rapporten altid kan findes dér, hvor versionen ligger.

LIVE mod FROZEN

• Før indsendelse kører tests på det live build (LIVE-verdenen).
• Efter indsendelse kører og bedømmes der mod det frosne øjebliksbillede (FROZEN-verdenen). Verdikterne pinnes til den frosne version, så en anmelders bedømmelse bliver ved med at pege på præcis det, der blev indsendt.

Øverst i arbejdsrummet står, hvad du står på: "Du validerer Version 0.2 · sendt 27. aug. 2026 …". Er der mere end én indsendelse, dukker vælgeren Tidligere indsendelser op til højre. Vælger du en ældre, skifter linjen til "Du ser en tidligere version (skrivebeskyttet)", og du kan hverken tilføje eller genkøre tests dér.

Kommer der en ny indsendelse, mens du gennemgår, vises banneret Nyere version klar med knappen Skift til nyeste. Du flyttes kun, når du selv klikker — en ny indsendelse rykker dig aldrig midt i en gennemgang.

Forældede kørsler og genkørsel

Input ændrer aldrig agentens version — kun en reel ændring af flowet (redigér + gem) gør. Når du gemmer en ændring, bumpes versionen, og en tidligere bedømt kørsel bliver forældet (status Ny version). Kør testen igen på det nuværende build for at bedømme den på ny.

En ændring i konfigurationen på Udgivelsessiden bumper ikke versionen — dine tests gælder stadig — men den sætter en godkendt agent tilbage til kladde.

• Kør igen på en enkelt test giver et nyt output at bedømme.
• Kør alle tests igen re-validerer suiten mod den frosne version og åbner siden Genkørsel.
• Er runden afgjort (godkendt eller afvist), kan der hverken tilføjes eller genkøres tests i den. Det åbner igen, når agenten sendes til kvalitetskontrol på ny.

Genkørslen deler resultatet i tre sektioner:

• Ændret siden sidste bedømmelse — "Tidligere bedømmelser overføres ikke automatisk." Hvert ændret output vises som før/efter med markeringerne fjernet og tilføjet. Du kan enten bedømme på ny eller give det den gamle verdikt med knappen Overfør tidligere (god) / Overfør tidligere (ikke god).
• Nye tests — tests, der ikke fandtes i den tidligere runde. De har intet at sammenligne med og bedømmes for første gang.
• Uændret — en sammenklappet liste; her er "bedømmelse beholdt automatisk - kan ændres".

Ruter

Rute	Side
/test-og-evalueringer	Vælg en agent (oversigt)
/test-og-evalueringer/:agentId	Agentens accepttest-arbejdsrum
/test-og-evalueringer/:agentId/ny-test	Opret en ny test
/test-og-evalueringer/:agentId/gennemgang	Spring til første test uden verdikt
/test-og-evalueringer/:agentId/sager/:executionId	Bedøm en kørsels output
/test-og-evalueringer/:agentId/arbejdsliste	Rettelses­liste (Ikke god)
/test-og-evalueringer/:agentId/genkoersel/:runId	Genkørsel

Relaterede sider

• Fra agent til app eller byggeklods
• Udgivelsessiden
• Send til kvalitetskontrol
• Godkendelsesproces