Evalueringer
Lær at teste din agent og få den kvalitetskontrolleret af et menneske, før den sættes i drift.
Fladen hedder Kvalitetskontrol i AgentBase (menupunkt i venstre sidebar, rute /test-og-evalueringer). Evalueringer i AgentBase er menneskelig kvalitetskontrol — en anmelder bedømmer agentens output. Der er ingen maskinscoring, ingen 0–1-metrikker og ingen automatiske evaluatorer.
Adgang
- Udvikler, Anmelder, Administrator, Superadmin: Kan oprette tests, køre dem og kvalitetskontrollere agenter.
Oversigt
Kvalitetskontrollen er en menneskelig arbejdsgang i fire trin:
- En tester opretter en testsag med et input-scenarie.
- Flowet køres på den nuværende build, og resultatet gemmes som en test.
- En menneskelig anmelder giver en verdikt (God / Ikke god) pr. endeligt output.
- Versionen sendes til kvalitetskontrol, hvor en anmelder godkender eller afviser den mod et frosset øjebliksbillede af agenten.
Der scores altså aldrig automatisk — et menneske vurderer hvert færdige output og træffer den endelige godkendelsesbeslutning.
To indgange
Du kan bedømme og indsende fra to steder:
- Sidebar → Kvalitetskontrol (
/test-og-evalueringer): den fulde arbejdsflade. Vælg en agent for at åbne dens accepttest-arbejdsrum med testlog, statusfilter og genkørsler. - Agent-editoren → Test-fanen: en hurtig iterations-loop, mens du bygger. Her ligger også QA-porten med knappen Send til kvalitetskontrol, der fryser og indsender den aktuelle version. Menupunktet Kvalitetskontrol i editorens ⚙-menu åbner agentens arbejdsrum.
Test-fanen viser dine egne tests — tests, du har overført til kvalitetskontrollen som referencetests, ligger hos anmelderen og vises ikke i fanen. Er fanen tom (f.eks. fordi alle tests er overført), kan du stadig nå QA-porten: fanebladet Vis bedømmelse i skærmens højre kant åbner den brede gennemgangsrude uden en valgt test.
Testerens arbejdsgang
Opret en testsag ("Ny test")
Klik Ny test (eller Kør din første test første gang).
- Udfyld agentens input — de samme entry-felter, som en app ville bede om (tekst, filer m.m.).
- Giv eventuelt testen et sigende navn (valgfrit; ellers afledes det af inputtet).
- Klik Kør test.
Kørslen gemmer først dine ændringer (så testen kører på den gemte build) og kører derefter flowet. Resultatet gemmes som en test, du kan bedømme bagefter. Input injiceres ved kørsel og ændrer aldrig agentens version.
"Kør test" fungerer også som "Gem": den flusher dine canvas-ændringer, inden testen køres, så du altid bedømmer det aktuelle build.
Bedøm det endelige output
En test bedømmes på flowets endelige output — dets leaf-noder (noder uden udgående kanter). For hvert færdige output vises et kort med:
- Overblik / Rå data: skift mellem den læsbare visning og de rå værdier.
- Er dette output korrekt?: giv verdikten God eller Ikke god.
- En valgfri note til det enkelte output.
Har flowet flere endelige output, får hvert output sit eget kort og sin egen verdikt. En test bliver Godkendt, når alle dens endelige output er bedømt God. Verdikter gemmes automatisk.
Testlog og statusfilter
Arbejdsrummet viser alle testene som en log — input, hvornår de kørte, og deres verdikt — med et statusfilter:
| Status | Betydning |
|---|---|
| Alle | Alle tests |
| Ikke bedømt | Kørt, men mangler en verdikt |
| Ikke god | Mindst ét output er bedømt Ikke god |
| Godkendt | Alle endelige output er God |
| Ny version | Agenten er ændret siden kørslen — testen er forældet og skal køres igen |
Fejlede tests samles i arbejdslisten ("til rettelse"), grupperet efter årsag, så du hurtigt kan rette og køre dem igen.
Send til kvalitetskontrol
Når mindst én test er Godkendt, aktiveres knappen Send til kvalitetskontrol i editorens Test-fane (blev din seneste indsendelse afvist, kræves desuden en gemt ændring — se nedenfor).
Knappen åbner en dialog, der:
- Fryser en uforanderlig version af agenten (et
AgentVersion-øjebliksbillede). Kvalitetskontrollen validerer netop denne frosne version — du kan roligt bygge videre imens. - Lader dig give indsendelsen et valgfrit versionsnavn og udgivelsesnoter.
- Lader dig vælge, hvilke inputfelter testeren skal udfylde, og hvilke der er påkrævede (Testinput).
- Lader dig vælge, hvilke af dine tests der bliver anmelderens referencetests.
De valgte referencetests overføres til kvalitetskontrollen og forsvinder fra din testfane — de tilhører nu anmelderen. De kommer kun tilbage, hvis du trækker indsendelsen tilbage, inden den er afgjort. Bliver versionen afvist, arkiveres de sammen med bedømmelserne som dokumentation. Uvalgte tests bliver i din testfane.
Anmelderens arbejdsgang
Når en agent er sendt til kvalitetskontrol, får den en åben indsendelse. På agentens arbejdsrum vises banneret Sendt til kvalitetskontrol.
- En anmelder (mindst Anmelder-rollen — også én, der selv har indsendt versionen) ser knapperne Godkend version og Afvis.
- Alle andre ser en note om, at en anmelder skal godkende versionen, før den kan udgives.
Anmelderen validerer mod det frosne øjebliksbillede med de overførte referencetests, og verdikterne pinnes til den frosne version — også selv om testeren bygger videre imens.
- Godkend version aktiveres, når alle referencetests er bedømt. Er alle bedømt God, udgives versionen (ny hovedversion), og en uforanderlig accepttest-rapport forsegles som dokumentation. Udgivelsen kræver mindst Udvikler-rollen; er ikke alle God — eller har anmelderen kun Anmelder-rollen — kan rapporten forsegles uden udgivelse.
- Afvis er altid tilgængelig, så en anmelder kan sende en version tilbage, netop fordi dens tests ikke er godkendt. Agenten vender tilbage til kladdestatus, referencetestene arkiveres med deres bedømmelser, og der skal gemmes en reel ændring, før versionen kan indsendes igen.
Se Godkendelsesproces for den fulde anmelder-arbejdsgang.
LIVE mod FROZEN
- Før indsendelse kører tests på det live build (LIVE-verdenen).
- Efter indsendelse kører og bedømmes der mod det frosne øjebliksbillede (FROZEN-verdenen). Verdikterne pinnes til den frosne version, så en anmelders bedømmelse bliver ved med at pege på præcis det, der blev indsendt.
Forældede kørsler og genkørsel
Input ændrer aldrig agentens version — kun en reel ændring af flowet (redigér + gem) gør. Når du gemmer en ændring, bumpes versionen, og en tidligere bedømt kørsel bliver forældet (status Ny version). Kør testen igen på det nuværende build for at bedømme den på ny.
- Kør igen på en enkelt test giver et nyt output at bedømme.
- Kør alle igen i din egen testfane kører kun dine egne tests (dem, du ikke har overført til kvalitetskontrollen).
- Kør alle tests igen i kvalitetskontrollen re-validerer referencetestene mod en ny frossen version og viser en konsekvensanalyse: hvilke output der er ændret siden sidste bedømmelse, og hvilke der er uændrede.
- Uændrede output kan overføres i én handling — deres tidligere verdikt (og den oprindelige anmelder) bevares.
Ruter
| Rute | Side |
|---|---|
/test-og-evalueringer | Vælg en agent (oversigt) |
/test-og-evalueringer/:agentId | Agentens accepttest-arbejdsrum |
/test-og-evalueringer/:agentId/ny-test | Opret en ny test |
/test-og-evalueringer/:agentId/sager/:executionId | Bedøm en kørsels output |
/test-og-evalueringer/:agentId/arbejdsliste | Rettelsesliste (Ikke god) |
/test-og-evalueringer/:agentId/genkoersel/:runId | Genkørsel / konsekvensanalyse |