Proxy-agent: robustere AGENT-RESULT-parsing (gemma-anførselstegn-glipper)

[olebhansen]

Observert (2026-07-27, event github-digdir-digdir-ai-agents-96-c5092092559)

Pi-agenten (aivar:gemma4) produserte et komplett og korrekt delegerings-svar, men med én formatglipp i AGENT-RESULT-JSON-en: ',' i stedet for "," mellom reply- og delegate-feltet:

"reply":"… på issue #96.','delegate":{"agent":"local-cc-coding-agent", …

Ugyldig JSON → extraction_failed-fallbacken fra #91 slo inn (helt riktig oppførsel: ærlig ⚠️-melding til brukeren, ingen fabrikkert delegering) — men en ellers perfekt delegering gikk tapt, og brukeren måtte re-trigge manuelt.

Forslag

Ett eller flere av disse, i agents/proxy-agent/docker/entrypoint.sh (extract_result_json):

1. Reparasjonspass for nesten-JSON før forkasting: kjente enkle glipper som ',' / ":' mellom felt (kun mellom strengverdi-slutt og neste nøkkel — ikke generell quote-erstatning, som ville ødelagt legitimt innhold).
2. Én automatisk retry når ekstraksjonen feiler: kjør pi på nytt med kort tilleggsinstruks om at forrige svar hadde ugyldig JSON etter markøren (billigste robusthetsgevinst; gemma-glippene er ikke-deterministiske).
3. Evt. undersøke om pi kan kjøre med håndhevet strukturert output (json_schema) mot det OpenAI-kompatible endepunktet — da forsvinner problemklassen helt.

Fallback-oppførselen fra #91 skal bestå uendret — dette handler kun om å redusere hvor ofte den trengs.

Kontekst

Loggen ligger i proxy-agentens triggers/logs/github-digdir-digdir-ai-agents-96-c5092092559.log i deploy-klonen.

[olebhansen]

Oppdatering etter nytt forsøk (event github-digdir-digdir-ai-agents-96-c5092147893, 2026-07-27): ny feilklasse samme dag — to funn til:

1. Escapede anførselstegn: hele AGENT-RESULT-blokken kom som {\"intent\":...} (JSON-encodet JSON) → ekstraksjonen feilet igjen. Reparasjonspasset i forslag 1 bør altså også håndtere et blokk-nivå unescape-forsøk (\" → ") når direkte parsing feiler.
2. Hallusinert handling i reply: svaret hevdet «Jeg har opprettet et nytt issue» med lenke til issues/125 — som ikke finnes (verifisert; ingen nye issues ble opprettet). Fallbacken hindret at påstanden nådde brukeren, men det understreker verdien av retry-varianten (forslag 2) fremfor ren reparasjon: en re-kjøring gir modellen sjansen til å produsere et svar der påstander og faktiske verktøykall stemmer overens.

I tillegg en observasjon utenfor parsing: proxyen omskriver delegeringsprompten per forsøk i stedet for å videreformidle arbeidsordren trofast — i forsøk 3 erstattet den hele spesifikasjonen med en referanse til det ikke-eksisterende issuet. Verdt å vurdere en instruks-justering: ved delegering av en allerede presis arbeidsordre skal prompten gjengis, ikke omformuleres.

Score i dag: 1 av 3 kjøringer ga gyldig blokk. Fallbacken (#91) fungerte perfekt i alle tre.

[olebhansen]

@olebhansen-agent Arbeidsordre — avgrenset lav-risiko oppgave for junior-kodeagenten: implementer forslag 1 og 2 fra dette issuet (les issue-beskrivelsen over først) i extract_result_json i agents/proxy-agent/docker/entrypoint.sh. Forslag 3 (json_schema) droppes — kjent brutt i LM Studio for gjeldende modell. Merk at feilklassen nå også omfatter HELT manglende AGENT-RESULT-markør (sett i dag på issue #97, logg github-digdir-digdir-ai-agents-97-c5114616106.log) — retry-instruksen bør dekke begge tilfeller. #91-fallbacken skal bestå uendret som siste skanse. Tester for reparasjonspasset der det er praktisk. PR mot v2.0 med Refs #104 — entrypoint.sh er CODEOWNERS-sti, så PR-en venter på menneskelig review; ikke sett auto-merge-label. Kjør review-prosessen din og post funnene som PR-kommentar. Rapportér tilbake her med PR-lenke.

[olebhansen-agent]

⚠️ Agenten leverte uten strukturert svar — se logg.

[olebhansen]

@olebhansen-agent forrige forsøk strandet igjen på manglende AGENT-RESULT-markør (analysen var ferdig, men delegeringen ble aldri sendt). Ikke gjenta analysen: deleger arbeidsordren i #104 (comment) til junior-kodeagenten nå. Svaret ditt MÅ slutte med ===AGENT-RESULT===-linja fulgt av gyldig JSON med delegate-feltet — uten den skjer ingen delegering.

[olebhansen-agent]

⚠️ Agenten leverte uten strukturert svar — se logg.

[olebhansen]

Delegeringen er fullført utenom auto-svar-ruta: pi-svaret på retry-en var komplett og gyldig, men hele AGENT-RESULT-blokken lå i en markdown-kodefence — nøyaktig bugg-en i #83 — så broen forkastet den. JSON-en er hentet ut av loggen og lagt i junior-agentens innboks manuelt (event github-digdir-digdir-ai-agents-104-c5115530120-d1), med ett tillegg i oppdraget: reparasjonspasset skal også strippe kodefence rundt AGENT-RESULT (Refs #83). To av tre feilklasser i denne saken har nå felt delegeringer i dag; fiksen tester seg selv.

[olebhansen-agent]

Takk for oppdateringen. Jeg har notert at delegeringen til junior-kodeagenten ble fullført og JSON-en lagt i innboksen manuelt, samt at reparasjonspasset bør strippe markdown-kodefence rundt AGENT-RESULT-blokker (Refs #83). Ingen ny handling iverksatt — oppgaven er allerede videresendt.

[olebhansen]

Leveranserapport (postet manuelt — svar-ruting følger ikke manuelt injiserte events, se forrige kommentar): junior-kodeagenten har levert PR #111 mot v2.0 (Refs #104): reparasjonspass i extract_result_json som dekker alle tre observerte feilklasser (','/":'-glipper, manglende markør via retry, kodefence rundt blokken — Refs #83), pluss én automatisk retry med formatpåminnelse. #91-fallbacken består uendret som siste skanse. Egen testfil med 10 assertions (grønne), fresh-eyes-review postet som PR-kommentar uten blokkerende funn. entrypoint.sh er CODEOWNERS-sti — venter på code owner-review; ingen auto-merge-label satt.

[olebhansen-agent]

⚠️ Agenten feilet (error).

Agenten leverte uten strukturert svar — se logg.