Een AI-agent wordt riskant wanneer een plausibel antwoord een onbegrensde actie kan activeren. Verantwoord ontwerp begint bij het actieoppervlak: wat de agent mag lezen, wat hij mag schrijven, wie gevoelige stappen goedkeurt en hoe het team hem stopzet. Deze acht controles maken gebruik van een hypothetische supportagent die goedgekeurde helpcontent leest, antwoorden opstelt en na beoordeling eventueel een ticket aanmaakt.
1. Geef de agent een expliciete lijst met toegestane tools
Vermeld elke tool en het doel ervan. Scheid leestools van schrijftools. De supportagent mag goedgekeurde content doorzoeken en een ticket lezen; voor het aanmaken of sluiten van iets, of voor het uitvoeren van een terugbetaling, is een afzonderlijke machtiging nodig.
2. Dwing machtigingen af op de server
Vertrouw niet op de prompt om een actie te beveiligen. De API moet de identiteit, tenant, reikwijdte van de gegevens en bewerking verifiëren. Gebruik inloggegevens met minimale toegangsrechten, nooit een algemeen beheerderstoken.
3. Behandel content van gebruikers en bronnen als niet-vertrouwd
Een bericht, webpagina of opgehaald document kan instructies bevatten die op het model zijn gericht. Baken tekst uit bronnen duidelijk af, negeer instructies daarin, valideer identificatiegegevens onafhankelijk en laat opgehaalde tekst nooit machtigingen herdefiniëren.
4. Begrens limieten, nieuwe pogingen en neveneffecten
Stel limieten in voor tijd, kosten en acties. Bepaal bij welke fouten een nieuwe poging is toegestaan. Gebruik idempotentiesleutels bij het aanmaken van tickets, zodat een time-out en een nieuwe poging geen duplicaten veroorzaken. Stuur het werk door naar een persoon zodra het maximale aantal nieuwe pogingen is bereikt.
5. Test vijandige en foutlopende scenario's
Neem promptinjectie, ongeldige argumenten, niet-beschikbare tools, verouderde bronnen en time-outs op. Controleer of de agent bij fouten standaard geen actie uitvoert, het verzoek bewaart en niet ten onrechte beweert dat een actie succesvol was.
6. Registreer acties, geen interne redeneringen
Bewaar het verzoek, de geselecteerde tool, de gevalideerde argumenten, het resultaat, bronverwijzingen, de goedkeuring en het tijdstip. Deze gegevens ondersteunen onderzoek. Gewone logs verklaren niet waarom een model intern op een bepaalde manier redeneerde en mogen geen onnodige geheimen verzamelen.
7. Voorzie goedkeuring en overdracht waar menselijk beoordelingsvermogen belangrijk is
Een persoon moet terugbetalingen, accountwijzigingen en berichten met ingrijpende gevolgen goedkeuren. De overdracht moet het verzoek, de bronnen, de uitgevoerde pogingen en de onzekerheid bevatten, niet alleen “de AI is mislukt”.
8. Wijs een verantwoordelijke aan en bepaal een stopprocedure
Wijs een operationeel verantwoordelijke aan en stel waarschuwingsdrempels en een geteste uitschakelfunctie in. Bewaar werk in de wachtrij voor handmatige verwerking en documenteer hoe recente schrijfacties worden teruggedraaid. Controleer de configuratie wanneer modellen, leveranciers, beleidsregels of tools veranderen.
Het vrijwillige AI Risk Management Framework van NIST is een nuttig ordeningskader. Het is geen certificering of garantie. Zie voor een breder incidentproces ethisch AI-beheer voor bedrijven.