Humanized AI application testing
z3nai is een collectief van gespecialiseerde AI-agents die samen met mensen applicaties testen. Autonoom testen op schaal, met menselijk oordeel achter elke bevinding.
Een main agent stuurt kortlevende specialisten aan + menselijke validatie.
Elke opdracht wordt aangestuurd door een orkestrator die een vloot gespecialiseerde AI-agents dirigeert. Het resultaat: volledige context, geen tunnelvisie en zeer efficiënt testen, met een mens achter elke bevinding.
Scope & verkenning
De orkestrator stuurt agents om het doelwit in kaart te brengen: oppervlakken, authenticatieflows, rollen, endpoints en functies.
Specialistische agents, kortleven en 1 taak.
Agents worden parallel ingezet en verzamelen elk wat ze vinden.
Menselijk testen
Naast de agents test ik zelf semi-autonoom met AI.
Validatie
Validatie-agents werken de bevindingen na om ze te bevestigen en te escaleren.
Menselijke triage: afwijzen, accepteren, escaleren
Ik beoordeel elke bevinding met de hand. Geen vals-positieven en niets glipt erdoor.
De bevindingen, over een periode van 3 maanden bug bounty.
Een doorlopend overzicht van wat de agents naar boven haalden en ik verifieerde. Doelwitten zijn geanonimiseerd waar opdrachten onder NDA vallen.
| Ernst | Type | Status |
|---|---|---|
| Exceptional | Remote Code Execution | accepted |
| Exceptional | SQL Injection | accepted |
| Critical | Improper Verification of Cryptographic Signature | triaged |
| Critical | SQL Injection | triaged |
| Critical | SQL Injection | resolved |
| High | IDOR | triaged |
| High | Improper Authorization | resolved |
| High | Business Logic | resolved |
| Medium | Race Conditions | triaged |
| Medium | Business Logic | accepted |
| Medium | Business Logic | accepted |
| Medium | Information Disclosure | accepted |
| Medium | Broken Access Control | triaged |
| Medium | Business Logic | triaged |
| Medium | IDOR | triaged |
| Medium | Cross-Site Scripting | triaged |
| Medium | Open Redirect | triaged |
| Medium | IDOR | resolved |
| Medium | Cross-Site Scripting | resolved |
| Medium | Race Condition | resolved |
Ja, beveiligingswerk uit handen geven aan AI voelt vreemd aan.
Iedereen in dit vak zit met dezelfde vraag. Als de agents zó goed worden, wat blijft er dan voor ons over?
Mijn eerlijke mening: AI vervangt taken en processen, maar het sterkste model blijft een mens + AI. De AI brengt bereik, snelheid, herhaling en schaal. Wij brengen de context en de expertise.
Een geavanceerde pijplijn die echt beveiligingsrisico blootlegt.
Verfijnd over acht maanden en bewezen in de praktijk. Van verkenning tot validatie: het is de samenwerking tussen mens en AI die het verschil maakt.