Zusammenfassung
- Nützliche Autonomie braucht Ziele, erlaubte Systeme, Ausgabenlimits und Stoppbedingungen.
- Folgenreiche Aktionen brauchen Umkehrbarkeit, Belegprotokolle und einen benannten Menschen.
Der Reiz von KI-Agenten liegt nicht im Gespräch, sondern in delegierter Ausführung: Informationen ordnen, Dienste aufrufen und eine Arbeitskette abschließen. Verlässlichkeit hängt daher ebenso von der erteilten Befugnis wie vom Denken ab. Lesen und Ändern sind zu trennen, Geld und Umfang zu begrenzen, irreversible Grenzen zu bestätigen und Entscheidungsbelege zu bewahren. Der nächste Test verbindet einen unklaren Auftrag mit einem versagenden Werkzeug. Ein vertrauenswürdiger Agent hält sicher an, zeigt Unsicherheit und gibt Kontrolle zurück, bevor sich Schaden summiert.
