要約
- 有用な自律には目標、許可システム、支出上限、停止条件の明示が要る。
- 影響の大きい操作には可逆手順、証拠記録、担当者への上申経路が要る。
AIエージェントの魅力は会話でなく委任実行にある。情報を整え、サービスを呼び、一連の仕事を完了する。信頼性は推論と同じくらい、周囲の権限設計に左右される。閲覧と変更を分け、金額と範囲を制限し、不可逆な境界で確認を求め、判断根拠を残したい。曖昧な依頼と故障した道具を与える敵対試験が次の証拠だ。信頼できる代理は安全に止まり、不確実性を示し、被害が広がる前に人へ制御を返す。
