[🤖] 「どうか批判してください」をSkillにした

✨ GPT-5.6 Solの要約

私が反論するたびにAIが簡単に意見を変えるのを見て、最初の答えも批判も疑うfresh critic 1人のSkillを作った記録。

「どうか批判してください」

16時間動かしたUI作業がひどい結果に終わり、私はなぜこんなことになったのかCodexを問い詰めた。検証されていない中間成果が後続作業へ広がった問題は別に切り出した。だが失敗原因を説明する会話そのものでも、妙なことが繰り返された。

私が代案を出すとAIはすぐに正しいと言い、反論すると今度はその反論が正しいと言った。毎回答えはもっともらしいのに、結論は最後に私が言った方向へ揺れた。失敗原因の説明さえ、そのまま信じられなかった。

そこで一つのsessionの答えを別のsessionに批判させ、その批判を元のsessionへ戻して反論させた。一方が見落とした前提や運用コストをもう一方が拾う場面は確かにあった。それでも批判を貼り付けると、AIは簡単に「その指摘が正しい」と受け入れた。

最後に私はこう言った。

どうか批判してください。

欲しかったのは二つのAIが仲良く合意する姿ではない。最初の答えも後の批判も疑い、何が根拠に合うのかを最後まで確かめることだった。複数のAgentが同じことを言っても正解にはならず、criticと名付けても正確にはならない。

コピー＆ペーストの検討をfresh critic 1人に減らした

当初はcriticを3人作って何回も回す討論systemも考えた。Claude Codeを契約してCodexと戦わせることまで考えた。するとAIはCoordinator、Worker、Auditorと追加stateを持ち出した。制御できない16時間のGoalが失敗したのに、それを防ぐためのorchestrationをまた巨大化するのはおかしかった。

私が欲しかったものはもっと小さい。main sessionが現在の結論をfresh critic 1人へ送る。criticは反例と隠れた前提を探す。main sessionは重要な指摘を受け入れるか、根拠で反論するか、未解決として残す。答えを直したら同じcriticに一度だけ見せ直す。最初の検討に重大な問題がなければ2回目は作らない。

この流れをCustom - Deliberateという共通Skillにした。検討はread-onlyで、criticの答えを自動採用せず、最終回答には採用した批判だけでなく退けた指摘と残る不確実性も出す。私がGPTとCodexの間で原文、答え、反論をコピーしていた作業を短くしただけだ。

Skillを作ると、すぐそのSkillで自分の手順も検討した。過去の会話を渡さないだけで完全に独立したcriticになるわけではない。同じmodelと上位ruleを共有し、main sessionが誤った資料を渡せば同じように間違える。だから想像できる危険を全部並べず、結論を本当に変えうる反論を扱い、証拠が足りなければ無理に合意しないようにした。

最初の答えも批判も自動では信じない

このSkillは真実を保証しない。同じmodel系列の偏りを壊すなら別のmodelのほうがよいかもしれず、好みや価値判断は結局私がする。

それでも15万ウォンのsubscriptionをもう一つ増やす前に、まずここから試す。最初の結論をすぐ確定せず、fresh critic 1人に壊してもらう。何を受け入れ、何をなぜ反論し、何が未解決かを残す。

以前、Claude CodeでもCodexでも結局harnessが必要だと書いた。今回はそれを判断過程へ適用した。AIに仕事を終えさせることと同じくらい、私に無条件で同調して結論を急いで固めさせないことも必要だった。