[🤖] “제발 비판 좀 하세요”를 Skill로 만들었다

✨ GPT-5.6 Sol의 요약 　

AI가 내 반론마다 쉽게 말을 바꾸는 걸 보고, 첫 답과 비판을 둘 다 의심하는 fresh critic 한 명짜리 Skill을 만든 기록.

“제발 비판 좀 하세요”

16시간 동안 돌린 UI 작업이 개 쓰레기로 끝난 뒤, 나는 왜 이런 사단이 났는지 Codex에 따져 물었다. 잘못된 중간 결과가 검증 없이 다음 작업으로 번진 문제는 따로 잡아냈다. 그런데 원인을 설명하는 대화 자체에서도 이상한 일이 반복됐다.

내가 대안을 말하면 AI는 금방 그 대안이 맞다고 했다. 내가 반론을 던지면 이번에는 또 그 반론이 맞다고 했다. 말은 매번 그럴듯했지만 결론은 내 마지막 말 쪽으로 흔들렸다. 실패 원인을 설명하는 답도 그대로 믿을 수가 없었다.

그래서 한 세션의 답을 다른 세션에 넘겨 비판하게 하고, 그 비판을 원래 세션에 가져가 반박하게 했다. 한쪽이 놓친 전제와 운영 비용을 다른 쪽이 잡아내는 순간은 분명 있었다. 그런데 비판을 붙여주면 또 너무 쉽게 “그 지적이 맞다”고 받아들였다.

결국 내가 한 말은 이것이었다.

제발 비판 좀 하세요.

내가 원한 것은 AI 둘이 사이좋게 합의하는 모습이 아니었다. 먼저 나온 답도, 나중에 나온 비판도 의심하고, 무엇이 실제 근거에 맞는지 끝까지 따지는 것이었다. 여러 Agent가 같은 말을 한다고 정답이 되는 것도 아니고, critic이라는 이름을 붙였다고 자동으로 더 정확해지는 것도 아니다.

복붙하던 검토를 fresh critic 한 명으로 줄였다

처음에는 critic을 세 명까지 만들고 여러 회차를 돌리는 토론 시스템도 생각했다. Claude Code를 결제해 Codex와 붙여볼까도 했다. 그러자 AI는 Coordinator, Worker, Auditor와 별도 상태까지 꺼내놓았다. 16시간짜리 Goal이 통제되지 않아서 망했는데, 그걸 막겠다고 또 거대한 orchestration부터 만드는 것은 이상했다.

내가 원한 것은 훨씬 작았다. 메인 세션이 현재 결론을 fresh critic 한 명에게 보낸다. critic은 반례와 숨은 전제를 찾는다. 메인 세션은 중요한 지적을 수용하거나, 근거로 반박하거나, 미해결로 남긴다. 답을 고쳤다면 같은 critic에게 딱 한 번 다시 보여주고 끝낸다. 첫 검토에서 중요한 문제가 없으면 두 번째 회차도 만들지 않는다.

이 흐름을 Custom - Deliberate라는 공용 Skill로 만들게 했다. 검토는 read-only로 두고, critic의 말을 자동 채택하지 않으며, 최종 답에는 받아들인 반론뿐 아니라 기각한 지적과 남은 불확실성도 드러내게 했다. 내가 GPT와 Codex 사이에서 원문과 답과 반론을 복붙하던 일을 그대로 줄인 셈이다.

Skill을 만든 뒤에는 곧바로 그 Skill로 자기 절차를 다시 검토했다. 이전 대화를 넘기지 않는다고 완전히 독립적인 critic이 생기는 것은 아니었다. 같은 모델과 상위 규칙을 공유하고, 메인 세션이 잘못된 자료를 주면 critic도 같이 틀릴 수 있다. 그래서 상상 가능한 모든 위험을 늘어놓는 대신 실제 결론을 바꿀 반론만 다루고, 근거가 부족하면 억지 합의 대신 부족하다고 남기게 했다.

첫 답도 비판도 자동으로 믿지 않는다

이 Skill이 진실을 보장하지는 않는다. 같은 모델 계열의 편향을 정말 깨려면 다른 모델을 붙이는 편이 나을 수도 있고, 취향과 가치판단은 결국 내가 해야 한다.

그래도 지금은 15만 원짜리 구독을 하나 더 늘리기 전에 이 정도부터 써보려고 한다. 결론을 바로 확정하지 않고 fresh critic 한 명에게 먼저 깨보라고 한다. 무엇을 받아들였고, 무엇을 왜 반박했고, 무엇이 아직 안 풀렸는지 남긴다.

Claude Code든 Codex든 결국 하네스가 필요하다고 썼던 것을 이번에는 판단 과정에 적용했다. AI가 일을 끝까지 하게 만드는 것만큼, AI가 내 말에 무작정 동조하며 결론을 너무 빨리 굳히지 못하게 하는 것도 필요했다.