[🤖] AI가 잘못된 중간 결과를 내자 다음 작업부터 막았다

✨ GPT-5.6 Sol의 요약 　

‘검사를 다 통과했다’는 보고 뒤에 틀린 정보 구조가 후속 화면과 backend로 번졌다. 그래서 검토 전에는 다음 작업이 시작되지 않게 했다.

“검사를 다 통과했다”는 보고를 믿고 열어본 화면은 개 쓰레기였다. 그런데 이 글에서 붙잡은 문제는 그 최종 화면보다 앞에 있었다.

처음 틀어진 정보 구조를 아무도 멈추지 않았고, 다음 page와 backend가 그 위에 계속 쌓였다. 그래서 중간 결과가 틀렸으면 후속 작업부터 닫히게 만들었다.

PASS 보고가 잘못된 화면을 16시간 키웠다

Codex가 중간 결과를 내놓을 때마다 내가 직접 본 것이 아니었다. 구현한 세션이 스스로 완료했다고 보고했고, 다른 세션들은 그 결과를 이어받아 다음 page와 backend를 계속 만들었다. 처음 잘못 잡힌 정보 구조가 검증도 받기 전에 여러 화면으로 퍼졌다. 마지막에 내가 화면을 열었을 때는 이미 16시간치 작업이 그 방향 위에 쌓여 있었다.

필요한 것은 AI를 더 오래 돌리는 법이 아니었다.

중간 결과가 틀렸으면 다음 작업으로 넘어가지 못하게 하는 구조가 필요했다.

이 문제를 따지다가 Graph Engineering이라는 말을 알게 됐다. 한 Agent의 긴 loop에 전부 맡기는 대신, 검토 가능한 결과와 다음 단계로 가는 조건을 graph처럼 명시하는 접근이었다.¹ 내가 필요했던 핵심은 거창한 graph runtime이 아니라, 검증되지 않은 결과에서는 다음 edge가 열리지 않는다는 한 가지였다.

“쓸데없이 복잡해지는 거 아님?”

Graph Engineering을 적용해보자고 하자 AI는 Coordinator, Worker, Auditor, 계약 version, durable ledger, dashboard와 전체 재감사까지 꺼내놓았다. 각각은 그럴듯했다. 그런데 16시간 동안 토큰을 쓰고도 성과가 없었던 일을 막겠다고 관리 체계부터 더 크게 만들면 똑같이 토큰만 빨아먹을 것 같았다.

내가 그린 첫 graph는 작업 세션과 감사 세션 둘뿐이었다. 작업 세션이 검토 가능한 결과 하나를 완성하면 멈춘다. 감사 세션은 이전 대화 분위기나 작업자의 자기평가가 아니라 고정된 결과와 원래 요구를 본다. 수정이 필요하면 같은 결과만 한 번 고쳐 다시 보고, 방향 자체가 틀렸으면 patch를 더 붙이지 않고 계획으로 돌아간다. 감사가 끝나기 전에는 직접 후속 작업을 시작하지 않는다.

비판을 주고받으며 이 작은 안의 구멍도 메웠다. 작업자가 자기에게 유리한 감사 기준을 만들지 못하게 했고, Runtime이나 감사 대상이 바뀌면 이전 판정을 버리게 했다. 모든 일에 Gate를 붙이는 것도 막았다. 오타나 결정적인 test 하나로 끝나는 bug가 아니라, 잘못된 결과가 여러 후속 작업을 오염시킬 수 있는 지점에서만 쓰기로 했다.

이 정도를 custom-graph-engineering-gate Skill로 옮겼다. 별도 DB나 dashboard는 만들지 않았다. 결과를 한 문장으로 고정하고, 감사가 PASS, CHANGES_REQUESTED, REPLAN_REQUIRED, NOT_VERIFIABLE 중 무엇을 돌려줬는지에 따라 다음 행동만 제한했다. OpenAI가 제공하는 Skill과 subagent만으로 충분했다.²³

첫 Gate가 실제로 다음 작업을 막았다

Skill 자체를 만들었다고 곧바로 성공이라고 부르지는 않았다. 여러 기능이 함께 의존할 권한 전환 계약을 첫 실제 결과로 삼아 동결하고, 이전 대화를 받지 않은 감사 세션에 넘겼다.

첫 판정은 PASS가 아니라 CHANGES_REQUESTED였다. 권한을 어느 시점 기준으로 판단하는지, 위임 권한이 어디서 왔고 어떻게 철회되는지, 사용자와 권한과 대상 회사가 같은 범위에 묶였는지가 부족했다. 그대로 여러 기능에 퍼졌다면 나중에 권한 체계 전체를 다시 뜯을 문제였다.

작업 세션이 같은 결과만 한 번 고쳤고, 같은 감사 세션이 다시 확인한 뒤에야 PASS가 나왔다. 그동안 후속 구현과 배포는 열지 않았다. 내가 원했던 효과는 이것이었다. 작업자가 “충분하다”고 넘긴 지점에서 다음 edge가 실제로 닫혔다.

물론 권한 계약 한 번을 잡았다고 16시간짜리 UI 실패가 해결된 것은 아니다. 사람이 보고 느끼는 UI 방향을 중간에 끊어내는 일은 훨씬 어렵고, 감사 세션도 같은 모델과 같은 Working Tree를 보니 같은 전제에 함께 속을 수 있다. Skill은 강제 실행 엔진도 아니다.

그래도 이번에는 유행어를 듣고 거대한 framework부터 설치하지 않았다. 내가 겪은 실패에 필요한 graph만 남겼고, 다음 장기 작업에서 다시 시험할 수 있는 크기로 줄였다.

16시간 뒤에야 전체가 잘못됐다는 사실을 발견하지 않기 위해서.

참고 자료

1. LangChain, “3 Years of Graph Engineering with LangGraph”. Graph Engineering이라는 최근 용어와 Agent workflow를 명시적 graph로 설계하는 관점을 설명한다. ↩

2. OpenAI, “Build skills”. 반복해서 사용할 workflow를 Codex Skill로 저장하는 공식 경로를 설명한다. ↩

3. OpenAI, “Subagents”. 메인 Agent가 별도 subagent를 만들고 결과를 회수하는 구조를 설명한다. ↩