[🤖] 최상위 목표가 이렇게 쉭쉭 바뀐다고???

✨ GPT-5.6 Sol의 요약 　

명령 확인 절차를 만들다가 출력 시점 하나를 고쳤을 뿐인데 Codex가 그 방법을 새 목표로 바꿔버렸다. 원래 목표 문장을 고정하고 후속 지시는 그 아래에서만 바뀌게 만든 기록.

출력 시점을 고쳤더니 목표가 바뀌었다

나는 Codex가 작업을 시작하기 전에 내 지시를 제대로 이해했는지 확인하는 Skill을 만들고 싶었다. 궁극적으로 만들 결과를 먼저 보여주고, 애매한 점은 질문하되 내가 바로 선택할 수 있는 모범답안까지 함께 제시하는 절차였다.

설계 중에 최상위 목표를 언제 출력할지 몇 번 수정했다. 그러자 Codex는 출력 시점 같은 방법 변경을 새로운 최상위 목표로 받아들였다. 원래 만들려던 명령 확인 절차는 사라지고 “최상위 목표를 언제 표시할 것인가”만 남았다.

최상위 목표가 이렇게 쉭쉭 바뀐다고???

컨텍스트 압축도 없었다. 대화는 남아 있었지만 최종 결과, 현재 작업, 실행 방법, 출력 형식의 계층이 무너졌다. 특히 Codex가 목표를 매번 다시 요약하면서 최근 문장의 표현이 원래 목표를 조금씩 대체했다. 기억 부족이 아니라 목표의 source of truth가 없었던 문제였다.

목표 문장은 다시 쓰지 못하게 했다

나는 최상위 목표를 매번 재생성하지 않고, 사용자가 확인한 문장 하나를 정본으로 고정하게 했다.

사용자가 지시를 내렸을 때 Codex가 궁극적 결과를 정확히 이해했는지 사용자가 검증하고, 애매한 점은 질문과 모범답안으로 해소하며, 수행 중에도 그 최상위 목표를 잃지 않게 하는 재사용 절차를 만든다.

사용자가 최종 결과를 바꾸겠다고 명시적으로 확인하기 전에는 이 문장을 요약하거나 의역하지 못하게 했다. 현재 작업, 방법, 파일, Skill, 질문, 출력 규칙도 최상위 목표 자리를 차지할 수 없다. 바뀐 것인지 애매하면 기존 문장과 새 해석을 따로 보여주고, 확인 전에는 합치지 않는다.

후속 입력도 전부 목표 변경으로 취급하지 않았다. 최종 결과가 바뀐 것인지, 결과가 하나 더 필요한 것인지, 범위·방법·출력 형식만 바뀐 것인지, 아니면 질문이나 정정인지 구분했다. 실제 목표 문장을 교체할 수 있는 것은 내가 최종 결과 변경을 확인했을 때뿐이다.

개별 명령에서 생기는 오해는 custom-confirm-task-intent가 따로 잡게 했다. 원하는 결과, 적용 대상, 보존할 내용, 눈으로 판단할 완료 기준을 먼저 확인하고, 결과가 달라질 만한 모호성에는 권장안과 바로 복사할 답까지 붙인다. 질문을 많이 만드는 것이 목적은 아니다. 되돌릴 수 있는 선택은 권장안을 밝히고 진행하고, 권한·비용·삭제·외부 발송처럼 결과나 위험이 달라질 때만 멈춘다.

실제 대화에서는 두 번 걸렸다

문구만 읽어보고 끝내면 실제 대화에서 또 다르게 해석될 수 있다. 최초 실행 명령, 출력 형식 변경, 범위 축소, 질문, 하위 작업 추가, 최종 결과 변경을 차례로 입력해 정본이 언제 유지되고 언제 교체되는지 확인했다.

첫 검증에서는 같은 작업의 후속 실행 명령에 목표가 다시 표시되지 않았다. “첫 응답에서만”을 전체 작업의 최초 한 번으로 해석했기 때문이다. 기준을 새 실행 명령마다 첫 응답 한 번으로 고쳤다.

두 번째 검증에서는 하위 작업 담당자의 실명이 없다는 이유로 작업이 멈췄다. 그러나 기획 담당·검토 담당 같은 기능 역할이나 빈칸으로도 안전하게 진행할 수 있었다. 그래서 사용자만 아는 사실을 만들지는 않되, 되돌릴 수 있는 일반 역할로 처리할 수 있으면 가정을 밝히고 계속하도록 수정했다.

같은 순서를 처음부터 다시 실행한 결과, 방법·범위·출력 형식과 하위 작업이 바뀌어도 정본은 유지됐다. 질문에는 목표 머리말이 나오지 않았고, 사용자가 실제 최종 결과 변경을 명시한 단계에서만 새 정본으로 교체됐다.

여러 세션에서는 이번 작업도 따로 보여야 했다

최상위 목표를 정확히 복사하는 것만으로는 여러 워커가 최신 지시까지 이해했는지 알 수 없었다. 한 워커가 프로젝트 목표는 맞게 말하면서도 이번 조사에 새로 포함된 자료 범위를 놓치는 일이 생겼다.

처음에는 목표를 1순위, 2순위처럼 계속 쌓는 방식도 검토했다. 하지만 오래된 지시와 현재 지시가 한 목록에 쌓이면 워커가 이번에 실행할 항목을 다시 해석해야 했다. 목표를 지키려다 목표 목록 관리가 새 일이 되는 셈이었다.

대신 워커에게는 고정된 프로젝트 목표와 이번 작업을 따로 보여주고, 최근에 달라진 내용, 내가 실제로 볼 결과, 지켜야 할 것, 끝났다고 판단할 증거를 함께 건넸다. 실제 결과 대신 보고서만 내세우는 순간도 이 구분으로 바로 드러났다.

이 구조가 자연어 해석 오류를 없애는 것은 아니다. 입력 분류가 틀릴 수도 있고, 새 세션이 최신 규칙과 Skill을 읽지 않으면 예전 동작이 남을 수도 있다. 그래서 규칙을 써뒀다는 사실보다 실제 명령 순서를 다시 실행한 결과를 보기로 했다.

이제 나는 Codex가 목표 문장을 외웠는지만 보지 않는다. 그 문장을 함부로 바꾸지 않은 채, 이번에 무엇을 어디까지 해야 하는지까지 제대로 이해했는지를 본다.