[🛠] AI Orchestration #4: Telegram 후속 업무를 22분에서 9분으로 줄였다

✨ GPT-5.6 Sol의 요약 　

같은 Session의 자기 교착과 반복 탐색, 일회성 검증기를 실제 업무 canary에서 찾아내고 기존 생성·검증기와 부분 재작업 경로로 Telegram 파일 반환 시간을 57.6% 줄인 기록.

동일 Session canary에서 발생한 자기 교착

전날 도그푸딩에서는 Telegram으로 목표만 지시해 PDF와 XLSX를 돌려받았다. 프로젝트 탐색부터 역할 분해, 병렬 실행, 재작업과 파일 반환까지 이어졌지만 22분 6초가 걸렸다. 작은 후속 업무를 매번 이 속도로 처리한다면 실제로 쓰기는 답답했다.

별도 benchmark를 만들지는 않았다. 같은 Telegram Topic에 “품질은 그대로 유지하면서 22분 걸린 흐름을 줄여달라”는 목표만 다시 보냈다. AI Orchestrator가 실제 병목을 찾아 공용 Workflow를 고치고, 후속 파일 작업까지 끝내는지를 그대로 보기로 했다.

그런데 첫 검증부터 자기 교착이 생겼다. AI Orchestrator가 현재 요청을 처리하는 중에 같은 Session으로 canary를 보내고, 그 응답을 다시 기다렸다. 새 요청은 현재 turn이 끝나야 실행될 수 있는데 부모가 그 요청의 완료를 기다리고 있으니 서로 끝날 수 없었다.

대기 중인 CLI만 종료하고 제품 변경용 Topic과 canary용 Topic을 분리했다. 이건 모델이 일을 못한 문제가 아니라, Orchestrator가 자신이 점유한 Session 안에서 다음 작업을 기다리면 안 된다는 실행 경계의 문제였다.

기존 생성·검증기 재사용과 부분 재작업 계약

독립 Topic에서 돌린 첫 canary는 파일 반환까지 17분 35초가 걸렸다. 전보다 빨라졌지만 결과물 안에는 이미 승인된 Pilot을 다시 승인 대기로 표시한 내용 오류가 남았다. 속도가 줄었다고 통과시킬 수는 없었다.

실제 실행을 따라가 보니 같은 증거를 반복해서 찾고, 하위 작업을 polling하고, 산출물을 만들기 전에 dependency를 뒤늦게 확인하고 있었다. 이미 검증된 PDF·XLSX 생성기와 verifier가 있는데도 비슷한 검증 경로를 새로 만드는 비용도 컸다.

공용 Workflow에는 다음 기준만 남겼다.

• 필요한 증거는 한 번의 제한된 snapshot으로 고정한다.
• 하위 결과는 반복 polling하지 않고 완료 event로 회수한다.
• 기존 생성기와 verifier가 있으면 새 구현을 만들지 않는다.
• 최신 결정과 수치의 차이만 반영하고, 결함이 난 부분만 재작업한다.
• 마지막에는 전체 산출물을 한 번만 검증하고 Source provenance를 맞춘다.

첫 결과의 잘못된 승인 상태와 문구만 다시 고친 뒤 전체 렌더와 독립 재저장을 재검증했다. 모든 내용을 처음부터 다시 만드는 방식이 아니라, 의미가 달라진 부분만 고치고 결과 전체의 무결성을 다시 보는 흐름이었다.

Telegram 파일 반환 9분 23초와 품질 경계

재작업 canary는 사용자 개입 없이 9분 23초 만에 PDF와 XLSX를 Telegram으로 돌려보냈다. 처음 22분 6초보다 57.6% 줄었고, Orchestration tool call도 56회에서 21회로 줄었다.

숫자만 줄인 것은 아니다. PDF 2페이지와 XLSX 4개 시트의 렌더, 구조, 내용, 수식과 독립 open/re-save를 다시 확인했고, Telegram에서 내려받은 파일의 hash도 생성본과 같았다. 마지막에는 파일 안의 Workflow provenance가 이전 hash를 가리키는 문제까지 찾아 내용과 구조는 건드리지 않고 해당 값만 교정했다.

여기서 가장 중요했던 건 첫 17분대 결과를 성공으로 세지 않은 것이다. 처리시간이 줄어도 최신 결정이 틀리면 더 빨리 잘못된 결과를 만든 것뿐이다. 이번 개선은 품질 Gate를 유지한 상태에서 실제 반환 시간이 줄었기 때문에 통과시켰다.

단일 사용자 v0.1과 다중 사용자 Pilot 경계

현재 단일 사용자 v0.1은 자연어 목표를 받아 프로젝트를 찾고, 작업을 나누고, 결과물을 검증해 Telegram으로 돌려주는 데 사용할 수 있다. 그래도 완전한 무감독 운영이라고 부르기는 이르다. 이번에도 CEO 역할의 내가 같은 Session 자기 교착을 중단했고, 첫 결과의 내용 오류와 누락된 로컬 commit을 다시 지적해야 했다.

다음은 새 benchmark를 만드는 일이 아니다. 같은 품질 기준으로 실제 비민감 업무를 더 맡겨 처리시간을 누적하고 분포와 회귀를 봐야 한다. 다른 사용자 연결 승인을 받은 뒤에는 두 Cell의 Session·Memory·파일이 섞이지 않는지 동시에 검증해야 한다. 완전한 Task Flow controller는 아직 현재 사용자 경로의 핵심 병목이 아니므로 장기 과제로 남겨뒀다.