[🤖] 대화 시작부터 차는 컨텍스트를 보고 공용 규칙을 갈아엎었다

✨ GPT-5.6 Sol의 요약 　

258k 컨텍스트가 대화 시작부터 빠르게 차는 원인을 공용 규칙과 Skill에서 찾고, 몇 줄만 줄이는 답을 거부한 뒤 의미를 보존한 압축 영어로 전부 정리한 기록.

일을 시작하기도 전에 컨텍스트가 차 있었다

Codex와 새 대화를 열었는데, 시작하자마자 이미 컨텍스트가 꽤 차 있었다. 최대가 258k인데 실제 작업을 시작하기도 전에 공용 규칙과 Skill 목록이 한자리씩 차지하고 있었다.

처음에는 대화 시작 시 어느 정도가 들어가는지 물었다. Codex가 엉뚱하게 더 큰 숫자를 이야기하자 바로 정정했다.

“ㄴㄴ 258k가 최대임. 글로벌이 너무 큰가본데…”

생각해보면 이상할 것도 없었다. 그동안 AI가 실수할 때마다 다시는 같은 짓을 하지 말라고 공용 규칙을 추가했다. 권한, Git, credential, 배포, 브라우저, UI/UX, 문서, Goal, 병렬 작업, 회사와 개인 프로젝트의 경계까지 전부 쌓였다. 반복 작업은 Skill로 만들었고, Skill이 또 실패하면 거기에 예외와 검증 절차를 더했다.

나는 AI가 매번 맥락을 잃지 않게 만들고 싶었다. 실제로 Codex Skill로 작업의 흐름과 감각을 이어 붙였다고 좋아하기도 했다. 그런데 맥락을 보존하려고 만든 장치가 너무 길어지면, 새 작업이 사용할 공간부터 먹어버린다. 흐름을 이어주던 단서가 어느 순간 짐이 된 것이다.

몇 줄 지우는 정도로 끝내려는 답을 거부했다

처음에는 성능 저하가 확실히 없을 만한 부분만 감사해서 줄이라고 했다. Codex는 조심스럽게 중복 몇 개와 명백히 긴 부분만 정리했다.

결과를 보고 바로 답답해졌다.

“겨우 그렇게만…? 쓸데없이 긴 서술어나 그런 걸 압축해본다든지… 니가 생각했을 때 가장 좋은 방법론들을 다 적용한 거 맞음?”

내가 원한 것은 문장 몇 줄 삭제가 아니었다. 같은 안전 조건을 여러 문단에서 반복하고, 하나의 판단을 긴 서술어로 빙빙 돌리고, 이미 reference나 script에 있는 세부를 Skill 본문에도 다시 복사하는 구조 자체를 고치고 싶었다.

그렇다고 짧게 만드는 것만 목표로 삼으면 더 위험했다. 명시적 승인이 승인으로 줄고, 정확한 대상과 범위가 필요할 때 확인 정도로 흐려지면 토큰은 줄어도 AI의 행동은 달라진다. 특히 credential, 파괴적 변경, Git 소유권, 배포, 사용자 UI 같은 규칙은 사소해 보이는 한 문장 차이로 실제 권한 경계가 바뀔 수 있다.

그래서 기준을 다시 잡았다. 사례와 반복 설명은 줄이되, 행동을 결정하는 조건·금지·예외·검증·중단 기준은 남긴다.

한국어와 영어 중 어느 쪽이 덜 먹는지도 직접 재봤다

중간에는 Skill을 전부 한국어로 바꿀까 고민했다. 내가 읽고 고치기에는 한국어가 편하지만, 목적은 내 눈의 편안함이 아니라 Codex가 쓰는 토큰을 줄이는 일이었다.

샘플을 같은 의미의 한국어 압축문과 영어 압축문으로 만들어 실제 tokenizer에 넣어봤다. 내가 만든 Skill 설명 몇 개에서는 영어 압축문이 확실히 짧았다. 한국어가 언제나 손해라는 결론은 아니었다. 다만 지금 쌓여 있던 공용 규칙은 영어로 줄였을 때 의미를 유지하면서 토큰도 더 적게 쓰는 경우가 많았다.

그때 방향이 명확해졌다.

“야 그러면 공용룰이랑 스킬 전부 다 압축식 영어로 바꾸는 게 낫겠는데? 토큰 줄잖아.”

영어로 바꾸되 한국어를 무조건 없애지는 않았다. 내가 실제로 호출하는 한국어 발동 문구, 사용자에게 보여줄 상태명과 출력 예시, 회사 업무의 고유 명칭처럼 번역하면 오히려 인식이 흐려지는 부분은 남겼다. 나머지 설명과 절차는 짧은 영어 문장으로 바꿨다.

Codex Skill은 시작 컨텍스트에 이름·설명·경로가 들어가고, 전체 SKILL.md는 해당 Skill이 발동할 때 읽힌다.¹ 그래서 항상 들어오는 글로벌 규칙과 Skill discovery 설명을 먼저 줄이고, 발동했을 때 큰 덩어리로 들어오는 네트워크 inventory와 글쓰기 Skill도 따로 압축했다.

줄인 문장이 같은 행동을 만드는지 따로 검사했다

이번에는 “영어로 번역됐다”를 완료 조건으로 두지 않았다. 먼저 공용 안전 규칙 일부와 감사 Skill, 시간 기록 Skill을 대표 후보로 바꿨다. 별도 reviewer가 원문과 압축문을 대조했고, 처음에는 감사 Skill에서 기존 architecture와 무관한 동작을 보존한다는 조건이 약해졌다고 잡아냈다.

그 한 문장을 복원한 뒤 같은 reviewer가 다시 통과시켰다. 그 패턴을 나머지 공용 규칙과 사용자 제작 Skill 13개에 확대했다. 마지막에는 처음 검토한 reviewer와 다른 세션이 전체 29개 파일을 원문과 다시 비교했다. 줄어든 문장이 같은 승인 경계, 중단 조건, 검증 절차와 출력 계약을 만드는지 확인했고, 중요한 누락은 더 이상 발견되지 않았다.

숫자로도 차이가 보였다. o200k tokenizer 기준으로 항상 읽히는 글로벌 규칙은 14,933토큰에서 10,644토큰으로 약 28.7% 줄었다. 대화 시작 시 노출되는 Skill 설명은 약 31.1% 줄었다. 발동할 때 읽는 대형 reference 두 개는 약 50.5% 줄었다. 전체 비교 범위는 81,347토큰에서 62,765토큰으로 약 22.8% 감소했다.

전체 Skill 본문이 처음부터 다 들어오는 것은 아니므로 22.8%를 그대로 “대화 시작 비용”이라고 말할 수는 없다. 그래도 항상 들어오는 부분은 바로 줄었고, 무거운 Skill을 호출했을 때의 추가 부담도 같이 낮아졌다.

맥락은 많이 남기는 것보다 밀도 있게 남겨야 했다

예전에는 AI가 실수하면 규칙을 더 적는 쪽으로만 생각했다. 구체적으로 써야 덜 틀리고, 사례까지 남겨야 다음에도 이해할 거라고 봤다. 틀린 생각은 아니었다. 실제로 여러 사고를 막았다.

문제는 규칙을 추가하는 일만 하고 다시 압축하는 일은 거의 하지 않았다는 것이다. 같은 실패를 막는 문장이 여러 군데 생기고, 최근 사건의 설명이 영구 규칙처럼 남고, 한 번 이해시키려고 쓴 긴 문장이 매 작업의 기본 비용이 됐다.

이번에 없앤 것은 안전장치가 아니다. 안전장치를 설명하느라 붙어 있던 중복과 장문이다. 무엇을 지켜야 하는가, 언제 멈춰야 하는가, 누가 승인해야 하는가, 어떻게 확인해야 하는가는 남기고, 왜 그런 규칙이 생겼는지를 반복해서 설득하는 문장은 걷어냈다.

AI에게 맥락을 많이 주는 것과 좋은 맥락을 주는 것은 다른 일이었다.

앞으로 공용 규칙과 Skill을 만들 때는 새 문장을 추가하는 것으로 끝내지 않으려 한다. 같은 뜻이 이미 있는지, 사례를 invariant로 바꿀 수 있는지, 실제 행동을 바꾸지 않는 단어가 얼마나 붙어 있는지 같이 봐야 한다. 컨텍스트는 무한한 창고가 아니니까.

기억을 더 쌓는 것보다, 같은 판단을 더 적은 토큰으로 다시 만들 수 있게 하는 것.

이번에는 그쪽으로 한 단계 더 갔다.

참고 자료

1. OpenAI, Codex Skills. Skill discovery metadata와 전체 지침의 단계적 로딩 구조를 설명한다. ↩