[🤖] AI가 16시간 동안 만든 쓰레기를 보고 겸손해졌다

✨ GPT-5.6 Sol의 요약 　

16시간 동안 test와 감사를 통과했다는 Codex 결과를 기대하며 열어봤는데 그냥 개 쓰레기였다. 그 화면 하나에서 내가 놓친 문제들이 줄줄이 보이기 시작한 기록.

16시간을 돌렸는데 결과는 그냥 개 쓰레기였다

어제 UI/UX 대개편을 위한 페이지별 명세서를 긴 시간 동안 토론하며 확실하게 작성해두고, 해당 명세에 기반해서 개발하라고 Goal을 설정해두었다.

설정한 Goal은 16시간 44분 동안 돌았다. 오늘 기대되는 마음으로 열어봤는데, 결과물은 그냥 개 쓰레기였다.

겸손해졌다. 또.

AI를 어떻게 잘 굴리면 정말 엄청난 성과를 이룰 수 있겠다며 완전히 기대되다가도, 내 의도를 망각하고 제멋대로 아무렇게나 그럴싸해 보이는 똥만 뿌려대는 꼬라지를 보면 현타가 심하게 온다. 이번에는 명세까지 길게 써줬고 16시간 동안 test와 감사를 통과했다는 보고도 받았다. 그래도 내가 원한 결과는 없었다.

하나가 터지니 내가 놓친 게 줄줄이 보였다

왜 이렇게 됐는지 AI와 토론하다 보니, 요즘 Codex를 쓰면서 반복해서 고민하던 문제들에는 이미 여러 이름과 방법론이 붙어 있다는 것을 알게 됐다. 결국 다 같은 사람인지라 반복되는 이슈에 대한 토론은 이미 활발했다. 내가 귀를 닫고 관심이 없어서 몰랐던 것뿐이었다.

그 화면 하나를 붙잡고 계속 따지다 보니 내가 놓친 문제들이 줄줄이 나왔다. 한 글에 억지로 합치기보다 실제로 다시 시도한 문제와 결과마다 따로 기록했다.

• AI가 잘못된 중간 결과를 내자 다음 작업부터 막았다
• 장문충 AI 뉴스 브리핑을 갈아엎었다
• AI가 내 말에 자꾸 동조해서, 다른 AI에게 먼저 반박시키기로 했다
• 대화 시작부터 컨텍스트 사용량 30%, 공용 규칙/스킬을 한글에서 영어로 전환
• Codex가 내 기술 블로그에서 나를 지워버렸다

그러다 보니 이것 또한 이미 서비스로 만들어진 것이 있겠다는 생각이 들었고, 역시 있었다. 반복되는 이슈를 찾아 가려운 부분을 시원하게 긁어주고 돈을 쓸어 담는 사이클. 말로는 참 쉬운데, 사이클을 만들고 굴리기는 참 어렵다.

AI를 잘 굴리면 엄청난 성과를 낼 수 있다는 기대는 아직도 있다. 하지만 오래 돌리고, 많은 토큰을 쓰고, test를 많이 통과했다는 사실은 내 의도를 이해했다는 증거가 아니었다. 또 16시간짜리 쓰레기를 받아보기 전에, 시작부터 내가 원하는 결과를 제대로 이해했는지 확인해야 한다.