[1편]에서 세팅을 마치고, 화요일 아침 첫 자동 실행 결과를 받았다. 규칙 하나가 잘 지켜졌는지 확인하려다 전혀 다른 문제 두 개를 발견했다. 그중 하나는 브리핑이 아니라 그 브리핑을 검증하던 AI가 틀렸던 경우였다.
 |
| 첫 자동 실행 브리핑 |
목차
첫 자동 실행 결과, 새로 넣은 규칙은 지켜졌을까
1편 마지막에 프롬프트에 세 가지를 추가했었다. 출처를 여섯 개 매체로 제한하기, 확인 안 된 개별 기업 이슈는 통째로 빼기, 파일 대신 채팅 본문으로 답하기다. 출처 제한은 잘 지켜졌다. 지난번에 섞여 있던 개인 트레이딩 사이트나 암호화폐 매체 없이 TheStreet, CNBC, Yahoo Finance의 실제 기사 링크가 달려 나왔고, 등락률도 범위 표기 없이 단일 수치였다. 세 번째 규칙은 뒤에서 다룰 문제로 이어졌다.
몽고디비 기사, 틀린 쪽은 브리핑이 아니라 검증이었다
브리핑에 "몽고디비 CEO가 메타로 전격 이직했고 전 CEO가 임시 대표로 복귀했다"는 내용이 있었다. 검증을 맡은 Claude는 검색을 여러 번 돌리고도 근거를 찾지 못했다며 틀린 내용이라고 답했다. 오히려 현재 CEO가 평소처럼 활동 중이라는 자료만 나왔다는 것이다. 이 결과를 믿고 지어낸 사건으로 판단해 프롬프트에 검증 규칙을 한 번 더 강화했다.
그런데 다음 실행에서 같은 내용이 디테일만 더 붙어서 다시 나왔고, Claude는 이번에도 틀렸다고 했다. "지어낸 게 점점 정교해지고 있다"고 결론 내리려던 참에 직접 찾아봤더니 실제로 있었던 일이었다. [Yahoo Finance 보도] 기준으로 CJ 데사이 CEO가 메타의 엔터프라이즈 플랫폼 조직을 맡기 위해 사임했고, 전 CEO 데브 이티체리아가 임시 CEO로 복귀했다. 이 확인 결과를 Claude에게 알려줬다.
미국 시간 9월 28일 월요일 개장 전에 나온 소식이라 검색이 아직 따라잡지 못했을 수 있다. 검증 도구인 검색이 최신 사건을 놓칠 수 있고, 그때 "검색에 안 나오니 가짜"라고 단정하는 건 또 다른 오류다. 검색으로 못 찾은 것과 실제로 없었던 일은 다르다.
 |
| 처음엔 오판으로 의심했던 몽고디비 관련 |
알림은 오는데 모바일에서 결과가 열리지 않을 때
장소 구매 받지 않고 앱에서 받아보려고 세팅을 하는 것인데, 브리핑 결과가 채팅 메시지가 아니라 프로젝트 안의 문서 파일로 저장됐고, 푸시 알림을 눌러도 모바일에서 열 경로가 없었다. 프로젝트 탭에 들어가봐도 대화 자체가 존재하지 않았다. 지금은 모바일 웹으로 접속하면 결과가 보인다는 걸 확인해서 당분간 그렇게 쓰기로 했다. 프롬프트를 잘 짜는 것과 그 결과를 실제로 받아볼 수 있는 것은 별개의 문제였다.
 |
| 알림은 오는데 본문을 열 방법이 없던 상황 |
브리핑 손보기: 개조식 전환과 전일 예고 확인
서술형에서 개조식으로
브리핑이 꽤 길어져 있어서 모바일에서 매일 읽기엔 부담스러웠고, 1부 전체를 개조식으로 바꿨다. 걱정은 요약을 요청하면 원인-결과 설명 같은 내용이 함께 줄어드는 것이었다. 그래서 "형태만 개조식으로 바꾸고 정보량은 줄이지 마라"는 조건을 명시했다. 정보량 유지와 형식 압축은 서로 당기는 지시라 다음 실행에서 어느 쪽이 이겼는지 확인해야 한다.
 |
| 형태만 바꾸고 정보량은 유지하라는 조건을 추가한 프롬프트 |
전일 예고 확인 섹션 추가
[다음 변수]에서 예고한 이벤트가 다음 날 어떻게 됐는지 확인하는 섹션도 넣었다. 마이크론 실적이나 PCE 발표처럼 짚어둔 일정이 지나면 예상과 맞았는지 한두 줄로 짚는 식이다. 이러면 어제의 예측과 오늘의 결과가 하루 단위로 끊기지 않고 이어진다.
 |
| 어제 예고와 오늘 결과를 잇는 섹션 추가 |
이번 회차에서 시간이 가장 많이 든 곳은 새 기능이 아니라 결과 하나가 맞는지 판단하는 일이었다. 그 판단을 맡겼던 AI가 한 번 틀렸고, 바로잡은 건 내가 직접 한 확인이었다. 앞으로는 검증에서 근거를 못 찾았다고 나온 이슈를 가짜로 분류하지 않고 보류로 두고, 원문을 직접 확인하기로 했다. 다음 실행에서는 개조식 전환이 정보량을 지켰는지, 전일 예고 확인이 실제 결과와 얼마나 맞는지 두 가지를 기준으로 볼 계획이다.
