회의를 오후 4시로 잡아야 하는데, 첫 번째 AI 에이전트가 캘린더에 2시로 저장했다. 여기서 작업이 멈췄고, 다른 에이전트가 이어받는다. 이때 인수인계 메모에 무엇을 적어야 할까?
“2시로 잘못 저장했다. 4시로 옮겨야 한다.” 이 메모를 읽으면 다음 에이전트는 캘린더를 열어 볼 것이다. 그런데 메모를 깔끔하게 줄이면서 “4시로 수정 완료”라고 적으면 어떨까. 둘 다 맞는 시간은 알려 준다. 다만 두 번째 메모를 받은 에이전트는 캘린더를 열 이유가 없다고 판단할 수 있다. 참석자 화면에는 여전히 2시가 떠 있다.
캘린더는 이해를 돕기 위해 든 예다. 세일즈포스 AI 리서치의 연구는 이 차이를 두 가지 실험에서 확인했다.
맞는 값을 알려 주는 것과 끝났다고 적는 것
첫 실험에서 연구진은 에이전트가 틀린 값을 저장한 직후 작업을 멈췄다. 저장된 값은 건드리지 않고, 다음 에이전트에게 넘길 기록만 바꿨다.
아무 정보도 주지 않는 메모 대신 어디가 틀렸고 어떤 값으로 고쳐야 하는지 적자, 다음 에이전트가 남은 항목을 맞힌 비율이 약 51%에서 66%로 올랐다. 반면 같은 정답을 이미 저장한 것처럼 적었을 때는 기록을 손대지 않은 경우의 약 50%보다 낮은 44%였다. 좋아진 점수도 대부분 메모가 직접 짚은 항목에서 나왔다. 오류라고만 표시하고 정답을 주지 않은 경우에 효과가 있는지는 추가 실험에서 분명하지 않았다.
이 차이를 보고 나면 로그를 읽는 방식이 달라진다. 다음 에이전트는 기록에서 정답뿐 아니라 아직 해야 할 일이 무엇인지 알아낸다. 요약이 그 일을 끝난 것으로 표시하면, 정답을 써 주고도 정작 고칠 곳을 못 보게 할 수 있다.
실패했다고 잘못 적어도 문제가 생긴다
두 번째 실험은 데이터베이스에서 진행됐다. 저장이 실제로 안 됐을 때, 도구 응답에 성공이라고 적혀 있으면 과제 전체 성공률은 약 28%였다. 실패라고 적혀 있을 때의 45%보다 낮았다. 반대로 이미 저장된 일을 실패라고 알려 주면 다음 에이전트가 같은 행을 다시 넣는 경우가 있었다. 첫 실험의 수치는 남은 항목을 맞힌 비율이고, 두 번째 수치는 과제 전체 성공률이다.
이런 일은 기록을 줄일 때도 생긴다. 도구가 “요청을 받았다”고 응답한 일을 요약문이 “처리했다”고 옮기면, 요청 접수와 실제 반영의 차이가 사라진다. 반대로 시간 초과가 떴다고 곧바로 같은 요청을 보내면, 서버에 먼저 반영된 일을 한 번 더 할 수 있다.
데이터 판본을 넘길 때 확인할 것
페블러스가 다루는 데이터 작업에도 같은 문제가 있다. 예를 들어 검사 영상의 중복을 제거한 새 판본 B를 만들었다고 하자. 작업 기록에는 완료라고 쓰여 있어도 다음 학습 작업이 여전히 이전 판본 A를 읽는다면, 중복 영상은 그대로 학습에 들어간다. 이때 봐야 할 건 ‘완료’라는 문구가 아니라 다음 작업이 어느 판본을 읽는지다.
이 사례를 에이전트 그린하우스의 시험으로 옮기면 질문이 구체적이 된다. 완료 기록과 실제 판본이 다를 때 에이전트가 알아차리는가? 실패 응답을 받았지만 이미 반영된 판본을 다시 쓰지는 않는가? 실제 상태를 읽을 수 없을 때는 확인이 필요하다고 남기는가? 이 셋은 로그 문장이 아니라 저장소를 확인해 판정할 수 있다.
인수인계 기록은 짧아도 된다. 다만 어디에 무엇을 시도했는지, 실제로 무엇을 확인했는지, 무슨 일이 남았는지는 읽을 수 있어야 한다. 캘린더가 4시를 가리키는 걸 본 뒤에야 “4시로 수정 완료”라고 쓰면 된다.
참고: 연구 원문 · 페블러스의 앞선 논문 해설