나의 AI를 이용한 예술작품화  프로젝트 특성상 챗GPT와 동일한 주제를 두고 오랜동안 수많은 대화를 이어가며 일관성있게 협업을 해나가야 하는것이 필수다.

<  초기 대화내용을 보관해야하는 이유 >    

몇번 직접 경험한것이지만 챗GPT가 대화를 잘 이어가다가  갑자기 "안녕하세요. 처음뵙겠습니다" 라며 엉뚱한 답변을 늘어놓는 황당한 상황. 이를 "RESET"이라 한다.  

이는  오류라기보다 AI모델이 갖는 몇가지 기술적한계때문이다.

1. 컨텍스트 윈도우(Context Window)의 물리적 크기

AI 모델은 한 번에 처리할 수 있는 데이터의 양이 정해진다. 이를 <컨텍스트윈도우>라고 부르는데, AI가 한눈에 볼 수 있는 책의 페이지 수'와 같다.AI는 가장 오래된 첫 페이지부터 기억에서 지우고 새로운 내용을 채워 넣는다.대화가 길어지면 최초의 정보는 AI의 '시야'에서  밖으로 밀려나 버리는 것이다.

2. 무상태성 (Statelessness)

챗봇이 나와 대화를 이어나가는듯 느끼지만. AI는 '실시간으로 대화하고 있다'는 감각이 애초에 없다. 대화 데이터가 너무 방대해지면 시스템이  데이터를 압축해서 전달한다. 이때 중요한 정보가 요약 과정에서 생략되면 리셋된 것처럼 보인다.

짧은 응답수준이야 관계없겠지만 , 몇달간 챗봇과 협동으로 동일한 주제를 두고 일관성있게 대화를 이어가려면 윗 이유들을  새겨들을 필요가 있다. 

(팁) 만약 프로젝트 초기 챗봇과의 대화기록이 있다면 이 문제는 쉽게 해결된다. 챗봇이 갑자기 엉뚱한 소리를 지껄이며 치매상태가될대 ,  초기대화내용을 업로드시켜  리만인드 시키면 되기때문이다.

챗봇과 몇달간 대화가 잘 이어지며 프로젝트를 수행하다가 마무리 국면에서 갑자기 챗봇이 치매환자가 되었다 생각해보라. 

첨부와같이 늘 폴더를 만들어 대화내용을 순서대로 기록하는 이유다.