이런 구조에서 채팅을 시도하면
이런 결과만 반환하는 이상한 상황
특이하게도 github이슈중에 보고된게 있다.
https://github.com/FlowiseAI/Flowise/discussions/1635
이게 힌트일까?
채팅 프롬프트를 입력하라고 함. 근데 Conversational Retrieval QA Chain은 동적 프롬프트 입력 인풋이 없다.
아예 구조를 바꿔야하는것 같다. RAG + 시스템 프롬프트 주입 + 채팅은 Conversational Retrieval QA로 지원 안하는 듯.
지금보니까 response prompt가 이렇게 작성되어있었음. RAG로 주어진 문맥과 상관이 없으면 다 i’m not sure라고 반응하도록 되어있음.
RAG로 맥락을 확인할 수 있는걸 물어보면 대답해준다.
