LLM

이 글은 LightMem: Lightweight and Efficient Memory-Augmented Generation을 정리한 글입니다. LLM 에이전트에게 대화 이력을 기억시키는 가장 손쉬운 방법은 과거 대화를 통째로 프롬프트에 다시 넣는 것입니다. 문제는 대화가 길어질수록 이 방식이 그대로 무너진다는 점입니다. 컨텍스트가 길어지면 중간에 있는 정보를 놓치는 “Lost in the Middle” 현상이 나타나고, 매번 쌓인 이력을 다시 읽어들이는 기존 메모리 시스템들은 연산량이 커지면서 응답 속도까지 떨어집니다. LightMem은 이 두 문제를 동시에 겨냥한 경량 메모리 생성 시스템으로, 토큰 사용량을 기존 시스템 대비 수십 분의 일 수준으로 줄이면서도 더 나은 성능을 냅니다. ...

이 글은 마이크로소프트 리서치의 논문 From Local to Global: A GraphRAG Approach to Query-Focused Summarization과, 서울대학교 산업공학과 DSBA 연구실의 [Paper Review] GraphRAG 영상을 참고해 정리한 글입니다. RAG는 신뢰할 수 있는 문서 집합을 구축해두고, 질문이 들어오면 관련 문서를 찾아 LLM에게 근거로 제공해 답을 생성하게 하는 방식입니다. 인덱싱(문서를 chunking해서 검색 가능한 형태로 저장), Retrieval(질문과 관련된 문서를 탐색), Generator(탐색된 문서와 질문을 바탕으로 답변을 생성)가 기본 구성 요소입니다. 기존 RAG의 한계 RAG의 발전은 대체로 “질문의 의도를 어떻게 더 정확히 파악할 것인가"와 “질문과 연관된 문서를 어떻게 더 잘 찾을 것인가"에 초점을 맞춰 이뤄져 왔습니다. 문서 하나하나를 더 잘 찾는 데는 강했지만, 정작 문서들 사이의 관계나 연결성에는 상대적으로 관심이 적었습니다. ...