Chain of Agents: Large Language Models Collaborating on Long-Context Tasks

Overview

• Long context를 처리하는 LLM은 input reduction과 window extension 방식으로 한계를 보완하지만 여전히 성능 문제가 존재
• 특히 긴 문맥에서 중요한 정보가 중간에 묻히는 lost-in-the-middle 문제가 발생
• Chain-of-Agents(CoA)는 multi-agent 협업을 통해 long-context reasoning을 수행하는 framework 제안
• 핵심은 context를 나누고 agent 간 communication으로 정보를 점진적으로 통합하는 것

Key Takeaways

Problem Setting

• LLM은 context window 제한으로 긴 입력을 직접 처리하기 어려움
• input reduction은 정보 손실 문제, window extension은 집중력 저하 문제 존재
• 특히 긴 문서에서 중요한 정보가 중간에 위치하면 성능이 크게 저하
• multi-hop reasoning에서는 단순 retrieval 기반 접근이 한계 존재

Main Idea

• multi-agent 기반의 chain 구조로 long-context를 처리하는 framework 제안
• Chain-of-Agents (CoA)
  • 긴 입력을 여러 chunk로 분할
  • 각 chunk를 worker agent가 순차적으로 처리
  • agent 간 communication을 통해 정보를 누적
• Stage 1: Worker Agents
  • 각 agent가 자신의 chunk를 읽고 evidence 생성
  • 이전 agent의 정보를 이어받아 reasoning 수행
  • communication unit 형태로 정보 전달하며 chain 형성
• Stage 2: Manager Agent
  • 모든 worker의 정보를 통합하여 최종 답변 생성
  • 전체 context를 직접 읽지 않고 요약된 정보만 활용
• 단순 read-then-process가 아니라
  interleaved read-process 구조로 전체 context를 점진적으로 이해

Result

• QA, summarization, code completion 등 다양한 long-context task에서 성능 향상
• Vanilla LLM과 RAG 대비 일관되게 더 높은 성능 달성
• 긴 context 모델보다도 작은 window에서 더 좋은 성능을 보이는 경우 존재
• multi-agent 구조 중에서도 chain communication이 없는 방식보다 우수한 성능
• 입력 길이가 길어질수록 성능 향상이 더 크게 나타남
• lost-in-the-middle 문제를 완화하며 multi-hop reasoning 능력 개선