AI 모델을 사용하다보면, 메모리를 압축하겠느냐는 물음 많이 받습니다.
우리는 AI가 이전 문맥을 잊어 버릴까봐 그냥 무시하는데요. 오늘은 그게 정답인지 같이 알아보시죠.
들어가며 — ‘기억력은 많을수록 좋다’는 상식은 왜 틀렸을까
요즘 AI 에이전트를 다루는 실무자들 사이에서 자주 나오는 질문이 하나 있습니다. “당신의 에이전트에게 실제로 얼마의 메모리가 필요할까?” — 즉 에이전트에게 과거 경험을 얼마나 먹여야 최적의 성능이 나오느냐는 것입니다.
제가 이 주제를 굳이 다시 꺼내 든 이유는, 최근 IBM Research 팀이 발표한 실험 결과가 업계의 오랜 통념을 정면으로 뒤집었기 때문입니다. 시청자 여러분이 지금 에이전트 프로젝트를 운영 중이라면, 이 글의 결론 부분만이라도 꼭 챙겨보시길 권합니다.
우리는 흔히 AI 에이전트에게 과거 성공·실패 사례, 즉 ‘메모리’를 많이 넣어줄수록 더 똑똑해질 거라고 생각합니다. 사람도 경험이 쌓이면 일을 더 잘하니까요. 그런데 실제로는 모델에 따라 메모리를 많이 줄수록 오히려 성능이 떨어지는 역설적인 사례가 존재합니다.
IBM Research는 30B 규모의 밀집 모델부터 프론티어급 초대형 모델까지 총 8개 모델을 비교하는 실험을 진행했고, 그 결과는 우리가 무심코 믿어온 “메모리는 다다익선”이라는 공식을 깨뜨렸습니다.
이 글에서는 세 가지를 다룹니다.
첫째, 에이전트 메모리의 정체가 정확히 무엇인지.
둘째, 모델 체급별로 어떤 메모리 처방이 필요한지.
셋째, 성능과 비용 사이에서 실무자가 어떻게 균형점을 찾을 수 있는지입니다.
에이전트 메모리란 정확히 무엇인가
먼저 오해부터 바로잡겠습니다. 에이전트 메모리는 가중치 업데이트나 사람이 직접 붙인 라벨링 없이, 오직 ‘경험’만으로 성능을 개선하는 방식을 말합니다. 즉 모델을 재학습시키는 게 아니라, 모델이 과거에 겪었던 일을 요약해서 다시 프롬프트에 넣어주는 것입니다.
여기서 많은 분들이 오해하는 지점이 있습니다. 메모리라고 하면 흔히 “과거 대화 로그를 통째로 저장해두는 것” 정도로 생각하기 쉬운데, 실제로는 전혀 다릅니다. IBM Research의 ALTK-Evolve 방식에서 메모리란 과거 대화 트랜스크립트가 아니라, 그 경험에서 뽑아낸 ‘가이드라인’입니다.
‘트랜스크립트 재생’이 아니라 ‘가이드라인 증류’다
쉽게 비유하면 이렇습니다. 신입 사원에게 지난 1년치 업무 이메일을 통째로 던져주는 것과, 선배가 “이런 상황에서는 이렇게 하고, 저런 실수는 절대 하지 마라”라고 정리해준 체크리스트를 건네주는 것의 차이입니다. 전자는 정보량은 많지만 소화하기 어렵고, 후자는 압축되어 있지만 바로 써먹을 수 있습니다.
ALTK-Evolve가 만드는 가이드라인 세트가 바로 후자에 가깝습니다. 과거 성공 전략, 반복적으로 나타난 실수, 특정 예외 상황에서의 대응법을 요약한 체크리스트 형태로 정리되어, 에이전트가 다음 과제를 수행할 때 참고할 수 있도록 다시 주입됩니다.
ALTK-Evolve 학습 루프 3단계로 보는 자기 증류 과정
이 자기 증류 과정은 크게 3단계로 나뉩니다.
1단계, 에이전트가 실제 과제를 수행하며 성공 궤적과 실패 궤적을 동시에 만들어냅니다. 2단계, 이 궤적들로부터 행동 가이드라인을 추출합니다. 잘 된 부분과 잘못된 부분 모두에서 배울 점을 뽑아내는 것이죠. 3단계, 추출된 가이드라인들을 하나의 재사용 가능한 세트로 통합 정리한 뒤, 실제 추론 시점에 다시 컨텍스트로 주입합니다. 사람의 개입이나 별도의 파인튜닝 없이, 에이전트가 스스로 자신의 경험을 학습 자료로 바꾸는 구조입니다.
모델 체급별로 다른 메모리 ‘처방전’
여기서부터가 이 연구의 핵심입니다. 8개 모델을 비교한 결과, 연구팀은 세 가지 반복되는 패턴을 발견했습니다. 강한 모델, 약한 모델, 그리고 이미 포화된 모델입니다. 흥미로운 점은 이 분류가 단순히 파라미터 수만으로 설명되지 않는다는 것입니다. 컨텍스트 창 크기, 아키텍처 설계, 과제 분포 같은 다른 요인들도 함께 작용하는 것으로 보이며, 이 요인들을 정확히 분리하는 작업은 여전히 진행 중이라고 연구팀은 밝히고 있습니다.
헤드룸 있는 강한 모델은 ‘풀세트’를 원한다
성능에 여유(헤드룸)가 있는 강한 모델은 가이드라인 전체 세트를 줬을 때 가장 좋은 성과를 냈습니다. 대표적으로 DeepSeek-V3.2(671B MoE)는 예외 상황 가이드라인까지 포함한 전체 세트를 받았을 때 과제 완료율이 무려 +9.5%p 상승했습니다. 이런 모델들은 정보량이 많아도 압도되지 않고, 오히려 희귀한 엣지 케이스 지식까지 소화해 실전에 적용할 여력을 갖추고 있다는 뜻입니다.
약한 모델은 ‘압축 코어 + 선별 검색’이 정답
반대로 상대적으로 작거나 약한 모델에게 똑같이 전체 가이드라인 세트를 주면 어떻게 될까요. 오히려 정보에 압도되어 성능이 떨어지는 역효과가 나타났습니다. 이런 모델들에게는 고신뢰도 핵심 가이드라인만 압축해두고, 과제별로 관련성 높은 항목만 골라 검색해 주는 방식이 훨씬 효과적이었습니다.
실제로 gpt-oss-120b(117B MoE)는 이 선별 검색 방식으로 과제 완료율이 +16.1%p나 뛰었고, 토큰 비용은 전체 세트를 주입했을 때보다 약 50% 절감되었습니다. 즉 더 적게 주고도 더 좋은 결과를 얻은 셈입니다.
이미 포화된 모델, 더 먹여도 소용없다
세 번째 패턴은 다소 허탈합니다. GLM-5(745B MoE)는 어떤 방식으로 메모리를 제공하든 유의미한 성능 향상이 관찰되지 않았습니다. 연구팀은 이를 ‘포화(saturated)’ 패턴이라고 부르는데, 이는 관찰된 현상을 설명하는 표현일 뿐 확정된 원인이 아니라는 점을 신중하게 강조합니다.
가능한 원인은 여러 가지입니다. 해당 벤치마크에서 모델이 이미 성능 상한선 가까이에 도달해 있었을 수도 있고, 가이드라인의 품질이 모델의 실제 실패 지점을 짚어내지 못했을 수도 있으며, 모델이 주어진 가이드라인을 효과적으로 적용하지 못했을 가능성도 있습니다. 즉 “더 줘도 안 되는 이유”는 하나로 단정할 수 없다는 것이 연구팀의 입장입니다.
그래서 얼마나 줘야 할까 — 성능과 토큰 비용의 균형점
결론적으로, 선별 검색(curated retrieval) 방식은 정확도와 비용이라는 두 마리 토끼를 동시에 잡을 수 있는 유력한 대안으로 떠올랐습니다. gpt-oss-120b 사례처럼 필요한 가이드라인만 골라 넣으면 성능은 오르고 비용은 줄어드는 경우가 실제로 확인되었습니다.
다만 강한 모델의 경우 풀세트 주입이 여전히 유효한 선택지입니다. 특히 Anthropic의 프롬프트 캐싱 기능이나 OpenAI의 프롬프트 캐싱처럼, 반복되는 긴 컨텍스트를 캐싱해 비용을 낮추는 기술을 활용하면 전체 가이드라인 세트를 매번 새로 계산하지 않아도 되어 프로덕션 환경에서도 충분히 감당 가능한 비용 구조를 만들 수 있습니다. 국내에서도 한국지능정보사회진흥원(NIA)이 발간하는 AI 활용 보고서들에서 토큰 비용 최적화가 기업의 AI 도입 결정에 중요한 변수로 다뤄지고 있다는 점도 참고할 만합니다.
핵심은 무작정 메모리를 늘리는 것이 아니라, 모델 체급에 맞춘 ‘용량 처방’을 내리는 것이 ROI 관점에서 훨씬 유리하다는 사실입니다.
자주 묻는 질문
Q1. 에이전트 메모리는 파인튜닝과 어떻게 다른가요?
파인튜닝은 모델 가중치 자체를 바꾸는 작업이지만, 에이전트 메모리는 가중치 업데이트 없이 과거 경험에서 뽑은 가이드라인을 프롬프트에 다시 주입하는 방식입니다. 별도의 학습 인프라나 라벨링 없이도 적용 가능하다는 점이 큰 차이입니다.
Q2. 당신의 에이전트에게 실제로 얼마의 메모리가 필요할까? 라는 질문에 정답이 있나요?
하나의 정답은 없습니다. 강한 모델은 전체 가이드라인 세트, 약한 모델은 압축된 핵심과 선별 검색, 이미 포화된 모델은 메모리 확장보다 다른 개선 방법이 필요합니다.
Q3. 왜 어떤 모델은 메모리를 많이 줘도 성능이 늘지 않나요?
연구팀이 관찰한 ‘포화’ 패턴 때문입니다. 벤치마크 상한선에 이미 근접했거나, 가이드라인이 실제 실패 지점을 다루지 못했거나, 모델이 가이드라인을 제대로 활용하지 못했을 가능성이 복합적으로 작용한 것으로 추정됩니다.
Q4. 토큰 비용 부담 없이 풀세트 가이드라인을 쓸 수 있는 방법이 있나요?
프롬프트 캐싱을 활용하면 반복되는 긴 컨텍스트를 매번 다시 계산하지 않아도 되어 비용 부담을 크게 줄일 수 있습니다. 이를 통해 강한 모델에서도 풀세트 주입을 프로덕션에서 현실적으로 운용할 수 있습니다.
Q5. 우리 회사 에이전트가 어떤 체급인지 어떻게 진단하나요?
소규모 A/B 테스트를 통해 풀세트 주입과 선별 검색 방식을 각각 적용해보고 과제 완료율과 토큰 비용을 비교하는 것이 가장 실질적인 방법입니다. 이 과정에서 모델이 강한 모델, 약한 모델, 포화 모델 중 어디에 해당하는지 감을 잡을 수 있습니다.
결론: 내 에이전트에 맞는 메모리 용량 정하는 체크리스트
정리하자면,
첫째 우리 모델이 강한 모델·약한 모델·포화 모델 중 어디에 속하는지 먼저 진단해야 합니다.
둘째, 강한 모델이면 풀세트 주입을, 약한 모델이면 압축 코어와 선별 검색 조합을, 포화 모델이면 메모리 확장이 아닌 프롬프트 설계나 툴 구성 같은 다른 개선 레버를 탐색해야 합니다.
셋째, 토큰 비용은 프롬프트 캐싱으로 관리하면서 소규모 A/B 테스트로 실제 이득을 검증하는 절차가 필요합니다.
결국 “당신의 에이전트에게 실제로 얼마의 메모리가 필요할까?”라는 질문의 답은 하나로 정해져 있지 않습니다. 모델 체급에 맞춘 맞춤 처방이야말로 이 질문에 대한 가장 현실적인 답이라고 할 수 있습니다.
이 문서는 한국 독자를 위해서 허깅페이스 블로그를 번역 및 각색하여 제공됩니다.
출처 – https://huggingface.co/blog/ibm-research/altk-evolve-hmm
