openJiuwen Agent-Memory, 에이전트에 '시청각 이중 스트림 기억' 부여

思邈 2026-11-04 10:49:02 출처: 량쯔웨이(量子位)

장시간 영상 기억 정밀도 급상승, 질의응답 지연 최대 97% 감소

윤중(允中) 발신, 凹非寺

량쯔웨이 | 공식계정 QbitAI

openJiuwen AgentMemory가 멀티모달 기억 능력 OmniMem-Lens를 정식 출시했다: 초 단위 맹목적 분할이 기억 파편화의 주범이며, 실제 이벤트 단위로 기억하는 것이 정답이다 — 리콜 정밀도 최대 45.7% 향상, 온라인 질의응답 지연 최대 97% 감소.

모든 Agent가 골머리를 앓는 문제: 3시간짜리 영상을 어떻게 "기억"할 것인가?

AI 에이전트(Agent)와 멀티모달 모델(VLM)이 빠르게 진화하는 오늘날, 우리는 이미 Agent가 단일 텍스트 작업만 처리하는 것에 만족하지 않고 더 복잡한 일을 시키고 있다.

예를 들어 "3시간짜리 신제품 발표회를 다 보고 모든 제품 하이라이트를 찾아내라"거나 "하루 종일의 CCTV 영상을 분석해 이상 이벤트를 표시하라"는 식이다.

그러나 기존 Agent는 초장시간 영상을 마주하면 방대한 정보가 순식간에 컨텍스트 한도를 초과해 처리 능력과 정확도가 크게 떨어진다.

현재 업계의 통용 방식은 장시간 영상을 고정된 시간 창(예: 1분)으로粗暴하게 잘게 나눠 에이전트가 따로따로 기억하게 하는 것이다.

이 방식은 마치 장님 코끼리 만지기처럼 에이전트의 기억에 두 가지 치명적 문제를 가져온다:

① 기억이 잘게 쪼개짐 — 증거 파편화

원래 연속적이던 선생님의 설명이 중간에서 끊기고, 앞부분과 뒷부분이 에이전트에 의해 따로 처리되고 따로 저장된다. 사용자가 질문할 때 에이전트는 반쪽짜리 "문맥을 무시한" 증거만 얻고, 그래서 지어내기와 환각이 빈번해진다.

② 기억이 희석됨 — 증거 매몰

몇 초짜리 핵심 동작이 앞뒤 몇 분간의 무관한 배경 화면과 억지로 묶인다. 에이전트가 세부 정보를 검색할 때 핵심 정보가 대량의 노이즈에 매몰되어 리콜 정밀도가 절벽처럼 곤두박질친다.

문제의 근원은, Agent는 영상을 "초 단위"로 기억하는 반면 사람은 영상을 "이벤트 단위"로 이해한다는 것이다.

비유하자면, 당신이 어제 본 영화를 회상할 때 "주인공 만남→오해→화해" 같은 줄거리로 기억하지, 초시계를 들고 매 60초마다 한 토막씩 저장하지는 않는다. 그런데 지금의 Agent는 바로 초시계를 들고 영화를 기억하고 있는 것이다.

더 까다로운 점은, 시중 대부분의 영상 이벤트 분할 방식이 단일 모달에만 의존한다는 것이다. 화면만 보거나, 음성만 듣는다. 그런데 이 두 경로 모두 실패할 수 있다: 화면이 오랫동안 움직이지 않을 때는 내용이 사실 화제가 바뀌었음을 알아채지 못하고, 대사가 없을 때는 어떤 단서도 들을 수 없다.

이것은 연산력 부족이 아니라, 기억이 분할되는 근원 지점에서 "초점"을 잃은 것이다.

OmniMem-Lens: Agent가 사람처럼 "이벤트 단위"로 기억하게 하다

에이전트가 인간의 뇌처럼 장시간 영상을 진정으로 처리하게 하기 위해, 팀은 openJiuwen AgentMemory 0.2.0 버전에서 OmniMem-Lens(멀티모달 기억 렌즈) 능력을 정식 출시했다.

AgentMemory의 영상 멀티모달 기억 처리를 위한 핵심 기술로서, OmniMem-Lens는 시각과 청각 두 궤적으로 영상 속 이벤트를 이해하고 이를 바탕으로 기억 내용의 조직을 완성하는 방식으로 개척해, Agent의 영상 기억이 처음으로 진정한 — 이벤트 단위로 저장하고, 이벤트 단위로 추출하는 — 것을 실현했다.

팀이 이에 부여한 포지셔닝은 이것이다: 에이전트에게 "자동 초점"과 "계층적 정리"를 아는 슈퍼 해마를 달아주는 것.

그것이 제대로 해낸 세 가지는: 실제 이벤트 단위로 분할하고, 기억을 계층적으로 저장하고, 오프라인에서 미리 구축해 온라인에서 조회한다.

시각·청각 연동: 인간의 뇌처럼 실제 이벤트 단위로 기억하다

OmniMem-Lens는 에이전트에게 "눈"과 "귀"를 동시에 달아준다: 눈은 화면을 보며 화면이 전환될 때 변화를 판단해 표시하고, 귀는 음성을 들으며 화면은 그대로인데 화자가 화제를 바꿨을 때 ASR 음성 전사를 통해 구별해낸다.

두 증거를 교차 대조해 초점을 맞추면서, 장시간 영상이 실제 이벤트 경계에서 분할되어 에이전트의 영상 이해는 이제 더 이상 "문맥을 무시하지" 않는다.

3계층 기억 구조: 서로 다른 입자도의 계층적 저장으로 세부 회고와 전체 이해를 동시에

사용자의 매 질문마다 필요로 하는 증거 입자도는 다를 수 있다. OmniMem-Lens는 백그라운드에 3계층 기억 단원을 구축한다:

개요가 필요하면 개요가 있고, 세부가 필요하면 세부가 있으며, 검색 시 필요에 따라 꺼내 쓰고 서로 간섭하지 않는다.

마치 목차와 색인이 있는 책과 같다: 목차(L1)는 대략적인 장으로 넘어가도록 돕고, 색인(L2)은 구체적인 어느 문장으로 위치를 잡도록 도우며, 원문(L0)은 언제든 다시 펼쳐 대조할 수 있다.

동시에 L1과 L2 기억 단원은 완전히 텍스트화·벡터화되어 주요 벡터 데이터베이스에 매끄럽게 접속할 수 있다 — 이미 RAG/Agent 기술 스택을 가진 개발자에게는 거의 개조 없이 바로 사용할 수 있다.

기억은 오프라인에서 구축하고, 답변은 온라인에서 조회한다: 느린 수고는 미리 해두고, 빠른 응답은 사용자에게 남긴다

만약 매번 다른 각도의 질문마다 에이전트가 몇 시간짜리 영상을 다시 봐야 한다면, 반응이 매우 느릴 뿐 아니라 막대한 연산력도 소모한다.

OmniMem-Lens는 무거운 기억 정리 작업을 미리 오프라인에서 끝내둔다. 에이전트는 질문을 마주하면 기억을 직접 조회해 초 단위로 응답하며, 묻는 것에 답한다.

온라인 검색 경로는 복잡하지 않다: 사용자 Query가 먼저 L1/L2 기억 단원과 시맨틱 매칭을 해 정제된 멀티모달 기억으로 빠르게 위치를 잡고, 시각적 세부 검증이 명확히 필요할 때에만 시스템이 필요에 따라 L0 계층의 정확한 영상 프레임을 가져온다. 이 "경량 텍스트 색인 + 지연 원본 영상 호출" 아키텍처는 영상 기억 검색의 효율을 크게 높인다.

OmniMem-Lens의 설계 철학은 이렇다: 전문 카메라처럼 이중 초점으로 이벤트 경계를 고정하고, 삼각 프리즘처럼 기억 구조를 계층적으로 굴절시켜, 에이전트의 장시간 영상 이해가 맹목적 절단에서 정밀한 투시로 나아가게 한다.

실측 데이터: 정밀도 전면 우위, 지연 최대 97% 감소

말만 잘하는 것보다 데이터를 한번 돌려보는 게 낫다. 팀은 세 가지 주요 장시간 영상 질의응답 평가셋을 선정해, OmniMem-Lens 능력을 적용해 Qwen3-VL-8B 모델과 함께 영상 기억 질의응답을 처리하는 것을, VLM 모델 Qwen3-VL-8B를 직접 사용해 영상 내용 질의응답을 처리하는 것과 비교했다.

아래 표를 한 문장으로 이해하자면:

"리콜 정밀도"가 높을수록 = 찾아낸 증거가 더 정확;

"온라인 지연"이 낮을수록 = 답을 기다리는 시간이 더 짧음.

① 기억 리콜 정밀도: 세 평가셋 전면 우위

범용 장시간 영상 벤치마크 Video-MME-L에서 8% 향상, 장시간 영상 이해 벤치마크 LVbench에서 6.4% 향상.

가장 눈에 띄는 것은 EgoLife-QA에서의 +45.7% — 이 평가셋은 1인칭 시점으로 하루 일과의 일상을 기록해 이벤트가 밀집하고 세부가 자질구레하여, 고정 분할이 가장 쉽게 실효를 잃는 장면이자 "실제 이벤트 단위로 기억을 조직하는" 가치를 가장 잘 드러내는 곳이다.

② 온라인 질의응답 지연: "영상을 다시 보는 것"에서 "기억을 직접 조회하는 것"으로

영상이 길수록 VLM 직답은 "씹어야" 할 화면이 많아져 지연도 길어진다 — LVbench에서 Qwen3-VL-8B는 34.5초를 기다려야 하지만 OmniMem-Lens는 단 1.72초, 무려 20배 빨라졌다.

생활 속 장면으로 바꿔 보자. VLM 직답은 마치 매번 3시간짜리 영화를 처음부터 끝까지 다시 보고 나서 답하는 것과 같고, OmniMem-Lens는 영화를 보면서 이미 노트를 정리해 둔 평론가처럼, 어느 대목을 물어도 노트를 펼쳐 바로 답한다.

두 가지 예시로 이해하는 '초점 이탈 맹목적 절단'과 '정밀 투시'의 차이

예시 1: 인과관계가 끊기다

2시간짜리 애니메이션 한 편을 예로 들자. 승강장에서 여자 주인공이 떠나고 남자 주인공이 지켜본다. 여자 주인공이 떠난 뒤, 남자 주인공은 그녀가 나비가 되어 날아가는 상상을 한다.

고정 1분 맹목적 절단 은 이 120분짜리 영상을 120개 조각으로 자른다. 그런데 '여자 주인공이 떠남→남자 주인공이 지켜봄→나비 상상'이라는 완결된 사건은 14분 20초 부터 16분 50초 까지 이어지며, 마침 14번째, 15번째, 16번째 세 창에 걸쳐 있어 창 경계에서 두 번 잘린다.

그래서 조각은 서로 무관한 세 개의 기록으로 변한다: 14분째 '여자 주인공이 떠남', 15분째 '남자 주인공이 지켜봄', 16분째 '나비가 날아감'.

사용자가 "여자 주인공이 떠난 뒤, 남자 주인공은 무엇을 상상하고 있나?"라고 조회할 때, 검색된 조각에는 '남자 주인공이 지켜봄'과 '나비가 날아감'만 있을 뿐, 이 나비가 그저 상상일 뿐이라는 단서가 전혀 없다 —— 지능형 에이전트는 그것을 실제로 일어난 일로 받아들여 질문과 동떨어진 답을 한다.

OmniMem-Lens 는 이 사건을 완결된 한 구간(14분 20초—16분 50초)으로 기억에 저장한다. ASR 스트림은 화제가 전환되는 것을 듣고, 시각 스트림은 장면 전환을 포착하며, 두 스트림이 초점을 맞춰 실제 경계에서 칼을 댄다. '여자 주인공이 떠난 뒤 상상함'이라는 인과관계가 온전히 보존되어, 사실과 상상이 분명히 구분되고 정확하게 답한다.

같은 영상이라도 기억을 조직하는 방식이 다르면, 이것이 바로 '답하지 못함'과 '정확히 답함' 사이의 차이다.

예시 2: 화면이 정지해 있을 때, 귀가 핵심이다

위 예시는 시각적 단서만으로 해결할 수 있다. 그런데 다음 장면은 눈만으로는 부족하다 .

2시간짜리 제품 리뷰 회의 한 장면, 화면에는 줄곧 같은 아키텍처 다이어그램이 떠 있고 40분 동안 아무 변화가 없다 . 그러나 이 40분 동안 발표자는 아키텍처 설계, 성능 부하 테스트, 다음 분기 일정이라는 세 가지 독립 의제를 차례로 이야기했다.

시각만 보는 방식 (그리고 고정 창 맹목적 절단)이 보는 것은 '정지 화면이 40분간 지속됨'이며, 그래서 같은 내용의 한 구간으로 판정해 세 의제를 하나의 기억으로 묶어 버린다. 사용자가 "성능 부하 테스트 부분의 QPS는 얼마인가"라고 물으면, 핵심 숫자가 40분의 노이즈 속에 파묻혀 회수되지 않는다.

OmniMem-Lens 의 ASR 음성 스트림은 알아챈다: 화면은 변하지 않았지만 발표자가 화제를 바꾸고 있다는 것을. 음성이 전환되는 순간 시스템은 즉시 칼을 댄다——세 의제가 각각 한 구간이 되어, 질문할 때 정확히 꿰뚫는다.

이것이 바로 시청각 이중 스트림 의 가치다: 시각이 실패할 때 청각이 메우고, 청각이 실패할 때(예컨대 대사 없는 장면 전환) 시각이 메운다. 어느 한 경로만으로는 판단을 놓칠 수 있고, 두 경로가 교차해야 믿을 수 있다.

WorkSwarm은 곧 openJiuwen AgentMemory 연동 사용을 지원하여, 일상 대화 속 영상 내용을 기억해 주고 토론할 때 빠르게 떠올리도록 도울 예정이다.

마치며

지능형 에이전트가 진정으로 인간을 대신해 복잡한 일을 하려면 '실행력'만 있어서는 안 되고 '좋은 기억력'도 있어야 한다.

OmniMem-Lens는 지능형 에이전트가 '실제 사건 단위로 기억'하고 '계층적으로 효율적으로 조회'하도록 함으로써, 긴 영상 장면에서 지능형 에이전트의 기억 파편화, 부정확한 검색, 느린 반응 문제를 해결하고, 멀티모달 지능형 에이전트를 위해 고정밀·초고속 응답의 기억 기반을 구축하여, 지능형 에이전트가 긴 영상을 마주할 때 진정으로 '한 번 보면 잊지 않고, 물음에 술술 답하게' 한다.

OmniMem-Lens는 openJiuwen AgentMemory 0.2.0 버전에 정식 출시 되었으며, 체험과 함께 만들기를 환영한다.

이 글이 도움이 되었다면, 좋아요, 보고 있음, 공유 세 가지를 눌러 주시고, 댓글로 여러분의 Agent는 긴 영상 기억을 어떻게 처리하는지 이야기해 주시길 환영한다.

프로젝트 주소: https://gitcode.com/openJiuwen/agent-memory/

*본 글은 량쯔웨이(量子位)가授权받아 게재한 것으로, 관점은 원저자에게만 있습니다.