AI 에이전트 기억, 무엇을 남기고 지울까

2026년, 대규모 언어 모델 에이전트가 실험실을 벗어나 사무, 연구개발, 개인 비서 시나리오로 들어오고 있다. 사용자와 오랫동안 함께 일하려면 사용자의 선호, 자주 쓰는 경로, 습관적으로 사용하는 템플릿을 기억해야 한다. 기억하지 못하면 매번 대화를 처음부터 시작해야 하고, 사용자는 금방 인내심을 잃는다. 너무 완고하게 기억하면 임시 정보와 민감한 내용이 계속 시스템에 남아 위험 요소가 된다.

무엇을 기억해야 하고 무엇을 기억하지 말아야 하는지에 대한 통일된 답은 없지만, 이것이 에이전트의 사용성을 직접 결정한다. 2026 상하이 오픈소스 소프트웨어 응용 혁신 대회의 「오픈소스 AI 도구 트랙」에서 openKylin은 하나의 문제를 제출했는데, 전체 명칭은 《openKylin 운영체제를 위한 에이전트 장기 기억 자동화 평가 Benchmark 설계》로, 참가자들에게 에이전트의 기억 능력에 하나의 자를 대도록 요구한다.

OpenAtom openKylin은 오픈아톰 오픈소스 재단이 육성 및 운영하는 오픈소스 운영체제 프로젝트로, 기린소프트웨어(麒麟软件)가 발기하고 기초 소프트웨어·하드웨어 기업, 비영리 조직, 대학, 연구 기관과 개인 개발자가 공동으로 창립했다. 2026년 6월, 국방과학기술대학, 하얼빈공업대학(선전), 기린소프트웨어 등이 공동 구축한 AgentOS SIG는 openKylin 기반의 오픈소스 에이전트 운영체제를 발표했다. 현재 openKylin에는 이미 KylinBot, kylin-agent, OpenClaw, Hermes Agent 등 여러 에이전트 프레임워크가 돌아가고 있다. 프레임워크는 부족하지 않지만, 서로 다른 에이전트의 기억 능력 성과를 정량화하는 시스템 수준의 자동화 도구가 부족하다.

命题의 배경은 세 가지 현실 문제에서 온다. 현재의 평가는 흔히 인력 검사에 의존해 규모화하기 어렵다. 단순 문답식 검증 항목은 실제 사용에서의 충돌 업데이트, 유사 간섭, 행동 재사용을 포괄하지 못한다. 자동 채점은 의미 편향이 생기기 쉬워 모델이 정말 기억한 것인지, 잘못 기억한 것인지, 아니면 기억하지 말아야 할 것을 기억한 것인지 안정적으로 판단하기 어렵다.

이 문제는 참가자들에게 openKylin 환경을 기반으로 자동화되고, 인력 개입이 적으며, 재현 가능하고, 확장 가능한 평가 방안을 설계하도록 요구한다. 대화, 기억 기록, 행동 궤적, 파일을 통일된 증거로 조직하고, 에이전트의 장기 기억 능력을 자동으로 평가하며, 장기 유지, 기억 호출, 동적 업데이트, 근접 구분, 경계 인식, 작업 재사용의 여섯 가지 능력을 중점적으로 포괄한다.

제출 요건은 방안 문서에 테스트 목표, 데이터 생성 방식, 검증 사용 사례와 자동 채점 절차를 명확히 써야 한다. 데이터셋은 확장 가능한 데이터 구조를 제시해야 한다. 샘플 데이터와 결과, 재현 가능 자료를 함께 제공해야 하며, 코드는 openKylin에서 컴파일 및 실행 가능해야 한다. 평가 절차는 원클릭 실행 CLI 도구로 패키징해야 하며, .deb 소프트웨어 패키지 산출을 권장한다. 데모는 openKylin 데스크톱 환경에서 최소 두 개의 에이전트에 대해 평가를 완료하고, 3~5분 길이의 다차원 비교 레이더 차트가 포함된 완전한 영상을 녹화해야 한다.

심사는 여섯 차원으로 점수를 매긴다. 자동 채점 능력과 데이터 설계 품질이 각각 25%로 가중치가 가장 높고, 안정성과 재현성, 작업 정의와 범용성이 각각 15%, 지표 완전성과 혁신성, 엔지니어링 실현 가능성이 각각 10%다.

命题를 어떻게 풀 것인가, 전문가가 라이브 방송에서 속 시원히 설명한다

문제의 경계는 글만 봐서는 파악하기 어렵다. 자동화 평가가 제대로 된 것인지, 데이터셋이 어디까지 포괄해야 하는지, 코드가 openKylin에서 실행되는 데 걸림돌이 있는지, 이런 것들은 출제자가 설명해야 한다.

9월 16일 19:00, openKylin AISubsystem SIG Maintainer이자 기린소프트웨어 연구개발 엔지니어인 두위페이(杜雨霏)가 「OSC오픈소스커뮤니티」 영상 채널 라이브 방송에 초대되어 이 문제를 두고 현장 해설을 진행하며, 출제 배경, 문제 풀이 사고, 대회 준비 요점을 설명하고 온라인으로 참가자 질문에 답한다.

두위페이는 이번 상하이 오픈소스 소프트웨어 응용 혁신 대회의 문제 출제 멤버로, 에이전트 모델 기억 모듈 평가 관련 업무를 담당하며 이 문제의 설계와 다듬기에 참여했다. 채점 기준을 어떻게 정할지, 어떤 방안이 진정으로 문제를 해결한 것인지 그녀가 라이브 방송에서 분명히 설명할 것이다.

이 문제를 준비 중이거나, 아니면 아직 참가 신청을 할지 망설이고 있다면, 누구든 질문을 가지고 라이브 방송에 오면 된다.

대회 참가 신청 마감은 10월 11일, 총 상금 풀은 100만 위안이며, 결선은 10월 29일 상하이 장장 인공지능 혁신 타운에서 개최된다. 라이브 방송을 듣고 나서 시작해도 시간은 충분하다.

QR 코드를 스캔하여 라이브 방송을 예약하세요: