토큰 분포 편차로 LLM 추론 능력 향상

본 논문은 RLVR 과정에서 발생하는 entropy collapse와 entropy explosion 문제를 해결하기 위해 Independent Combinatorial Tokens (ICT) 프레임워크를 제안합니다. ICT는 scalar uncertainty 대신 token logits의 distributional properties를 분석하여 Jensen-Shannon (JS) divergence를 기반으로 핵심적인 branching points를 식별합니다. Shannon entropy와 second-order Rényi entropy를 모두 고려한 선택적 업데이트를 통해 policy concentration을 조절함으로써 학습의 안정성을 확보합니다.

uniform token updates로 인한 최적화 불안정성을 극복하여, 적은 양의 데이터 업데이트만으로도 LLM의 reasoning 능력을 효과적으로 향상시킬 수 있는 새로운 학습 패러다임을 제시합니다.

에이전트형 AI 시스템의 런타임 거버넌스를 위한 의무론적 정책

arXiv:2606.19464v1 발표 유형: 신규 초록: Large Language Models (LLMs)에 의해 구동되는 자율 에이전트형 AI 시스템은 보안, 개인정보 보호 및 컴플라이언스 측면에서 새로운 유형의 과제를 제기한다. 도구를 호출하고, 데이터를 조작하며, 소프트웨어를 설치하고, 조직 경계를 넘어 동료 에이전트와 협업할 수 있는 에이전트는 인증 및 액세스 제어뿐만 아니라 기업 거버넌스의 전체 구조에 의해 제약되어야 한다. 여기에는 에이전트가 허용되거나 금지되는 행위, 특정 작업 후 수행해야 하는 의무(예: CISO에게 통지), 기존 의무가 면제될 수 있는 조건, 그리고 정책이 충돌할 때 어떤 규칙이 우선하는지를 지정하는 것이 포함된다. 이러한 거버넌스 문제는 현재의 정책 엔진이 제공하는 범위를 넘어선다. XACML, Rego, Cedar와 같은 시스템은 이러한 거버넌스 구조 중 허용/금지 부분만을 다룬다. 이들은 의무 라이프사이클 관리, 메타 정책 충돌 해결, 의무를 면제하는 면제 조항 등을 제공하지 않는다.

CS2013-2023 교육과정 연계성 분석 프레임워크 공개

국제 컴퓨터 과학 교육과정 지침 개정 시 프로그램의 포괄성 및 변화 측정에 대한 신뢰할 수 있는 방법론이 부재했습니다. 본 연구는 CS2013과 CS2023을 대상으로 프로그램의 지식 단위 포괄성을 측정하는 인간 참여형 파이프라인을 개발했습니다.

확산 언어 모델, 실험 분석 공개

최근 등장한 확산 언어 모델(DLM)은 기존 LLM과 달리 전체 시퀀스를 병렬적으로 정제하며 텍스트를 생성합니다. 본 연구는 8가지 최신 DLM을 8가지 벤치마크에서 평가하여 생성 품질과 효율성을 비교 분석했습니다.

다중 에이전트 LLM 토론의 숨겨진 앵커

arXiv:2606.19494v1 발표: 다중 에이전트 LLM 토론은 인간의 의사결정과 유사하며, 각 에이전트가 내부 신념(앵커)을 유지하며 토론을 통해 더 나은 결론에 도달하는 과정을 모델링합니다. 이 앵커는 토론만으로 복구 가능하며, 초기 신념 범위를 벗어나는 행동을 설명합니다.

금융 차트 질의응답, 투명성과 온프레미스 배포 모두 잡았다

이 논문은 규제 환경에서 신뢰성과 데이터 보안을 동시에 충족하기 위한 multi-agent pipeline인 AgentFinVQA를 제안합니다. 이 시스템은 query를 planning, OCR, legend grounding, visual inspection, verification 단계로 분해하며, 모든 과정을 traceable한 Model Evaluation Packet(MEP)으로 기록합니다. 실험 결과, AgentFinVQA는 proprietary backbone인 Gemini-3 Flash 및 로컬에서 구동되는 open-weights Qwen3.6-27B-FP8 모두에서 기존 baseline 대비 높은 성능 향상을 달성했습니다.

금융 데이터의 data residency를 보장하면서도 신뢰할 수 있는(auditable) 차트 QA 시스템 구축이 실질적으로 가능함을 보여주었습니다.

DeXposure-Claw: DeFi 위험 감독 위한 에이전트 시스템

탈중앙화 금융(DeFi)은 감독 기관에 빠르게 변화하는 신용 위험에 노출시킵니다. 본 논문은 예측 기반 에이전트 시스템인 DeXposure-Claw를 소개하며, 이는 구조화된 증거를 통해 LLM 결정을 라우팅하여 DeFi 위험 감독을 강화합니다.

LLM, 모르는 것을 모른다? 임상 데이터로 '지식 맹점' 탐지

LLM이 임상 구조화 데이터에서 자신의 지식 한계를 인지하는지 탐구합니다. Qwen 2.5 7B와 XGBoost를 비교 분석한 결과, LLM의 자신감은 예측 품질과 무관하며, 오히려 불확실할 때 성능이 향상되는 역설적 효과를 보였습니다.

알츠하이머 위험 예측, 망막 영상-언어 모델로 정교화

망막 영상과 임상 정보를 결합한 REVEAL++ 모델이 알츠하이머병 위험 예측 정확도를 높입니다. 기존의 이산적 그룹 분류 방식에서 벗어나, 연속적인 유사도 가중치를 적용하여 표현 학습과 그룹 형성을 통합했습니다.

AI, 스스로 윤리적 판단 가능해지나

LLM이 자신의 비윤리적 출력을 스스로 감지하고 수정하는 '창발적 정렬' 기술이 개발되었습니다. DPO를 활용해 모델이 스스로를 검토하고 윤리적 방향으로 나아가도록 유도합니다.

ITNet: 컨볼루션, 어텐션, 순환을 통합하는 학습 가능한 적분 변환

이 논문은 Convolutional networks, recurrent networks, transformers가 서로 다른 수학적 객체가 아니라 하나의 learnable integral transform의 특수한 사례임을 증명합니다. 이를 위해 위치와 특징에 공동으로 의존하는 learnable kernel을 기반으로 한 ITNet 아키텍처를 제안합니다. ITNet은 convolution, self-attention, autoregressive recurrence를 모두 포함할 수 있는 universal approximator이며, 다양한 벤치마크에서 기존 전문화된 모델들과 대등하거나 우수한 성능을 보였습니다.

서로 파편화되어 있던 세 가지 주요 신경망 아키텍처를 하나의 수학적 원리로 통합함으로써, 단일한 interaction mechanism만으로 다양한 데이터 도메인에 대응할 수 있는 범용적인 모델링 가능성을 제시하였습니다.

LLM 에이전트, 불확실성 분해로 명확성 탐색

본 논문은 interactive LLM agents를 위해 action confidence와 request uncertainty(u)를 분리하는 prompt-based decomposition 방식을 제안합니다. 이를 통해 task specification이 모호할 때 agent가 proactive clarification seeking을 수행할 수 있도록 합니다. WebShop-Clarification 및 ALFWorld-Clarification 벤치마크를 통해 제안된 방법론이 기존 ReAct+UE 및 UAM 방식보다 우수한 성능을 보임을 입증했습니다.

black-box API 및 latency 제약이 있는 실제 deployment 환경에서도 별도의 training 없이 prompt만으로 agent의 underspecification-aware 능력을 강화할 수 있습니다.

LLM-솔버 루프, 서술 간극 분석

이 논문은 LLM과 formal tools(SAT, SMT solvers)를 결합한 hybrid pipeline에서 발생하는 narration gap 문제를 분석합니다. 연구진은 LLM-solver loop를 verified decision procedure로 모델링하고, prompt injection 공격 상황에서 5개의 open-sourced models를 평가했습니다. 실험 결과, certificate gating이 solver verdict의 soundness는 보장하지만, adversary가 다양한 phrasings를 통해 검증된 결론을 뒤집을 수 있음을 발견했습니다.

formal tools를 통한 soundness 보장이 실제 사용자가 읽는 최종 answer의 robustness까지 이어지지 않을 수 있음을 경고하여, 안전한 hybrid reasoning pipeline 설계의 필요성을 강조합니다.

환자 맥락 정보 추출, Agentic RAG로 해결

이 논문은 환자의 방대한 이종 문서와 구조화된 데이터에서 발생하는 metadata의 부재 및 temporal reasoning, cross-document dependencies 문제를 해결하기 위해 ACIE(Agentic Clinical Information Extraction)를 제안합니다. University Medicine Essen에 on-premise agentic RAG pipeline을 구축하여 전체 patient contexts를 추론하고 모든 답변을 source passages에 근거하도록 설계했습니다. 임상 의사가 추출된 값을 직접 검증하는 retrospective lymphoma registry study를 통해 96.5%의 높은 acceptance rate를 입증했습니다.

Standard RAG의 한계를 극복하여 의료 현장에서 신뢰할 수 있는 고정밀 clinical information extraction 기술을 제시했습니다.

LLM 사후 훈련, 어떤 쌍을 비교해야 할까?

이 논문은 preference-based post-training 과정에서 어떤 비교 쌍(comparison pairs)을 선택할 것인가에 대한 문제를 연구합니다. 저자들은 comparison curation을 sampling-design problem으로 정식화하고, 이를 Direct Preference Optimization (DPO) 프레임워크에 적용하여 분석했습니다. 연구 결과, 선택된 비교 쌍이 downstream policy performance에 미치는 영향을 나타내는 upper and lower bounds를 도출하였으며, 이를 통해 효율적인 sampling design을 제안했습니다.

제한된 labeling budget 내에서 가장 정보량이 많은 비교 쌍을 선택함으로써, 기존 heuristic 방식보다 높은 sample efficiency를 달도할 수 있는 이론적 근거와 실용적인 방법론을 제공합니다.

물리량·기술 표기법 온톨로지 토큰화 'TOTEN' 공개

이 논문은 Byte-Pair Encoding이 기술적 엔티티를 의미론적 맥락 없이 파편화하는 문제를 해결하기 위해 지식 기반의 ontological tokenization 프레임워크인 TOTEN을 제안합니다. TOTEN은 engineering entities에 대한 formal ontology(OEE)를 바탕으로 텍스트를 유형화된 영역으로 매핑하며, Pint, Unicode Character Database, RSLP라는 세 가지 외부 oracle을 통해 결정론적 결합을 구현합니다. 실험 결과, TOTEN은 기존 baseline인 Quantulum3 등과 비교하여 EngQuant 및 브라질 포르투갈어 외부 코퍼스에서 월등한 numerical reconstruction 성능과 ontological atomicity를 달성했습니다.

기술적 수치와 기호가 포함된 텍스트를 의미론적 손실 없이 구조화된 표현으로 변환함으로써, 정밀한 데이터 처리가 필요한 공학적 NLP 작업의 정확도를 크게 향상시킬 수 있습니다.

AI4SE·SE4AI 10년 회고와 전망

이 논문은 AI와 Systems Engineering(SE)의 발전 과정을 foundational, applied, LLM inflection의 세 단계로 구분하여 추적합니다. 또한 인간의 전문 지식과 6개의 AI 모델을 활용하여 INCOSE INSIGHT 및 SERC 출판물의 관련성을 평가하는 human-AI agreement 문헌 검토를 수행했습니다. 연구 결과로 도출된 5가지 critical research gaps를 통해 SE 분야의 AI 도입, assurance, workforce transformation을 위한 가이드를 제공합니다.

SE 분야에서 AI 기술의 통합과 활용을 위한 실무적 가이드라인을 제시하고, 인간과 AI의 판단 차이를 비교할 수 있는 연구 도구를 제공한다는 점에서 중요합니다.

BrainG3N: 3D 뇌 MRI 생성 위한 듀얼 토크나이저

이 논문은 3D brain MRI의 controllable generation을 위해 encoder와 decoder를 분리한 dual-purpose tokenizer인 BrainG3N을 제안합니다. frozen 3D MAE encoder를 통해 임상적으로 유의미한 embeddings를 생성하고, dedicated CNN decoder를 사용하여 anatomically faithful한 voxels를 재구성합니다. 실험 결과, 이 tokenizer는 23개의 linear-probing task에서 SOTA 모델들과 대등하거나 우수한 성능을 보였으며, conditional diffusion transformer(DiT)를 통한 조건부 생성 및 longitudinal forecasting에서도 뛰어난 성능을 입증했습니다.

이 연구는 데이터가 부족한 임상 코호트를 증강하고 질병의 궤적을 시뮬레이션할 수 있는 고품질의 3D brain MRI 생성 모델 구축을 위한 핵심적인 기술적 토대를 제공합니다.

콜드스타트 추천 위한 암시적 피드백 노이즈 제거

이 논문은 implicit feedback이 포함하는 noise가 특히 cold-start 아이템에서 더 빈번하게 발생한다는 문제를 식별하고, 이를 해결하기 위한 model-agnostic denoising 방법론인 DIF를 제안합니다. DIF는 content-similar한 warm items를 통해 cold item에 대한 pseudo-labels를 추론하고, content similarity 기반의 confidence modeling과 multiple pseudo-labels aggregation을 통해 정확도를 높입니다. 마지막으로 relative entropy와 cold-start status를 고려하여 noise의 uncertainty를 추정함으로써 sample level에서 noisy labels를 효과적으로 교정합니다.

기존의 heuristic 기반 denoising 방식이 해결하지 못했던 cold-start 상황에서의 noise 문제를 해결함으로써, 새로운 아이템이 지속적으로 유입되는 실제 추천 시스템 환경에서의 성능을 크게 개선할 수 있습니다.

탈퇴-가입 역학, 분산형 연합 형성에 적용

이 논문은 개별적인 exit-and-join 결정에 의해 구동되는 decentralized dynamical process로서의 coalition formation을 연구합니다. 에이전트들은 Aumann-Dreze value를 사용하여 국소적인 이동을 평가하며, 이를 통해 협력적 payoff allocation과 비협력적 best-response behavior를 연결하는 모델을 제시합니다. 또한 equilibrium characterizations를 확립하고, switching 및 acceptance costs가 local stability에 미치는 영향을 분석합니다.

협력적 이득 배분과 비협력적 의사결정 과정을 통합하여 coalition structure의 안정성과 수렴성을 동역학적 관점에서 이해할 수 있게 합니다.