1. Open Data Synthesis For Deep Research

Introduction

• Goal: 본 논문은 깊이 있는 연구(Deep Research) 과제를 위한 대규모 구조화된 데이터 합성 프레임워크 InfoSeek를 제안하는 것이다.
• Motivation: 기존 벤치마크들은 단순 다중 제약 혹은 다중 추론 문제만을 다루어 깊이 있는 연구에 필요한 계층적 복잡성을 반영하지 못하며, 공개된 고품질 대규모 데이터셋 또한 부족하다.
• Contribution: Deep Research 과제를 계층적 제약 만족 문제(HCSP)로 정형화하고, 이를 자동으로 생성하며 구조적 난이도 조절이 가능한 InfoSeek 프레임워크 및 5만 개 이상의 QA 쌍 데이터셋을 공개하였다.

Method

InfoSeek는 플래너와 브라우저 두 에이전트가 협력하여 웹페이지 및 위키피디아 데이터를 바탕으로 연구 트리를 점진적, 재귀적으로 구축한다. 각 중간 노드는 제약 문제로 변환되어 깊이 있는 멀티스텝 추론을 요구하는 자연어 질문으로 생성된다. 생성된 데이터는 거부 샘플링을 통한 정답 검증과 모형의 지도 학습 및 강화학습에 활용된다.

Results

InfoSeek로 학습된 3B 파라미터 모델인 InfoSeeker-3B는 32B 모델 및 일부 상용 LLM API들을 능가하며, BrowseComp-Plus 벤치마크에서 깊이 있는 연구 능력을 입증하였다.

Limitations

정보 부족

Conclusion

InfoSeek는 깊이 있는 연구에 적합한 고품질, 대규모, 계층적 제약 만족 문제 데이터셋과 학습 프레임워크를 공개하여 차세대 LLM의 자율적 지식 탐색 및 추론 능력 개발에 기여한다.

2. Robix: A Unified Model for Robot Interaction, Reasoning and Planning

Introduction

• Goal: 본 논문은 로봇의 추론, 작업 계획, 자연어 상호작용을 통합하는 단일 시각-언어 모델 Robix를 제안하는 데 목적이 있다.
• Motivation: 기존의 계층적 로봇 시스템은 작업 분해에만 집중하며 인간-로봇 상호작용과 구현적 추론을 충분히 고려하지 못하는 한계가 존재한다.
• Contribution: Robix는 연쇄 사고(chain-of-thought) 추론과 삼단계 훈련 전략을 통해 복잡한 명령 수행, 장기 작업 계획, 실시간 중단 대응, 능동적 대화 기능을 내재하는 통합 모델을 제안한다.

Method

Robix는 3단계 훈련 절차로 구성된다: (1) 3D 공간 이해, 시각적 근거, 작업 중심 추론 능력 강화를 위한 지속적 사전학습, (2) 인간-로봇 상호작용과 작업 계획을 통합한 지도 미세조정, (3) 추론-행동 일관성과 장기 작업 조화를 위한 강화학습이 적용된다.
하위 계층 제어기는 고수준의 Robix가 생성한 원자적 행동 명령을 실행하고, Robix는 시각 관찰과 사용자 지시를 동시에 처리하여 추론과 행동 명령, 언어 반응을 생성한다.
대규모 합성 데이터 및 실제 원격 조작 데이터로 인간-로봇 상호작용 시나리오를 다양하게 생성하여 Robix의 실시간 대응력과 능동적 대화 능력을 향상시켰다.

Results

Robix는 다양하고 복잡한 명령 유형(다중 단계, 제약, 유효하지 않거나 중단된 명령 포함) 및 다섯 가지 실제 시나리오에서 GPT-4o, Gemini 2.5 Pro 등 상용 및 오픈소스 대비 일관되게 우수한 작업 진행도와 정확도를 기록하였다.

Limitations

훈련 데이터의 제한성과 현실 내 예측 가능한 환경 변화 대응을 위한 지속적 확장 및 최적화가 필요하다는 점이다.

Conclusion

Robix는 강력한 구현 추론과 융통성 있는 고수준 계획 및 상호작용 기능을 결합하여 범용 로봇 지능 실현을 한층 진전시켰다.

3. LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

Introduction

• Goal: 본 연구는 사전학습 데이터 내 지식 획득 과정과 언어 모델의 지식 표현 간 연관성을 분석하기 위한 도구인 LMEnt를 제안하는 데 목적이 있다.
• Motivation: 기존에는 사전학습 데이터에서 특정 지식이 어디에 출현하는지 정확히 추적하기 어려워 지식 획득 과정을 체계적으로 연구하기 힘들었다.
• Contribution: LMEnt는 위키백과 기반의 정교한 엔티티 주석이 적용된 대규모 사전학습 코퍼스, 기존 대비 최대 80.4% 우수한 엔티티 기반 검색 방법, 그리고 1억~10억 파라미터 규모의 12개 사전학습 모델과 4천 개 중간 체크포인트를 포함하는 완벽한 분석 환경을 구축하였다.

Method

LMEnt는 위키백과 문서에 하이퍼링크, 엔티티 링크, 공기참조 해석을 결합하여 정밀한 엔티티 주석을 수행하였다.
주석된 문서를 독립적인 토큰 시퀀스인 청크로 분할하였으며, 각각의 청크에 포함된 엔티티 정보를 유지하여 학습 과정에서 각 단계에 노출된 엔티티를 추적 가능하게 하였다.
이후 엔티티 QID를 이용한 엘라스틱서치 인덱스를 구축하여 정확하고 정밀한 엔티티 단위 검색 기능을 제공하였다.

Results

LMEnt 모델은 3.6억 토큰이라는 상대적으로 적은 학습량에도 불구하고, PopQA와 PAQ 같은 지식 기반 벤치마크에서 최대 1B 파라미터 모델이 Pythia, OLMo, SmolLM 같은 동급 공개 모델과 유사한 성능을 보였으며, 엔티티 기반 검색은 기존 문자열 검색 방식 대비 최대 80.4% 더 많은 정확한 문서 청크를 반환하였다.

Limitations

LMEnt 모델은 희귀 지식에 대한 재현력이 부족하여 일부 최신 모델들 대비 낮은 리콜 성능을 보였으며, 핵심 관계 정보를 포함하지 않는 엔티티 주석만으로 사실 획득 메커니즘을 완전히 설명하지 못하였다.

Conclusion

LMEnt는 사전학습 데이터 내 엔티티 단위 지식 추적 및 분석을 위한 혁신적인 도구로서, 언어모델의 지식 표현과 학습 동태 연구를 위한 튼튼한 토대를 제공한다.

4. Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

Introduction

• Goal: 본 논문은 강화학습에서 정교하지 못한 결과 기반 보상과 잡음이 많은 과정 기반 보상을 조화롭게 통합하는 방법을 제안하는 데 목적이 있다.
• Motivation: 결과 보상 모델은 정확한 답변 내에서 잘못된 추론을 구별하지 못하고, 과정 보상 모델은 세밀한 지도를 제공하나 부정확성과 보상 악용 문제에 취약하기 때문이다.
• Contribution: 본 연구에서는 PRocess cOnsistency Filter(PROF)라는 과정-결과 일관성 기반 샘플 선별 기법을 제안하여 불일치하는 학습 샘플을 필터링함으로써 추론의 중간 단계 품질과 최종 정확도를 동시에 향상시켰다.

Method

본 연구는 RL 과정 중 산출된 다수 샘플을 PRM과 ORM 간 일관성 점수로 평가하고, 정답 그룹과 오답 그룹을 분리하여 각각 높은 일관성의 정답과 낮은 일관성의 오답을 균형 있게 선별한다. 이러한 선별 과정을 통해 혼재된 오류 추론 및 노이즈를 제거하여 안정적인 정책 학습을 가능하게 한다. PROF는 GRPO 등 강화학습 알고리즘과 결합 가능한 모듈식 필터링 프레임워크로 구현되었다.

Results

PROF-GRPO는 Qwen 및 LLaMA 기반 모델을 대상으로 한 수학 추론 벤치마크에서 기존 방법보다 최종 정확도를 4% 이상 개선하였고, 중간 추론 과정의 품질도 현저히 향상시켰다.

Limitations

PRM에 대한 신뢰도 및 보상 악용 문제에 따라 정답과 오답 필터링 전략의 효과가 달라질 수 있으며, 일부 소규모 데이터셋에서는 성능 우위가 명확하지 않았다.

Conclusion

PROF는 결과 보상과 과정 보상의 장점을 동시에 활용하여 추론의 정확성과 중간 단계 품질을 안정적으로 향상시키는 효과적인 데이터 정제 기법임을 입증하였다.

5. Planning with Reasoning using Vision Language World Model

Introduction

• Goal: 본 연구는 시각 및 언어 정보를 활용하여 자연 영상으로부터 고수준 의미 및 시간적 추론 기반의 세계 모델을 학습하고 계획 문제를 해결하는 새로운 비전 언어 세계 모델(VLWM)을 제안하는 데 목적이 있다.
• Motivation: 기존 세계 모델은 저수준 연속제어 과제에는 성공적이나 행동의 의미 및 시간적 추상화를 요구하는 고수준 계획 학습에서 미흡한 한계를 지니고 있다.
• Contribution: 본 논문은 영상 압축 기술인 Tree of Captions와 대형 언어 모델의 자기개선(Self-Refine)을 결합하여 계층적 목표 및 행동-상태 변화를 추출하며, 이를 통한 시스템-1과 비용 최소화 기반 시스템-2 계획 방식을 도입하여 계획 성능과 해석 가능성을 동시에 향상시켰다.

Method

본 연구는 영상을 Tree of Captions로 압축 후 LLM Self-Refine를 통해 목표 및 행동-상태 계획을 텍스트로 구조화하며, 이를 예측하는 VLWM을 학습한다.
시스템-1 계획은 단일 롤아웃을 통한 반응적 행동 생성이고, 시스템-2 계획은 VLWM과 자체 학습한 비평가를 활용해 후보 행동을 시뮬레이션하고 비용 최소화하는 반성적 추론을 수행한다.
비평가 모델은 자가 감독 학습으로 목표 달성도에 기반해 행동 시퀀스의 의미적 거리를 평가하도록 훈련된다.

Results

VLWM은 Visual Planning for Assistance 벤치마크에서 기존 최고 성능을 경신했으며, 사람 평가 기반 PlannerArena에서는 시스템-2가 시스템-1 대비 최대 27% 향상된 Elo 점수를 기록하고 RoboVQA 및 WorldPrediction 벤치마크에서도 강력한 성능을 보여주었다.

Limitations

현재 모델은 복잡한 장기 계획 및 현실 세계의 다양한 활동 전반에서 여전히 최적화와 일반화가 더 필요한 과제를 가진다.

Conclusion

본 연구는 자연 영상과 언어를 융합한 효과적 세계 모델링과 이의 반성적 계획 방식을 제시하여 고수준 시각-언어 기반 계획 문제 해결에 유의미한 진전을 이루었다.

6. MOSAIC: Multi-Subject Personalized Generation via Correspondence-Aware Alignment and Disentanglement

Introduction

• Goal: 본 논문은 다수의 참조 대상을 기반으로 한 다중 주제 개인화 이미지 생성에서 정체성 유지와 의미론적 일관성을 향상시키는 것을 목표로 한다.
• Motivation: 기존 방법들은 참조 대상 간의 상호작용과 표현 공간 내의 분리 부족으로 인해 정체성 혼합과 속성 누수 문제가 발생하는 한계를 가진다.
• Contribution: MOSAIC이라는 표현 중심의 프레임워크를 제안하여 의미론적 대응 관계와 직교적 특징 분리를 명시적으로 구현하고, 이를 위해 세밀하게 주석된 SemAlign-MS 데이터셋과 두 가지 최적화 손실 함수를 도입하였다.

Method

제안된 MOSAIC은 참조 이미지와 대상 이미지 간의 정밀한 의미론적 정렬을 위한 대응 주의 손실과 다중 참조 간 특성 간섭 방지를 위한 분리 손실을 동시에 최적화한다.
FLUX-1.0-DEV 모델을 기반으로 다중 참조 표현을 통합한 후, 수정된 Rotary Position Embedding 기법과 LoRA를 활용한 주의 메커니즘으로 다중 주제 간 의미 정보를 분리한다.
또한, SemAlign-MS 데이터셋의 대응점 정보를 이용해 참조와 대상 간의 지점별 의미 대응을 명확히 학습하여 다중 주제 이미지 생성을 정교하게 제어한다.

Results

MOSAIC은 DreamBench와 XVerseBench 벤치마크에서 기존 최첨단 기법들에 비해 단일 및 다중 주제 모두에서 정체성 보존과 의미론적 일관성 측면에서 월등한 성능을 보이며, 특히 4개 이상의 참조 대상에 대해서도 높은 품질을 유지하였다.

Limitations

정보 부족.

Conclusion

MOSAIC은 의미 대응 기반의 명시적 정렬과 분리 메커니즘을 통해 다중 주제 개인화 이미지 생성 분야에서 정체성 충실도와 의미 일관성을 획기적으로 개선하며, 복잡한 다중 주제 합성에 효과적으로 확장 가능함을 입증하였다.

7. Mixture of Global and Local Experts with Diffusion Transformer for Controllable Face Generation

Introduction

• 본 연구의 목표는 전역 및 국부 전문가 집합 기반의 확산 트랜스포머를 통해 제어 가능한 고품질 얼굴 생성 방법을 제안하는 것이다.
• 기존 방법들이 의미적 제어와 고해상도 생성 사이의 균형 문제와 의미 정보와 생성 과정의 결합 문제로 한계에 직면한 점을 개선하고자 하였다.
• 본 논문은 의미적 분리 잠재 모델링, 전역 및 지역 전문가의 조합, 시간 및 공간에 따라 가변적으로 동작하는 동적 게이팅 네트워크를 포함하는 새로운 얼굴 생성 프레임워크 Face-MoGLE을 제안한다.

Method

전달받은 의미 마스크를 독립된 바이너리 컴포넌트로 분리하고, 전역 전문가가 전체 구조를 포착하며 지역 전문가가 세부 영역을 정교하게 처리하는 전문가 혼합 구조를 설계하였다.
확산 과정의 각 단계 및 공간 위치에 따라 전문가 출력을 동적으로 융합하는 확산 인지형 동적 게이팅 네트워크를 도입하였다.
학습 및 추론은 사전학습된 VAE 잠재 공간과 함께 트랜스포머 베이스의 확산 네트워크를 이용해 멀티모달(텍스트와 마스크) 조건 입력을 효과적으로 처리한다.

Results

Face-MoGLE은 MM-CelebA-HQ, FFHQ-Text 등 다양한 공개 데이터셋에서 최첨단 방법들과 비교해 더 낮은 FID와 KID, 휴먼 프리퍼런스 점수, 그리고 우수한 의미 일관성 및 제로샷 일반화 능력을 달성하였다.

Limitations

본 연구에서는 효율성 및 실시간 적용 가능성 등 아키텍처 경량화와 실제 환경 적용을 위한 추가 연구가 필요하다.

Conclusion

Face-MoGLE은 전역 및 국부 전문가 결합과 확산 트랜스포머 기반 구조로 얼굴 생성에서 의미적 제어와 시각적 사실성 간 균형을 효과적으로 달성하는 강력하고 유연한 솔루션임을 실험적으로 증명하였다.

8. Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots

Introduction

• Goal: 본 연구의 목표는 일상적으로 사용되는 깊이 카메라에 대해 노이즈 제거 및 정확한 측정 깊이 추론이 가능한 카메라 깊이 모델(Camera Depth Models, CDMs)을 개발하여 로봇의 3D 지오메트리 인식을 향상시키는 것이다.
• Motivation: 기존 로봇 조작은 주로 2D 컬러 정보를 기반으로 하나, 깊이 카메라가 제공하는 3D 기하 정보는 노이즈와 정확도 한계로 인해 실세계 일반화에 어려움이 있다.
• Contribution: 본 논문은 다중 카메라와 모드에서 수집한 실제 데이터 기반의 노이즈 모델 학습을 통해 시뮬레이션 수준의 정확도를 구현하는 CDMs를 제안하고, 이를 이용한 제로샷 시뮬레이션-투-실세계 전이 조작 정책을 성공적으로 구현하였다.

Method

• CDMs는 RGB 이미지와 깊이 카메라의 원시 깊이 신호를 입력받아 멀티 헤드 어텐션 기반의 비전 트랜스포머로 특징을 추출, 융합하여 정밀한 절대 측정 깊이를 예측한다.
• 실제 센서에서 나타나는 홀 노이즈와 값 노이즈를 구분하여 별도의 신경망으로 모델링하며, 이 노이즈 모델을 이용해 고품질 시뮬레이션 데이터를 생성하여 CDMs를 학습한다.
• 깊이값 스케일 불일치 문제를 완화하기 위해 가이드 필터를 활용한 노이즈 보정 및 추가적인 고주파 노이즈 강화 기법을 도입하였다.

Results

• 제안된 CDMs는 실환경 깊이 데이터의 노이즈를 효과적으로 제거하여, 기존 기법 대비 더 높은 정확도의 메트릭 깊이 예측 성능을 보였으며, 이를 활용한 조작 정책은 별도의 실세계 미세조정 없이 두 가지 복잡한 조작 과제에서 뛰어난 제로샷 시뮬레이션-투-실세계 전이를 달성하였다.

Limitations

• 본 연구는 시뮬레이션과 실제 환경 간 기하학적 왜곡, 깊이 카메라와 시뮬레이터 간 완전한 카메라 정렬 문제 등 물리적 및 센서적 차이 완전 극복은 해결하지 못하였다.

Conclusion

• 본 연구는 다양하고 실제적인 깊이 카메라 노이즈 모델링과 이를 통한 정밀한 3D 깊이 정보 제공이 로봇 조작 성능과 시뮬레이션-실세계 전이를 크게 향상시킬 수 있음을 실험적으로 보였다.

9. SATQuest: A Verifier for Logical Reasoning Evaluation and Reinforcement Fine-Tuning of LLMs

Introduction

• Goal: 본 연구는 CNF(Conjunctive Normal Form) 인스턴스에서 비롯된 다양한 논리 추론 문제를 자동 생성하고, 이를 통해 대형 언어 모델(LLM)의 논리 추론 능력을 체계적으로 평가하고 강화하는 SATQuest 검증기를 제안하는 데 목적이 있다.
• Motivation: 기존 벤치마크는 변수 제어와 문제 유형 및 형식의 다양성이 부족하여 LLM의 다차원적 성능 분석과 교육에 한계가 존재하는 상황이다.
• Contribution: 본 논문은 문제 크기, 유형, 문제 제시 형식을 축으로 하는 다차원 제어가 가능한 SATQuest를 통해 LLM의 논리 추론 성능 평가 및 강화 미세조정을 가능하게 함으로써, 이를 통해 LLM의 논리 추론 한계를 규명하고 효과적 개선 방안을 제시하였다.

Method

SATQuest는 CNF 인스턴스를 기반으로 문제 규모, 유형, 질문 형식의 세 축에 따라 난수 기반 SAT 문제를 생성하며, PySAT를 이용한 객관식 정답 검증 기능을 갖춘다.
평가는 다수의 LLM을 대상으로 SATDP, SATSP, MaxSAT, MCS, MUS 등 5가지 SAT 기반 문제 유형과 4가지 질문 형식에 대해 수행되었으며, 강화 학습을 위해 SATQuest 리워드를 활용한 GRPO 방법을 적용하였다.
이를 통해 LLM의 논리 추론 성능을 체계적으로 분석하고, 형식 및 문제 유형 간 일반화가 어려운 한계점을 확인하였다.

Results

SATQuest를 이용한 평가 결과, 논리 추론 강화 모델이 일반 모델보다 우수한 성능을 보였으나, 특히 복잡한 문제와 다양한 문제 형식에 대한 일반화에서 큰 어려움이 드러났으며, 강화 미세조정을 통해 목표 문제 유형 내 성능과 확장성을 개선함을 확인하였다.

Limitations

강화 미세조정 실험은 주로 7B 규모 모델에 한정되어 진행되었으며, 문제 유형과 형식 간 완전한 일반화를 달성하기에는 현 기법의 한계가 존재한다.

Conclusion

SATQuest는 LLM의 논리 추론 능력 평가와 강화를 위한 체계적이고 다차원적 프레임워크를 제공하며, 향후 LLM 논리 능력 연구의 기초 도구로 활용될 수 있음을 입증하였다.