1. UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback

Alphaxiv

Introduction

• 본 연구의 목표는 이미지 및 비디오 리라이트(relighting)를 통합적으로 수행하면서 물리적으로 타당한 조명 피드백을 제공하는 UniLumos 프레임워크를 제안하는 것이다.
• 기존 확산 기반 모델은 의미적 잠재 공간에서 최적화되어 시각 공간에서 물리적 일관성을 보장하지 못해 비현실적인 조명 효과를 생성하는 한계가 있다.
• 본 논문에서는 RGB 공간의 깊이 및 법선 정보를 활용한 기하학적 피드백과 구조화된 6차원 조명 어노테이션 프로토콜을 통합하여 고품질의 물리적 일관성과 효율성을 모두 달성하는 UniLumos를 제안하였다.

Method

UniLumos는 영상 생성의 flow-matching 백본에 깊이와 법선 맵을 통한 물리적 타당성 피드백을 적용하며, 고품질 RGB 출력에 기반한 지오메트리 감시로 조명과 장면 구조의 정합을 강화한다. 경로 일관성 학습(path consistency learning)을 활용하여 적은 단계의 노이즈 제거에서도 효과적인 학습과 빠른 추론을 가능하게 하였다. 또한, 조명 방향, 강도, 색온도 등 6개의 핵심 속성을 포괄하는 구조화된 조명 어노테이션과 이를 통해 자동 평가가 가능한 LumosBench 벤치마크를 고안하였다.

Results

UniLumos는 이미지 및 비디오 리라이트에서 기존 최첨단 방법 대비 물리적 일관성을 대폭 향상시키면서 20배 빠른 추론 속도를 달성하였다.

Limitations

본 연구에서는 고품질 RGB 출력을 요구하는 피드백 학습 과정의 계산 비용이 여전히 존재하며, 완전한 실시간 처리에는 제약이 있다.

Conclusion

UniLumos는 RGB 기반 기하학 피드백과 구조화된 조명 어노테이션을 통합하여 이미지 및 비디오 리라이트에서 물리적 타당성과 고품질 조명 제어를 효율적으로 달성하는 통합 프레임워크임을 입증하였다.

2. Towards Universal Video Retrieval: Generalizing Video Embedding via Synthesized Multimodal Pyramid Curriculum

Alphaxiv

Introduction

• Goal: 본 연구는 다중 과제와 다양한 도메인에서 범용적으로 적용 가능한 영상 검색을 위한 통합 비디오 임베딩 모델 개발을 목표로 한다.
• Motivation: 기존의 제한적 평가 기준과 단일 과제 학습으로 인한 범용성 부족 문제를 해결하기 위해 다차원적 평가와 고품질 대규모 데이터 합성, 모델링의 공동 설계가 필요하였다.
• Contribution: 16개 데이터셋으로 구성된 Universal Video Retrieval Benchmark (UVRB), 155만 쌍의 고품질 다중 모달 데이터셋 UVRD 개발, 그리고 과제 간 상호 연결을 통합하는 Modality Pyramid 커리큘럼을 제안하였다.

Method

본 연구는 평가, 데이터, 모델 설계를 공동으로 진행하여 UVRB를 통해 다차원적으로 성능 진단을 수행하였다. 이어 V-SynFlow 합성 워크플로우로 다양한 과제와 도메인을 포괄하는 고품질 데이터셋을 제작하였다. 마지막으로, Modality Pyramid 커리큘럼을 활용해 기본부터 복합 과제로 점진적 학습을 진행하는 General Video Embedder (GVE)를 훈련하였다.

Results

GVE-7B 모델은 UVRB에서 16개 데이터셋 평균 Recall@1 기준 0.573의 최고 성능을 기록하며 기존 최첨단 모델들을 제압하였다.

Limitations

본 연구는 서술된 평가와 데이터 합성, 커리큘럼 구조 중심으로 설계되어, 실제 다양한 실환경에서의 실시간 처리 및 비주얼 인지 향상 부분은 추가 연구가 필요하다.

Conclusion

평가-데이터-모델 공동 설계에 기반한 본 연구의 통합 프레임워크는 범용적이고 강인한 영상 검색 기능 향상을 위한 실질적 진전 경로를 제공한다.

3. TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning

Alphaxiv

Introduction

• Goal: 본 논문은 에이전트형 이미지 기반 사고 능력을 평가하기 위한 포괄적 벤치마크인 TIR-Bench를 제안하는 데 목적이 있다.
• Motivation: 기존 시각적 추론 벤치마크들이 기본적인 시각 탐색 기능에만 주로 초점을 맞추어 도구 활용을 포함한 복잡하고 동적인 이미지 추론 능력을 충분히 평가하지 못하는 한계가 존재한다.
• Contribution: 13개의 다양한 도구 기반 이미지 처리 및 조작 과제를 포함하는 TIR-Bench를 설계·구현하고, 이를 통해 22개의 다중모달 대규모 언어 모델을 평가하여 도구 활용형 이미지 사고 능력의 중요성을 입증하였다.

Method

TIR-Bench는 수학 문제, 퍼즐, 저조도 이미지 개선, 회전 이미지 인식 등 다양한 시각적 조작 및 추론 과제를 포함하여 모델의 다단계 도구 활용 능력을 평가한다. 모든 과제는 객관적이고 재현 가능한 답변을 제공하도록 설계되었으며, 인터넷 및 공개 데이터셋에서 수집 또는 합성된 총 1215개 예제를 활용한다. 평가에는 오픈소스, 독점 모델, 도구 사용 가능 모델을 포함한 세 그룹의 최신 MLLM들이 포함되었다.

Results

TIR-Bench 평가 결과, 코드 인터프리터 기반 도구 사용 모델인 o3-TU가 46%로 최고 성능을 기록한 반면, 전통적인 비에이전트 모델들은 무작위 추측 수준의 낮은 성능에 머무르는 등 도구 활용 능력이 성능에 결정적 영향을 미쳤다.

Limitations

일부 복잡한 과제, 예를 들어 객체 분할을 요구하는 물체 비율 추론 문제 등에서는 도구 호출 능력의 제약으로 인해 최고 모델조차도 성능이 저하되는 한계가 있었다.

Conclusion

TIR-Bench는 이미지 도구 활용을 통한 다중 단계 시각 추론 능력을 종합적으로 평가할 수 있는 새롭고 도전적인 벤치마크로서, 향후 에이전트형 다중모달 모델 개발 및 평가에 주요한 기준이 될 것이다.

4. Trove: A Flexible Toolkit for Dense Retrieval

Alphaxiv

Introduction

• 본 논문은 Trove라는 유연하고 사용이 편리한 밀집 검색용 도구 키트를 제안한다.
• 기존 검색 도구 키트들이 데이터 관리 및 분산 평가에서 비효율적이고 커스터마이징이 제한적이라는 문제점에서 출발하였다.
• Trove는 메모리 효율적인 데이터 관리, 자유로운 모델 커스터마이징, 멀티노드 평가 지원을 통해 검색 연구 실험의 생산성을 크게 향상시킨다.

Method

Trove는 쿼리와 말뭉치, 평가 데이터(qrels)를 효율적으로 메모리 매핑하여 필요한 시점에만 데이터를 불러오는 on-the-fly 데이터 처리를 지원한다.
모델 구성은 인코더, 검색기, 손실 함수 모듈로 분리하여 심층 커스터마이징과 자유로운 교체가 가능하며, Hugging Face 변환기 생태계와 완전 호환된다.
멀티노드 및 멀티GPU 환경에서 코드 변경 없이 분산 추론과 hard negative 마이닝을 수행할 수 있도록 통합 인터페이스를 제공한다.

Results

Trove는 MS MARCO 데이터셋의 학습 데이터 준비 시 메모리 사용을 기존 방법 대비 약 2.6배 절감했으며, 멀티노드 환경에서 추론 속도가 노드 수에 비례해 선형적으로 감소함을 보였다.

Limitations

Trove는 연구자 중심의 자유로운 커스터마이징에 초점을 맞추어 산업계 표준 도구보다 일부 내장 기능이 부족할 수 있다.

Conclusion

Trove는 검색 연구에서 반복적이고 복잡한 엔지니어링 작업을 획기적으로 줄이고 사용자 맞춤형 실험을 신속하게 수행할 수 있는 강력한 오픈소스 도구임을 입증하였다.