1. Latent Diffusion Model without Variational Autoencoder

Alphaxiv

Introduction

• Goal: 본 논문은 변분 오토인코더(VAE) 없이 잠재 확산모델을 구현하여 시각 생성 및 시각 인지 작업을 위한 통합 표현 공간을 제안하는 데 목적이 있다.
• Motivation: VAE 기반 잠재 확산모델은 높은 화질 합성에 효과적이나, 훈련 효율성 저하, 느린 추론 속도, 그리고 시맨틱 분리 및 판별 구조가 약한 잠재 공간의 한계로 인해 광범위한 시각 과제에 불리하다는 문제점이 존재한다.
• Contribution: 본 연구에서는 강력한 자기지도 학습 기반 DINO 피처를 활용한 의미 구분이 명확한 잠재 공간과 잔차 인코더를 결합한 SVG를 제안하여, VAE 없이도 효율적이며 고품질의 확산 학습과 빠른 추론이 가능함을 보였다.

Method

SVG는 고정된 DINOv3 인코더에서 추출한 시맨틱 특성과 잔차 인코더에서 얻은 미세한 인지적 세부 정보를 채널 단위로 결합하여 의미론적 분리가 뛰어난 잠재 특징 공간을 구축한다. 이 잠재 공간에서 직접 확산 모델을 훈련하여 학습의 안정성과 효율성을 향상시켰다. 훈련은 잔차 인코더와 SVG 디코더의 재구성 손실 최적화 및 출력 분포 정렬을 포함하는 2단계로 진행된다.

Results

SVG-XL 모델은 ImageNet 256×256 데이터셋에서 25단계의 적은 샘플링 스텝으로도 기존 VAE 기반 최첨단 모델들을 능가하는 생성 품질(FID 3.54)을 달성하며, 빠른 훈련과 높은 추론 효율성을 동시에 나타냈다.

Limitations

SVG는 높은 차원의 피처 공간으로 인해 효율성 개선과 분류자 없는 가이드(classifier-free guidance) 최적화가 필요하며, 더 큰 데이터셋과 고해상도 작업에 대한 적용은 추후 연구가 요구된다.

Conclusion

본 연구는 VAE를 사용하지 않고 자기지도 기반 시맨틱 구조를 가진 통합 잠재 공간에서 확산 모델을 효율적으로 훈련함으로써, 시각 생성과 다양한 인지 작업을 동시에 지원하는 고품질 잠재 확산 모델의 가능성을 제시하였다.

2. Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

Alphaxiv

Introduction

• Goal: 본 논문은 AdamW 옵티마이저 하에서 모델 폭(width)에 따른 강건한 층별 스케일링 규칙을 제안하여, 하이퍼파라미터를 폭 간에 일관되게 전이하는 방법을 연구하는 것이다.
• Motivation: 기존의 최대업데이트 파라미터화(µP)는 초기 학습 단계에서 폭 무관한 학습률 전이를 가능하게 하나, 현대의 정규화 계층과 옵티마이저 주도 학습 동역학에 의해 폭 의존적 효과적 학습률 문제가 발생해 µP 전이가 저하되는 한계를 가진다.
• Contribution: 본 연구는 AdamW에서 가중치 감쇠(weight decay)를 폭 함수로 적절히 조정하는 새로운 스케일링 규칙 λ ∝ √d를 도입하여 서브레이어의 게인이 폭에 대해 불변하도록 보장하며, 이를 통해 µP 기반 학습률과 가중치 감쇠의 무조정(zero-shot) 전이를 가능하게 한다.

Method

AdamW의 정상 상태에서 각 가중치 행렬의 특이값 스펙트럼 크기가 √(η/λ) 비례함을 실험적으로 관찰하고, 모델 폭 d가 커질 때 최상위 특이값이 √(η/λ)·d^0.75로 스케일됨을 규명하였다.
이와 µP 학습률 스케일링 규칙 η ∝ d^−1을 결합해 가중치 감쇠를 λ ∝ √d로 설정하면 서브레이어 게인 불변이 달성된다는 경험적 규칙을 도출하였다.
벡터형 파라미터에는 λ=0, η=Θ(1)을 적용하고, 행렬형 파라미터에 대해 본 규칙을 적용해 폭별 하이퍼파라미터 튜닝 없이도 프록시 모델에서 타겟 모델로 학습률과 감쇠를 전이할 수 있게 하였다.

Results

LLaMA 변형 트랜스포머 및 합성 실험 설정에서 제안한 가중치 감쇠 스케일링 규칙 λ ∝ √d가 특이값 스펙트럼 정렬 및 서브레이어 게인 불변을 효과적으로 보장하며, 다양한 폭에 대해 최적 학습률과 감쇠의 일관된 전이를 달성함을 검증하였다.

Limitations

본 연구 결과는 AdamW 옵티마이저와 특정 전형적 LLaMA 구조에 국한되며, 다른 아키텍처나 옵티마이저에 규칙이 보편적으로 적용되는지 여부는 추가 연구가 필요하다.

Conclusion

가중치 감쇠를 폭에 대해 λ ∝ √d로 스케일링하는 층별 규칙과 µP 학습률 스케일링을 조합하면 AdamW 훈련에서 폭에 강건한 하이퍼파라미터 전이가 가능하며, 이는 초기 근처 범위를 벗어난 정상 상태 트레이닝 동역학을 설명하는 실용적 지침을 제공한다.

3. ERGO: Entropy-guided Resetting for Generation Optimization in Multi-turn Language Models

Alphaxiv

Introduction

• Goal: 본 연구는 다중 회차 대화에서 발생하는 대형 언어 모델(LLM)의 성능 저하 문제를 엔트로피 기반 불확실성 신호를 활용하여 동적으로 대화 맥락을 재설정함으로써 해결하고자 한다.
• Motivation: 다중 회차 대화는 일상적인 LLM 상호작용의 특징이나, 점진적 정보 제공 시 모델이 혼란을 겪으며 정확도와 신뢰성이 크게 저하되어 실제 활용에 제약을 준다.
• Contribution: 본 논문은 샤논 엔트로피를 통한 다음 토큰 분포의 불확실성 변화를 실시간으로 모니터링하고 임계치를 초과하면 적응적으로 프롬프트를 재구성하는 ERGO(Entropy-guided Resetting for Generation Optimization) 기법을 제안하였다.

Method

ERGO는 각 대화 턴에서 토큰 수준의 평균 엔트로피 변화를 계산하여 급격한 불확실성 상승 시점을 감지한다. 해당 시점에는 이전 사용자 입력을 하나의 최적화된 단일 턴 프롬프트로 재작성하여 누적된 모호성을 해소한다. 그 후, 재작성된 프롬프트를 새 모델 인스턴스에 입력하여 대화의 일관성과 정확성을 복원하는 분기 대화 흐름을 생성한다.

Results

ERGO는 다섯 가지 생성 작업에서 기존 다중 회차 기본선 대비 평균 성능 56.6% 향상, 최고 수행 능력(aptitude) 24.7% 증대, 그리고 응답 변동성(불신뢰도)은 35.3% 감소시켜 신뢰성과 정확성을 모두 크게 개선하였다.

Limitations

ERGO는 현재 사용자 입력만을 통합하고 조정하여 보조자 응답을 포함하지 않으며, 고정된 엔트로피 임계치를 사용하여 일부 작업에서 민감도 조절 한계가 존재한다.

Conclusion

본 연구는 엔트로피 기반 불확실성 신호를 활용한 동적 컨텍스트 재설정이 다중 회차 대화에서 LLM의 성능 저하를 효과적으로 완화함을 실험적으로 입증하였으며, 향후 더욱 정교한 문맥 통합 기법 개발로 실용적 대화 AI 안정성이 향상될 것으로 기대된다.

4. Train a Unified Multimodal Data Quality Classifier with Synthetic Data

Alphaxiv

Introduction

• Goal: 본 연구의 목표는 고품질 이미지-텍스트 캡션 및 중첩(multimodal) 문서 데이터를 동시에 필터링할 수 있는 통합 멀티모달 데이터 품질 분류기 UniFilter를 개발하는 것이다.
• Motivation: 기존의 데이터 필터링 방법들, 특히 CLIPScore는 단일 이미지와 짧은 캡션 간의 유사도만을 평가할 수 있어 복잡한 중첩 문서 데이터의 품질 평가에는 한계가 있었다.
• Contribution: 본 연구는 대규모 합성 데이터를 활용한 반합성(semi-synthetic) 방식으로 다양한 품질 수준의 학습 데이터를 생성하고, 이를 기반으로 UniFilter를 학습하여 효율적이고 효과적인 멀티모달 데이터 품질 분류 모델을 제안하였다.

Method

원시 이미지들을 클러스터링하여 선택한 후, 다중 품질 수준을 반영한 텍스트 데이터를 대형언어모델(MLLM)을 통해 생성하는 반합성 데이터 생성 기법을 고안하였다. UniFilter는 시각 인코더, 시각-언어 프로젝터, 그리고 LLM을 결합한 멀티모달 아키텍처를 사용하여 이미지-텍스트 캡션과 중첩 문서 데이터 모두에 대해 품질 점수를 산출한다. 다양한 비전 인코더 및 프로젝터 구성을 평가한 결과, SigLIP-SO-400M 인코더와 Adaptive Average Pooling 프로젝터를 결합한 Qwen-2.5-0.5B LLM 백본이 성능과 효율성 균형에서 최적임을 확인하였다.

Results

UniFilter로 선별한 고품질 데이터로 사전학습된 MLLM은 기존 CLIP 기반 및 최신 MLLM 필터링 기법들보다 다섯 개 멀티모달 VQA 벤치마크에서 평균 1.1~2.6%p 우수한 제로샷 및 샷 학습 성능을 보였다.

Limitations

본 연구에서는 주로 4단계의 품질 수준으로 합성 데이터를 생성하였으나, 실제 데이터의 더 세밀하거나 다양한 품질 특성 반영에는 한계가 존재한다.

Conclusion

UniFilter는 이미지-텍스트 캡션 데이터와 중첩 문서 데이터를 아우르는 최초의 통합 멀티모달 데이터 품질 분류기로서, 이를 통한 고품질 데이터 선별이 MLLM의 사전학습 및 미세조정 성능 향상에 이바지함을 입증하였다.