1. Semantics Lead the Way: Harmonizing Semantic and Texture Modeling with Asynchronous Latent Diffusion

Alphaxiv

Introduction

• Goal: 본 논문은 의미 정보가 텍스처 생성에 선도적인 역할을 하도록 비동기 잠재 확산 모델을 제안하는 것을 목표로 한다.
• Motivation: 기존 잠재 확산 모델들은 의미와 텍스처 정보를 동시 복원함으로써 의미적 구조가 텍스처 생성에 충분히 활용되지 못하는 문제점이 있었다.
• Contribution: 본 연구는 의미 잠재 공간과 텍스처 잠재 공간을 결합하고 의미 정보를 먼저 복원하여 텍스처 생성을 안내하는 비동기 확산 메커니즘을 제안하였다.

Method

본 모델은 사전 학습된 시각 인코더의 의미 특징을 압축하는 별도의 의미 VAE와 텍스처 VAE를 통해 복합 잠재 공간을 구성한다. 의미 및 텍스처 잠재를 서로 다른 노이즈 스케줄로 비동기적으로 디노이징하며, 세 단계(의미 초기화, 의미-텍스처 비동기 동시 생성, 텍스처 완성)로 동작한다. 이러한 과정은 의미가 텍스처 생성에 선행하여 구조적 가이드를 제공하도록 설계되었다.

Results

ImageNet 256×256 클래스 조건 생성에서 SFD는 기존 DiT 대비 최대 100배 빠른 학습 수렴 속도와 FID 1.04의 최첨단 성능을 달성하였다.

Limitations

교사강요 문제와 완전 순차 생성의 부적합성을 피하기 위해 적절한 시간 간격을 조정해야 하며, 과도한 시간 차이는 성능 저하를 초래한다.

Conclusion

본 연구는 의미와 텍스처 잠재의 비동기 디노이징을 통해 생성 품질과 학습 효율성을 동시에 향상시키는 새로운 잠재 확산 패러다임으로서 SFD를 제안하고, 해당 접근법이 확산 모델 연구의 유망한 방향임을 입증하였다.

2. UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers

Alphaxiv

Introduction

• Goal: 본 연구는 이미지 디퓨전 트랜스포머에서 훈련 해상도를 넘어선 초고해상도 이미지 생성을 가능하게 하는 해상도 외삽 문제를 해결하는 것이다.
• Motivation: 기존 이미지 디퓨전 트랜스포머는 훈련 해상도를 초과하는 해상도에서 콘텐츠 반복과 화질 저하 문제를 겪고 있어 실용적 초고해상도 합성에 한계가 있었다.
• Contribution: 본 논문은 위치 임베딩의 주파수 분석을 기반으로 콘텐츠 반복을 해결하는 재귀적 우세 주파수 보정과, 디퓨전 과정에서 주의 집중 희석을 완화하는 엔트로피 기반 적응형 주의 집중 방식을 제안한다.

Method

주요 방법론은 위치 임베딩의 주된 주파수를 재귀적으로 조정하여 훈련 해상도에 맞춘 단일 주기로 제한하며, 이를 통해 반복 현상을 억제한다. 또한 주의 집중 분포의 엔트로피 값을 측정해 각 주의 패턴별로 집중도를 다르게 조절하는 적응형 집중 전략을 도입하여 세부 묘사 손실을 방지한다. 이와 더불어 대용량 고해상도 이미지 처리에 적합한 트리톤 기반 블록 처리 소프트맥스 커널을 구현하여 메모리 문제를 해결하였다.

Results

제안한 UltraImage는 Qwen-Image와 Flux 모델을 대상으로 한 세 가지 해상도 외삽 시나리오 모두에서 FID, KID, CLIP 점수 지표에서 기존 기법을 앞서며 1328p 훈련 해상도에서 최대 6K×6K 이미지 생성을 성공적으로 구현하였다.

Limitations

정보 부족.

Conclusion

UltraImage는 위치 임베딩의 주파수 기반 반복 제거와 엔트로피 기반 주의 집중 강화로 초고해상도 이미지 생성에서 일관된 구조적 완전성과 세밀한 화질을 동시에 달성하는 새로운 해상도 외삽 프레임워크이다.

3. Splannequin: Freezing Monocular Mannequin-Challenge Footage with Dual-Detection Splatting

Alphaxiv

Introduction

• Goal: 본 논문은 단안 카메라 영상에서 마네킹 챌린지(Mannequin Challenge) 영상의 미세한 움직임을 제거하여 고품질의 정지 시간(freeze-time) 비디오를 합성하는 방법을 제안한다.
• Motivation: 기존 동적 신(scene) 재구성 기법은 움직임 보존에 집중하여 마네킹 챌린지 영상 특유의 정지 장면 재현에 적합하지 않고, 단안 및 희소한 시간적 감시에 따른 고스트 현상과 흐림 현상 같은 인공물이 발생한다.
• Contribution: 저자들은 이중 검출 기반 정규화 기법 Splannequin을 개발하여 가우시안 원시 요소들을 숨김(hidden) 및 결함(defective) 상태로 분류하고, 각각 과거와 미래 관측 상태에 시간적으로 고정(anchoring)함으로써 정지 시간 렌더링의 시각 품질과 일관성을 크게 향상시켰다.

Method

Splannequin은 동적 가우시안 스플래팅(dynamic Gaussian splatting)의 시간 축 좌표를 고정하여 정적인 장면을 생성하되, 단안 영상의 가우시안 원소 감시에 공백이 발생하는 숨김과 결함 상태를 이중 검출한다. 각 상태별로 과거(숨김) 또는 미래(결함)의 잘 관측된 상태에 대해 거리 기반 가중치를 통해 시간적 정합성을 유지하는 정규화 손실을 적용한다. 이 방법은 기존 동적 가우시안 네트워크에 건축적 변경 없이 단순 손실 항 추가만으로 통합 가능하며 추론 부담을 증가시키지 않는다.

Results

제안 기법은 10종의 실제 단안 마네킹 챌린지 비디오 벤치마크에서 기존 최첨단 방법 대비 시각적 품질 평가 지표인 CQA, COVER 및 다수 비참조 영상 품질 지표에서 최대 339.85%까지 유의미한 향상을 보였으며, 사용자 선호도 조사에서도 96%의 압도적 선호를 얻었다.

Limitations

본 방법은 거의 정적인 장면을 가정하므로 급격한 비탄성 변화나 빠른 움직임, 조명 변화가 심한 상황에서는 효과가 떨어지고 인공물이 발생할 수 있다.

Conclusion

Splannequin은 단안 마네킹 챌린지 영상에서 시간적 관측 불충분 문제를 효과적으로 해결하여 사용자 지정 시점의 고해상도 정지 시간 영상을 실시간에 가까운 속도로 생성할 수 있도록 하여, 소비자용 비디오 접근성을 높였다.

4. Generative Neural Video Compression via Video Diffusion Prior

Alphaxiv

Introduction

• 본 논문은 초저비트레이트 영상 압축 환경에서 시공간적 일관성과 고주파 질감을 복원하는 영상 생성 신경압축 프레임워크 GNVC-VD를 제안한다.
• 기존 이미지 기반 생성 사전 모델은 프레임 단위 처리로 인해 시간적 일관성이 부족해 잔상 플리커링 현상이 심화되는 문제를 내포한다.
• GNVC-VD는 비디오 확산 변환기(VideoDiT)를 활용하여 시퀀스 수준에서 잠재 표현 압축과 생성적 정제를 통합하는 최초의 영상 생성 신경압축 방식을 제시한다.

Method

GNVC-VD는 3D 원인 인코더를 통해 시공간 잠재 표현을 추출하고, 컨텍스트 기반 변환 코딩 모듈로 압축하여 잠재 공간 내 시간적 상관관계를 활용한다.
디퓨전 변환기 기반 흐름 매칭 잠재 정제 모듈은 압축된 잠재에 노이즈를 주입한 후 시퀀스 단위로 반복적인 디노이징을 수행하여 생성 prior를 압축왜곡에 적응시킨다.
두 단계의 학습 전략(잠재 수준 정렬 및 화소 수준 미세 조정)을 통해 압축된 잠재와 확산 prior 간의 도메인 간극을 효과적으로 완화한다.

Results

다양한 벤치마크(HEVC-B, UVG, MCL-JCV)에서 LPIPS 및 DISTS 지표 기준 초저비트레이트(<0.03 bpp) 환경에서 기존 전통 코덱 및 학습 기반, 이미지기반 생성 코덱 대비 월등한 지각 품질과 시간적 일관성을 달성하였다.

Limitations

본 연구는 변환 코딩 모듈의 효율성 개선과 디퓨전 기반 정제 과정의 연산 효율화가 필요한 한계를 지닌다.

Conclusion

GNVC-VD는 영상 고유 확산 prior를 통합한 시퀀스 단위 생성 정제를 통해 초저비트레이트 비디오 압축에서 지각 품질과 시간적 일관성을 동시에 향상시킨 혁신적 신경압축 프레임워크임을 입증하였다.

5. FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring

Alphaxiv

Introduction

• 본 연구의 목표는 동적으로 변화하는 노출 조건 하에서 모션을 고려한 실제 영상의 영상 초해상도 및 디블러링을 공동으로 수행하는 FMA-Net++ 프레임워크를 제안하는 것이다.
• 기존 연구들은 자동 노출이나 저조도 촬영 시 발생하는 모션과 노출의 복잡한 결합 효과를 제대로 모델링하지 못하는 한계가 있었다.
• 이에 본 논문은 프레임별 노출 정보를 명시적으로 활용하는 노출 시간 인지 변조(ETM) 계층과 장거리 시퀀스 모델링이 가능한 계층적 정제 및 양방향 전파(HRBP) 블록 구조를 도입하였다.

Method

FMA-Net++는 노출과 모션에 의한 변화를 반영하는 spatio-temporal 특성의 열화 커널을 추정하는 열화 학습 네트워크(NetD)와 이를 기반으로 고해상도 영상을 복원하는 복원 네트워크(NetR)로 구성된다.
HRBP 블록을 통해 시퀀스 수준에서 병렬적으로 장거리 시간 정보를 효과적으로 포착하며, ETM 계층이 프레임별 노출 정보를 특징에 주입하여 동적 노출 변화를 반영한다.
또한, 노출 지능형 플로우-가이드 동적 필터링(FGDF) 모듈을 통해 물리적으로 근거 있는 모션 및 노출 결합 열화 커널을 추정하여 복원 정확성과 효율성을 향상시킨다.

Results

제안하는 FMA-Net++는 REDS-ME 및 REDS-RE 벤치마크, GoPro 데이터셋에서 최첨단 성능을 달성하였으며, 기존 방법 대비 복원 품질과 추론 속도 모두에서 우수한 결과를 보이고 동적 노출 변화에 강인한 일반화 성능을 나타냈다.

Limitations

정보 부족.

Conclusion

본 연구는 노출과 모션 효과를 공동으로 모델링하는 시퀀스 수준 병렬 구조와 노출 인지 변조 기법을 통해 동적 노출 조건에서 실세계 영상의 고품질 영상복원을 효과적으로 수행하는 새로운 VSRDB 접근법을 제시하였다.

6. Deep Forcing: Training-Free Long Video Generation with Deep Sink and Participative Compression

Alphaxiv

Introduction

• Goal: 본 논문은 추가적인 훈련 없이도 장시간의 고품질 영상 생성을 가능하게 하는 훈련 없는 자기회귀 영상 생성 기법인 Deep Forcing을 제안하는 데 목적이 있다.
• Motivation: 기존 자기회귀 영상 생성 방법은 시간적 반복과 드리프트, 운동 저하 문제로 긴 시간 영상 생성 시 품질 저하가 심각하였다.
• Contribution: 본 연구는 자기회귀 영상 확산모델의 고유한 attention sink 현상을 활용하고, Deep Sink 및 Participative Compression 기법을 도입하여 긴 영상 생성에서의 오류 누적을 효과적으로 완화하는 훈련 없는 방법을 제안하였다.

Method

Deep Forcing는 슬라이딩 윈도우의 절반을 고정된 Deep Sink 토큰으로 유지하며 위치 임베딩을 동적으로 조정해 전역 문맥의 안정성을 확보한다. 또한, Participative Compression을 통해 최근 프레임의 주의(attention)를 기반으로 중요도가 높은 KV 캐시 토큰만 선택하여 불필요한 역사적 정보는 제거함으로써 오류 누적을 최소화한다. 이 두 구성 요소는 사전 훈련된 Self Forcing 기반에서 추가적인 미세 조정 없이도 작동한다.

Results

Deep Forcing는 VBench-Long 벤치마크에서 기존 훈련 기반 방법들보다 전반적인 일관성, 심미성, 동적 표현력에서 우수한 성능을 보이며 사용자 평가 및 시각-언어 모델 평가에서도 뛰어난 시각적 안정성을 입증하였다.

Limitations

본 방법은 사전 학습된 모델 구조와 용량에 의존하며, 명시적인 장기 기억 모듈이 없어 매우 긴 시퀀스에서는 점진적 드리프트 현상이 발생할 수 있다.

Conclusion

Deep Forcing은 추가 학습 없이도 자기회귀 영상 확산모델의 내부 구조적 특성을 효과적으로 활용해 장시간 고품질 영상 생성을 달성하는 효율적이고 실용적인 방법임을 보였다.

7. Reflection Removal through Efficient Adaptation of Diffusion Transformers

Alphaxiv

Introduction

• Goal: 본 연구는 단일 이미지 반사 제거를 위한 효율적인 확산 트랜스포머 기반 모델과 물리 기반 렌더링 데이터 생성 파이프라인을 제안하는 데 있다.
• Motivation: 반사는 사진 촬영에서 흔히 발생하는 방해 요소이며, 효과적인 반사 제거는 모바일 장치의 컴퓨테이셔널 포토그래피 품질 향상에 필수적이다.
• Contribution: 본 논문은 프리트레인된 확산 트랜스포머를 활용하는 WindowSeat 모델과 Blender 기반의 고품질, 확장 가능한 물리 기반 렌더링(PBR) 데이터 합성 파이프라인, 그리고 LoRA 기반의 효율적 적응 프로토콜을 제안하였다.

Method

WindowSeat는 Blender의 Principled BSDF 셰이더를 이용한 PBR 파이프라인으로 반사 광학 효과를 사실적으로 시뮬레이션하여 대규모 훈련 데이터를 합성하였다. 전이학습된 DiT 기반 확산 트랜스포머를 활용하고, latent 공간에서 flow matching 방식으로 반사 제거를 수행하며, LoRA를 통해 적은 자원으로 빠른 미세조정을 지원한다. 이와 함께 PSNR 및 SSIM 손실 함수를 사용하여 픽셀 단위 및 구조적 품질을 보존하도록 학습하였다.

Results

제안된 WindowSeat는 Nature, Real 데이터셋의 인 도메인 및 SIR2의 제로 샷 벤치마크에서 기존 최첨단 방법들 대비 PSNR, SSIM, MS-SSIM, LPIPS 지표 모두에서 우수한 성능을 달성하였다.

Limitations

WindowSeat는 2차 및 고차 반사층을 제거하는 과정에서 실제와 다른 결과를 낼 수 있어 사용자가 반사 제거 범위를 세밀하게 제어하는 기능이 필요하다.

Conclusion

확산 트랜스포머 기반의 WindowSeat와 물리 기반 합성 데이터, 효율적 적응 프로토콜의 결합은 단일 이미지 반사 제거 문제에 대해 확장 가능하고 고품질의 해결책을 제공하며 향후 다양한 컴퓨테이셔널 포토그래피 과제에 적용 가능하다.

8. Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

Alphaxiv

Introduction

• Goal: 본 연구는 라벨이 없는 대상 언어 데이터를 활용하여 대형 언어 모델(LLM)의 목표 언어 적응 시 발생하는 치명적 망각 문제를 저감하는 방법을 제안하는 데 목적이 있다.
• Motivation: 기존 방법은 고비용의 대상 언어 라벨 데이터에 의존하거나 적응 후 처리 방식으로 망각 문제를 완화하였으나, 이는 핵심 기능 손실과 비용 문제를 야기하였다.
• Contribution: 본 연구는 소스 언어 지식을 사전에 보호하는 선별적 파라미터 고정 전략인 Source-Shielded Updates(SSU)를 도입하여, 아키텍처 변경 없이도 망각을 효과적으로 완화하고 대상 언어 성능을 크게 향상시켰다.

Method

SSU는 소스 데이터 일부를 사용하여 파라미터 중요도를 평가한 후, 중요도가 높은 파라미터의 열(column) 단위로 고정하는 칼럼 단위 마스킹을 적용한다. 이후 이 마스크를 이용해 대상 언어 비지도 학습 중 고정된 부분의 파라미터 업데이트를 차단함으로써 선정된 소스 지식을 보호한다. 이 구조적 접근법은 기존의 임의 혹은 대상 데이터 기반 업데이트보다 소스 언어 핵심 능력 손실을 방지하며, 모델의 일반적 기능을 유지한다.

Results

5개 언어와 두 모델 규모(7B, 13B)에 대한 실험에서, SSU는 전체 미세조정 대비 소스 언어 작업에서 평균 3.4%(7B) 및 2.8%(13B)만 성능 저하를 일으키고, 모든 주요 벤치마크에서 대상 언어 성능이 동등하거나 뛰어남을 입증하였다.

Limitations

SSU는 파라미터 중요도 산출을 위한 소스 언어 보정 데이터가 필요하며, 이 데이터 확보에 한계가 있을 수 있다.

Conclusion

SSU는 라벨 없는 대상 언어 데이터를 활용해 대형 언어 모델 적응 시 소스 능력 손실을 최소화하면서 대상 언어 성능을 효과적으로 향상시키는 선별적 파라미터 고정 기법으로 자리매김하였다.

9. QKAN-LSTM: Quantum-inspired Kolmogorov-Arnold Long Short-term Memory

Alphaxiv

Introduction

• Goal: 본 연구는 양자 영감을 받은 Kolmogorov-Arnold 네트워크(QKAN)를 장단기 기억(Long Short-term Memory, LSTM) 아키텍처에 통합한 QKAN-LSTM 모델을 제안하는 것이다.
• Motivation: 기존 LSTM은 높은 파라미터 중복과 제한된 비선형 표현력으로 인해 고주파, 고차원 시계열 데이터 모델링에서 성능과 효율성에 한계가 존재한다.
• Contribution: 본 연구는 QKAN-LSTM과 그 확장된 하이브리드 HQKAN-LSTM을 통해 파라미터를 최대 99.5% 줄이면서도 예측 정확도 및 일반화 성능을 향상시킨 새로운 양자 영감 기반 순차 모델을 제안하였다.

Method

QKAN-LSTM은 LSTM 게이트의 고전적 아핀 변환을 데이터 리업로딩 활성화(DARUAN) 모듈이 포함된 양자 변이 활성화 함수(QVAF)로 대체하여 비선형성과 주파수 적응성을 향상시켰다. 각 게이트는 Kolmogorov-Arnold 원리를 바탕으로 1차원 양자 변환의 합성으로 구성되어 고차원 비선형 함수를 근사한다. HQKAN은 JHCG 네트워크의 엔코더-디코더 구조에 QKAN을 잠재 공간 가공기로 도입하여 계층적 표현 학습을 구현하였다.

Results

Damped Harmonic Motion, Bessel Function, 도시 통신 데이터셋에서 QKAN-LSTM과 HQKAN-LSTM은 기존 LSTM 및 QLSTM 대비 최대 79% 파라미터 감소와 함께 예측 정확도 및 일반화 능력에서 우수한 성능을 보였다.

Limitations

상대적으로 단순한 시퀀스 패턴에서는 QKAN-LSTM의 초기 학습 수렴 속도가 느릴 수 있으며, 이에 대비해 은닉 유닛 수 조정이 요구된다.

Conclusion

제안된 QKAN 기반 LSTM 모델은 양자 영감 표현력과 고전적 시계열 모델링의 강점을 결합하여 효율적이고 확장 가능한 비선형 순차 학습을 가능하게 하였다.

10. GaussianBlender: Instant Stylization of 3D Gaussians with Disentangled Latent Spaces

Alphaxiv

Introduction

• Goal: 본 논문은 텍스트 기반 3D Gaussian splat 스타일 편집을 즉시 수행할 수 있는 GaussianBlender 프레임워크를 제안하였다.
• Motivation: 기존 3D 스타일 편집 방법은 자산별 최적화와 다중 시점 불일치 문제로 대규모 및 인터랙티브 적용에 한계가 있었다.
• Contribution: GaussianBlender는 해상도 높은 3D 일관성 유지와 기하학적 보존을 가능케 하는 분리된 잠재 공간 학습과 피드포워드 방식의 확산 모델을 결합한 새로운 3D 스타일 편집 방법을 제안하였다.

Method

GaussianBlender는 3D Gaussian splat을 공간적으로 그룹화하여 분리된 기하학 및 외관 잠재 공간으로 인코딩하는 3D Gaussian VAE를 사용한다. 이후, 텍스트 조건부 잠재 확산 모델을 통해 기하학 보존 하에 외관 잠재 공간에서 즉시 스타일 편집을 수행한다. 이 과정에서 기하학과 외관 정보를 교차-브랜치 특성 공유 모듈로 제어하며 정보 교환을 최적화한다.

Results

실험 결과 GaussianBlender는 기존 최적화 기반 방법들과 비교하여 텍스트 정렬 정확도, 구조 보존 및 다중 시점 일관성에서 우수한 성능을 보이며, 약 0.26초라는 실시간 편집 속도를 달성하였다.

Limitations

본 방법은 2D 사전학습 편집기에서 파생된 한정된 편집 프롬프트만을 지원하며, 보다 광범위한 프롬프트 적용을 위한 학습에는 큰 계산 자원이 필요하다.

Conclusion

GaussianBlender는 분리된 잠재 공간 내에서 확산 기반 즉시 편집을 제공함으로써, 3D Gaussian splat 자산의 고품질, 텍스트 기반 스타일 편집을 효과적으로 실현하였다.

11. Mitigating Intra- and Inter-modal Forgetting in Continual Learning of Unified Multimodal Models

Alphaxiv

Introduction

• 본 연구의 목표는 통합된 다중모달 생성 모델(Unified Multimodal Generative Models, UMGMs)의 지속 학습에서 발생하는 모달 내 및 모달 간 치명적 망각 문제를 완화하는 것이다.
• 기존의 연구들이 모달 내 망각에 집중한 반면, 모달 간 망각 현상은 거의 탐구되지 않아 이를 이론적 및 실험적으로 규명하고 해결할 필요가 있었다.
• 이에 본 논문은 모달 특화 업데이트를 분리하여 기울기 충돌을 완화하고 지식 증류를 활용하여 치명적 망각을 방지하는 경량화된 모달리티 분리 전문가(Modality-Decoupled Experts, MoDE)를 제안하였다.

Method

• MoDE는 텍스트 모달리티를 위한 희소 전문가 혼합(Mixture-of-Experts) LoRA 어댑터(T-MoE)와 이미지 모달리티를 위한 단일 LoRA 어댑터(V-Adapter)를 결합하여 모달 별 업데이트 분리를 통해 상호 기울기 간섭을 최소화한다.
• 사전 학습된 모델 파라미터는 고정하고 MoDE 구성 요소만 학습하며, 이미지 생성 성능 유지를 위해 V-Adapter에 대한 교사-학생 지식 증류를 수행한다.
• 이 방법은 모달 간 기울기 충돌의 이론적 원인을 규명하고 이를 완화하는 모델 구조 및 학습 전략으로서 제안되었다.

Results

• 다양한 벤치마크에서 MoDE는 기존의 지속 학습 기법 대비 모달 내외 치명적 망각을 모두 성공적으로 완화하며 이미지 생성 품질과 다중모달 이해 성능에서 최고 우수한 결과를 나타냈다.

Limitations

• 본 연구에서는 특정 UMGMs 및 데이터셋에 집중하였으며, 다른 아키텍처나 더욱 다양한 멀티모달 태스크에서의 일반화성과 확장성은 추가 검증이 필요하다.

Conclusion

• MoDE는 지속 학습 환경에서 통합 다중모달 생성 모델이 모달 내외 치명적 망각 없이 새로운 능력을 효율적으로 습득할 수 있도록 하는 효과적인 해결책임이 입증되었다.

12. A Theoretical Framework for Auxiliary-Loss-Free Load Balancing of Sparse Mixture-of-Experts in Large-Scale AI Models

Alphaxiv

Introduction

• Goal: 본 논문은 대규모 AI 모델에서 Sparse Mixture-of-Experts(s-MoE)의 보조 손실 없이 부하 균형을 맞추는 Auxiliary-Loss-Free Load Balancing(ALF-LB) 절차를 이론적으로 분석하는 프레임워크를 제시하는 데 목적이 있다.
• Motivation: s-MoE 구조는 각 토큰에 대해 소수의 전문가만 활성화하여 효율성을 높이나, 전문가별 입력 토큰 수 편차로 인한 GPU 자원 활용 비효율 문제가 존재한다.
• Contribution: ALF-LB 절차를 할당 문제에 대한 1단계 primal-dual 방식으로 수학적으로 해석하고, 결정론적 및 확률론적 상황에서 수렴성과 성능을 보장하는 이론적 결과를 증명하였다.

Method

ALF-LB는 각 전문가별 편향 파라미터를 미니배치마다 단일 업데이트하여 부하 불균형을 완화하는데, 이는 Lagrangian 목적함수의 점진적 개선과 토큰의 과부하 전문가에서 저부하 전문가로 이동하는 선호 규칙을 따른다.
이 방식은 정수할당 문제의 선형 완화 및 듀얼 문제로부터 유도되었으며, 경사 하강 기반의 단일샷 업데이트로 구현된다.
또한, 실제 AI 훈련의 확률적 특성을 반영하는 온라인 최적화 모델로 확장하여, 기대 후회(regret)의 로그 스케일 상한을 도출하였다.

Results

1B 매개변수 DeepSeekMoE 모델 학습 실험에서 ALF-LB는 기존 보조 손실 방식 대비 부하 불균형을 효과적으로 개선하면서도 검증 손실 저하를 유지하는 성능을 보였다.

Limitations

본 연구의 확률 모델은 독립적이고 동일 분포인 affinity 점수 가정 등 일부 이상화된 가정을 기반으로 하여 실제 복잡한 의존성은 완전히 반영하지 못한다.

Conclusion

본 논문은 s-MoE 부하 균형 문제에 대해 실용적인 ALF-LB 절차를 수학적으로 정당화할 뿐만 아니라, 대규모 AI 모델 훈련의 부하 분배 효율성을 향상시키는 견고한 이론적 및 실험적 근거를 제공하였다.

13. REFLEX: Self-Refining Explainable Fact-Checking via Disentangling Truth into Style and Substance

Alphaxiv

Introduction

• Goal: 본 연구의 목표는 대형 언어 모델(LLM)의 내부 지식을 활용하여 팩트체킹의 판정 정확도와 설명 품질을 동시에 향상시키는 자기 정제(Self-Refining) 설명 가능 팩트체킹 패러다임인 REFLEX를 제안하는 것이다.
• Motivation: 기존 LLM 기반 팩트체킹 방법들은 외부 지식에 과도하게 의존하여 지연시간 증가와 환각 문제로 신뢰성 및 해석가능성 저하를 초래한다는 한계가 존재한다.
• Contribution: REFLEX는 내부 활성화 신호를 추출해 진실을 스타일과 본질로 분리하고, 이를 통해 판정과 설명을 공동 학습하며, 소수의 자기 정제 샘플만으로도 최첨단 성능을 달성하는 방안을 제시하였다.

Method

REFLEX는 1) 팩트체킹을 역할극 대화 형태로 재구성하여 판정과 설명을 동시에 생성하고, 2) 백본 모델과 미세 조정 모델 간 대비되는 활성화 쌍을 추출해 진실과 스타일을 구분하는 조향 벡터를 학습하며, 3) 추론 시 이 벡터들을 활용해 활성화를 제어하고 잡음을 억제해 모델의 설명력과 사실성을 높인다.

Results

RAW-FC와 LIAR-RAW 등 실제 데이터셋에서 REFLEX는 외부 API 비의존 상태로 기존 최첨단 기법 대비 최대 7.57% 판정 성능 향상과 14% 이상의 설명 가독성 향상을 이루었다.

Limitations

본 연구는 인간이 명확히 인지하지 못하는 미묘하고 정교한 진실에 한정된 중간층 활성화 조작에 주로 의존하므로, 보다 광범위한 도메인에서는 추가 검증이 필요하다.

Conclusion

REFLEX는 팩트체킹에서 진실을 스타일과 본질로 분리해 내부 활성화를 효과적으로 활용함으로써 판정 정확도와 설명 품질 모두를 동시에 개선하는 혁신적 자기 정제 패러다임임이 입증되었다.