1. DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

Alphaxiv

Introduction

• Goal: 본 연구는 웹소설 번역에서 대형 언어 모델(LLM)의 번역 품질을 서술적 및 문화적 충실도 관점에서 종합적으로 평가하는 DITING 평가 프레임워크를 제안하는 것이다.
• Motivation: 기존의 기계번역 평가 지표들은 웹소설 특유의 복잡한 언어적, 문화적 표현을 반영하지 못해 웹소설 번역 품질을 정확히 평가하기 어려웠다.
• Contribution: 웹소설 번역의 여섯 가지 핵심 차원별 1만 8천여 쌍의 전문가 주석 데이터셋 DITING-CORPUS를 구축하고, 전문가 논의를 모방하는 다중 에이전트 평가 시스템 AgentEval을 통해 기존 평가 지표들을 능가하는 평가 정확도를 달성하였다.

Method

DITING는 관용구 번역, 의미 중의성 해소, 용어 현지화, 시제 일관성, 제로 대명사 해소, 문화 안전성 등 여섯 가지 평가 차원을 정의하였다. 각 차원별 전문가 주석 데이터셋 구축과 더불어, 평가 과정을 논의와 합의로 모사하는 다중 에이전트 논쟁 구조 기반 평가 프레임워크 AgentEval을 설계하였다. 또한, 다양한 자동 평가 지표 성능 비교를 위한 메타평가 데이터셋 MetricAlign을 제작하였다.

Results

14개 번역 모델 평가에서 중국어에 특화된 LLM들이 더 큰 외국 모델보다 우수한 성능을 보였으며, DeepSeek-V3가 가장 충실하고 일관성 있는 번역 결과를 냈다.

Limitations

본 연구는 전문가 평가 자원의 한계로 문장 단위 평가에 집중하였고, 문서 단위 내러티브 일관성 평가는 아직 미흡하다.

Conclusion

DITING 프레임워크와 AgentEval 시스템은 웹소설 번역에서 LLM의 서술·문화적 충실도를 효과적으로 평가하는 새로운 패러다임을 제시하며, 공개된 데이터셋과 코드를 통해 후속 연구를 촉진한다.

2. Advancing End-to-End Pixel Space Generative Modeling via Self-supervised Pre-training

Alphaxiv

Introduction

• Goal: 본 논문은 셀프슈퍼바이즈드 사전학습을 활용하여 픽셀 공간에서 엔드투엔드 생성 모델의 성능과 효율성을 향상시키는 것을 목표로 한다.
• Motivation: 픽셀 공간 생성 모델은 잠재 공간 모델에 비해 학습이 어렵고 성능과 효율성 면에서 지속적인 격차가 존재한다.
• Contribution: 두 단계 학습 프레임워크를 제안하여 이미지의 의미론적 표현 학습과 디코더와의 엔드투엔드 미세조정을 통해 고해상도 이미지 생성에서 성능 및 효율성 격차를 해소하였다.

Method

셀프슈퍼바이즈드 학습에서 영감을 받아, 먼저 노이즈가 있는 이미지에서 의미 있는 시각적 표현을 학습하는 인코더를 사전 학습한다. 이후 초기화된 디코더와 결합하여 디퓨전 및 일관성 모델을 종단 간 미세조정한다. 이 과정에서, representation consistency loss와 contrastive loss를 결합하여 노이즈 수준에 따른 표현의 의미론적 일관성을 강화한다.

Results

ImageNet-256과 ImageNet-512 데이터셋에서 제안한 모델은 75번의 함수 평가만으로 픽셀 기반 기존 방법들을 크게 능가하는 FID 2.04 및 2.35를 달성하였고, 일관성 모델은 단일 샘플링 단계에서 FID 8.82를 기록하며 최초로 고해상도 이미지를 사전학습된 VAE나 디퓨전 모델 없이 직접 학습하는 데 성공하였다.

Limitations

복잡한 하이퍼파라미터 조정과 초기 훈련 단계에서 나타나는 불안정성 문제는 완전히 해결되지 않았다.

Conclusion

본 연구는 픽셀 공간에서의 생성 모델 학습 난제를 극복하는 실용적이고 이론적 기반이 견고한 두 단계 학습 방법을 제시하여, 기존 잠재 공간 모델과 견줄 만한 생성 품질과 효율성을 동시에 달성함으로써 해당 분야 발전에 기여하였다.

3. Scaling Language-Centric Omnimodal Representation Learning

Alphaxiv

Introduction

• 본 연구의 목표는 언어 중심의 옴니모달 표현 학습에서 멀티모달 대형 언어 모델(MLLM)의 내재된 교차 모달 정렬 특성과 이를 활용한 효율적 대비학습 기법을 탐구하는 데 있다.
• 기존 대비학습 기반 멀티모달 임베딩 방법들이 우수한 성능을 보이나, MLLM 접근법의 성능 우위 원인에 대한 체계적 이해가 부족하다는 점에서 동기가 부여되었다.
• 본 논문은 MLLM의 생성 사전학습에서 내재된 잠재적 교차모달 정렬 메커니즘을 입증하고, 이를 바탕으로 경량 대비학습을 활용하는 언어 중심 옴니모달 임베딩(LCO-EMB) 프레임워크와 생성-표현 스케일링 법칙(GRSL)을 제시하였다.

Method

• MLLM의 언어 디코더에 LoRA 기법을 적용해 텍스트 데이터만으로 경량 대비학습을 수행하여, 사전학습으로 형성된 잠재 교차모달 정렬 구조를 유지하면서 임베딩 공간을 정제하였다.
• 변화된 임베딩 공간의 등방성(anisotropy) 감소와 커널 수준의 유사도 분석을 통해 텍스트 대비학습이 비텍스트 모달리티 임베딩에도 일반화되는 현상을 발견하였다.
• 이와 함께 최소한의 합성 멀티모달 쌍 데이터를 추가하여 임베딩 공간을 downstream 과제에 맞게 세밀 조정하는 방식을 도입하였다.

Results

• 제안한 LCO-EMB는 텍스트 전용 대비학습만으로도 MIEB-Lite 벤치마크에서 기존의 대규모 멀티모달 대비학습 모델 대비 높은 성능을 보였으며, 멀티모달 데이터 추가 시 현재까지의 최고 성능을 달성하였다.

Limitations

• 본 연구는 생성 능력과 표현력 간 양의 상관성은 밝혔으나, 제한된 자원 환경에서의 효율적 생성 사전학습 방법에 대한 심층 탐구는 이루어지지 않았다.

Conclusion

• 본 연구는 생성 사전학습을 통한 내재된 잠재 교차모달 정렬이 MLLM 기반 표현 학습의 핵심이며, 이를 경량 대비학습으로 활성화하는 LCO-EMB가 우수한 멀티모달 임베딩 성능을 제공함을 실험 및 이론적으로 입증하였다.

4. FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution

Alphaxiv

Introduction

• Goal: 본 연구의 목표는 효율성, 확장성 및 실시간 성능을 실현하여 확산 기반 비디오 초해상도(VSR)를 실용화하는 것이다.
• Motivation: 기존 확산 모델들은 고지연, 높은 연산 비용과 초고해상도에 대한 일반화 한계로 인해 실시간 VSR에 적용하기 어려운 문제점이 있었다.
• Contribution: 본 연구는 실시간 스트리밍 VSR을 목표로 하는 최초의 확산 기반 원스텝 스트리밍 프레임워크인 FlashVSR과 대규모 고품질 VSR-120K 데이터셋을 제안하였다.

Method

FlashVSR은 3단계 증류 파이프라인, 국소 제약 희소 어텐션, 그리고 작은 조건부 디코더를 결합하여 효율적이고 고품질의 스트리밍 VSR을 구현한다. 학습은 동영상과 이미지의 공동 학습, 희소 인과 어텐션 적응, 원스텝 분포 일치 증류로 구성된다. 특히, 국소 제약 희소 어텐션은 훈련-추론 해상도 간의 간극을 해소하여 초고해상도 일반화를 지원한다.

Results

FlashVSR은 768×1408 해상도의 비디오에서 단일 A100 GPU 기준 약 17 FPS의 실시간에 근접하는 속도와 기존 원스텝 확산 VSR 대비 최대 약 12배의 속도 향상을 달성하면서 최첨단 영상 품질을 보였다.

Limitations

정보 부족.

Conclusion

FlashVSR은 스트리밍 증류, 국소 제약 희소 어텐션, 그리고 작은 조건부 디코더의 결합으로 실시간 성능 및 초고해상도 확장성을 갖춘 확산 기반 비디오 초해상도 기술의 실제 적용 가능성을 한층 높였다.

5. Dr.LLM: Dynamic Layer Routing in LLMs

Alphaxiv

Introduction

• Goal: Dr.LLM은 사전학습된 대형 언어 모델에 동적 레이어 라우팅 기능을 부여하여 계산 비용과 정확도 사이의 균형을 개선하는 것이다.
• Motivation: 기존의 적응형 깊이 기법은 추론 시의 고비용 탐색, 구조 변경, 대규모 재학습 필요성 및 정확도 저하 문제로 실제 적용에 한계가 있었다.
• Contribution: Dr.LLM은 오프라인 몬테카를로 트리 탐색으로 고품질의 레이어 구성 경로를 생성하고 이를 지도 학습하여 고정된 모델 가중치 변경 없이 경량의 라우터로 효율적이고 정확한 추론을 가능하게 한다.

Method

Dr.LLM은 각 트랜스포머 레이어에 대해 스킵(skip), 실행(execute), 반복(repeat) 동작을 결정하는 경량 MLP 기반 라우터를 도입한다.
라우터는 입력 문맥을 윈도우 단위로 평균 풀링한 은닉 상태를 이용하며, 몬테카를로 트리 탐색으로 생성한 최적 경로를 지도 신호로 학습한다.
이 과정에서 기본 모델 파라미터는 고정되고, 라우터 파라미터만 경량하게 학습하여 추론 시 별도 탐색 과정 없이 빠르고 정확한 동적 레이어 라우팅이 가능하다.

Results

ARC와 DART 논리 및 수학 추론 데이터셋에서 Dr.LLM은 평균 +2.25%p 정확도 향상과 함께 평균 5.0개의 레이어 연산량 절감을 달성하며, 다양한 사전학습 모델과 도메인 외 과제에서도 정확도 0.85%p 내로 안정적인 성능 유지 및 기존 동적 라우팅 기법 대비 최대 +7.7%p 우수한 결과를 보였다.

Limitations

본 연구는 오프라인 탐색을 통한 지도 데이터 생성에 상당한 계산 비용이 소요되며, 반복은 최대 1회로 제한하는 등 계산 확장성에서 제약이 있다.

Conclusion

Dr.LLM은 별도의 가중치 조정 없이 고정 모델에 효과적인 지도형 동적 레이어 라우팅을 도입하여 예산 인식 추론에서 정확도, 효율성, 견고성을 동시에 개선하는 실용적인 접근법임을 입증하였다.

6. Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

Alphaxiv

Introduction

• 본 연구의 목표는 대형언어모델(LLM)에서 발생하는 모드 붕괴(mode collapse)를 완화하고 생성 다양성을 회복하는 것이다.
• 기존 연구들이 알고리즘상의 한계로 모드 붕괴를 설명하는 것과 달리, 본 연구는 인지심리학에서 밝혀진 전형성 편향(typicality bias)이 선호 데이터에 존재하여 모드 붕괴의 근본 원인임을 제시하였다.
• 이에 따라, 훈련 없이 간단하고 원리 있는 새로운 추론 시 프롬프트 방법인 Verbalized Sampling (VS)을 제안하여 LLM의 생성 다양성을 효과적으로 증진시켰다.

Method

• Verbalized Sampling은 모델에게 다수의 응답과 각각에 대응하는 확률 분포를 언어화하도록 요청하는 방식으로, 전통적인 단일 응답 생성의 전형적 모드 편중을 극복한다.
• 전형성 편향은 선호 데이터에서 자주 등장하거나 익숙한 표현에 높은 점수를 주는 경향이며, RLHF 최적화 과정에서 응답 분포가 이 편향에 의해 급격히 수렴하는 현상을 개선하기 위해 VS가 고안되었다.
• 다양한 LLM과 과제에 적용하여 VS는 사전학습된 기본 모델이 가진 다양성을 재현하고, 출력 다양성을 크게 향상시키면서도 사실 정확성과 안전성을 유지하였다.

Results

• VS는 창작(시, 이야기, 농담), 대화 시뮬레이션, 개방형 질의응답 및 합성 데이터 생성 과제에서 출력 다양성을 기존 직접 프롬프트 대비 1.6~2.1배 향상시키며 인적 평가 및 정량적 지표에서 우수한 성과를 보였다.

Limitations

• VS 적용 시 다양성 증가와 함께 복잡한 프롬프트가 일부 소형 모델에서는 출력 품질 저하를 동반할 수 있으며, 최적의 다양성-품질 균형 조정이 요구된다.

Conclusion

• 본 연구는 모드 붕괴의 주요 원인으로 전형성 편향을 규명하고, 훈련 없는 프롬프트 기법인 Verbalized Sampling을 통해 LLM의 생성 다양성을 효과적으로 회복할 수 있음을 보였다.

7. SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

Alphaxiv

Introduction

• 본 논문은 다양한 모달리티를 통합하여 활용할 수 있는 정보 표현을 생성하는 옴니모달 임베딩 기초 모델인 SAIL-Embedding을 제안하는 것을 목표로 한다.
• 기존 모델들은 제한된 모달 지원, 학습 불안정성, 산업 도메인 차이 등의 문제로 실제 비즈니스 환경에서의 활용에 제약이 있었기 때문이다.
• 따라서 SAIL-Embedding은 맞춤형 학습 전략과 아키텍처 설계로 이러한 한계를 극복하고, 임의의 모달 입력을 처리하여 다양한 멀티모달 검색 및 분류 작업에 적용 가능하도록 하였다.

Method

• SAIL-Embedding은 비전, 텍스트, 오디오 등 다양한 모달 데이터를 하나의 임베딩 공간에 통합하며, 동적 하드 네거티브 마이닝과 적응형 다중 소스 데이터 균형 조절 기법으로 학습의 견고성과 확장성을 확보한다.
• 다단계 학습 프로세스를 도입하여 콘텐츠 인지적 점진적 트레이닝과 협업 인지적 추천 강화 트레이닝을 통해 일반화 능력과 추천 시나리오 적합성을 동시에 높였다.
• 또한, 텍스트 토크나이저, 비전 퍼시버, CLAP 오디오 인코더 및 대형 언어 모델 기반 융합 모듈로 구성된 아키텍처를 통해 효율적이고 유연한 멀티모달 통합 표현을 구현하였다.

Results

• 대규모 벤치마크 및 실제 온라인 추천 시스템 실험에서 SAIL-Embedding은 다양한 검색 및 분류 작업에서 기존 최첨단 기법들보다 우수한 성능과 실질적 추천 경험 지표(Lifetime)를 향상시켰다.

Limitations

• 구체적인 한계점에 관한 기술은 본문에 명확히 제시되어 있지 않아 정보 부족이다.

Conclusion

• SAIL-Embedding은 옴니모달 대규모 임베딩 모델로서, 맞춤형 훈련 전략과 고도화된 데이터 처리 기법을 통해 실제 산업 환경에서 다차원 멀티모달 이해 및 추천 태스크 성능을 성공적으로 달성하였다.

8. ContextGen: Contextual Layout Anchoring for Identity-Consistent Multi-Instance Generation

Alphaxiv

Introduction

• Goal: 본 연구는 다중 인스턴스 이미지 생성에서 객체 배치와 개별 주체의 동일성 일관성을 정밀하게 제어하는 새로운 프레임워크를 제안하는 데 목적이 있다.
• Motivation: 기존 확산 모델들은 객체 배치의 정확한 제어와 다중 주체의 동일성 보존에 한계가 있으며, 이를 극복할 고품질 대규모 데이터셋도 부족하다.
• Contribution: ContextGen이라는 통합 레이아웃 및 참조 이미지 기반 Diffusion Transformer 구조와 IMIG-100K라는 첫 대규모 계층적 주석 데이터셋을 제안하였다.

Method

ContextGen은 합성 레이아웃 이미지를 생성 문맥에 포함해 객체 위치를 견고하게 고정하는 Contextual Layout Anchoring(CLA)과 참조 이미지로부터 세밀한 동일성 정보를 전달하는 Identity Consistency Attention(ICA)을 도입한다.
통합 토큰 시퀀스와 계층적 주의 메커니즘을 활용해 전역 공간 구조와 인스턴스 수준 세부 정보를 동시에 학습하며, 독자적인 위치 인덱싱 전략으로 여러 이미지 간 관계를 체계적으로 구분한다.
이와 함께, IMIG-100K 데이터셋은 기본 조합, 복잡한 상호작용, 유연한 참조 구성을 포함한 3개 하위셋으로 구성되어 다중 인스턴스 생성을 위한 정밀한 학습 환경을 제공한다.

Results

LAMICBench++, COCO-MIG, LayoutSAM-Eval 벤치마크에서 기존 최고 성능 모델을 능가하며, 특히 다수 주체 상황에서 동일성 유지와 배치 제어에서 탁월한 성능을 입증하였다.

Limitations

정보 부족

Conclusion

ContextGen은 공간 배치 제어와 동일성 보존을 통합한 다중 인스턴스 이미지 생성의 새로운 기준을 제시하며, 공개한 대규모 IMIG-100K 데이터셋과 함께 후속 연구를 위한 견고한 토대를 마련하였다.

9. MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

Alphaxiv

Introduction

• Goal: 본 연구는 다중모달 대규모 언어 모델(MLLM)이 사용자 인터페이스(UI)에 대한 인간의 주관적 평가를 얼마나 잘 예측할 수 있는지 평가하는 것이다.
• Motivation: UI 설계 초기 단계에서 제한된 자원으로 신속하고 효율적인 사용자 경험 연구를 수행하기 어려운 상황에서 MLLM을 활용한 조기 평가 가능성을 탐구하기 위함이다.
• Contribution: 다양한 도메인의 30개 UI를 대상으로 GPT-4o, Claude 3.5 Sonnet, Llama-3.2-11B-Vision-Instruct 등 MLLM의 평가 결과를 인간 평가와 비교·분석하는 벤치마크 데이터셋과 평가 방식을 제안하였다.

Method

다양한 카테고리의 UI 30개를 선정하고 아마존 Mechanical Turk를 통해 500명의 참여자에게 9가지 UI 요인(인지적, 지각적, 감정적 요인)을 7점 척도로 평가하도록 하였다. 동일한 UI에 대해 세 가지 MLLM이 동일한 요인으로 평가를 수행하였으며, 절대 점수 예측과 쌍별 비교 방식으로 MLLM과 인간 평가 결과의 일치도를 분석하였다. 평가 정확성과 상관관계 지표를 통해 MLLM의 예측 능력을 정량적으로 검증하였다.

Results

MLLM은 전체적으로 인간 평가와 상당한 유사성을 보였고, 특히 인지적·지각적 요인에서 높은 예측력을 보였으며, ±1점 정확도는 75% 이상으로 나타나 조기 UI 평가 보완 도구로서 가능성을 확인하였다.

Limitations

감정적 요인 중 흥미로움과 사용 편의성 같은 추상적 특성에 대해서는 MLLM의 예측 정확도가 낮아 인간 평가를 완전히 대체하기에는 아직 한계가 존재하였다.

Conclusion

본 연구는 MLLM이 시각적 UI 평가에서 인간의 주관적 선호를 부분적으로 모방할 수 있음을 실증하였으며, 제한된 자원 환경에서 초기 사용자 경험 연구를 보조하는 유용한 평가자 역할을 할 수 있음을 시사한다.

10. Cautious Weight Decay

Alphaxiv

Introduction

• Goal: 본 논문은 기존의 디커플드 가중치 감쇄 방식을 개선한 조심스러운 가중치 감쇄(Cautious Weight Decay, CWD)를 제안하는 것을 목표로 한다.
• Motivation: 기존 가중치 감쇄는 파라미터와 옵티마이저 업데이트 방향이 불일치할 때 성능 저하를 초래하며, 이는 원래 손실 함수의 최적화를 저해한다는 한계가 존재한다.
• Contribution: CWD는 파라미터와 업데이트 방향이 일치하는 좌표에만 감쇄를 적용하여 원래 손실을 보존하고, 다양한 옵티마이저에 손쉽게 적용 가능하면서 이론적 안정성과 실험적 성능 향상을 동시에 입증하였다.

Method

CWD는 파라미터 좌표별로 옵티마이저 업데이트와 부호가 일치하는 경우에만 가중치 감쇄를 수행하는 일행(one-line) 수정법이다. 이 방식은 기존 디커플드 가중치 감쇄와 달리 원래 손실 함수에 대한 편향 없는 최적화를 보장하며, 정지 상태 해에 도달한 후에는 슬라이딩 모드 동역학을 유도해 파레토 최적 정지점을 탐색한다. 이론적으로 CWD를 적용한 표준 옵티마이저들은 연속 및 이산 시점 모두에서 수렴성이 증명되었다.

Results

CWD는 언어 모델의 사전 학습 및 ImageNet 분류 태스크에서 AdamW, Lion, Muon 등 다양한 옵티마이저와 모델 크기(3억~20억 매개변수)에서 기존보다 낮은 최종 검증 손실과 더 높은 정확도를 일관되게 달성하였다.

Limitations

정보 부족이다.

Conclusion

CWD는 가중치 감쇄의 이점을 유지하면서 기존 방식의 방향성 불일치 문제를 해결하여 이론적 근거와 실험적 우수성을 모두 갖춘 효과적인 최적화 기법임을 입증하였다.

11. ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution

Alphaxiv

Introduction

• Goal: 본 연구는 멀티모달 대형 언어 모델(MLLM)에서 시각 토큰의 효율적 사용을 위해 의미 인지 기반의 동적 고해상도 표현 학습 전략인 Visual Consistency Learning(ViCO)을 제안하는 것이다.
• Motivation: 기존 MLLM은 이미지 입력으로 인해 시각 토큰 수가 크게 증가하여 추론 비용이 높아지는 문제를 해결할 필요가 있다.
• Contribution: ViCO는 의미 복잡도에 따라 각 이미지 패치를 다르게 압축하여 시각 토큰 수를 최대 50% 감소시키면서도 성능 저하를 최소화하는 새로운 학습 알고리즘과 동적 해상도 라우터를 개발하였다.

Method

ViCO는 여러 압축 비율을 가진 MLP 커넥터를 이용해 다양한 의미 복잡도의 이미지 패치를 서로 다른 수의 시각 토큰으로 표현한다. 학습 시, KL 발산을 최소화하여 압축률이 다른 토큰에 대해 일관된 모델 응답을 유도하며, 추론 시에는 Visual Resolution Router(ViR)를 통해 각 패치에 적절한 압축률을 자동 선택한다. 이러한 방식은 기존 해상도 기반 토큰 수 조정 기법과 달리 의미 수준에서 토큰 수를 동적으로 조절한다.

Results

InternVL3.5 시리즈 모델을 대상으로 한 다양한 일반, OCR, 멀티이미지 및 비디오 이해 벤치마크 실험에서 ViCO는 시각 토큰 수를 최대 50% 줄이면서 평균 99.6% 이상의 성능을 유지하며 최대 약 1.8배의 추론 속도 향상을 보였다.

Limitations

정보 부족

Conclusion

ViCO는 의미 기반의 동적 시각 토큰 압축을 통해 대규모 멀티모달 언어 모델의 추론 효율성을 크게 향상시키면서도 인지 및 추론 성능을 유지하는 효과적인 학습 전략임을 입증하였다.

12. Bag of Tricks for Subverting Reasoning-based Safety Guardrails

Alphaxiv

Introduction

• Goal: 본 연구는 대형 추론 모델(LRMs)의 추론 기반 안전 가드레일을 우회하는 다양한 젤브레이크 기법들을 제안하고 그 취약성을 분석하는 데 목적이 있다.
• Motivation: 최근 강력한 추론 기반 안전 가드레일이 도입되었음에도 불구하고, 이러한 방어 체계가 미세한 입력 조작에 매우 취약하며 오히려 더 해로운 결과를 초래할 수 있다는 문제의식이 존재한다.
• Contribution: 본 논문은 네 가지 저항기법(Structural CoT Bypass, Fake Over-Refusal, Coercive Optimization, Reasoning Hijack)을 통해 90% 이상의 공격 성공률과 높은 해악 점수를 기록하며 LRMs 안전 가드레일의 근본적 취약성을 증명하였다.

Method

제안된 기법은 크게 안전 가드레일을 회피하는 방법과 추론 능력을 악용하는 방법으로 나뉘며, 구체적으로는 채팅 템플릿 토큰 조작을 통한 구조적 우회, 유해 의도 은폐 전술, 기울기 기반 최적화 공격, 그리고 추론 체인을 탈취하여 맞춤형 유해 응답을 생성하는 방식이다. 각 기법은 모델 접근 권한에 따라 화이트박스 및 그레이박스, 블랙박스 공격으로 적용 가능하다.

Results

대표적으로 gpt-oss 시리즈 모델군에서 5개의 대표 유해 질문 벤치마크를 대상으로 모든 기법이 90% 이상의 공격 성공률과 70% 이상의 해악 점수를 기록하며 성능을 입증하였다.

Limitations

본 연구는 추론 기반 가드레일의 취약점 노출에 집중하였으나, 방어 전략이나 모델의 내재적 개선 방안에 대한 구체적 해결책은 제한적으로 다루었다.

Conclusion

본 연구는 대형 추론 모델의 추론 기반 안전 가드레일이 템플릿 구조 의존성과 추론 과정 탈취에 심각한 취약점을 가지며, 이를 해결하기 위한 더욱 강력한 정렬 및 안전 기술의 개발이 시급함을 강조하였다.

13. Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap

Alphaxiv

Introduction

• Goal: 본 연구는 오디오와 텍스트 간 모달리티 차이를 줄이기 위한 확산 확률 모델 기반의 모달리티 연결 모듈인 Diffusion-Link을 제안하는 것이다.
• Motivation: 대규모 대비학습 오디오-언어 모델은 강력한 멀티모달 표현을 제공하나 모달리티 간 격차가 멀티모달 인코더와 대형 언어 모델(LLM)의 효과적인 결합을 제한한다는 문제점이 존재한다.
• Contribution: Diffusion-Link은 고정된 멀티모달 인코더 출력 임베딩을 텍스트 임베딩 분포로 생성적으로 매핑하며, 자동 오디오 캡셔닝 전용 확산 기반 모달리티 브리징 적용과 우수한 모달리티 간 격차 해소 성능을 최초로 입증하였다.

Method

Diffusion-Link은 고정된 멀티모달 인코더에서 얻은 오디오 및 텍스트 임베딩에 동일한 가우시안 노이즈를 점진적으로 주입하는 정방향 확산과, 이를 텍스트 임베딩 분포로 재구성하는 역방향 확산을 수행하는 세 개의 잔여 MLP 블록으로 구성된 경량 신경망이다.
훈련 목표는 L2 재구성 손실과 배치 내 텍스트 임베딩의 코사인 유사도 구조를 보존하는 토폴로지 손실을 포함하며, 역확산 과정에서 항상 텍스트 임베딩 분포를 향하도록 한다.
추론 시에는 오디오 임베딩 입력을 텍스트 유사 임베딩으로 변환하여 LLM 디코더에 전달함으로써 오디오-텍스트 모달리티 차이를 줄인다.

Results

Diffusion-Link은 AudioCaps 데이터셋에서 기존 확산기반 방법들을 능가하여 오디오-텍스트 모달리티 격차를 크게 줄였으며, 동일 멀티모달 LLM 시스템에 적용 시 외부 지식 없이 제로샷 오디오 캡셔닝에서 최대 52.5%, 완전 지도 학습에서 7.5%의 상대적 성능 향상을 달성하여 최첨단 성능을 기록하였다.

Limitations

본 연구에서는 멀티모달 인코더를 고정한 상태에서 Diffusion-Link를 적용하였기에, 인코더 동시 최적화 가능성에 대한 분석은 부족하다.

Conclusion

Diffusion-Link는 오디오 임베딩을 텍스트 임베딩 분포로 효과적으로 변환하여 멀티모달 인코더와 LLM의 결합을 강화하고, 외부 지식 의존 없이 오디오 캡션 생성 성능을 크게 향상시키는 경량 플러그인 모달리티 브리지로서 다양한 멀티모달 LLM 확장에 기여할 것으로 기대된다.

14. SynthID-Image: Image watermarking at internet scale

Alphaxiv

Introduction

• 본 논문은 대규모 인터넷 환경에서 인공지능(AI) 생성 이미지에 보이지 않는 워터마크를 삽입하는 SynthID-Image 시스템을 제안한다.
• AI 생성 콘텐츠의 출처를 명확히 하여 허위 정보 및 딥페이크 문제에 대응하고 사용자 신뢰를 확보하는 것이 연구 동기이다.
• SynthID-Image는 효과, 품질, 견고성, 보안성의 요구조건을 충족시키며 구글 서비스 내 100억 개 이상의 이미지에 워터마킹을 적용하고, 외부 모델 변종 SynthID-O의 성능을 평가한 점을 기여로 한다.

Method

SynthID-Image는 사후 처리(post-hoc) 방식으로, AI 생성 이미지 위에 별도의 인코더로 워터마크를 삽입하고 디코더로 이를 검출한다.
워터마크는 인간의 주관적 판단에 의한 품질 저하 없이 잘 숨겨져야 하며, 압축, 변형 등 일상적 편집에 견고해야 한다.
멀티비트 페이로드를 통해 다양한 생성 모델과 배포 환경에 대응할 수 있고, 적대적 공격에도 견고성을 확보하는 보안 모델을 설계하였다.

Results

외부 변종 모델 SynthID-O는 인간 평가 기준 품질과 다양한 이미지 변형에 대한 견고성에서 기존 최첨단 기법들을 뛰어넘는 성능을 보였다.

Limitations

사후 처리 방식 특성상 워터마크 삽입 시 일정 수준의 품질 저하는 불가피하며, 완벽한 적대적 공격 방어는 어려운 점이 존재한다.

Conclusion

SynthID-Image는 이미지 워터마킹의 품질, 견고성, 보안성 및 대규모 배포를 종합적으로 고려한 최초의 인터넷 규모 딥러닝 기반 미디어 출처 증명 시스템으로 자리매김하였다.

15. Kontinuous Kontext: Continuous Strength Control for Instruction-based Image Editing

Alphaxiv

Introduction

• Goal: 본 연구는 자연어 지침 기반 이미지 편집에서 편집 강도를 연속적으로 제어할 수 있는 모델인 Kontinuous Kontext를 제안하는 것이다.
• Motivation: 기존 텍스트 지침 기반 편집 방식은 편집 결과의 강도에 대한 세밀한 조절이 어려워 정밀한 이미지 조작에 한계가 존재한다.
• Contribution: Kontinuous Kontext는 편집 강도를 나타내는 스칼라 입력을 추가하여 다양한 편집 범주에 대해 속도감 없는 연속적 조절을 가능하게 하는 통합적 개선 방안을 제시하였다.

Method

기존 Flux Kontext 모델에 편집 강도 스칼라를 입력받는 경량 투영기 네트워크를 추가하여 텍스트 조작 명령과 강도를 모듈레이션 공간에서 결합한다.
이는 강도에 따른 텍스트 토큰 조절 매개변수를 예측하는 방식으로, 강도에 따른 자연스럽고 부드러운 편집 변화를 구현한다.
학습을 위해 LVLM과 Flux Kontext, 확산 기반 이미지 모핑을 활용해 고품질의 합성 데이터셋을 생성·필터링하여 모델의 일반화 능력을 확보하였다.

Results

PIEbench 벤치마크와 사용자 평가에서 Kontinuous Kontext는 기존 보간 및 도메인 특화 방법 대비 편집 강도의 부드러운 조절과 명령 이행 능력에서 우수함을 입증하였다.

Limitations

객체 삽입·제거와 같은 본질적으로 이산적인 편집이나 정밀한 기하학적 조작에서는 본 방법의 연속적 조절이 제한적이며, 기반 모델의 제한점을 그대로 공유한다.

Conclusion

Kontinuous Kontext는 편집 강도라는 새로운 제어 차원을 도입하여 다양한 편집에 대해 세밀하고 연속적인 자연어 기반 이미지 편집을 가능하게 하는 범용적인 프레임워크임을 확인하였다.

16. dInfer: An Efficient Inference Framework for Diffusion Language Models

Alphaxiv

Introduction

• Goal: 본 논문은 확산 기반 대형 언어 모델(dLLM)의 효율적인 추론을 위한 모듈화된 프레임워크인 dInfer를 제안하는 것을 목표로 한다.
• Motivation: dLLM이 내재적 병렬성으로 빠른 디코딩이 가능함에도 불구하고 높은 계산 복잡도와 일관된 평가 기준 부재로 실제 활용이 제한된다.
• Contribution: dInfer는 알고리즘 혁신과 시스템 최적화를 통합하여 기존 시스템 대비 10배 이상의 추론 속도 향상을 달성하고, 1 배치 크기에서 AR 모델 대비 2~3배 빠른 속도를 보이는 최초의 dLLM 추론 프레임워크이다.

Method

dInfer는 모델, 확산 반복 관리자, 디코딩 전략, KV-캐시 관리자 총 네 가지 모듈로 추론 파이프라인을 분해하여 유연한 조합을 지원한다. 반복 평활화, 계층적 및 크레딧 디코딩, 인접 영역 캐시 갱신 등 새로운 알고리즘을 도입하였다. PyTorch 컴파일과 CUDA 그래프, 루프 언롤링 등 시스템 수준 최적화를 결합하여 GPU 활용도를 극대화한다.

Results

8개의 NVIDIA H800 GPU 환경에서 LLaDA-MoE 모델 기준 dInfer는 HumanEval 데이터셋에서 초당 1,100 토큰 이상 생성하며 Fast-dLLM 대비 10배, 최신 AR 모델 QWen2.5-3B 대비 2~3배 빠른 추론 속도를 유지하면서 유사한 성능을 보였다.

Limitations

정보 부족.

Conclusion

dInfer는 알고리즘 및 시스템 최적화를 통해 dLLM 추론의 효율성과 안정성을 크게 높였으며, 오픈소스 구현을 통해 dLLM 연구 및 응용 가속화에 기여한다.