1. Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story

Alphaxiv

Introduction

• Goal: 본 연구는 대형 언어 모델(LLM)에서 텍스트의 내재 차원(intrinsic dimension, ID)을 해석 가능한 텍스트 속성과 연결하여 분석하는 것을 목표로 한다.
• Motivation: ID는 학습 역학, 모델 확장 및 데이터셋 구조 연구에 중요하지만 텍스트 내재 인자에 대한 이해는 부족한 상황이다.
• Contribution: 본 논문은 다양한 모델과 텍스트 장르에서 ID가 에너지 기반 지표와는 독립적이며 장르별 특징을 명확히 구분하고, 희소 자기부호기(SAE)를 활용해 ID 변화에 영향을 미치는 인과적 언어적 특성을 규명하였다.

Method

희소 자기부호기(SAE)를 사용하여 LLM의 은닉 상태에서 희소하고 해석 가능한 특성을 학습하였고, 이를 기반으로 ID와 연관된 문체 및 의미 특성을 분석하였다. 다양한 ID 추정기(PHDIM, MLE, TLE, TWO-NN)를 비교 평가하고, 텍스트 길이 및 압축률, 문체 장르별 ID 차이를 실험적으로 검증하였다. 또한 SAE 특성에 가해진 개입을 통해 인과관계를 실험적으로 입증하였다.

Results

과학적·정보성 텍스트는 낮은 ID(약 8), 백과사전적 텍스트는 중간 ID(약 9), 창의적·서사적 텍스트는 높은 ID(약 10.5)로 나타났으며, ID는 길이 보정 후 예측 기반 엔트로피와 상관관계가 거의 없고 문체 및 의미적 요소의 차이를 잘 반영하였다.

Limitations

분석에 사용된 ID 추정 및 평가가 세 가지 특정 모델(Gemma, RoBERTa, Qwen) 임베딩에 한정되어 있어 다른 모델이나 임베딩에는 결과가 다를 수 있으며, ID 추정은 샘플링 기반으로 변동성이 존재한다.

Conclusion

텍스트 내재 차원은 장르와 문체에 민감한 지표로서, 과학적 텍스트는 낮은 차원을 갖는 반면, 창의적이고 개인화된 텍스트는 높은 차원을 형성하며, 이는 예측 기반 척도와 독립적이어서 LLM 텍스트 복잡성 평가에 중요한 보완적 시각을 제공한다.

2. Loomis Painter: Reconstructing the Painting Process

Alphaxiv

Introduction

• Goal: 본 연구는 다양한 전통 회화 매체에 걸친 예술적 제작 과정을 재구성하는 범용 영상 확산 모델을 제안하는 것이다.
• Motivation: 기존의 영상 튜토리얼은 수동적이고 개인화가 부족하며, 기존 생성 모델은 매체 간 일반화와 시간적 일관성 확보에 어려움이 있어 인간 창작 과정을 충실히 재현하기 어렵다.
• Contribution: 본 연구는 매체 인지 조건화와 역순 학습 전략을 도입하여 실제 화가의 제작 과정을 학습한 대규모 다중 매체 회화 데이터셋을 기반으로 통일된 회화 제작 과정 생성 프레임워크를 개발하였다.

Method

본 방법은 사전학습된 영상 확산 모델을 이용해 완성된 그림으로부터 빈 캔버스까지 역순으로 점차적으로 제작 과정을 학습한다.
예술 매체 별 특징을 반영할 수 있도록 텍스트 임베딩을 활용한 매체 인지 조건화와 매체 간 스타일 교차 증강을 결합한다.
또한, 손과 붓 등 장애물을 제거한 고품질 실제 튜토리얼 영상 데이터셋을 구축하여 현실적이고 시간적 일관성이 유지되는 제작 과정 생성을 지원한다.

Results

제안된 모델은 LPIPS, DINO, CLIP 및 FID 지표에서 최첨단 비교 대상들을 능가하며, 새롭게 제안된 Perceptual Distance Profile(PDP)로 인간 예술가의 구성, 색상 배치, 세부 묘사 과정을 정량적으로 모사함을 입증하였다.

Limitations

데이터 처리 과정에서 손 그림자 제거가 완벽하지 않아 일부 잡음이 존재하며, 일부 매체-내용 조합에서 생성 실패 사례가 관찰되었다.

Conclusion

영상 확산 모델 기반의 Loomis Painter는 다양한 전통 매체의 회화 제작 과정을 충실히 재구성하며, 인간 예술가의 시간적 창작 패턴을 학습하고 재현할 수 있음을 보였다.

3. VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models

Alphaxiv

Introduction

• Goal: 본 논문은 인간 인지 기억 이론에 영감을 받아 비전-언어 모델(VLM)에 동적 잠재 시각 기억을 부여하는 VisMem 프레임워크를 제안하는데 목적이 있다.
• Motivation: 기존 VLM은 복잡한 시각 작업에서 시각적 증거에 대한 고정력 저하와 맥락화된 시각 경험 부족이라는 ‘시각 처리 병목 현상’을 겪는다.
• Contribution: VisMem은 단기 시각 기억과 장기 의미 기억 모듈을 통해 세밀한 지각 유지와 추상적 의미 통합을 동시에 가능하게 하며, 다양한 벤치마크에서 기존 모델 대비 평균 11.8% 향상을 보임을 입증하였다.

Method

VisMem은 기존 VLM의 어휘에 특수 토큰을 추가하여 메모리 호출을 유도하며, 호출 시 경량화된 쿼리 빌더가 시각 및 문맥 상태를 통합해 호출 쿼리를 생성한다. 단기 메모리 포머는 현재 시각 입력의 미세한 증거를 인코딩하고, 장기 메모리 포머는 고수준의 추상적 의미 정보를 생성하여 잠재 기억 토큰으로 생성 과정에 삽입한다. 두 단계로 구성된 강화학습 기반 훈련 프로세스는 메모리 형성과 호출의 효과성을 최적화한다.

Results

VisMem은 12개 시각 이해, 추론, 생성 벤치마크 전반에서 기존 최상위 기법 대비 3.1~4.8% 우수한 성능을 보이며, 특히 시각 추론 분야에서 16.4% 성능 향상을 기록하였다.

Limitations

본 연구는 잠재 시각 기억이 VLM 내에서 효과적임을 보였으나, 더 다양한 실제 복합 시각 작업에 대한 확장성 검증은 추가 연구가 필요하다.

Conclusion

VisMem은 인간 인지 기억 체계를 반영한 잠재 시각 기억 메커니즘으로 VLM의 시각 처리 능력을 획기적으로 개선하며 새로운 잠재 공간 메모리 강화 패러다임을 제시한다.

4. InstructMix2Mix: Consistent Sparse-View Editing Through Multi-View Model Personalization

Alphaxiv

Introduction

• 본 연구의 목표는 희소한 시점의 다중 이미지로부터 텍스트 지시에 따라 장면을 수정하면서 모든 시점에서 일관성을 유지하는 다중 시점 이미지 편집 방법을 제안하는 것이다.
• 기존 신경 필드 기반 혹은 시간적 어텐션 기법들은 입력 시점이 적을 때 편집 결과의 불일치 및 아티팩트 문제를 일으켜 이를 극복할 필요가 있다.
• 본 논문에서는 2D 확산 모델의 편집 능력을 사전학습된 다중 시점 확산 모델에 증류하여 희소 입력에서도 높은 3D 일관성을 유지하는 InstructMix2Mix (I-Mix2Mix) 프레임워크를 제안한다.

Method

학생 모델로 다중 시점 확산 모델을 활용하고, 교사 모델로 InstructPix2Pix를 사용하여 Score Distillation Sampling(SDS) 기법을 확장하였다.
SDS 과정에서 증류를 각 학생 샘플링 단계별로 점진적으로 수행하고, 교사 모델의 노이즈 스케줄러와 무작위 크로스-뷰 어텐션 기법을 도입하여 다중 시점 간 일관성을 강화하였다.
이러한 설계를 통해 희소한 입력 이미지 집합에서도 교사의 편집 지시를 충실히 반영하면서 3D 형태와 시각적 일관성을 보장하는 편집을 가능하게 하였다.

Results

제안한 I-Mix2Mix는 대표적인 다중 시점 편집 기법들과 비교해 편집된 시점 간 일관성(CILP Directional Consistency)을 크게 향상시키면서도 프레임별 편집 품질을 유지하는 성능을 확인하였다.

Limitations

본 방법은 주로 사용한 기반 모델들의 한계점을 공유하며, 특정 편집 지시나 완전한 시점 간 일관성 유지에 어려움이 있고, 현재 연산 비용이 높은 편이다.

Conclusion

I-Mix2Mix는 희소 시점 환경에서 다중 시점 편집의 3D 일관성 문제를 효과적으로 해결하는 새로운 증류 기반 프레임워크로, 향후 더 나은 백본 모델 및 효율적 학습 방식을 통합하여 개선 가능하다.

5. Diversity Has Always Been There in Your Visual Autoregressive Models

Alphaxiv

Introduction

• Goal: 본 논문은 시각적 자기회귀(Visual Autoregressive, VAR) 모델에서 나타나는 다양성 붕괴 문제를 해결하는 방법을 제안하는 데 목표가 있다.
• Motivation: VAR 모델은 기존 AR 및 확산 모델 대비 효율적이고 품질 높은 이미지를 생성하지만, 생성 결과의 다양성이 급격히 감소하는 다양성 붕괴 현상을 겪는다.
• Contribution: 본 연구에서는 학습 과정 없이 VAR 모델의 내재된 다양성을 복원하는 DiverseVAR 방법을 제안하며, 이것이 초기 스케일 단계에서 다양성 형성에 결정적인 역할을 하는 중추적 구성 요소 조작을 기반으로 한다고 밝힌다.

Method

본 방법은 VAR 모델 추론 과정 중 초기 단계에서 특징 맵의 우세 특이값을 연속적으로 억제(Soft-Suppression Regularization)하고, 출력 단계에서 이를 보강(Soft-Amplification Regularization)하는 두 가지 정규화 기법을 사용하여 다양성을 촉진한다. 중추적 구성 요소는 특잇값 분해(SVD)를 통해 정의되며, 이 구성 요소를 조절함으로써 구조 형성과 의미적 일치를 유지하며 다양성 붕괴를 완화한다. DiverseVAR은 학습 없이 기존 VAR 모델에 간단히 적용 가능하다.

Results

실험 결과 DiverseVAR는 COCO, GenEval, DPG 벤치마크에서 원본 VAR 모델 대비 생성 이미지의 다양성(Recall, Coverage)과 화질(FID)를 현저히 향상시키면서 텍스트-이미지 정렬(CLIPScore)을 유지하였다.

Limitations

DiverseVAR는 다양성 증가 과정에서 수량적 표현 등 일부 텍스트-이미지 정렬 정확도에 미세한 영향을 줄 수 있다.

Conclusion

본 연구는 VAR 모델에서 초기 스케일의 중추적 구성 요소가 다양성 형성에 핵심임을 규명하고, 이를 입력 억제 및 출력 증폭하는 DiverseVAR 기법을 통해 내재된 생성 다양성을 효과적으로 회복하는 방안을 제시하였다.

6. Insights from the ICLR Peer Review and Rebuttal Process

Alphaxiv

Introduction

• Goal: 본 논문은 ICLR 2024와 2025의 동료 평가 및 저자 반론 과정을 대규모로 분석하여 심사 프로세스의 효율성과 공정성을 향상시키는 인사이트를 제공하는 데 목적이 있다.
• Motivation: 머신러닝 분야 학술대회 제출물이 급증함에 따라 반론의 역할과 심사 점수 변화의 영향을 이해하는 것이 중요하다.
• Contribution: 저자-심사자 상호작용, 반론 시점, 반복 심사자 영향력, 그리고 LLM을 활용한 텍스트 분석을 통해 반론 전략과 점수 변동 간 상관관계를 체계적으로 규명하였다.

Method

ICLR 2024와 2025의 공개된 심사 및 반론 데이터를 OpenReview API로 수집하였으며, 초기 및 반론 후 평가 점수 변화를 추적하였다.
통계 분석과 대규모 언어 모델 기반 리뷰 텍스트 분류를 결합하여 평가 요소별 강점 및 약점을 식별하고 반론 전략을 분류하였다.
점수 변동 예측을 위해 다항 로지스틱 회귀 모델을 사용하여 반론 전략과 심사점수 간 관련성을 해석하였다.

Results

반론으로 인한 점수 변화는 주로 중간 점수대 논문에서 집중되며, 초기 점수와 공동 심사자 점수가 점수 변동의 가장 강력한 예측 변수임을 발견하였다.

Limitations

심사 품질, 논문 개정 수준 등 점수 변화에 영향을 미칠 수 있으나 본 데이터에 포함되지 않은 변수들이 존재하여 일부 영향 요인 분석은 제한적이다.

Conclusion

반론 과정은 경계선 논문의 수용 가능성을 높이는 데 효과적이며, 논문 저자와 심사위원 모두에게 실용적인 전략을 제공하여 향후 심사 프로세스 설계 개선에 기여한다.

7. Taming Generative Synthetic Data for X-ray Prohibited Item Detection

Alphaxiv

Introduction

• 본 연구의 목표는 노동 집약적인 전경 추출 없이 고품질의 X-ray 불법 물품 탐지용 합성 데이터를 생성하는 단일 단계 X-ray 보안 이미지 합성 파이프라인(Xsyn)을 제안하는 것이다.
• 기존의 X-ray 이미지 합성 방법은 전경 분리 및 합성의 2단계 프로세스를 거쳐 추가적인 노동 비용과 비효율성을 초래한다는 문제점이 존재한다.
• 본 논문에서는 교차 주의력 정제(CAR)와 배경 폐색 모델링(BOM) 두 가지 전략을 적용하여 합성 이미지의 주석 정밀도와 영상 복잡성을 자동 향상시키는 새로운 단일 단계 합성법을 제시하였다.

Method

제안한 Xsyn은 텍스트와 위치 기반 조건을 활용한 확산 모델을 바탕으로 텍스트 기반 인페인팅 방식을 이용하며, CAR은 확산 모델의 교차 주의력 맵에서 중요한 지점을 샘플링하여 SAM을 통해 바운딩 박스를 정제한다. BOM은 확산 모델 잠재 공간 내에서 배경 폐색을 모사하여 현실적인 배경 복잡성을 높인다. 이 파이프라인은 추가적인 전경 마스크 수집이나 주석 작업 없이 효과적인 합성 데이터를 생성한다.

Results

PIDray, OPIXray, HiXray 등 다양한 공개 X-ray 보안 데이터셋과 여러 탐지기에서 본 방법을 적용한 합성 데이터를 활용할 경우, 기존 기법 대비 최대 1.2% mAP 향상 및 다양한 난이도와 클래스에 걸쳐 전반적인 탐지 성능 개선이 확인되었다.

Limitations

본 연구에서는 주로 2D X-ray 이미지에 집중하였으며, 3D CT 영상과 같은 복잡한 영상 모달리티에 대한 적용 및 합성은 향후 연구가 필요한 과제로 남아있다.

Conclusion

Xsyn은 노동 집약적 전경 준비 단계를 제거하고 자동 주석 정제 및 영상 복잡성 강화를 통해 고품질 합성 X-ray 보안 이미지를 생성함으로써 불법 물품 탐지 모델의 성능 향상에 기여하는 효과적인 단일 단계 합성 프레임워크임이 입증되었다.