1. Preserving Source Video Realism: High-Fidelity Face Swapping for Cinematic Quality

Alphaxiv

Introduction

• Goal: 본 연구는 영화 및 엔터테인먼트 제작에서 고품질의 영상 리얼리즘을 유지하며 고충실도 얼굴 교체를 수행하는 비디오 얼굴 교체 모델을 개발하는 것을 목표로 한다.
• Motivation: 기존 GAN 기반 및 확산모델 기반 얼굴 교체 기술은 장시간 영상에서의 시간적 일관성과 세밀한 시각적 특성 유지에 한계가 존재한다.
• Contribution: 최초의 비디오 참조 기반 얼굴 교체 모델인 LIVINGSWAP을 제안하며, 이를 위해 페이스2페이스(Face2Face)라는 대응 데이터셋과 역할 전환 학습 전략을 구축하였다.

Method

LIVINGSWAP은 키프레임을 활용한 안정적인 타겟 아이덴티티 주입과 영상 참조를 통한 비아이덴티티 속성 보존, 그리고 중첩된 영상 분할 처리 방식을 통한 긴 시퀀스의 시간적 연속성 유지를 특징으로 한다.
키프레임은 얼굴 교체 과정에서 시간적 기준점으로 사용되며, 고품질 이미지 레벨의 편집 결과를 기반으로 최소화된 수작업으로 효율적 편집이 가능하다.
영상 전체 구간을 참조 영상으로 입력하여 조명, 표정, 배경 등의 세밀한 정보 손실 없이 고충실도의 재구성을 가능케 하였다.

Results

CineFaceBench와 FaceForensics++ 벤치마크에서 LIVINGSWAP은 기존 최첨단 방법들을 능가하는 시간적 안정성과 시각적 충실도를 달성하였다.

Limitations

정보 부족.

Conclusion

LIVINGSWAP은 긴 영상 시퀀스에서도 일관된 아이덴티티 보존과 고품질 얼굴 교체를 실현하여 영화 및 방송 산업의 작업 효율성을 크게 향상시키는 혁신적인 솔루션임을 입증하였다.

2. Modular Neural Image Signal Processing

Alphaxiv

Introduction

• 본 논문은 모듈화된 신경망 기반 이미지 신호 처리(ISP) 프레임워크를 제안하여 원시(raw) 이미지 입력을 처리하고 고품질의 디스플레이용 이미지를 생성하는 것을 목표로 한다.
• 기존 단일 블랙박스 형태의 신경망 ISP는 미학과 카메라 특성에 따른 일반화에 한계가 있어 이를 극복하고자 각 처리 단계를 명확히 분리한 모듈러 설계가 필요하였다.
• 제안하는 방법은 세부적이고 해석 가능한 모듈로 ISP 파이프라인을 구성하여, 확장성, 디버깅 용이성, 미지의 카메라 대응 및 사용자 스타일 맞춤의 유연성을 지원하는 점이 주요 기여이다.

Method

• 제안된 ISP는 노이즈 제거, 색 보정, 포토피니싱(디지털 게인, 전역 및 지역 톤 매핑, 크로마 매핑, 감마 보정), 고해상도 업샘플링, 그리고 세부 강화 단계로 구성되어 각 모듈을 독립적으로 학습 및 교체 가능하게 설계되었다.
• 포토피니싱 모듈은 이미지별 파라미터를 경량 신경망으로 예측하며, 전체 모듈은 엔드투엔드 방식으로 학습하되 각 기능별 역할 구분과 해석 가능성을 확보하였다.
• 추가로, 제안된 아키텍처를 기반으로 다양한 사진 스타일과 편집 옵션을 지원하는 사용자 인터랙티브 편집 도구를 개발하였다.

Results

• S24 데이터셋을 포함한 다수 테스트셋에서 본 프레임워크는 경쟁 신경망 ISP 방법들보다 적은 파라미터 수로 전반적인 화질 향상 및 다양한 스타일 지원에서 최첨단 성능을 보여주었다.

Limitations

• 특정 엣지 영역에서 발생하는 헤일로(halo) 현상과 색상 불일치 문제가 나타나며, 이를 완화하기 위해 다중 스케일 처리 및 LTM 지도 후처리가 필요하다.

Conclusion

• 본 연구는 해석 가능한 모듈형 신경망 ISP 설계와 이를 활용한 편집 도구를 통해 고품질 이미지 렌더링, 사용자 맞춤 제어, 미지 카메라 적응성을 동시에 달성하는 효과적인 솔루션을 제시하였다.

3. LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning

Alphaxiv

Introduction

• Goal: 본 논문은 대형 추론 모델의 내부 자신감 신호를 활용하여 확률적 통계적 보장을 갖춘 온라인 조기 종료 메커니즘인 LYNX를 제안하는 것이다.
• Motivation: 대형 추론 모델은 충분한 정보를 얻었음에도 불구하고 과도한 사고 과정을 수행하여 추론 시간과 자원을 낭비하거나 정확도를 저하시킨다.
• Contribution: LYNX는 자연 발생하는 추론 신호에 종료 결정을 부착하고, 강제 종료를 통해 자체 지도 학습한 경량 프로브에 분포 자유형 적합 예측을 적용하여 다양한 모델과 과제에 걸쳐 재사용 가능한 조기 종료를 구현하였다.

Method

LYNX는 추론 과정에서 ‘hmm’, ‘wait’ 등의 자연스러운 신호를 조기 종료 결정 지점으로 지정하고, 강제 종료를 통한 정확도 기반 라벨을 이용해 경량 MLP 프로브를 학습한다. 학습된 프로브 점수를 분포 독립적 통계 보장 기법인 분할 적합 예측으로 보정하여 사용자 설정 신뢰 수준에 따른 종료 임계값을 산출하며, 이 정책은 미세 조정 없이도 다양한 벤치마크와 디코딩 온도에서 일관되게 적용된다.

Results

다수의 수학 및 상식 추론 벤치마크(GSM8K, MATH-500, AIME 2024, CommonsenseQA)에서 LYNX는 최대 65~70% 토큰 절감과 정확도 유지 또는 향상을 달성하며, 기존 조기 종료 기법 대비 우수한 정확도-효율성 파레토 경계를 기록하였다.

Limitations

LYNX는 명시적 추론 세그먼트 및 자연스러운 인지 신호가 존재하는 오픈소스 모델에 제한되며, 도메인 간 극심한 분포 차이에서는 통계 보장 범위가 효과적으로 유지되지 않을 가능성이 존재한다.

Conclusion

LYNX는 외부 검증자 없이 모델 자체 내재 신호 기반으로 user-tunable 신뢰 보장을 갖춘 조기 종료를 구현하여, 대규모 추론 모델의 효율성과 정확도를 동시 개선하는 실용적이고 범용적인 방법임을 입증하였다.

4. SAM-Body4D: Training-Free 4D Human Body Mesh Recovery from Videos

Alphaxiv

Introduction

• Goal: 본 연구는 영상으로부터 추가 학습 없이 4D 인간 신체 메쉬를 복원하는 방법을 제안하는 것이다.
• Motivation: 기존 이미지 기반 HMR(인간 메쉬 복원) 방법들은 비디오 적용 시 프레임 별 독립적 추론으로 인해 시간적 일관성과 폐색 상황에서 성능 저하 문제가 발생한다.
• Contribution: 본 논문은 시간적 연속성을 유지하는 정체성 일관 마스크를 활용하고 폐색 인지 모듈을 도입하여 학습 없이 영상 기반 4D 인간 메쉬 복원을 수행하는 SAM-Body4D 프레임워크를 제안한다.

Method

영상 내 대상 인간의 정체성 일관 마스크를 생성하는 Masklet Generator, 폐색 시 결손 영역을 복원하는 Occlusion-Aware Masklet Refiner, 및 이를 이용해 마스크 기반 HMR을 수행하는 Mask-Guided HMR 모듈로 구성된다.
Mask-Guided HMR은 각 인간의 마스크를 인코더 입력으로 활용해 시간적 일관성을 유지하며, 배치 병렬 추론과 시간적 매끄럽게 처리하는 전략을 적용한다.
해당 방식은 사전 학습된 SAM 3D Body 모델을 활용하므로 추가 학습 없이 구현 가능하다.

Results

실험 결과 SAM-Body4D는 폐색과 동적 장면이 존재하는 자연 영상에서 시간적 안정성과 폐색에 강인한 4D 인간 메쉬 복원 성능을 기존 이미지 기반 확장 방법보다 크게 향상시켰다.

Limitations

제안 방법은 폐색 복원 단계에서 Diffusion-VAS 모델의 처리 시간 및 메모리 증가가 발생할 수 있다.

Conclusion

SAM-Body4D는 학습 없이 영상의 픽셀 수준 연속성을 효과적으로 활용하여 4D 인간 메쉬 복원을 수행하며, 기존 기법 대비 시간적 안정성과 폐색 내성에서 우수한 결과를 보인다.

5. Terrain Diffusion: A Diffusion-Based Successor to Perlin Noise in Infinite, Real-Time Terrain Generation

Alphaxiv

Introduction

• Goal: 본 논문은 퍼린 노이즈의 한계를 극복하여 무한하고 실시간으로 진행 가능한 행성 규모의 지형 생성 기법인 Terrain Diffusion을 제안하는 데 목적이 있다.
• Motivation: 기존 프로시저 노이즈 함수들은 무한 연속성과 일관성을 제공하나 현실감과 대규모 지형 일관성을 충족하지 못하는 한계가 존재하였다.
• Contribution: Terrain Diffusion은 다중 해상도 확산 모델과 새로운 InfiniteDiffusion 알고리즘, 무한 텐서 프레임워크를 결합하여 무한 영역에서 씨드 일관성과 실시간 랜덤 접근을 보장하는 확산 기반 지형 생성 체계를 제시하였다.

Method

Terrain Diffusion은 단계별 해상도 모델로 지구 규모의 대륙 구조부터 국지적 세부 지형까지 계층적으로 생성하며, signed square-root 변환과 라플라시안 인코딩을 활용해 지형의 대역폭과 노이즈를 안정화하였다. InfiniteDiffusion은 기존 MultiDiffusion을 무한 영역으로 확장하여 국소창의 중첩 결과를 수렴시키고 메모리 상수 사용과 실시간 질의를 가능하게 하였다. 또한, 무한 텐서 프레임워크를 도입하여 무한 크기의 데이터셋을 효율적으로 전처리하고 다중 확산 모델의 연산을 지원하였다.

Results

NVIDIA RTX 3090 Ti GPU를 기반으로 한 평가에서 Terrain Diffusion은 FID 17.87의 우수한 시각 품질과 첫 번째 타일 7.6초, 두 번째 타일 2.4초 대기시간으로 실시간 인터랙티브 지형 생성을 달성하였다.

Limitations

계층적 모델들이 상위 단계의 조건부 입력에 크게 의존하기 때문에, 이 조건부 정보가 없으면 대규모 지형 일관성이 저하되어 외부에서 초기 조건을 제공해야 하는 제한점이 존재한다.

Conclusion

Terrain Diffusion은 확산 모델을 기반으로 한 실시간, 무한, 씨드 일관성을 갖춘 행성 규모의 지형 생성 방법을 최초로 제시하며, 프로시저 노이즈를 대체하는 실용적 기초 기술로 자리매김하였다.