1. JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

Alphaxiv

Introduction

• Goal: 본 연구는 텍스트 및 시각적 입력을 통합하여 코드 생성을 수행하는 통합 시각-프로그래밍 인터페이스를 구축하는 데 목적이 있다.
• Motivation: 기존 연구들은 단일 모달리티 또는 특정 도메인에 치중되어 있으며, 다중 모달 코드 데이터의 부족과 검증 어려움이 코드 인텔리전스 발전을 제약하고 있기 때문이다.
• Contribution: 본 논문은 대규모 다중 모달 코드 데이터셋 JANUSCODE-800K와 이를 활용한 JANUSCODER 시리즈 모델을 제안하여 다양한 시각적 프로그래밍 작업에서 우수한 성능을 입증하였다.

Method

JANUSCODE-800K 데이터셋 구축을 위해 상이한 도메인 및 프로그래밍 언어에서 데이터 수집, 다양한 합성 기법(유도 진화, 역설명, 재맥락화, 쌍방향 변환)을 적용하고 품질 검증을 위한 보상 모델을 도입하였다. 이를 통해 코드의 실행 가능성과 시각적 출력의 일치성을 모두 확보할 수 있는 고품질 교육 데이터를 생성하였다. JANUSCODER와 JANUSCODERV 모델은 통합적 시각-프로그래밍 인터페이스를 통해 텍스트 및 시각 정보를 융합하여 코드 생성을 수행한다.

Results

JANUSCODER 시리즈는 단일 및 다중 모달 벤치마크에서 GPT-4o 등 상용 모델과 동등하거나 우수한 성능을 달성하며 광범위한 시각 및 텍스트 기반 코딩 작업을 효과적으로 수행하였다.

Limitations

본 연구에서는 데이터 및 모델 규모가 방대함에도 불구하고 일부 복잡한 시각 생성 및 변경 작업에서 여전히 개선 여지가 존재한다.

Conclusion

JANUSCODER는 통합 시각-프로그래밍 인터페이스를 확립하여 다중 모달 코드 인텔리전스의 새로운 표준을 제시하며 향후 연구 발전에 중요한 기반을 마련하였다.

2. VFXMaster: Unlocking Dynamic Visual Effect Generation via In-Context Learning

Alphaxiv

Introduction

• Goal: 본 연구는 참조 기반 문맥 학습을 이용하여 다양한 동적 시각 효과(VFX)를 단일 모델로 생성하는 통합 프레임워크 VFXMaster를 제안하는 데 있다.
• Motivation: 기존 VFX 생성 기법들은 효과별로 별도의 LoRA 모델을 훈련해야 하며, 미지의 효과에 대한 일반화 능력이 부족하여 확장성과 창의성이 제한된다.
• Contribution: VFXMaster는 참조 영상으로부터 시각적 효과 특성을 분리해 주입하는 문맥 내 주의(attention) 매커니즘과, 단일 영상 샘플로 미지 효과를 빠르게 학습하는 원샷 적응 전략을 도입하여 고품질 효과 복제와 뛰어난 일반화 성능을 동시에 달성하였다.

Method

VFXMaster는 이미지-투-비디오 생성 모델 CogVideoX-5B-I2V를 기반으로 하며, 참조 프롬프트-영상 쌍과 대상 이미지-프롬프트 쌍을 병렬 토큰 시퀀스로 입력하여 효과를 모방한다. 문맥 주의 마스크를 이용해 참조 효과 속성만을 정확하게 주입하고 정보 누출을 방지한다. 또한 원샷 적응 기법으로 학습된 개념 강화 토큰을 삽입해 미지 효과의 세밀한 특성을 신속하게 학습시킨다.

Results

10,000개 이상의 효과 샘플과 200개 카테고리를 포함한 데이터셋에서 VFXMaster는 기존 최고 성능 기법들을 모든 주요 평가 지표에서 능가하며, 특히 미지 효과 일반화 테스트에서 원샷 적응을 통해 효과 충실도와 누출 억제에서 현저한 성능 향상을 보였다.

Limitations

훈련 데이터 규모가 성능 및 일반화에 중요한 영향을 미치므로 충분히 다양한 효과 샘플이 부재한 경우 성능 저하가 발생할 수 있다.

Conclusion

VFXMaster는 효과 속성을 분리해 주입하는 문맥학습과 원샷 적응을 결합하여 동적 시각 효과 생성의 확장성과 범용성을 크게 향상시켰으며, 영화, 게임, 소셜미디어 콘텐츠 제작 분야에서 고품질 콘텐츠 생산의 진입장벽을 낮추는 데 기여한다.

3. RegionE: Adaptive Region-Aware Generation for Efficient Image Editing

Alphaxiv

Introduction

• Goal: 본 연구는 Instruction-Based Image Editing(IIE) 모델의 공간 및 시간적 중복을 줄여 효율적인 이미지 편집을 달성하는 RegionE 프레임워크를 제안하는 것이다.
• Motivation: 기존 IIE 모델들은 편집된 영역과 편집되지 않은 영역의 생성 난이도와 중복 계산이 크게 다름에도 불구하고 전체 이미지에 균일한 생성 과정을 적용하여 불필요한 연산 낭비가 발생한다는 문제점에서 출발하였다.
• Contribution: RegionE는 추가 학습 없이 적응적인 영역 분할, 지역 인지 생성, 속도 감소 캐시 기술을 통해 공간 및 시간 중복을 효과적으로 제거하여 IIE 모델의 가속화와 품질 보존을 동시에 달성하였다.

Method

RegionE는 세 단계로 구성되며, 초기 안정화 단계에서 산출물의 불안정을 완화하고, 적응적 영역 분할을 통해 편집 및 비편집 영역을 구분한다. 편집 영역은 반복적 지역 생성과 Region-Instruction KV 캐시를 활용해 글로벌 문맥을 유지하며 처리하고, 비편집 영역은 한 단계 예측으로 신속하게 처리한다. 또한, 인접 타임스텝 간 방향성은 유지되나 크기가 감소하는 속도 특성을 반영한 Adaptive Velocity Decay Cache를 도입해 연산 효율을 극대화하였다.

Results

RegionE는 Step1X-Edit, FLUX.1 Kontext, Qwen-Image-Edit 각각에서 2.57×, 2.41×, 2.06× 속도 향상을 달성하였으며, PSNR(30.52~32.13)과 SSIM(0.917~0.939) 등에서 기존 모델 대비 품질 저하 없이 우수한 성능을 보였다.

Limitations

본 연구에서는 제안한 방법의 효과를 입증하였으나, 편집 영역 경계의 미세한 격차 제거를 위한 추가 안정화 단계가 필요하며, 이로 인한 일부 연산 부담이 존재한다.

Conclusion

RegionE는 IIE 모델에서의 공간적·시간적 중복을 효과적으로 제거하여 고품질을 유지하면서도 다수의 최첨단 모델에서 실질적인 가속 성능을 구현하는 적응형 지역 인지 생성 프레임워크임이 확인되었다.

4. Parallel Loop Transformer for Efficient Test-Time Computation Scaling

Alphaxiv

Introduction

• Goal: 본 논문은 루프드 트랜스포머(looped transformer)의 추론 시간 지연과 메모리 문제를 해결하여 효율적인 테스트 시 계산 스케일링을 가능하게 하는 병렬 루프 트랜스포머(Parallel Loop Transformer, PLT)를 제안하는 것이다.
• Motivation: 기존 루프드 트랜스포머는 동일 가중치를 여러 번 반복 사용하며 파라미터 효율성을 높이나, 루프가 순차적으로 진행되어 추론 지연과 메모리 사용량이 루프 횟수에 선형적으로 증가하는 문제가 존재한다.
• Contribution: 본 연구는 교차 루프 병렬화(Cross-Loop Parallelism, CLP)와 효율적 표현 향상 기법을 통해 루프드 트랜스포머의 지연 시간과 메모리 오버헤드를 크게 줄이고, 높은 정확도를 유지하면서도 기존 모델 대비 추론 효율성을 크게 향상하는 PLT 아키텍처를 제안하였다.

Method

PLT는 교차 루프 병렬화 기법을 통해 서로 다른 토큰의 서로 다른 루프를 병렬로 계산하여 순차적 계산 의존성을 해소한다. 또한, 첫 번째 루프의 KV 캐시를 공유하고 게이트 기반 슬라이딩 윈도우 어텐션(Gated Sliding-Window Attention, G-SWA)을 적용하여 메모리 사용을 최소화하면서도 전역 및 지역 정보를 균형 있게 학습한다. 이를 통해 반복 루프 횟수 증가에 따른 메모리와 지연 시간 증가 문제를 해결하였다.

Results

PLT는 동일 파라미터 조건에서 기존 루프드 트랜스포머 대비 최대 47% 추론 지연 시간을 감소시키고 KV 캐시 메모리 사용을 절반 이하로 줄이며, 정확도는 동등하거나 상회하는 수준을 달성하였다.

Limitations

정보 부족.

Conclusion

PLT는 루프드 트랜스포머의 높은 계산 깊이와 강력한 성능 이점을 유지하면서도 추론 시 지연과 메모리 병목을 제거하여 대규모 언어 모델의 효율적인 실시간 활용 가능성을 크게 향상시켰다.