1. EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning

Alphaxiv

Introduction

• Goal: 본 연구의 목표는 이미지와 비디오 편집 및 생성을 단일 모델로 통합하는 EditVerse 프레임워크를 제안하는 것이다.
• Motivation: 기존 영상 생성 및 편집 분야는 아키텍처 한계와 데이터 부족으로 인해 단편적으로 발전해 왔기 때문에 이를 극복할 필요가 있었다.
• Contribution: 본 연구는 다양한 텍스트, 이미지, 비디오 데이터를 통합하여 처리하고 대규모 영상 편집 데이터를 구축하며 EditVerseBench 벤치마크를 제시함으로써 상호 모달 지식 이전과 범용 편집 능력을 실현하였다.

Method

EditVerse는 텍스트, 이미지, 비디오를 통합된 토큰 시퀀스로 표현하고 완전한 self-attention 기반 트랜스포머 구조를 사용하여 강력한 in-context 학습과 교차 모달 지식 전이를 가능하게 한다.
특히 공간, 시퀀스, 시간 차원을 포함하는 4차원 Rotary Positional Embedding을 도입해 다양한 해상도와 길이의 입력을 유연하게 처리한다.
또한, 고품질 영상 편집 샘플 23만여 개를 생성·필터링하는 데이터 파이프라인을 설계하여 희소한 영상 편집 데이터를 보완하였다.

Results

제안된 EditVerse는 EditVerseBench 및 TGVE+ 벤치마크에서 기존 공개 및 상용 모델을 능가하는 최첨단 편집 성능과 자연스러운 모달 간 지식 이전 능력을 입증하였다.

Limitations

본 연구의 한계점은 상세히 기술되지 않았으며 부록에서 추가 논의가 이루어질 예정이다.

Conclusion

통합된 아키텍처와 대규모 멀티모달 데이터 학습을 통해 영상 편집 데이터 부족 문제를 극복하고 emergent ability를 보이는 범용 이미지·비디오 편집·생성 모델을 성공적으로 개발하였다.

2. kh2d-solver: A Python Library for Idealized Two-Dimensional Incompressible Kelvin-Helmholtz Instability

Alphaxiv

Introduction

• Goal: 본 연구는 이상화된 2차원 비압축성 Kelvin-Helmholtz 불안정성을 시뮬레이션하기 위한 오픈소스 Python 라이브러리 kh2d-solver를 제안한다.
• Motivation: Kelvin-Helmholtz 불안정성은 대기 및 해양의 층상 전단류에서의 난류 혼합과 수송 현상을 이해하는 데 필수적이나, 기존 해석적 모델과 고해상도 3차원 시뮬레이션 사이에 효율적이고 투명한 도구가 부족하였다.
• Contribution: 본 연구는 고효율 분수단계 투영법과 고속 사인변환을 적용하여 공간 2차 정확도를 달성하며, NumPy, SciPy, Numba 등을 활용한 Python 기반 구현으로 표준 데스크톱 환경에서 4가지 전형적 테스트 케이스를 시뮬레이션하고 통계적 분석을 수행하는 도구를 제공한다.

Method

본 라이브러리는 Boussinesq 근사를 적용한 2차원 비압축성 Navier-Stokes 방정식을 분수단계 투영법으로 수치해석하며, 압력 포아송 방정식은 고속 사인변환을 이용한다.
비선형 대류항은 1차 업윈드 차분법으로 처리하여 수치적인 확산을 통한 안정성을 확보하며, 점성 항은 조건에 따라 명시적 혹은 암시적 시간 적분법을 적용한다.
시간 안정성 유지 위해 적응형 시간 간격을 선택하고, 계산 효율성 향상을 위해 Numba JIT 컴파일과 병렬 처리를 도입하였다.

Results

384×192 격자에서 Reynolds 수 1000~5000, Richardson 수 0.1~0.3 범위의 4가지 전형적 사례 시뮬레이션 결과, 2중 전단층 실험이 강제 난류 대비 최대 2.8배 높은 혼합 효율을 보였으며 계산시간은 약 31분에 불과하였다.

Limitations

본 라이브러리는 2차원 모델링에 한정되어 3차원 불안정성 및 회전 효과를 명시적으로 다루지 못하는 한계가 존재한다.

Conclusion

kh2d-solver는 이상적 2차원 Kelvin-Helmholtz 불안정성 연구에 대한 투명하고 효율적인 시뮬레이션 환경을 제공하여 기후 모델 및 해양·대기 층상 난류 혼합 연구를 지원한다.