1. Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth

Introduction

• Goal: 본 연구는 깊이 있는 무의미함(“Drivelology”)을 해석하는 능력에 대해 대형 언어 모델(LLMs)의 한계를 평가하는 데 목적이 있다.
• Motivation: Drivelology는 표면적으로는 비논리적이나 함의된 의미를 내포하여 정서적, 도덕적 추론 및 맥락 이해를 요구하므로, 기존 LLM의 이해 능력을 시험하기에 적합하다.
• Contribution: 본 논문은 다국어 Drivelology 벤치마크 데이터셋인 DRIVELHUB를 구축하고, 분류, 태깅, 생성, 내러티브 선별 등 네 가지 과제를 통해 여러 LLM의 Drivelology 이해 능력을 평가하였다.

Method

Drivelology 텍스트를 수집·주석하는 엄격한 다단계 전문가 검토 절차를 거쳐 약 1,200개의 다국어 샘플을 확보하였다.
분류, 다중 레이블 태깅, 내러티브 생성, 다지선다 내러티브 선별의 네 가지 과제를 설계하여 모델의 심층적 의미 이해 수준을 평가하였다.
이 과제들은 Drivelology의 중첩된 수사적 특성과 모호성을 평가하는 데 초점을 맞추었다.

Results

평가 결과 핵심 LLM들은 Drivelology의 다층 의미를 오인하거나 부적절한 추론을 보였으며, 특히 어려운 내러티브 선별 과제에서 정확도가 급격히 저하되었으나 Deepseek-v3와 Claude-3.5-haiku는 상대적으로 우수한 이해력을 선보였다.

Limitations

DRIVELHUB 데이터가 중국어 샘플이 절반 이상을 차지하는 언어 불균형과 제한된 컴퓨팅 자원으로 인해 파라미터가 큰 모델 평가의 제약이 존재한다.

Conclusion

Drivelology는 LLM의 통계적 유창성에서 한 발 더 나아가 비선형적, 문화적으로 내포된 심층 의미 이해 능력을 요구하며, 본 연구는 더 진보된 사회·문화적 이해력을 갖춘 AI 개발의 중요성을 강조한다.

2. From Editor to Dense Geometry Estimator

Introduction

• Goal: 본 논문은 이미지 편집 모델을 활용하여 단안 영상에서 밀집 기하 구조(깊이 및 법선) 추정 문제를 해결하는 것을 목표로 한다.
• Motivation: 기존 텍스트-이미지 생성 모델은 기하 정보 추출에 한계가 있으나, 이미지 편집 모델은 이미지-투-이미지 작업에 적합하고 구조적 사전 지식을 내재하여 밀집 기하 추정에 더 적합할 것으로 판단되었다.
• Contribution: 본 연구는 Diffusion Transformer 기반의 편집 모델을 밀집 기하 추정기로 변환하는 FE2E 프레임워크를 제안하며, 일관된 속도 학습 목표, 로그 양자화, 비용 없는 깊이와 법선의 공동 추정 기법을 도입하였다.

Method

FE2E는 사전 학습된 편집 모델 Step1X-Edit를 기반으로 하며, 기존 흐름 매칭 손실을 시간에 무관한 ‘일관된 속도’ 손실로 재정의하였다. 로그 양자화를 활용해 BF16 정밀도의 한계를 극복하고, 깊이와 법선을 하나의 순전파 과정에서 글로벌 어텐션으로 동시에 추정하도록 설계하였다. 학습 시 DiT 모듈만 미세조정하며, LoRA로 효율적인 파라미터 업데이트를 수행한다.

Results

FE2E는 ETH3D 데이터셋에서 35% 이상의 절대 상대 오차(AbsRel) 개선을 포함하여 다수 벤치마크에서 최신 기법 대비 우수한 제로샷 깊이 및 법선 추정 성능을 보였으며, 데이터량 대비도 더 효율적이었다.

Limitations

본 연구는 주로 합성 데이터로 학습되었으며, 실제 복잡한 환경에 대한 일반화와 다양한 기하학적 조건에서의 성능 검증이 추가로 필요하다.

Conclusion

편집 모델의 내재된 구조적 사전 지식을 활용하는 ‘From Editor to Estimator’ 패러다임을 통해, 효과적이고 데이터 효율적인 단안 밀집 기하 추정이 가능함을 실험적으로 검증하였다.

3. Towards a Unified View of Large Language Model Post-Training

Introduction

• Goal: 본 논문의 목표는 대규모 언어 모델의 후속 학습(post-training) 과정에서 사용되는 감독 학습(SFT)과 강화 학습(RL) 기법을 통합하는 통합 정책 그래디언트 추정기(Unified Policy Gradient Estimator)를 제안하는 것이다.
• Motivation: 기존의 SFT와 RL 접근법은 데이터 출처와 학습 방식이 달라 분리되어 다루어졌으나, 이들이 단일 최적화 과정의 서로 보완적인 형태임을 규명할 필요가 존재하였다.
• Contribution: 통합 정책 그래디언트 프레임워크를 통해 다양한 후속 학습 알고리즘들의 그래디언트 계산을 일관되게 해석하고, 이를 기반으로 동적으로 학습 신호를 조합하는 하이브리드 후속 학습(Hybrid Post-Training, HPT) 알고리즘을 제안하였다.

Method

통합 정책 그래디언트 추정기는 안정화 마스크, 참조 정책 분모, 우위값(advantage) 추정, 우도(확률) 그래디언트의 네 가지 구성 요소로 분해되어 다양한 기존 방법을 포괄한다.
하이브리드 후속 학습은 모델의 성능 피드백에 따라 SFT와 RL 손실 항의 가중치를 동적으로 조정하며, 모델 역량에 따라 적절한 학습 신호를 선택하는 전략을 적용한다.
실험에서는 GRPO 기반 RL과 SFT 손실을 혼합하는 손실 함수를 사용하고, 성능 임계값에 따라 두 손실의 가중치를 스위치하는 단순하면서도 효율적인 피드백 게이트를 구현하였다.

Results

HPT는 Qwen 및 LLaMA 계열의 다양한 규모 모델에서 SFT, GRPO, SFT→GRPO, LUFFY 등 강력한 기준선들을 일관되게 능가하며, 수학 추론 벤치마크 AIME 2024에서 최대 7점 이상의 의미 있는 성능 향상을 보였다.

Limitations

본 연구는 복잡한 하이퍼파라미터 조정 없이 간단한 바이너리 스위치를 사용하였으며, 더 정교한 혼합 가중치 조절 기법 및 다양한 데이터 환경에서의 추가 평가가 필요하다.

Conclusion

대규모 언어 모델 후속 학습에서 SFT와 RL 손실을 하나의 통합된 정책 그래디언트 프레임워크로 해석하고, 이를 기반으로 동적 혼합 손실을 활용하는 HPT 알고리즘이 다양한 모델과 과제에서 우수한 성능을 입증하였다.

4. Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions?

Introduction

• 본 연구의 목표는 대형 언어 모델(LLM)이 훈련 시 고착된 관습을 벗어나 실제 사용자 지시를 따를 수 있는지 평가하는 것이다.
• LLM은 학습된 표준화된 패턴에 따른 인지적 관성으로 인해 비직관적이거나 상반되는 지시에 잘 순응하지 못하는 한계가 존재한다.
• 본 논문은 이러한 한계를 평가하기 위해, LLM의 훈련 편향을 극복하고 역지시(inverse instruction)를 따르는 능력을 측정하는 벤치마크 Inverse IFEval을 제안하였다.

Method

Inverse IFEval은 기존 훈련 패러다임을 뒤집는 8가지 유형의 역지시 문제를 설계하여, 중국어 및 영어 23개 도메인의 1012문항으로 구성된 고품질 데이터셋을 인간-모델 협업 파이프라인을 통해 구축하였다.
평가는 언어 모델을 평가자(LLM-as-a-Judge)로 활용하는 자동화 방식을 채택하였으며, 각 지시 유형별 최적화된 평가 템플릿과 시스템 프롬프트를 적용하여 약 98%의 평가 정확도를 달성하였다.
본 벤치마크는 전통적 사실성이나 지식 검증 중심의 평가와 달리, LLM이 비정형적이고 반직관적인 조건에서도 유연하게 지시를 따라가는지를 집중적으로 테스트한다.

Results

실험 결과, 최신 대형 언어 모델들은 기존의 표준화된 지시에는 우수한 성능을 보이나 Inverse IFEval에서 인지적 관성으로 인해 성능 저하가 발생하며, 특히 사고 능력이 활성화된 모델이 그렇지 않은 모델보다 역지시 수행에서 우위를 보였다.

Limitations

본 연구는 역지시가 실제 응용에 반드시 유의미한 상황은 아니며, 실제 현업 요구를 전부 포괄하지는 못한다는 점에서 현실 적용 가능성에 한계가 존재한다.

Conclusion

Inverse IFEval은 LLM의 인지적 고착과 과적합 문제를 진단하고 극복할 수 있는 평가 도구로서, 비표준적이고 예측 불가능한 실제 환경에서의 지시 수행 신뢰성을 향상시키기 위한 연구 기반을 제공한다.

5. DeepResearch Arena: The First Exam of LLMs’ Research Abilities via Seminar-Grounded Tasks

Introduction

• Goal: 본 연구는 대규모 언어 모델(LLM)의 심층 연구 능력을 학술 세미나 기반 과제를 통해 평가하기 위한 새로운 벤치마크인 DeepResearch Arena를 제안하는 것이다.
• Motivation: 기존 연구 평가 벤치마크는 정적 데이터 혹은 전문가 수작업에 의존하여 실제 연구 환경의 동적이며 복합적인 질문 생성 과정을 반영하지 못하고 데이터 누수 문제를 내포하고 있다.
• Contribution: 200여 개 이상의 학술 세미나에서 추출한 1만 개 이상의 고품질 연구 과제로 구성된 DeepResearch Arena와 연구 영감을 자동 추출 및 계층적 과제 생성을 수행하는 MAHTG 시스템을 개발하였다.

Method

DeepResearch Arena는 자동 음성 인식을 통해 세미나 영상에서 얻은 전사 데이터를 기반으로 MAHTG 시스템이 연구적 영감을 분류 및 필터링 후, 3단계 연구 과제(종합, 설계, 평가)로 변환하여 대규모 다학제 벤치마크를 구성한다.
과제 평가는 사실 기반 키포인트 정렬 평가(KAE)와 적응형 체크리스트 평가(ACE)를 결합하여 객관적 사실성 및 주관적 연구 능력을 종합적으로 측정한다.
여러 LLM 모델을 대상으로 벤치마크를 적용하여 모델별 연구 과제 수행 능력 차이를 체계적으로 분석하였다.

Results

평가 결과, gpt-o4-mini-deepresearch와 gemini-2.5-flash 모델이 사실성 및 주관적 평가에서 우수한 성과를 보였으며, 모델별로 연구 과제 유형 및 분야별 특화된 강점과 한계를 확인하였다.

Limitations

본 연구는 일부 모델 성능이 특정 언어 및 연구 분야에서 편향되거나 제한된 확장성을 보이는 등 다국어 및 다학제 일반화의 한계가 존재한다.

Conclusion

DeepResearch Arena는 실제 학술 세미나 담론에 기반한 동적이며 인지적으로 도전적인 연구 과제를 통해 LLM 심층 연구 능력을 정밀하게 평가하는 혁신적 벤치마크로서, 차세대 연구 지원 AI 발전의 토대를 마련한다.

6. Transition Models: Rethinking the Generative Learning Objective

Introduction

• 본 논문의 목표는 확산 모델의 세대 학습 목표를 재고하여 임의의 시간 간격에 걸친 상태 전이(state transition)를 학습하는 새로운 생성 모델, Transition Models(TiM)을 제안하는 것이다.
• 기존의 확산 모델은 높은 단계 수에서 우수한 품질을 내지만 계산량이 많고, 적은 단계 수 생성 모델은 품질 한계에 부딪히는 문제점을 가지고 있다.
• TiM은 임의 단계의 상태 전이를 정확히 모델링함으로써 적은 단계 수에서도 성능 저하 없이 점진적 품질 향상을 가능하게 한 모델이다.

Method

TiM은 확산 과정의 국소적 미분 방정식(PF-ODE) 기반 감독을 일반화하여 모든 시간 간격 ∆t에 대해 상태 전이를 학습한다.
이 과정에서 새로운 상태 전이 항등식(State Transition Identity)을 도출하여 경로 일관성 및 시간 미분 일치성을 강제함으로써 안정적이고 세밀한 샘플링을 가능하게 한다.
또한 시간 임베딩 분리와 간격 인지 어텐션 등 아키텍처 개선과 효율적인 미분 근사법(DDE)을 통해 확장성과 안정성을 확보하였다.

Results

TiM은 8억 6천5백만 파라미터 모델임에도 불구하고 85억~120억 규모의 기존 최첨단 모델들보다 다양한 단계 수, 해상도, 종횡비에서 우수한 품질과 일관된 성능 향상을 달성하였다.

Limitations

고해상도에서 텍스트 및 손과 같은 세밀한 디테일 표현에서 품질 저하와 드문 아티팩트 발생, 그리고 내용 안전성과 제어성 문제는 여전히 남아 있다.

Conclusion

임의 단계 간 상태 전이를 학습하는 Transition Models는 효율성과 품질을 동시에 달성하며 다단계, 초고해상도 생성에 강력한 통합 모델의 새로운 패러다임을 제시한다.

7. NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings

Introduction

• Goal: 본 연구는 사전 정의된 스키마 없이 사용자 지정 유형 설명을 기반으로 명명된 개체를 검색하는 제로샷 NER(명명된 개체 인식) 변형인 명명된 개체 검색(Named Entity Retrieval) 문제를 해결하는 체계를 제안하는 것이다.
• Motivation: 기존 NER 시스템은 제한된 고정 유형에 의존하여 다양한 도메인과 새로운 개체 유형에 대응하기 어렵기에, 보다 유연하고 확장 가능한 개체 검색 방법이 필요하였다.
• Contribution: 저자들은 대규모 언어 모델(LLM)의 중간 층 self-attention 값 벡터를 활용하여 유형을 인식하는 임베딩을 학습하고, 대조학습 기반 경량 투영기를 통해 유형별 개체 표현을 정제하여, 제로샷 설정에서 우수한 명명된 개체 검색 성능을 달성하는 NER Retriever를 개발하였다.

Method

NER Retriever는 LLaMA 3.1 8B 모델의 중간 층(transformer block 17)의 self-attention 값 벡터를 추출하여 개체와 유형 쿼리를 공유 의미 공간에 임베딩한다. 이 임베딩은 경량 다층 퍼셉트론(MLP)을 통해 저차원, 유형 인식적 공간으로 투영되며, 대조적 학습 목표로 훈련되어 같은 유형 개체를 가깝게, 상이한 유형 개체는 멀리 위치시킨다. 인덱싱 단계에서 개체 임베딩들을 저장하고, 질의 시 사용자 유형 설명을 동일하게 임베딩해 최근접 이웃 검색으로 관련 문서를 반환한다.

Results

NER Retriever는 Few-NERD, MultiCoNER 2, NERetrieve 세 개의 벤치마크에서 BM25, E5-Mistral, NV-Embed v2 등 강력한 기준선 대비 최대 4배까지 R-Precision 성능을 크게 향상시켰다.

Limitations

LLM에 내재된 파라메트릭 지식에 의존하므로 법률, 의학, 금융 등 특수 도메인에서는 제로샷 성능이 저하될 수 있다.

Conclusion

NER Retriever는 중간 층 LLM 표현을 활용한 유형 인식 임베딩과 대조 학습 기반 정제 방식을 통해, 다양한 미지의 개체 유형에 대해 효율적이고 정확한 제로샷 명명된 개체 검색을 가능하게 하는 실용적인 프레임워크임을 입증하였다.

8. Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers

Introduction

• Goal: 본 연구는 다양한 고난도 추론 영역에서 검증 가능한 합성 데이터를 대규모로 생성하고 이를 활용해 체계적인 추론 능력을 향상시키는 프레임워크인 Loong 프로젝트를 제안하는 데 있다.
• Motivation: 수학과 프로그래밍 분야에서 강화학습과 자동 검증을 활용한 추론 성능 향상이 이루어졌으나, 고품질 검증 데이터가 부족하고 인간 감독 비용이 높은 다른 추론 도메인으로의 확장이 어려운 문제를 해결하고자 한다.
• Contribution: 12개 도메인에 걸친 8,729개 인간 검증 예제를 포함하는 LOONGBENCH 데이터셋과 다양한 합성 데이터 생성 및 검증 전략을 지원하는 모듈형 환경 LOONGENV를 개발하였다.

Method

Loong 프로젝트는 코드 실행을 통한 답안 검증과 자연어 추론 검증을 병행하는 에이전트-환경 루프를 구성하며, 이를 통해 최소한의 인간 감독으로 합성된 고품질 학습 데이터를 생성한다. LOONGBENCH는 여러 도메인의 문제와 정답, 실행 가능한 코드 및 메타데이터를 포함한 시드 데이터셋으로 사용된다. LOONGENV는 few-shot, self-instruct, evol-instruct 등 다양한 프롬프트 전략을 적용해 새로운 문제-답-코드 쌍을 합성하며, 자동 검증 메커니즘으로 정답의 의미적 일치 여부를 판단한다.

Results

LOONGBENCH를 바탕으로 다양한 개방/비공개 LLM에서 도메인별 추론 성능을 평가한 결과, 수학 및 프로그래밍 도메인에서는 최고 100% 정확도를 보인 반면, 금융, 수리 프로그래밍 등 특정 영역에서는 10~25% 수준의 저조한 성능도 관찰되어 도메인 특화 과제가 뚜렷하게 드러났다.

Limitations

합성 데이터 생성 시 tend복잡성과 다양성 증가에 따른 코드 실행 실패 및 검증 불일치 사례가 존재하며, 현재는 LLM기반 평가자에 주로 의존해 완전한 자동화 검증 체계 구축이 미흡하다.

Conclusion

Loong 프로젝트는 다양한 추론 집약 도메인에서 검증 기반 강화학습을 통한 대규모 합성 데이터 생성과 평가를 가능하게 하여 향후 고도의 다분야 추론 모델 개발에 필수적인 자원과 틀을 제공한다.

9. Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

Introduction

• Goal: 본 연구는 장시간 영상 이해를 위해 반복적인 핵심 영상 구간 선택과 질문 이해를 지원하는 강화 학습 기반의 다중 단계 추론 프레임워크 Video-MTR을 제안하는 데 목적이 있다.
• Motivation: 기존 방법들은 단일 단계 추론이나 외부 시각-언어 모델에 의존하며 복잡성 문제와 종단 간 학습 부재로 인해 최적 성능 확보에 한계가 존재한다.
• Contribution: 본 연구는 다중 단계 추론과 게이트 기반 이중 수준 보상 체계를 도입하여 핵심 프레임 선택과 질문 이해를 동시에 최적화하고, 다양한 장시간 영상 벤치마크에서 우수한 성능을 입증하였다.

Method

Video-MTR은 다중 단계 상호작용을 통하여 점진적으로 관련 영상 구간을 선택하고 질문에 답변하는 방식을 채택한다.
강화 학습 기반으로 종단 간 학습이 가능하며, 정답 정확도를 반영하는 궤적 수준 보상과 구간-질문 관련성을 반영하는 단계별 보상을 포함한 게이트드 이중 수준 보상 체계를 도입하였다.
또한, QA 주도 데이터셋과 영상 시간적 접지 데이터를 큐레이션하여 보상 신호의 세분화를 극대화하였다.

Results

Video-MTR은 VideoMME, MLVU, EgoSchema 등 주요 장시간 영상 이해 벤치마크에서 기존 최고 기법 대비 정확도와 효율성 측면에서 우수한 성과를 보였다.

Limitations

복잡한 보상 설계와 다중 단계 최적화 과정이 요구되어 학습 과정에 높은 계산 자원과 정교한 보상 튜닝이 필요하다.

Conclusion

Video-MTR은 강화 학습과 다중 단계 추론을 결합하여 장시간 영상 이해에서 뛰어난 성능과 높은 일반화 능력을 보이는 새로운 패러다임을 제시하였다.

10. Few-step Flow for 3D Generation via Marginal-Data Transport Distillation

Introduction

• Goal: 본 연구는 3D 생성 분야에서 사전학습된 모델을 소수 샘플링 단계로 증류하여 효율적인 3D 플로우 생성 방식을 개발하는 것이다.
• Motivation: 기존 3D 플로우 기반 생성 모델은 추론 시 다수의 반복 샘플링이 필요하여 실용적 활용에 제약이 발생한다는 점에서 동기부여되었다.
• Contribution: 마지널-데이터 전송 목표를 기반으로 하는 MDT-dist 프레임워크와 최적화 목적 함수인 속도 일치(Velocity Matching) 및 속도 증류(Velocity Distillation)를 제안하였다.

Method

본 방법은 3D 플로우 모델에서 마지널 분포를 데이터 분포로 직접 전송하는 주요 목표를 수립하였다. 이를 직접 학습하는 것은 불가능하므로, 목표를 속도 장(velocity field)과 분포 수준으로 변환하는 두 가지 최적화 손실 함수(VM, VD)를 도입하여 안정적인 학습 및 확률 밀도 증류를 수행한다. 이 두 손실함수를 결합해 사전학습된 교사 모델을 학생 모델로 효과적으로 증류한다.

Results

제안 방법은 TRELLIS 프레임워크에 적용되어 플로우 변환기의 샘플링 단계를 25에서 1~2로 줄이고, 약 6.5~9배의 추론 가속을 이루면서도 시각적 및 기하학적 품질을 유지하여 현존하는 일관성 모델 증류 기법을 크게 능가하였다.

Limitations

본 연구는 대량의 조건부 이미지와 고품질 기하학 데이터 확보가 필수적이어서 증류 훈련 비용이 여전히 높다는 한계를 지닌다.

Conclusion

마지널-데이터 전송을 목표로 하는 MDT-dist 프레임워크는 3D 생성의 소수 샘플링 증류 문제에 대해 기존 방법 대비 높은 효율성과 품질 균형을 달성하는 새로운 표준을 제시하였다.

11. Durian: Dual Reference-guided Portrait Animation with Attribute Transfer

Introduction

• Goal: 본 연구는 참고 이미지로부터 얼굴 속성 전이를 통해 단일 인물 초상화 애니메이션 영상을 제로샷 방식으로 생성하는 Durian 방법을 제안한다.
• Motivation: 기존 영상이나 이미지 편집 도구들은 정적인 결과물에 한정되거나 수동 마스크 입력을 요구하여 현실감과 표현력이 제한되므로, 동적이고 자세에 민감한 얼굴 속성 전이가 가능한 자동화된 애니메이션 생성 방법이 필요하다.
• Contribution: 본 연구는 두 개의 참조 이미지를 입력받아 공간 및 의미적 특성을 주입하는 듀얼 레퍼런스 네트워크와 속성 인식 기반 마스크 확장 및 참조 이미지 증강 전략으로 무표식 트리플릿 데이터 없이도 다양한 얼굴 속성 전이와 애니메이션 생성을 동시에 수행하는 최초의 프레임워크를 제안한다.

Method

Durian은 속성 마스크가 적용된 속성 이미지와 초상화 이미지를 인코딩하는 듀얼 레퍼런스 네트워크(ARNet, PRNet)를 활용하며, 이들의 공간 특징들을 주의 메커니즘을 통해 시퀀스 프레임 생성용 Denoising U-Net에 통합한다. 영상 내 시간적 일관성을 위해 템포럴 어텐션을 도입하고, 얼굴 키포인트 순서로 모션을 제어하며, 자가재구성 학습과 속성별 마스크 확장, 공간·색상 증강을 병행하여 학습한다. 추론 시 3D 아바타를 이용해 참조 이미지와 초상화 사이의 마스크 정렬을 개선하며, 다중 속성 조합과 속성 간 보간도 단일 생성 과정에서 지원된다.

Results

Durian은 다양한 얼굴 속성 전이 및 애니메이션 생성 과제에서 기존 두 단계 방식을 조합한 최첨단 기법 대비 모든 평가 지표(L1, PSNR, SSIM, LPIPS, FID)에서 우수한 성능을 기록하였다.

Limitations

복잡한 상호작용 속성 처리, 조명 차이로 인한 품질 저하, 극단적 얼굴 자세에서의 속성 전이 어려움과 키포인트 추출 실패에 따른 애니메이션 품질 저하 문제가 남아있다.

Conclusion

이 연구는 추가 학습 없이도 교차 신원 속성 전이와 애니메이션 생성, 다중 속성 합성이 가능한 새로운 영상 생성 프레임워크를 제시하며, 향후 전신 및 다양한 복합 속성으로의 확장이 기대된다.

12. Drawing2CAD: Sequence-to-Sequence Learning for CAD Generation from Vector Drawings

Introduction

• Goal: 본 연구는 2D 벡터 공학 스케치로부터 파라메트릭 CAD 모델을 자동으로 생성하는 방법을 제안하는 데 목적이 있다.
• Motivation: 기존 CAD 생성 연구들은 3D 포인트 클라우드, 메시, 텍스트 등으로부터 모델을 생성하지만, 산업 현장에서는 2D 공학 도면에서부터 시작하는 설계 워크플로가 널리 사용되어 해당 입력에 최적화된 연구가 부족하였다.
• Contribution: 2D 벡터 도면을 입력으로 하여 이를 시퀀스-투-시퀀스 변환 문제로 재정의하고, 정밀한 기하학적 정보 보존과 설계 의도 유지가 가능한 Drawing2CAD 프레임워크를 제안하였다.

Method

Drawing2CAD는 SVG 벡터 드로잉 명령어를 네트워크 친화적 임베딩으로 변환하고, 이 임베딩을 인코더에 입력하여 CAD 명령 타입과 파라미터를 각각 생성하는 이중 디코더 트랜스포머 구조를 통해 CAD 연산 시퀀스를 생성한다.
또한 CAD 파라미터의 자연스러운 유연성을 고려한 소프트 타깃 분포 손실 함수를 도입하여 미세한 파라미터 변동을 허용함으로써 모델의 일반화 성능을 향상시켰다.
이를 위해 공학 도면과 대응하는 CAD 모델 쌍으로 이루어진 대규모 CAD-VGDrawing 데이터셋을 구축하여 학습과 평가에 활용하였다.

Results

벡터 입력을 사용한 Drawing2CAD는 기존 래스터 입력 기반과 비교 시 CAD 명령 정확도, 파라미터 정밀도, 3D 모델 유효성에서 일관되게 우수한 성능을 보였으며, CAD 모델이 설계 의도에 보다 부합하는 결과를 도출하였다.

Limitations

복잡한 CAD 모델 처리 시 일부 FreeCAD 변환 과정에서 오류가 발생하는 사례가 존재하여 데이터셋 품질과 모델 안정성에 제한이 있다.

Conclusion

Drawing2CAD는 산업 설계 과정에서 필수적인 2D 벡터 공학 도면을 효과적으로 활용하여 고품질의 파라메트릭 CAD 모델 생성을 가능하게 한 혁신적 딥러닝 프레임워크임이 입증되었다.

13. Delta Activations: A Representation for Finetuned Large Language Models

Introduction

• Goal: 본 연구의 목표는 미세조정된 대형 언어 모델(LLM)을 기반 모델과의 내부 활성 차이로 벡터 임베딩하여 모델 간 특성과 유사성을 효율적으로 표현하는 것이다.
• Motivation: 다양한 분야와 작업에 특화된 미세조정 LLM들이 증가함에도 불구하고, 메타데이터의 불일치와 비구조적 저장소로 인해 이들 모델을 탐색하고 이해하는 데 어려움이 존재한다.
• Contribution: 본 논문은 Delta Activations라는 방법을 제안하여, 고정된 일반적 프롬프트 입력에 대한 내부 활성의 변화량을 측정함으로써 미세조정 모델들을 의미 있는 벡터 공간에 임베딩하는 기술을 개발하였다.

Method

Delta Activations는 기본(base) LLM과 미세조정된 LLM에 동일한 범용 프롬프트들을 입력하여 최종 레이어의 토큰 활성화 차이를 계산한다. 이 차이들을 평균하여 모델의 Delta Activations 벡터를 구성하며, 이를 통해 모델 간 행동 변화와 전문 분야 특성을 수치화한다. 제안 방법은 모델 메타데이터나 학습 데이터에 의존하지 않고 단 한 번의 순전파로 계산 가능한 장점이 있다.

Results

Delta Activations는 여러 대형 LLM(pool)에서 도메인별 클러스터링을 일관되게 수행하며, 기존 가중치 기반, 출력 임베딩 기반 방법들보다 우수한 구분력과 더불어 미세조정 데이터셋 혼합에 따른 벡터 덧셈 특성을 보였다.

Limitations

Delta Activations는 내부 숨겨진 상태 접근이 필수적이므로, 비공개 모델에 대한 적용은 제한적이며 실험은 주로 일부 공개 소스 아키텍처에 국한되었다.

Conclusion

Delta Activations는 미세조정된 LLM들을 효과적으로 표현하고 분류할 수 있는 확장성 높은 임베딩 기법으로서, 공개 모델의 탐색 및 재사용 촉진에 기여할 것으로 기대된다.

14. False Sense of Security: Why Probing-based Malicious Input Detection Fails to Generalize

Introduction

• Goal: 본 연구는 대형 언어 모델(LLM) 내부 표현을 이용한 probing 기반 악의적 입력 탐지 방법의 일반화 실패 원인을 규명하는 데 목적이 있다.
• Motivation: 기존의 probing 기법이 훈련 분포 외(out-of-distribution) 성능이 급격히 저하되는 현상에 주목하여, 이들이 의미론적 유해성을 학습하지 않고 피상적 패턴에 의존한다는 가설을 세웠다.
• Contribution: 세 가지 연구를 통해 probing 기법이 명령어 형식과 트리거 단어 등 피상적 패턴만 학습하며, 의미론적 이해 없이 과도한 신뢰를 불러일으킨다는 점을 체계적으로 입증하였다.

Method

LLM의 마지막 계층 토큰 히든 스테이트를 추출하여 SVM 등 경량 분류기를 학습하는 probing 방식을 적용하였다.
훈련 데이터와 다른 분포의 데이터에서 성능 저하를 관찰하고, 단순 n-그램 기반 나이브 베이즈 분류기와 성능을 비교하였다.
또한, 의미론적 유해성을 제거한 정제 데이터와 명령어 형식을 변형한 패러프레이징 데이터로 분류기의 의존 패턴 분석을 수행하였다.

Results

Probing 기반 분류기는 인-분포 데이터에서 98% 이상의 높은 정확도를 보였으나, 아웃오브디스트리뷰션 데이터에서는 최대 99% 포인트까지 정확도가 급락하였고, 단순 n-그램 모델과 유사한 수준의 성능을 보여 의미론적 이해 대신 피상적 패턴에 의존함을 확인하였다.

Limitations

본 연구는 주로 영어 데이터셋과 디코더-전용 트랜스포머 아키텍처에 한정하여 실험하였기에, 타 언어 및 모델 구조에 대한 일반화 가능성은 추가 검증이 필요하다.

Conclusion

현재 probing 기반 악성 입력 탐지 기법은 표면적 패턴에 의존해 과도한 안정감만 제공하며, 진정한 의미론적 유해성 파악을 위한 모델 및 평가 체계의 근본적인 재설계가 요구된다.