1. Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth

Introduction

• Goal: 본 연구는 “Drivelology”라 명명된 ‘깊이를 지닌 무의미한 문장’을 해석하는 능력을 대형언어모델(LLM)들이 얼마나 갖추었는지 평가하는 것이다.
• Motivation: Drivelology는 문법적으로 일관되지만 의미심장한 역설, 감정적 함의, 수사적 전복을 포함하여 LLM의 심층적 화용론 이해를 시험하는 독특한 언어 현상이다.
• Contribution: 본 논문은 1,200여 개의 다국어 Drivelology 예제를 포함한 DRIVELHUB 데이터셋을 구축하고, 이를 활용해 다양한 LLM들의 분류, 생성, 추론 능력을 종합 평가하였다.

Method

DRIVELHUB 데이터셋은 Drivelology 문장과 그 내재된 의미 및 다중 범주 레이블을 포함하며, 전문가 다수 검토를 거친 엄격한 주석 프로세스를 적용하였다.
LLM 평가를 위해 ① Drivelology 판별, ② 다중 범주 태깅, ③ 내재 서사 생성, ④ 서사 선택의 네 가지 과제를 설계하였다.
다양한 최신 오픈소스 및 독점 LLM을 대상으로 영·중어 프롬프트에서 제로샷 평가를 실시하였다.

Results

평가 결과, Deepseek-v3가 모든 과제에서 최상위 성능을 보여 LLM들이 Drivelology 해석에 있어 깊이 있는 의미 이해와 복합적 수사적 기능 파악에 아직 한계가 있음을 증명하였다.

Limitations

본 연구는 DRIVELHUB 데이터셋 내 중국어 샘플 비중이 과다하여 언어 및 문화적 다양성 측면에서 일반화 가능성이 제한적이며, 컴퓨팅 자원 부족으로 대형 모델 평가에 제약이 있었다.

Conclusion

Drivelology는 LLM의 표층적 언어처리를 넘어선 심층적, 비선형적 의미 통합 능력을 요구하며, 본 연구는 향후 LLM의 사회문화적 이해력 향상을 위한 기초 자원과 평가 기준을 제공하였다.

2. From Editor to Dense Geometry Estimator

Introduction

• Goal: 본 논문은 단안 영상으로부터 조밀한 기하 정보를 추정하기 위해 이미지 편집 모델을 기반으로 한 새로운 기초 모델 FE2E를 제안하는 데 목적이 있다.
• Motivation: 기존 텍스트-이미지 생성 모델이 본질적으로 생성 작업에 최적화된 반면, 조밀한 기하 정보 추정은 이미지-이미지 변환 작업으로, 이미지 편집 모델이 더 적합할 수 있다는 점에서 착안하였다.
• Contribution: 편집 모델이 가지는 구조적 선험지식을 분석하고 이를 기반으로 디퓨전 트랜스포머 아키텍처와 새로운 일관 속도 학습 목표, 로그 양자화, 비용 없는 깊이 및 법선 공동 추정 방법을 제안하였다.

Method

FE2E는 Step1X-Edit 편집 모델을 디퓨전 트랜스포머 기반 추정기로 전환하였으며, 흐름 매칭 손실 함수를 확정 속도 학습 목표로 재정의하였다. BF16 연산 환경에 적합하도록 로그 양자화 방식을 도입하여 정밀도 문제를 해결하고, 깊이와 표면 법선을 단일 순방향 연산으로 공동 추정하는 전략을 활용하였다. 전이 학습은 제한된 합성 데이터셋을 활용하여 진행되었다.

Results

FE2E는 약 7만 개의 훈련 데이터만으로 ETH3D, KITTI 등 다수의 벤치마크에서 기존 최첨단 방법 대비 깊이 추정에서 최대 35% AbsRel 감소를 달성하며, 수백만 개 이상 데이터로 학습된 모델들에 비해 우수한 성능을 보였다.

Limitations

현재 연구는 주로 제한된 합성 데이터셋 기반이며, 실제 환경에서의 적용성과 다양한 변환 작업에 대한 확장 가능성은 추가 검증이 필요하다.

Conclusion

FE2E는 이미지 편집 모델의 내재적 구조 선험지식을 효과적으로 활용하여 조밀한 기하 추정 문제에 성공적으로 적용함으로써, 데이터 효율적이고 안정적인 단안 깊이 및 법선 추정의 새로운 패러다임을 제시하였다.

3. Towards a Unified View of Large Language Model Post-Training

Introduction

• Goal: 본 논문은 대규모 언어 모델의 사후학습(Post-Training)에서 강화학습과 지도 미세조정 기법을 통합하는 통일된 최적화 관점을 제시하는 데 목적이 있다.
• Motivation: 강화학습과 지도 미세조정은 각각 다른 데이터 소스와 목적함수를 사용하지만, 두 접근법간의 차이를 해소하고 통합하는 이론적 근거가 부족하였다.
• Contribution: Unified Policy Gradient Estimator(UPGE)를 도입하여 두 방법의 그래디언트 계산을 통일된 형태로 표현하고, 이를 기반으로 두 학습 신호를 동적으로 조합하는 Hybrid Post-Training(HPT) 알고리즘을 제안하였다.

Method

본 연구는 SFT와 RL 손실을 공통의 목적함수 하에 통합하고, 정책 그래디언트의 네 가지 주요 구성요소(안정화 마스크, 기준 정책, 어드밴티지 추정, 우도 그래디언트)를 이론적으로 분석하였다. HPT는 모델의 수행능력에 따라 SFT와 RL 손실의 가중치를 동적으로 조정하는 성능 피드백 기반 혼합 손실 함수를 사용한다. 이 과정에서 Dr. GRPO를 RL 알고리즘으로 사용하여 실험을 수행하였다.

Results

HPT는 Qwen2.5-Math-7B, LLaMA3.1-8B, Qwen2.5-Math-1.5B 등 다양한 모델 규모와 패밀리에서 기존의 SFT, GRPO, SFT→GRPO, LUFFY 등 강력한 기준선들을 일관되게 능가하여 AIME 2024 벤치마크에서 7포인트 이상의 성능 향상을 기록하였다.

Limitations

본 논문에서는 동적 혼합 손실 가중치 조정에 관한 간단한 스위치 함수만을 실험에 사용하였으며, 보다 정교한 적응 메커니즘의 설계와 분석이 필요하다.

Conclusion

본 연구는 대규모 언어 모델 사후학습에 대한 통일된 이론적 틀과 실용적 알고리즘을 제시하여 SFT와 RL 기법의 장점을 효과적으로 결합할 수 있음을 입증하였다.

4. DeepResearch Arena: The First Exam of LLMs’ Research Abilities via Seminar-Grounded Tasks

Introduction

• Goal: 본 논문의 목표는 학술 세미나 기반의 과제를 통해 대규모 언어 모델(LLM)의 심층 연구 능력을 평가하는 새로운 벤치마크인 DeepResearch Arena를 제안하는 것이다.
• Motivation: 기존 연구 평가 벤치마크들은 정적인 데이터나 전문가가 수작업으로 만든 문제에 의존하여 실제 연구 현장의 동적이고 상황적인 문제 생성 과정을 반영하지 못하기 때문이다.
• Contribution: 200여 개 이상의 학술 세미나에서 12개 분야, 10,000개 이상의 고품질 연구 과제를 자동 추출하는 다중 에이전트 계층적 과제 생성 시스템(MAHTG)과, 사실 기반의 키포인트 정렬 평가(KAE)와 적응형 체크리스트 평가(ACE)를 결합한 하이브리드 평가 프레임워크를 제안하였다.

Method

DeepResearch Arena는 학술 세미나 영상의 음성을 텍스트로 전사한 후, Inspira Agent가 연구 가치 있는 영감을 4가지 유형(제한점, 방법론, 학제간, 가설)으로 추출한다. TaskWeaver Agent는 이 영감을 바탕으로 합성, 설계, 평가의 3단계 연구 과제를 체계적으로 생성하며, RankEval Agent는 엘로(Elo) 평가를 통해 과제의 질을 평가하고 선별한다. 평가 단계에서는 KAE로 사실적 근거를 검증하고, ACE로 창의적이고 주관적인 연구 능력을 다각도로 평가한다.

Results

평가 결과, GPT-4o-mini-deepresearch와 Gemini-2.5-flash 모델이 전반적으로 가장 높은 수행능력을 보였으며, 특히 가설 생성과 평가 설계 등 복잡한 과제에서 두드러진 성과를 나타냈다.

Limitations

본 연구에서 제안한 벤치마크는 세미나 자료의 특성상 일부 연구 분야에 편중될 수 있으며, 평가 과정에서 모델별 특징에 따른 편향 가능성이 존재한다.

Conclusion

DeepResearch Arena는 실제 연구자 간의 동적인 학술 대화를 기반으로 한 현실적이고 복잡한 연구 과제를 제공함으로써 LLM 연구 에이전트의 심층 연구 역량 평가에 있어 이론적 근거와 현장성을 갖춘 새로운 평가 기준을 제시한다.

5. Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions?

Introduction

• 본 연구의 목표는 대형 언어 모델(LLM)이 학습 과정에서 고착된 규칙을 벗어나 반직관적인 실제 명령을 따를 수 있는 능력인 Counter-intuitive Ability를 평가하는 벤치마크인 Inverse IFEval을 제안하는 것이다.
• 동기는 기존 LLM들이 감독 학습 과정에서 습득한 표준화된 패턴에 집착하는 인지 관성(cognitive inertia)을 보여 현실에서 비전형적이거나 모순된 지시를 제대로 수행하지 못하는 문제를 해결하기 위함이다.
• 기여점은 반직관적 지시 8가지 유형을 체계적으로 설계하고, 23개 분야에 걸쳐 중국어와 영어로 구성된 1012개 고품질 질문 데이터셋을 개발하여 LLM의 강건성과 적응력을 정량적으로 평가하는 최초의 대규모 벤치마크를 공개한 데 있다.

Method

Inverse IFEval은 감독 학습 데이터에서 관찰되는 이상적인 응답 패턴을 인위적으로 뒤집는 8개 반직관적 지시 유형을 정립하였다.
인간 전문가와 대형 언어 모델의 협업을 통한 다단계 생성·검증 과정을 거쳐, 주제 다양성과 데이터 품질을 확보한 질문 세트를 구축하였다.
평가는 LLM을 판정자로 활용하는 자동 평가 체계와 인간 전문가의 교차 검증으로 구성되며, 모델별 맞춤 평가 템플릿과 지시 유형별 판정 모델을 적용해 높은 평가 정확도를 달성하였다.

Results

실험 결과 최고 성능 모델인 o3-high가 평균 점수 약 75%를 기록한 반면, 전통적 파인튜닝 모델은 낮은 성능을 보여 Inverse IFEval이 비전형적 명령 수행 능력을 효과적으로 평가함을 입증하였다.

Limitations

연구 대상 지시문이 인위적으로 설계된다는 점에서 실질적 유용성 측면에서는 한계가 있으며, 자동 평가 체계의 완전한 보편성 확보를 위해 추가 개선이 필요하다.

Conclusion

Inverse IFEval은 LLM이 학습된 규칙에 얽매이지 않고 비전형적이고 분포 외 명령에 적응할 수 있는 핵심 능력을 측정하는 진단 도구로서, 향후 모델의 인지 관성을 완화하고 실제 환경에서의 신뢰성을 높이는 연구 기반이 될 것이다.

6. Transition Models: Rethinking the Generative Learning Objective

Introduction

• 본 논문의 목표는 생성 모델의 학습 목표를 재고찰하여 임의의 시간 간격에 걸친 상태 전이를 학습할 수 있는 전이 모델(Transition Models, TiM)을 제안하는 것이다.
• 동기부여는 기존 확산 모델들의 세밀한 단계별 동역학에 집중한 학습 목표와 단일 종점 예측 중심의 목표가 상호 배타적 제약을 만들어 세대 단계 수와 출력 품질 간 필연적 트레이드오프가 존재한다는 점이다.
• 기여점은 임의 간격의 연속시간 상태 전이 방정식을 도입하여 모든 세대 단계에서 일관적이고 점진적으로 품질이 개선되는 새로운 생성 패러다임 TiM을 개발하고, 상대적으로 적은 8.65억 파라미터로도 최첨단 대규모 모델을 능가하는 성능을 실현하였다는 점이다.

Method

TiM은 기존 확산 모델의 국소적 미분방정식 근사에서 벗어나 임의 간격 ∆t에 대한 정확한 상태 간 전이 동역학을 학습하도록 설계되었다. 이로써 모델은 연속적 해의 해집합(solution manifold)을 학습하며, 한 단계 도약부터 미세한 반복 정제에 이르는 모든 샘플링 단계를 포괄한다. 또한 시간 및 간격 임베딩 분리, 구간 인지 어텐션 등 아키텍처 개선과 효율적인 차분 도함수 근사(Differential Derivation Equation)를 통해 대규모 학습의 확장성과 안정성을 확보하였다.

Results

TiM은 GenEval, MJHQ30K, DPGBench 등 다양한 텍스트-이미지 및 클래스-가이드 이미지 생성 벤치마크에서 단일 함수평가(1-NFE)부터 다단계(128-NFE)까지 모든 평가 단계에서 기존 다단계 및 증류 모델을 능가하는 최고 성능을 달성하였다.

Limitations

TiM은 고해상도 및 세밀한 디테일(예: 텍스트, 손 등) 표현에서 여전히 품질 저하와 가끔씩 발생하는 아티팩트 문제를 가지며, 콘텐츠 안전 및 제어는 향후 개선 과제로 남아있다.

Conclusion

본 연구는 통합된 학습 목표와 아키텍처 설계로 적은 파라미터 수로도 뛰어난 생성 품질과 단계 수에 따른 일관된 품질 향상을 실현하는 차세대 효율적이고 확장 가능한 생성 모델 패러다임을 제시하였다.

7. Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

Introduction

• Goal: 본 연구는 긴 동영상을 이해하기 위한 강화된 다회 반복 추론 프레임워크인 Video-MTR을 제안하는 데 목적이 있다.
• Motivation: 기존 방법들이 정적 추론이나 외부 시각-언어 모델에 의존하며 복잡성과 비최적 성능 문제를 겪고 있어, 긴 동영상의 다중 이벤트와 시간적 의존성을 효과적으로 처리하기 어렵다.
• Contribution: Video-MTR은 점진적 비디오 구간 선택과 질문 이해를 위한 다회 반복 추론 방식을 도입하고, 정확도와 효율성을 동시에 개선하는 새로운 게이트형 이중 보상 체계를 개발하였다.

Method

Video-MTR은 Qwen2.5-VL-7B 기반의 통합 모델로, 다회 차례에 걸쳐 중요 비디오 구간을 선택하며 질문에 대한 이해를 점진적으로 심화시킨다.
강화학습을 활용하여 최종 정답의 정확성에 기반한 경로 수준 보상과 구간-질문 관련성에 기반한 차례 수준 보상을 결합하여 중간 과정의 품질을 유지한다.
또한 비디오-질의 응답 중심의 데이터 큐레이션 파이프라인과 탐색-부트스트래핑 전략을 통해 적은 데이터로도 효과적인 학습이 가능하도록 설계되었다.

Results

Video-MTR은 VideoMME, MLVU, EgoSchema 등 여러 장기 동영상 이해 벤치마크에서 32개 프레임만으로도 기존 최첨단 방법과 동등하거나 우수한 정확도와 효율성을 달성하였다.

Limitations

복잡한 보상 체계와 제한된 데이터 규모로 인해 다회 반복 학습 과정에서 보상 해킹 등의 위험이 존재하며, 이러한 문제 완화가 필요하다.

Conclusion

Video-MTR은 장기 동영상 이해를 위한 최초의 엔드-투-엔드 다회 반복 강화학습 기반 추론 프레임워크로, 비디오 길이가 증가할수록 성능 향상이 더욱 두드러져 긴 동영상 이해의 새로운 가능성을 열었다.

8. NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings

Introduction

• Goal: 본 연구의 목표는 사용자가 정의한 개방형 유형 설명을 기반으로 문서 내 명명된 개체를 검색하는 제로샷 명명 개체 검색(Ad-hoc Named Entity Retrieval) 프레임워크인 NER Retriever를 제안하는 것이다.
• Motivation: 기존 명명 개체 인식(NER) 시스템은 고정된 개체 유형에 의존하며 실제 환경에서 다양한 도메인의 새로운 유형을 처리하는 데 한계가 존재한다.
• Contribution: 본 연구는 대형 언어 모델(LLM)의 중간 계층 self-attention 값(value) 벡터를 활용하여 유형 인지 임베딩을 추출하고, 이를 경량화된 대조학습 기반 프로젝션 네트워크로 정제하여 효과적인 제로샷 개체 검색을 구현하였다.

Method

NER Retriever는 LLaMA 3.1 8B의 17번째 변환기 블록의 value 벡터를 추출하여 개체 표상을 생성한다. 이를 2층 MLP와 triplet contrastive loss를 사용한 대조학습으로 차원 축소 및 유형 인지 임베딩 공간으로 변환한다. 인덱싱 시 개체별 임베딩을 저장하고, 사용자 쿼리 유형 역시 동일한 임베딩 공간으로 매핑해 k-최근접 이웃 검색으로 관련 문서를 검색한다.

Results

Few-NERD와 MultiCoNER 2 벤치마크에서 BM25, E5-Mistral, NV-Embed v2 대비 최대 4배 이상 높은 R-Precision을 기록하며, NERetrieve 테스트셋에서는 준수한 성능을 달성하였다.

Limitations

본 시스템은 LLM 내장 지식에 의존하므로 법률, 의료, 금융 등 전문 도메인에서는 제로샷 성능이 저하될 수 있다.

Conclusion

NER Retriever는 대형 언어 모델의 중간 계층 표현을 활용한 유형 인지 임베딩과 대조학습을 결합하여 다양한 미지 개체 유형에 대해 효과적인 제로샷 명명 개체 검색을 가능하게 한다.

9. Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers

Introduction

• Goal: 본 연구의 목표는 다양한 추론 집중 도메인에서 검증 가능한 합성 데이터 생성을 확장하는 개방형 프레임워크인 Loong 프로젝트를 제안하는 것이다.
• Motivation: 고품질 검증 데이터셋의 부족과 인간 감독의 높은 비용으로 인해 수학과 프로그래밍 외의 도메인에서 대형 언어 모델의 고난도 추론 성능 향상이 어렵다는 문제가 있다.
• Contribution: Loong 프로젝트는 12개 도메인의 8,729개 인간 검증 예제로 구성된 LOONGBENCH와 다중 생성 전략을 지원하는 LOONGENV라는 모듈형 합성 데이터 생성 환경을 개발하여 체인 오브 쏘트 추론과 코드 실행 결과의 일치를 통한 강화학습 기반의 대규모 성능 향상을 가능하게 하였다.

Method

Loong은 인간 검증 시드 데이터셋(LOONGBENCH)과 다양한 자동 질문-답변-코드 쌍을 생성하는 합성 환경(LOONGENV)으로 구성된다.
합성 데이터 생성은 Few-shot prompting, Self-Instruct, Evol-Instruct 전략을 활용하여 자연어 질문과 실행 가능한 코드를 생성하며, 코드 실행 결과와 추론 답변의 일치를 검증기로 확인한다.
검증된 데이터를 통해 인간 감독 최소화 하에 강화학습을 수행하며, 모델은 검증된 합성 답변과 의미상 일치할 때 보상을 받는다.

Results

LOONGBENCH 평가에서 추론 특화 모델인 o3-mini와 DeepSeek-R1이 대다수 도메인에서 최고 성능을 보였으며, Few-shot prompting이 가장 높은 코드 실행 성공률(논리 도메인 92.6%)을 나타내는 등 합성 데이터 생성 전략별 장단점과 도메인별 난이도 차이를 검증하였다.

Limitations

Evol-Instruct 방식은 다양성과 난이도는 높지만 실행 불가능 코드 비율과 검증 거부율이 상당히 높아 안정성 측면에서 한계가 존재한다.

Conclusion

본 연구는 다양한 도메인에서 체계적이고 검증 가능한 합성 데이터 생성을 통해 대규모 강화학습 기반 추론 능력 향상을 위한 실용적 플랫폼을 제시하였다.

10. Few-step Flow for 3D Generation via Marginal-Data Transport Distillation

Introduction

• 본 연구의 목표는 사전학습된 3D 흐름 기반 생성 모델을 소수의 추론 단계만으로 효율적으로 증류하는 새로운 프레임워크인 MDT-dist를 제안하는 것이다.
• 3D 생성은 2D에 비해 고차원, 희소성, 복잡한 기하학적 구조 등의 이유로 소수 단계 가속화가 더욱 어렵고, 기존의 일관성 모델(Consistency Models)은 3D 생성에 충분히 적용되지 못했다.
• 본 논문에서는 주변분포-데이터 이동(Marginal-Data Transport) 직접 학습을 목표로, 이를 실용적으로 구현하기 위한 속도장 일치(Velocity Matching)와 속도장 증류(Velocity Distillation)라는 두 가지 최적화 목표를 도입하였다.

Method

본 방법은 사전학습된 3D 흐름 모델의 속도장 정보를 활용해 주변분포에서 데이터 분포로의 전송을 직접 학습하고, 이를 속도장 일치 손실과 확률밀도 분포 증류 손실로 나누어 최적화한다.
속도장 일치는 학생(증류된 모델)과 교사(사전학습 모델) 간의 속도장 차이를 안정적으로 줄이는데, 일부 그라디언트 편향이 존재한다.
속도장 증류는 속도장의 차이를 이용해 주변분포 차이를 간접적으로 측정하고 최적화를 보완하여 학습의 완성도를 높인다.

Results

TRELLIS 3D 생성 프레임워크에 MDT-dist를 적용한 결과, 각 흐름 변환기의 샘플링 단계를 25단계에서 1~2단계로 줄여 A800 GPU에서 최대 9.0배의 속도 향상(0.68초 추론)과 높은 기하학적·시각적 충실도를 동시에 달성하였다.

Limitations

고품질 기하학 데이터가 부족하여 소수 단계 증류를 위해서는 대량의 조건부 이미지와 정밀한 3D 기하 데이터가 필요해 비용이 크고 확장성이 제한된다.

Conclusion

본 연구는 주변분포-데이터 전송을 직접 최적화하는 MDT-dist 프레임워크를 통해 기존 일관성 모델 대비 안정적이고 효율적으로 3D 플로우 기반 생성 모델의 소수 단계 추론을 가능하게 하여 차세대 고속 3D 생성 기술의 발전에 기여하였다.

11. Durian: Dual Reference-guided Portrait Animation with Attribute Transfer

Introduction

• 본 연구의 목표는 주어진 참조 이미지로부터 얼굴 속성 정보를 목표 초상화에 무제한적으로 전달하며, 이로부터 얼굴 애니메이션 영상을 생성하는 새로운 방법인 Durian을 제안하는 것이다.
• 기존의 정적 이미지 편집 기법이 현실감과 표현력에 한계를 가지며, 특히 동적인 얼굴 표정과 포즈에 따른 속성 변화를 반영하기 어렵다는 점에서 본 연구의 필요성이 대두되었다.
• 본 논문은 속성 전이와 초상화 애니메이션을 동시에 수행하는 최초의 제로샷 프레임워크를 개발하고, 이를 가능하게 하는 이중 참조 네트워크와 자가재구성 학습 전략을 제안한다.

Method

Durian은 속성 이미지와 초상화 이미지의 공간 특징을 각각 인코딩하는 두 개의 참조 네트워크(ARNet, PRNet)를 활용하며, 이 공간 특징들을 확산 모델의 디노이징 과정에 주입하여 영상 프레임 일관성을 유지한다. 학습은 동일한 비디오 내에서 두 프레임을 샘플링하여 하나를 속성 참조, 다른 하나를 목표 초상화로 설정하고, 이들에 기반하여 나머지 프레임을 재구성하는 자가재구성 방식을 따른다. 또한, 다양한 속성의 공간 범위를 지원하기 위해 핵심점 조건부 이미지 생성 기반의 마스크 확장과 공간적 불일치에 대응하기 위한 다중 증강 전략을 도입한다.

Results

Durian은 다양한 최신 비교 대상 기법 대비 영상 재현률과 지각적 품질을 포함한 모든 평가 지표에서 우수한 성능을 달성함을 실험적으로 입증하였다.

Limitations

모델은 다중 속성 간 복잡한 상호작용 처리 및 극단적 조명 차이나 극단적 각도 변환 등 일부 현실 조건에는 여전히 한계를 지니며, 정확한 핵심점 추출 실패 시 시간적 불안정성이 발생할 수 있다.

Conclusion

Durian은 추가 훈련 없이도 다중 속성 합성과 속성 보간이 가능한, 다양한 얼굴 속성의 제로샷 전이와 고품질 초상화 애니메이션 생성이 가능한 통합 프레임워크임을 보였다.

12. Drawing2CAD: Sequence-to-Sequence Learning for CAD Generation from Vector Drawings

Introduction

• 본 연구의 목표는 2D 벡터 엔지니어링 드로잉으로부터 파라메트릭 CAD 모델을 자동 생성하는 시퀀스-투-시퀀스 학습 프레임워크를 제안하는 것이다.
• 기존 CAD 생성 연구들이 점군, 메시, 텍스트 등 다양한 입력에 집중한 반면, 산업 설계의 핵심 시작점인 2D 벡터 도면으로부터 CAD 모델 생성을 자동화하는 문제는 여전히 미흡하였다.
• 본 논문에서는 정확한 기하학적 정보와 설계 의도를 보존하며 SVG 벡터 드로잉을 직접 처리하는 네트워크 친화적 표현, 듀얼 디코더 트랜스포머 구조, 그리고 독창적인 소프트 타깃 분포 손실 함수를 포함하는 Drawing2CAD 프레임워크를 개발하였다.

Method

Drawing2CAD는 입력된 벡터 엔지니어링 드로잉을 임베딩하여 단일 잠재 벡터로 인코딩하고, 두 개의 디코더가 각기 CAD 명령 타입과 해당 파라미터를 생성하도록 설계된다.
명령 타입과 파라미터 생성을 분리하고 명령에 따른 파라미터 가이던스를 적용하여 정합성과 문맥 적합성을 확보하였다.
또한 파라미터 손실에 소프트 타깃 분포를 도입해 약간의 허용 오차를 인정함으로써 설계 의도 변질 없이 모델의 일반화 성능을 향상시켰다.

Results

벡터 입력을 사용한 Drawing2CAD는 래스터 이미지 입력 대비 명령 정확도, 파라미터 정확도, CAD 모델 유효성 측면에서 일관되게 우수한 성능을 보였으며, 기존 방법 대비 명령 정합도와 파라미터 정밀도에서 현저한 향상을 달성하였다.

Limitations

복잡한 일부 CAD 모델에 대하여 FreeCAD 기반 도면 변환 및 처리가 제한적이어서 데이터셋 구축에 필터링이 필요했다.

Conclusion

본 연구는 2D 벡터 엔지니어링 도면으로부터 3D 파라메트릭 CAD 모델 생성을 가능케 하는 최초의 시퀀스-투-시퀀스 딥러닝 프레임워크와 대규모 페어링 데이터셋을 제시함으로써 산업 설계 워크플로우의 자동화와 효율성 향상에 기여하였다.

13. Delta Activations: A Representation for Finetuned Large Language Models

Introduction

• Goal: 본 연구의 목표는 기반대비 내부 활성화의 변화량을 벡터 임베딩으로 표현하여 미세 조정된 대형 언어 모델들을 효과적으로 나타내는 방법을 제안하는 것이다.
• Motivation: 공개된 미세 조정 LLM들이 많아지면서 이들의 특성과 유사성을 파악하고 재활용하는 데 있어 표준화된 메타데이터 및 체계적인 탐색 방법이 부족하여 어려움이 존재한다.
• Contribution: 본 논문에서는 Delta Activations라는 미세 조정 모델의 활성화 변화 기반 임베딩 기법을 도입하여 도메인 및 작업별 클러스터링, 임베딩의 가법성, 안정성, 태스크 임베딩 및 모델 선택과 병합의 가능성을 실험적으로 입증하였다.

Method

Delta Activations는 기준 모델과 미세 조정 모델에 동일한 범용 프롬프트 집합을 입력하여 최종 층의 마지막 토큰 활성화 차이를 계산, 이를 평균화해 각 모델의 특성을 나타내는 벡터 임베딩을 생성한다. 프롬프트는 Alpaca 템플릿의 단순한 지시문 기반이며, 활성화 차이는 내재된 행동 변화를 효과적으로 반영한다. 또한 Delta-X라는 확장 가능 프레임워크를 통해 활성화 외 로그잇, 의미 표현 등을 활용한 임베딩도 가능하다.

Results

Delta Activations는 LLAMA, GEMMA, QWEN 기반 3개 모델 풀에서 도메인별 클러스터링 성능(실루엣 점수 0.61 평균)을 포함하여, 다른 임베딩 방법 대비 우수한 군집 품질과 가법성, 다양한 훈련 조건에 대한 강건성, 태스크 임베딩 및 기반 모델 간 클러스터링 가능성을 실험적으로 확인하였다.

Limitations

본 방법은 내부 활성화 접근 권한이 필요한 점과 대규모 공개되지 않은 다양한 아키텍처에 대한 추가 평가가 요구되는 한계가 존재한다.

Conclusion

Delta Activations는 미세 조정된 LLM들의 내재적 특성을 효과적으로 표현하는 범용적이고 확장 가능한 임베딩 기법으로서, 공개 모델의 탐색과 재활용 촉진에 기여할 수 있다.

14. False Sense of Security: Why Probing-based Malicious Input Detection Fails to Generalize

Introduction

• Goal: 본 연구의 목표는 대형언어모델(LLM)의 내부 표현을 이용한 악의적 입력 탐지에서 프루빙(probing) 기법의 일반화 실패 원인을 체계적으로 분석하는 것이다.
• Motivation: 기존 연구들이 프루빙 기반 탐지기가 도메인 내에서는 높은 정확도를 보이나, 도메인 밖 데이터에서는 현저히 성능이 저하되어 실제 안전성 검증에 한계가 있음을 관찰하였다.
• Contribution: 본 논문은 프루빙 기법이 의미론적 악성 여부가 아니라 표면적 패턴, 즉 지시문 형식과 특정 유발 단어에 의존함을 실험적으로 규명하고, 이에 따른 안전 탐지 재설계 필요성을 제안한다.

Method

LLM의 최종 계층 및 다양한 계층에서 토큰별 은닉 상태를 추출하고, 이 벡터를 입력으로 단순한 분류기(SVM, Naive Bayes 등)를 학습시켜 악성과 정상 입력을 구분하는 프루빙 방식을 사용하였다.
다양한 공개 악성·정상 데이터셋과 최신 LLM 모델군에 대해 인-도메인과 아웃-오브-도메인 실험을 수행하였다.
추가로, 악성 데이터를 의미만 제거하고 구조만 보존한 클린 데이터셋으로 학습·평가하며 의미론이 아닌 패턴 학습 여부를 분석하였다.

Results

프루빙 분류기는 인-도메인에서 98% 이상의 정확도를 보였으나, 아웃-오브-도메인 데이터에서는 최고 99%까지 성능이 급락하고 클린 데이터셋에서는 60~90% 이상의 정확도 하락을 보여 의미 기반 악성 탐지가 아닌 표피적 패턴 학습에 의존함을 입증하였다.

Limitations

본 연구는 주로 영어 데이터셋과 디코더 구조 기반 LLM을 대상으로 하여, 다른 언어나 아키텍처 유형에서의 일반화 가능성은 추가 연구가 필요하다.

Conclusion

결론적으로, 현재 프루빙 기법은 악성 입력 탐지에 있어 의미론적 이해가 아닌 표면 패턴 의존으로 인해 실제 안전성 확보에 실패하며, 이를 극복하기 위한 모델 및 평가 프로토콜의 근본적 재설계가 요구된다.