1. Too Good to be Bad: On the Failure of LLMs to Role-Play Villains

Alphaxiv

Introduction

• Goal: 본 연구는 대형 언어 모델(LLM)이 도덕적으로 복잡한 악역 캐릭터를 얼마나 진정성 있게 연기할 수 있는지를 평가하는 데 목적이 있다.
• Motivation: 현대 LLM의 안전성 조정이 자기중심적이거나 악의적인 인물을 모사하는 능력과 근본적으로 충돌할 수 있다는 가설에서 출발하였다.
• Contribution: 도덕적 정렬을 4단계로 구분하고 균형 잡힌 평가 세트를 구성한 Moral RolePlay 벤치마크를 제안하며, LLM이 악역 역할을 수행하는 데 체계적으로 실패한다는 실증적 증거를 제공하였다.

Method

본 연구는 COSER 데이터셋을 기반으로 23,191개의 장면과 54,591개의 캐릭터를 포함하는 대규모 데이터를 도덕적 4단계로 분류하고, 각 캐릭터에 77가지 특징을 주석 처리하였다.
800개의 균형 잡힌 테스트 셋에서 19개 최첨단 LLM을 0샷 프롬프트로 평가하였으며, 캐릭터 프로필과 장면 맥락을 제공하여 도덕성에 따른 역할 충실도를 측정하였다.
역할 충실도 평가는 행동, 발화, 내면 사고와 정렬된 성격 간 일관성을 전문 평가 루브릭을 사용해 정량화하였다.

Results

평균 역할 수행 점수는 도덕성 수준이 낮아질수록 일관되게 감소하여, 도덕적 모범자(3.21점)에서 악역(2.61점)으로 갈수록 만족도가 현저히 떨어졌으며 자기중심적 특성 구현에서 가장 큰 성능 저하가 관찰되었다.

Limitations

본 연구는 LLM의 안전성 조정과 악역 역할 수행 간 충돌을 밝히는 데 집중함에 따라, 사회적 윤리적 논란 가능성과 벤치마크의 실제 대화 맥락 반영 한계에 대한 고려는 부족하였다.

Conclusion

LLM은 도덕적 정렬이 낮은 악의적 캐릭터를 진정성 있게 연기하는 데 구조적 한계가 존재하며, 이는 안전성 조정과 창의적 연기 충실도 간의 핵심 긴장을 보여준다.

2. Dense Motion Captioning

Alphaxiv

Introduction

• Goal: 3D 인간 동작 시퀀스에서 의미 있는 행동을 시간적으로 위치 지정하고 상세한 텍스트 캡션을 생성하는 Dense Motion Captioning(DMC) 과제를 제안하였다.
• Motivation: 기존 3D 동작-언어 데이터셋은 짧고 단순한 동작 시퀀스에 제한되며, 정밀한 시간 주석이 부족하여 복잡한 동작 이해에 한계가 존재하였다.
• Contribution: 정밀한 시간 경계가 포함된 복잡한 동작 시퀀스와 풍부한 캡션을 담은 대규모 CompMo 데이터셋과, 이를 효과적으로 학습하는 DEMO 모델을 함께 제시하였다.

Method

DEMO는 대형 언어 모델(LLM)에 경량 모션 어댑터를 연결하여 3D 동작을 언어 공간으로 매핑하고, 오토회귀 방식으로 임의 길이의 시간적 경계가 있는 캡션을 생성한다. 모션 시퀀스를 고정 크기 겹치는 윈도우로 분할하여 처리함으로써 긴 시퀀스도 효율적으로 다룰 수 있다. 학습은 모션-언어 정렬 단계와 정밀 캡션 생성 미세조정 단계의 두 단계로 구성된다.

Results

CompMo와 HumanML3D ∩ BABEL 데이터셋에서 DEMO는 기존 UniMotion 모델 대비 시간 위치 지정 정확도(tIoU)와 캡션 품질(SODA) 면에서 최대 수십 퍼센트포인트 우월한 성능을 기록하였다.

Limitations

CompMo 데이터셋은 시간적 동작 구성에 집중하였으나, 동작 간 인과관계나 공간적 연속성 보장은 포함하지 않아 일부 비현실적인 동작 전환이 발생할 수 있다.

Conclusion

본 연구는 Dense Motion Captioning이라는 새로운 3D 인간 동작 이해 과제를 정의하고, 이를 위한 대규모 복합 동작 데이터셋과 강력한 캡션 생성 모델을 통해 향후 정밀한 인간 동작 분석 연구의 기반을 마련하였다.