ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization
, 2026年10月21日
3行要約
- 選好学習では、順位付け精度が向上しても生成が単一トークンの反復に退化し得る。
- ECHOは、隠れ状態に共通するずれが出力確率を特定のトークンに集中させることを示す。
- ずれを中心化や罰則で抑える介入により、未知データでの順位付け性能を保ちながら崩壊を抑えた。
論文の図

引用方法
Y. Li, E. Javanmardi, S. Thompson, J. Gong, Q. Zhang, Z. Zeng, S. Liu, P. Wang, Z. Guo, and M. Tsukada, “ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization,” in , 2026.
BibTeX
@unpublished{Li2026h,
title = {ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization},
author = {Yun Li and Ehsan Javanmardi and Simon Thompson and Jiachen Gong and Qunli Zhang and Zifan Zeng and Shiming Liu and Peng Wang and Zixuan Guo and Manabu Tsukada},
year = {2026},
date = {2026-10-21},
eprint = {2610.29410},
archiveprefix = {arXiv},
primaryclass = {cs.CL},
url = {https://arxiv.org/abs/2610.29410},
note = {Preprint}
}