Tsukada Lab. Computer Network Group
← 発表論文一覧 プレプリント

ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization

Yun Li, Ehsan Javanmardi, Simon Thompson, Jiachen Gong, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

, 2026年10月21日

3行要約

  • 選好学習では、順位付け精度が向上しても生成が単一トークンの反復に退化し得る。
  • ECHOは、隠れ状態に共通するずれが出力確率を特定のトークンに集中させることを示す。
  • ずれを中心化や罰則で抑える介入により、未知データでの順位付け性能を保ちながら崩壊を抑えた。

論文の図

図 1: 隠れ状態のずれと語彙崩壊
図 1. 隠れ状態のずれと語彙崩壊出典: Li et al., arXiv (2026)(arXiv著者版 2610.29410、CC BY 4.0) の図 1順位付け指標が保たれる一方、隠れ状態がずれて出力確率が単一トークンに集中する仕組みを示す。

引用方法

Y. Li, E. Javanmardi, S. Thompson, J. Gong, Q. Zhang, Z. Zeng, S. Liu, P. Wang, Z. Guo, and M. Tsukada, “ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization,” in , 2026.

BibTeX

@unpublished{Li2026h,
  title         = {ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization},
  author        = {Yun Li and Ehsan Javanmardi and Simon Thompson and Jiachen Gong and Qunli Zhang and Zifan Zeng and Shiming Liu and Peng Wang and Zixuan Guo and Manabu Tsukada},
  year          = {2026},
  date          = {2026-10-21},
  eprint        = {2610.29410},
  archiveprefix = {arXiv},
  primaryclass  = {cs.CL},
  url           = {https://arxiv.org/abs/2610.29410},
  note          = {Preprint}
}