Tsukada Lab. Computer Network Group
← 発表論文一覧 国内会議・研究会

正則化付き多重選好学習による自動運転VLAモデルの安全制約アライメント

Yun Li, Simon Thompson, Ehsan Javanmardi, Alex Orsholits, 塚田学

人工知能学会全国大会(JSAI 2026), 群馬, 2026年6月8日

3行要約

  • 運転用の視覚言語行動モデルを、複数の候補に対する専門家の安全性順位に整合させる。
  • Plackett–Luceによるリスク順位付け、場面に応じた重み、専門家行動の尤度を保つ正則化を組み合わせる。
  • CARLAで運転スコア58.26を記録し、比較手法を8.4%上回った。

アブストラクト(原文)

Vision-Language-Action (VLA) モデルは自動運転において高い推論能力を示す一方で、学習データの不均衡や選好 学習における安全な行動の尤度低下(Probability Collapse)により、厳格な安全制約への適合が課題となっている。本研究では、リスク順位に基づく多重選好学習と負の対数尤度(NLL; Negative Log-Likelihood)正則化を統合し、VLAモデルをエキスパートの安全制約に整合させる新たなアライメント手法を提案する。具体的には、(1) Plackett-Luce モデルを用いて複数の行動候補をリスクレベル順に学習し、(2) シーンの危険度に応じて勾配を動的に重み付けし、(3) エキスパートの行動確率を維持する正則化項を導入することで、安全かつ安定した運転行動を実現する。CARLA ベンチマークでの評価の結果、提案手法はDriving Score 58.26(ベースライン比+8.4%)を達成し、Route Completion(完走率)65.9%およびInfraction Penalty(違反回避率)0.891 という高い性能を示した。

引用方法

Y. Li, S. Thompson, E. Javanmardi, A. Orsholits, and 塚田学, “正則化付き多重選好学習による自動運転VLAモデルの安全制約アライメント,” in 人工知能学会全国大会(JSAI 2026), 群馬, 2026, doi: 10.11517/pjsai.JSAI2026.0_4YinA08.

BibTeX

@conference{Li2026,
  title         = {正則化付き多重選好学習による自動運転VLAモデルの安全制約アライメント},
  author        = {Yun Li and Simon Thompson and Ehsan Javanmardi and Alex Orsholits and 塚田学},
  url           = {https://www.jstage.jst.go.jp/article/pjsai/JSAI2026/0/JSAI2026_4YinA08/_pdf https://tlab.hongo.wide.ad.jp/papers/2026_JSAI_YunLi.pdf},
  doi           = {10.11517/pjsai.JSAI2026.0_4YinA08},
  year          = {2026},
  date          = {2026-06-08},
  urldate       = {2026-06-08},
  booktitle     = {人工知能学会全国大会(JSAI 2026)},
  address       = {群馬},
  abstract      = {Vision-Language-Action (VLA) モデルは自動運転において高い推論能力を示す一方で、学習データの不均衡や選好 学習における安全な行動の尤度低下(Probability Collapse)により、厳格な安全制約への適合が課題となっている。本研究では、リスク順位に基づく多重選好学習と負の対数尤度(NLL; Negative Log-Likelihood)正則化を統合し、VLAモデルをエキスパートの安全制約に整合させる新たなアライメント手法を提案する。具体的には、(1) Plackett-Luce モデルを用いて複数の行動候補をリスクレベル順に学習し、(2) シーンの危険度に応じて勾配を動的に重み付けし、(3) エキスパートの行動確率を維持する正則化項を導入することで、安全かつ安定した運転行動を実現する。CARLA ベンチマークでの評価の結果、提案手法はDriving Score 58.26(ベースライン比+8.4%)を達成し、Route Completion(完走率)65.9%およびInfraction Penalty(違反回避率)0.891 という高い性能を示した。},
  keywords      = {CRONOS, Domestic, ITS},
  pubstate      = {published},
  tppubtype     = {conference}
}