
協調認識は、自動運転車がV2X(車車間・路車間通信)技術を用いて互いのセンサー情報を共有し、単独では見えない死角や遠方の状況を把握する技術です 。これにより交通環境の認識精度と安全性が飛躍的に向上すると期待されています 。しかし、実世界ではメーカーによって車両のセンサーや認識モデルが異なる「異種性(heterogeneity)」という大きな課題が存在します 。このため、車両間で共有されたデータの特徴が異なり、効果的な情報統合が困難でした 。既存の解決策は、協力する車両同士が事前に大規模なデータセットで共同学習を行う必要があり、未知の車両と新たに出会う現実の交通環境では非現実的でした 。
そこで本研究では、この課題を事前の学習なしで、実際の走行中(推論時)に解決する、まったく新しいフレームワーク「適応的協調認識(PHCP: Progressive Heterogeneous Collaborative Perception)」を提案します 。PHCPは、協力相手の車両から受け取った少量のラベルなしデータを用いて、自己学習によって動的にデータ形式のズレを補正する「少数ショット非教師ありドメイン適応」というアプローチを採用しています 。これにより、初めて出会う多種多様な車両とも、その場で柔軟に協調関係を築くことが可能になります。
PHCPのプロセスは2つのステージで構成されます。協力関係が成立した最初の数フレーム(ステージI)では、相手車両がセンサーで捉えた特徴データと、その車両自身による認識結果(これを「擬似ラベル」として利用)を送信します 。情報を受け取った車両は、この擬似ラベルを手がかりに自己学習を行い、相手のデータ形式を自身が理解できる形式へと変換するための軽量な「アダプタ」を瞬時に最適化します 。アダプタの学習が完了した後のステージIIでは、相手車両は特徴データのみを送信し、受信側の車両がアダプタを用いてデータを変換・統合することで、効率的かつ高精度な協調認識を実現します 。
本フレームワークの有効性を検証するため、自動運転のシミュレーション用オープンデータセット「OPV2V」を用いて広範な実験を行いました 。その結果、PHCPは単にデータを統合するだけのベースライン手法と比較して、認識精度が約30%向上することを確認しました 。さらに、事前に全てのデータで学習を行った最先端の手法と比較しても遜色のない性能を、ごく少量のラベルなしデータのみで達成できることが示されました 。これは、本技術が実世界の多様な交通環境において、極めて実践的かつ有効なアプローチであることを証明しています。
@inproceedings{Si2025,
title = {You Share Beliefs, I Adapt: Progressive Heterogeneous Collaborative Perception},
author = {Hao Si and Ehsan Javanmardi and Manabu Tsukada},
url = {https://sihaoo1.github.io/PHCP_Page/
https://arxiv.org/abs/2509.09310
https://github.com/sihaoo1/PHCP},
year = {2025},
date = {2025-10-19},
urldate = {2025-10-19},
booktitle = {International Conference on Computer Vision (ICCV2025)},
address = {Honolulu, Hawai'i},
abstract = {Collaborative perception enables vehicles to overcome individual perception limitations by sharing information, allowing them to see further and through occlusions. In real-world scenarios, models on different vehicles are often heterogeneous due to manufacturer variations. Existing methods for heterogeneous collaborative perception address this challenge by fine-tuning adapters or the entire network to bridge the domain gap. However, these methods are impractical in real-world applications, as each new collaborator must undergo joint training with the ego vehicle on a dataset before inference, or the ego vehicle stores models for all potential collaborators in advance. Therefore, we pose a new question: Can we tackle this challenge directly during inference, eliminating the need for joint training? To answer this, we introduce Progressive Heterogeneous Collaborative Perception (PHCP), a novel framework that formulates the problem as few-shot unsupervised domain adaptation. Unlike previous work, PHCP dynamically aligns features by self-training an adapter during inference, eliminating the need for labeled data and joint training. Extensive experiments on the OPV2V dataset demonstrate that PHCP achieves strong performance across diverse heterogeneous scenarios. Notably, PHCP achieves performance comparable to SOTA methods trained on the entire dataset while using only a small amount of unlabeled data.},
keywords = {},
pubstate = {published},
tppubtype = {inproceedings}
}
autonomous driving v2x
digital twins extended reality
digital twins
autonomous driving machine learning
machine learning v2x
autonomous driving v2x
extended reality