Tsukada Lab. Computer Network Group

SDM360^2: インタラクティブ3Dコンテンツの自由視聴点再生

塚田学, 菰原裕, 新居英明, 粕谷貴司, 高坂茂樹, 小川景子, 江崎浩

情報処理学会論文誌デジタルコンテンツ(DCON), vol. 6, no. 2, pp. 10–23, 2018年8月20日

3行要約

  • クラシック公演とジャズセッションを収録し、自由な視聴点から3次元映像・音声を再生するSDM360²を実装した。
  • 視聴者は再現された演奏空間で視聴位置を選べる。
  • 95名の体験者で自由視聴点再生を評価し、2017年のLive Music Hackasongでデモ展示した。

論文の図

図 3: ビルボードライブ収録のカメラ・マイク配置
図 3. ビルボードライブ収録のカメラ・マイク配置出典: 塚田学 ほか、IPSJ Transactions on Digital Contents 2018(著者原稿の原図) の図 3会場内の異なる位置にカメラとマイクを配置し、自由視聴点で再生するための映像と音を収録したことが分かる。

アブストラクト(原文)

インターネットを前提とした視聴サービスが登場し,なかでも空間に存在する視聴対象を解釈し,コンテンツとして活用するオブジェクトベースの視聴サービスの重要性が増している.2014年より,Software Defined Media(SDM)コンソーシアムでは,オブジェクトベースのメディアとインターネットを前提とした視聴空間の研究を行っている.現在,音楽イベントのDVDなどのパッケージメディアは,マイクやカメラなどの収録機材の位置によって大きく制約を受けるコンテンツである.こうした課題を解決するため,本研究では,クラシックコンサートとジャズセッションのイベントを収録し,インタラクティブに自由視聴点での三次元映像音声を再生するアプリケーション「SDM3602」を設計,実装した.SDM3602を95人の被験者に実際に体験してもらい,インタラクティブ3Dコンテンツの自由視聴点再生の有効性を検証した.さらにビルボードジャパンが開催した2017年Live Music HackasongでSDM3602のデモンストレーションを行い,審査員と一般の来場者の投票により,優秀賞を受賞した.

動画

引用方法

塚田学, 菰原裕, 新居英明, 粕谷貴司, 高坂茂樹, 小川景子, and 江崎浩, “SDM360^2: インタラクティブ3Dコンテンツの自由視聴点再生,” 情報処理学会論文誌デジタルコンテンツ(DCON), vol. 6, no. 2, pp. 10–23, 2018.

BibTeX

@article{Tsukada2018,
  title         = {SDM360^{2}: インタラクティブ3Dコンテンツの自由視聴点再生},
  author        = {塚田学 and 菰原裕 and 新居英明 and 粕谷貴司 and 高坂茂樹 and 小川景子 and 江崎浩},
  url           = {https://tlab.hongo.wide.ad.jp/papers/2018_DCON_tsukada.pdf https://youtu.be/lJa9nNC9Scs},
  isbn          = {2187-8897},
  year          = {2018},
  date          = {2018-08-20},
  urldate       = {2018-08-20},
  journal       = {情報処理学会論文誌デジタルコンテンツ(DCON)},
  volume        = {6},
  number        = {2},
  pages         = {10--23},
  abstract      = {インターネットを前提とした視聴サービスが登場し,なかでも空間に存在する視聴対象を解釈し,コンテンツとして活用するオブジェクトベースの視聴サービスの重要性が増している.2014年より,Software Defined Media(SDM)コンソーシアムでは,オブジェクトベースのメディアとインターネットを前提とした視聴空間の研究を行っている.現在,音楽イベントのDVDなどのパッケージメディアは,マイクやカメラなどの収録機材の位置によって大きく制約を受けるコンテンツである.こうした課題を解決するため,本研究では,クラシックコンサートとジャズセッションのイベントを収録し,インタラクティブに自由視聴点での三次元映像音声を再生するアプリケーション「SDM3602」を設計,実装した.SDM3602を95人の被験者に実際に体験してもらい,インタラクティブ3Dコンテンツの自由視聴点再生の有効性を検証した.さらにビルボードジャパンが開催した2017年Live Music HackasongでSDM3602のデモンストレーションを行い,審査員と一般の来場者の投票により,優秀賞を受賞した.},
  keywords      = {Domestic, SDM},
  pubstate      = {published},
  tppubtype     = {article}
}