Software Defined Media Ontology(SDM オントロジー,SDMO)は,3次元映像・音声メディアやセンサによるデータメディアなどの収録を対象とし,収録環境から編集系,再生系まで,詳細なメタデータを階層構造に整理して記述するためのオントロジーです.
従来,収録環境に熟知した運営者だけが利用していた素材メディアをLinked Open Data (LOD)として公開し,アプリケーション・コンテンツ開発者が再利用・再活用できるようにすることを目的とします.
Software Defined Media Ontology(SDM オントロジー,SDMO)は,3次元映像・音声メディアやセンサによるデータメディアなどの収録を対象とし,収録環境から編集系,再生系まで,詳細なメタデータを階層構造に整理して記述するためのオントロジーです.
従来,収録環境に熟知した運営者だけが利用していた素材メディアをLinked Open Data (LOD)として公開し,アプリケーション・コンテンツ開発者が再利用・再活用できるようにすることを目的とします.
今回,LODチャレンジ2020に際して,音楽イベント(オーケストラコンサートおよびジャズセッション)の 収録環境や編集・再生系に関する詳細なメタデータを SDM オントロジーを基とするデータセットにまとめました.
データセットには,収録対象に関する全般的な情報 (Context) や演奏者や楽器 (Target),マイクやカメラなどの録音・録画収録機器 (Recorder), 編集機器 (Processor),再生機器 (Player),録画・編集されたデータ (Media),TargetやRecorderの位置座標 (Geometry), 位置座標のための座標系定義 (Coordinate System) の情報が含まれています.
このデータセットから適切にメタデータを抽出することで,音楽イベントに関するアプリケーション・コンテンツを自由に作成できるようになります.
また,このデータセットを使用した3次元映像・音声をインタラクティブに再生するWebアプリケーション「Web3602」は
LODチャレンジ2020アプリケーション部門に応募しています.
ページ下部の「SPARQLクエリの例」には「Web3602」において実際に使用されているSPARQLクエリが載せてあります.
SPARQLエンドポイントから試してみてください.
2017年1月26日に六本木ミッドタウン内にある Billboard Live Tokyo で Musilogue Band のコンサートを収録しました.Billboard Live Tokyo のフロアは3層あり,3階・4階に位置するテーブル席,ソファ席,主に5階に位置するカジュアルな席を合わせて,300人の観客を収容できます.リハーサル中に録音した映像,音声のコンテンツを格納しました.バンド編成は,藤原佑介,藤谷一郎,金子巧と3人のアーティストによる,Drums,Electric Bass,Keyboard の3種の楽器演奏です.
現実空間内での出来事は収録・編集作業によってデジタルデータに記録され,仮想空間内で取り扱うことが可能となる.逆に,デジタルデータを用いて生成した仮想空間は再生システムによって現実空間内で再生することが可能となる.SDM オントロジーではここでいうデジタルデータを Media と呼び,Media の収録,加工,再生の流れを包括的に記述するために設計したオントロジーである.
現実空間の事象を Media に記録するシステムを Recorder,Media を加工・分析,生成するシステムを Processor,Media を再生するシステムを Player と呼ぶ. これらを表現するクラスが Media クラス,Recorder クラス,Processor クラス,Player クラスである.
これに加えて,それぞれのクラスの持つ様々なメタデータを包括的に表現するための Context クラスがある.
以上5つのクラスが SDM オントロジーの基本クラスである.
SDM オントロジーが扱うメタデータの中で位置・時間情報は特別に重要な意味を持つと考えたので,特別に Geometory クラスを定義し Context クラスとは分離して表現している.SDM オントロジーの基本クラスオブジェクトは geometryAt プロパティによって位置・時間情報を表現することができる.geometryOf プロパティは Geometory オブジェクトから参照元のオブジェクトのリンクを表現する.
CoordinateSystem クラスは Geometry クラスで記述した位置・時間情報の座標軸を定義するためのクラスである.Geometry クラスのオブジェクトからは measuredBy プロパティで CoordinateSystem クラスのオブジェクトをリンクすることで,Geometry で表記した値の意味を知ることができる.逆方向は measures プロパティで Geometry をリンクする事ができる.
Context クラスは SDM オントロジーの基本クラス (Recorder, Processor, Player, Media, Context) の持つ様々なメタデータを包括的に記述するためのクラスである.
Contextクラスのサブクラスとして SDMEvent クラス,Target クラス,Content クラスの3つを定義した.
SDM オントロジの基本クラスのオブジェクトは hasContext プロパティによって Context クラスで表現したメタデータを付与されていることを表現する.isContextOf プロパティは Context からリンク元のオブジェクトをリンクするために用いる.
Recorder クラスのオブジェクトが収録対象となる Target オブジェクトを表現するためには records プロパティを用いることができる.hasContext プロパティでも同様の表現は可能であるが,records プロパティを使った方がより明確に意味を記述することができる.
Player クラスのオブジェクトは plays プロパティで Target クラスのオブジェクトをリンクすることで,再生対象を表現することができる.playedBy プロパティはその逆方向リンクである.Recorder クラスの場合と同様に hasContext で再生対象の Target を表現することも可能であるが,plays プロパティを使った方がより明確に意味を表現できるようになる,
attends プロパティは Target クラスのオブジェクトが属している環境であり,SDMEvent クラスのオブジェクトを表現するためのプロパティである.attendedBy プロパティはその逆方向リンクとなる.
Content クラスは外部のオントロジーとのインターフェースとして利用することを強く意識して導入したクラスである.Context クラスのオブジェクトは SDM オントロジーで定義したプロパティによって SDM オントロジーで表現したのオブジェクトとの関係を記述すると同時に,既存のオントロジーを利用して表現した様々なオブジェクトとの関係を記述することができる.
SDMEvent クラスのオブジェクトにおいてはイベント設備/会場,イベント日時,イベントタイトル,プログラムといった各種情報を,Target クラスのオブジェクトにおいては演奏者/バンド/オーケストラ,楽器,演奏パート,演目・曲目といった収録対象に関連した情報を既存のオントロジーを利用して表現することを想定している.これにより既存のオントロジーで表現された多種多様な情報を SDM オントロジーで表現した Media を始めとした種々のオブジェクトに関連付けられた情報として表現できるようになる.
現時点で Content クラスは定義を行っただけで具体的なオブジェクトの実装はまだ行われていない.将来的に Context クラスを使って編集中のメディアの意味づけや 完成版タイトルに関連した情報を表現することを想定しており,必要に応じてクラスの拡張,プロパティの拡張,再定義を行っていく予定である.
Recorder クラスはメディアの収録を行う機器・システムを表現するためのクラスである.Recorder クラスのオブジェクトは records プロパティで参照した Target クラスのオブジェクトを対象として収録を行い,収録した結果のメディアを生成する.そのメディアは Media クラスのオブジェクトとして表現し,Recorder からは outputTo プロパティでリンクする.
Recorder クラスには収録するメディアの種類により,AudioRecorder クラス,VideoRecorder クラス,DataRecorder クラスの3つのサブクラスを定義してある.
さらに,複数の Recorder の複合体を一つの Recorder として表現するため,Recorder のサブクラスに CompositeRecorder クラスを定義した.CompositeRecorder は hasComponent プロパティにより包含関係にある Recorder を表現する.isComponentOf プロパティはその逆の関係を表現する.
例えば,モノラルの AudioRecorder を4セットまとめて4chの AudioRecorder として表現したい場合,CompositeRecorder に4台の AudioRecorder を isConponentOf でリンクすることで表現できる.
CompositeRecorder を再帰的に定義することで,例えばコンサート収録を行った多数の音声,映像収録機器をまとめて1つの収録機器 (CompositeRecorder) として表現することも可能となる.
AudioRecorder, VideoRecorder, DataRecorder, CompositeRecorder の分類は便宜的なものであり,データ作成者の意図や利便性に合わせて選択すれば良い.
例えば VideoRecorder はステレオ音声録音機能と動画映像記録機能が一体化されている場合が一般的である.SDM オントロジーでは単純に1つの VicdeoRecorder として表現することもできるし,ステレオの AudioRecorder と映像のみの VideoRecorder を一体化した CompositeRecorder として表現することも可能である. 更にステレオ AudioRecorder は2つの モノラル AudioRecorder として表現できる場合もある.どのような表現形態を採用するかはデータ作成者が判断すれば良い.
Processor クラスは Media の分析,加工,生成を行う機器・システムを表現するために定義したクラスである.
Analyzer クラスは Media の入力のみを,Converter クラスは Media の入出力両方を,Generator クラスは Media の出力のみを持つ Processor のサブクラスである.
入力となる Media クラスのオブジェクトは inputFrom プロパティで表現する.出力となる Media クラスのオブジェクトは outputTo プロパティで表現する.
Recorder クラスと同様に Processor クラスも CompositeProcessor クラスをサブクラスに持ち,Processor の複合体を再帰的に記述することができる.
Player クラスは Media の再生する機器・システムを表現するために定義したクラスである.
inputFrom プロパティで再生を行う Media クラスのオブジェクトを表現すると共に,plays プロパティで Media 収録対象の情報を表現できる.
取り扱う Media の種類により AudioPlayer クラス,VideoPlayer クラス,DataPlayer クラスをサブクラスとして定義した.
Recorderr クラスや Processor クラスと同様に Player クラスも CompositePlayer クラスをサブクラスに持ち,Playter の複合体を再帰的に記述することができる.
Media クラスはメディアデータを記録したファイル(メディアファイル)を指定し,メディアファイルの中の開始時刻と終了時刻を指定することで,メディアファイル上の区間(再生区間)を表現するためのクラスである.メディアファイル上の先頭が時刻原点になるが,mediaStartAt プロパティで時刻原点を変更することもできる.startAt プロパティと endAt プロパティで再生区間の開始時刻と終了時刻を時刻原点からのオフセットで指定する.これによりメディアファイル上の任意の1区間を規定することができる.
ここで言うメディアファイルは音声,映像,様々な記録データを時間情報と共に記録したファイルであると規定する.音声における mp3, aac, wav フォーマット,映像における mp4, H.264/265 といった圧縮映像フォーマットで記述されたファイルがメディアファイルである.メディアファイルには音声データを記録した音声メディアファイル,映像データを記録した映像メディアファイル,時系列の各種データを記録したデータメディアファイルがある.音声,映像,データの区別は便宜的なもので,データ作成者がこれらのサブクラスを使うか,Media クラスとして記述するかを判断すれば良い.
画像データのように時間情報を持たないデータは再生時間0と解釈することで,便宜上上記定義のメディアファイルとみなすことができる.
一つのメディアファイルを複数の区間に分割し,独立した Media として表現したい場合にはそれぞれの区間毎に Media クラスのオブジェクトを定義すれば良い.
CompositeMedia クラスでは複数の Media を統合して新たなメディアとして表現するためのクラスである.Media の統合には複数の Media を単純にグルーピングする場合と,Media の再生開始時刻を指定して組み合わせる場合がある.
同時に収録した映像メディアと音声メディアを一つのメディアとして表現したい場合が前者の例となる.この使い方では CompositeMedia が包含する Media を指定するために hasCompnent プロパティを使う.hasComponent プロパティはリンク先の Media が 自身の CompositeMedia の構成要素であることを表現する.
hasComponent プロパティは主に時間依存のないメディアの複合体表現をするために用意されたプロパティである.hasComponent プロパティでリンクされた Media が表現する時間軸は並列であり,同時にスタートする Media であると解釈する.isCompnentOf プロパティはその逆の関係を記述するためのプロパティである.
後者の Media の再生開始時刻を指定して組み合わせる場合では,より複雑な Media の構造が表現可能となる.例えばCDやDVD,Blu-rayディスク上の音声・映像メディアデータを考える.メディアデータは複数のトラックあるいはチャプターに分かれて時間軸上に並んでいる.一般的な制作フローではトラックやチャプターを単位に Mediaファイルが作られる. それらは AudioMedia や VideoMedia などで表現できる.編集作業により,それぞれの Media を CompositeMedia の時間軸上に並べていくことでCDやDVD,Blu-rayディスク全体のメディアデータを記述することが可能となる.そのためには Media とその Media を貼り付ける時刻のペアを保持する必要があるために MediaEvent クラスを定義し,CompositeMedia からは hasMediaEvent プロパティで MediaEvent をリンクできるようにした.isMediaEvent プロパティはその逆の関係を表現するためのプロパティである.
MediaEvent クラスの eventTime プロパティで MediaEvent がリンクした Media の再生区間 (startAt 〜 endAt) の再生開始タイミングを指定する.eventTime で指定する時刻は CompositeMedia が measuredBy プロパティで指定した時間軸で表現する.
上述の hasComponent で Media を指定した場合は,MediaEvent で Media を貼り付ける時刻に0を指定した場合と等価となる.
SDM オントロジー内で連携している外部オントロジーは以下です.
また,今回作成したデータセットでは音楽イベントを取り扱っているので,音楽関連のオントロジーを中心に連携をしました.
データセット内で連携している外部オントロジーは以下です.
Web3602のイベント視聴ページでは,
360度映像や音声ファイルへの URL,視点の座標,音声の座標(図のウニのような形状のオーディオビジュアライザーの座標)などの情報をもとにして,
上のスクリーンショットのようなイベントビューアを描画しています.
ここでも,選択されたイベントに関する情報はSPARQLクエリで問い合わせて取得しています.
データセット内にあるWeb3602を表すsdmo:Player
クラスインスタンスから
探索していきWeb3602のイベントビューアを構築するための情報を一括取得するクエリ例です.
(クエリの例ではsdm:Billboard170126Event1
というイベントにおけるメディア情報を取得しており,アプリケーションではスクリーンショットのようなビューアをレンダリングします)
上図はクエリに関わりが深い部分のみを抽出したインスタンスの概略図であり,
黄色は探索中に辿ったノードやプロパティを表し,赤色は該当のノード・プロパティが存在するときにのみ辿ることを表します.
また,青色は探索結果として取得する情報です.
@conference{加藤慎2020,
title = {再帰的記述を可能とする映像音声メディア・オントロジー},
author = {加藤慎 and 曽根卓朗 and 塚田学 and 江崎浩},
url = {https://tlab.hongo.wide.ad.jp/papers/kato_dicomo2020.pdf},
year = {2020},
date = {2020-06-24},
urldate = {2020-06-24},
booktitle = {マルチメディア,分散,協調とモバイル(DICOMO2020)シンポジウム},
address = {高知県安芸郡},
abstract = {著者らが所属する SDM (Software Defined Media) コンソーシアムでは,2016 年より三次元映像音声 メディアを管理するためのプラットフォームとして SDM Ontology の提案を進めてきた.SDM Ontology は,メディアデータとともに様々な種類・粒度,かつ,膨大な量のメタデータを階層構造に整理して管理可 能とする.従来の提案は,収録段階についての記述に焦点を当てた設計となっており,収録されたメディ アデータの編集段階まで考慮していなかったため,編集作業に用いられるソフトウェアやミキサーなどの メディアプロセッサの情報を記述するための構造がなかった.また,メディア収録の情報は静的である一 方で,メディアの編集作業は収録されたデータや編集されたデータをもとに繰り返しおこなわれることも 多く,一般に動的といえるため従来設計では対応しきれない.このような問題を踏まえ,本稿では SDM Ontology の構造について整理し直し,修正を加えるとともに,動的構造を表現するために再帰的記述を導 入し,メディアの収録・編集について記述可能な SDM Ontology Version 2.0 を提案する.},
note = {優秀プレゼンテーション賞},
keywords = {},
pubstate = {published},
tppubtype = {conference}
}
@workshop{Atarashi2018,
title = {The Software Defined Media Ontology for Music Events},
author = {Ray Atarashi and Takuro Sone and Yu Komohara and Manabu Tsukada and Takashi Kasuya and Hiraku Okumura and Masahiro Ikeda and Hiroshi Esaki},
url = {https://hal.archives-ouvertes.fr/hal-01879099/document?.pdf},
doi = {10.1145/3243907.3243915},
year = {2018},
date = {2018-10-08},
urldate = {2018-10-08},
booktitle = {Workshop on Semantic Applications for Audio and Music (SAAM) held in conjunction with ISWC 2018},
pages = {15-23},
address = {Monterey, California, USA.},
abstract = {With the advent of viewing services based on the Internet, the importance of object-based viewing services for interpreting objects existing in space and utilizing them as the content is increasing. Since 2014, the Software Defined Media Consortium has been researching object-based media and Internet-based viewing spaces. This paper defines a framework in event participants and professional recorders each freely share recorded data, and a third party can create an application based on the data. This study aims to provide an SDM ontology-based contents management mechanism with a detailed description of the object-based audio and video data and the recording environment. The data can be shared via the Internet and is highly reusable. We implemented this management mechanism and have developed and validated applications that are capable of interactively playing 3D content from any viewpoints freely.},
keywords = {},
pubstate = {published},
tppubtype = {workshop}
}
@conference{菰原裕2017,
title = {SDM Ontology: Software Defined Mediaのメタデータ管理のためのOntology},
author = {菰原裕 and 塚田学 and 江崎浩 and 曽根卓朗 and 池田雅弘 and 高坂茂樹 and 新麗 and 新善文},
url = {http://tlab.hongo.wide.ad.jp/wp-content/uploads/2019/01/68C32929-95F4-42C0-81C6-8BB4D7E64D8E-2.pdf},
year = {2017},
date = {2017-06-20},
urldate = {2017-06-20},
booktitle = {マルチメディア,分散,協調とモバイル(DICOMO2017)シンポジウム},
address = {北海道札幌市},
abstract = {インターネットが広く普及し,全天球カメラのような新しい記録デバイスも登場している現代において,インターネットを前提としたオーディオビジュアルシステムの需要が高まっている.そのような状況において,Software Defined Media(SDM)コンソーシアムでは,オブジェクトベースのメディアとインターネットを前提とした環境における視聴空間の制御を目的として研究を進めている.本研究では,SDMが収録を行なったクラシックコンサートのデータをLinked Open Data(LOD)として保存・公開する為に"SDM Ontology"を作成した.その際,SDMのデータを適切に表現出来るようにクラスの構造やプロパティの種類を議論し,構築を行なった.},
keywords = {},
pubstate = {published},
tppubtype = {conference}
}
@inproceedings{Kato2020,
title = {Web360^{2}: An Interactive Web Application for viewing 3D Audio-visual Contents},
author = {Shin Kato and Tomohiro Ikeda and Mitsuaki Kawamorita and Manabu Tsukada and Hiroshi Esaki},
url = {https://zenodo.org/record/3898664/files/SMCCIM_2020_paper_102.pdf
https://github.com/sdm-wg/web360square
https://youtu.be/qg7aGhzO2Nc},
doi = {10.5281/zenodo.3898664},
year = {2020},
date = {2020-06-25},
booktitle = {17th Sound and Music Computing Conference (SMC)},
pages = {32-39},
address = {Torino, Italy},
abstract = {The use of video streaming services is expanding, and currently accounts for the majority of downstream Internet traffic. With the availability of virtual reality (VR) services and 360-degree cameras for consumer use, 3D services are also gaining in popularity. In recent years, the technology supporting for 3D representation on the Web has advanced. Users can easily utilize this technology without installing dedicated applications. In this study, we design and implement a Web application, called “Web360$^2$,” which plays 360-degree video and object-based 3D sounds interactively on the Web. We also evaluated Web360$^2$ through a questionnaire survey.},
keywords = {},
pubstate = {published},
tppubtype = {inproceedings}
}
@conference{加藤慎2019,
title = {Web360^{2}: インタラクティブな3D視聴体験を提供するWebアプリケーション},
author = {加藤慎 and 池田友洋 and 川守田光昭 and 塚田学 and 江崎浩},
url = {https://tlab.hongo.wide.ad.jp/wp-content/uploads/2019/11/23__________________2019_11_-1.pdf
https://github.com/sdm-wg/web360square},
isbn = {2188-8701},
year = {2019},
date = {2019-10-31},
booktitle = {研究報告コンピュータビジョンとイメージメディア(CVIM)},
pages = {1-8},
abstract = {インターネット上の動画配信サービスが拡大し続けており,全世界のダウンストリームトラフィックシェアのうち動画ストリーミングのトラフィックシェアが過半数を占めている.VR サービスの普及や民生用の 360°カメラの登場などにより 3D コンテンツの視聴体験への敷居が下がり,3D コンテンツサービスが拡がり始めている.近年,3D コンテンツサービスを Web ブラウザ上で体験するための技術が進み,専用のアプリケーションをインストールする必要もなく,Web 上で手軽にサービスを楽しむことができるようになってきた.本研究では,Web 上で360°動画およびオブジェクトベースオーディオによる立体音響を再生し,視聴者にインタラクティブな 3D コンテンツの視聴体験を提供する Web アプリケーション 「Web3602」 を設計,実装し,さらに評価を行った.},
keywords = {},
pubstate = {published},
tppubtype = {conference}
}
@article{粕谷貴司2019,
title = {インタラクティブな遠隔ライブVR配信プラットフォーム},
author = {粕谷貴司 and 塚田学 and 菰原裕 and 高坂茂樹 and 水野拓宏 and 野村譲誉 and 上田 雄太 and 江崎 浩},
url = {https://tlab.hongo.wide.ad.jp/papers/kasuya_DCON2019.pdf
https://youtu.be/YoUcCLDtvwM},
isbn = {2187-8897},
year = {2019},
date = {2019-08-20},
journal = {情報処理学会論文誌デジタルコンテンツ(DCON)},
volume = {7},
number = {2},
pages = {1-14},
abstract = {インターネットを前提とした視聴サービスが登場し,中でも空間に存在する視聴対象を解釈し,コンテンツとして活用するオブジェクトベースの視聴サービスの重要性が増している.2014年より,Software Defined Media(SDM)コンソーシアムでは,オブジェクトベースのメディアとインターネットを前提とした視聴空間の研究を行っている.近年,4Kや360度動画による高品質な動画配信サービスが普及しているが,自由視点で視聴可能なコンテンツの配信手法については一般化していない.本研究では,音楽ライブのイベントを収録するとともに,イベント情報のメタデータ定義を行い,HMDを用いてインタラクティブに自由視聴点での三次元映像音声を再生するアプリケーション「LiVRation」を設計,実装し,評価を行なった.さらにビルボードジャパンが開催した「Billboard LIVE MUSIC HACKASONG 2017」にてデモンストレーションを行い,審査員と一般の来場者の投票により最優秀賞および会場賞を受賞した.},
keywords = {},
pubstate = {published},
tppubtype = {article}
}
@inproceedings{Kasuya2019,
title = {LiVRation: Remote VR live platform with interactive 3D audio-visual service},
author = {Takashi Kasuya and Manabu Tsukada and Yu Komohara and Shigeki Takasaka and Takuhiro Mizuno and Yoshitaka Nomura and Yuta Ueda and Hiroshi Esaki},
url = {https://hal.archives-ouvertes.fr/hal-02136247/document?.pdf
https://youtu.be/4MElM4_t2Io},
doi = {10.1109/GEM.2019.8811549},
year = {2019},
date = {2019-06-19},
booktitle = {IEEE Games Entertainment & Media Conference (IEEE GEM) 2019},
pages = {1-7},
address = {Yale University, New Haven, CT, U.S.},
abstract = {Of late, various audio-visual services based on the internet are being deployed extensively. Among these, object- based audio-visual services are attracting more attention. In 2014, we had established the software defined media (SDM) consortium to investigate object-based and internet-based audio- visual services. Despite the increasing demand and popularity of live concert events, the placement of the microphone and camera limit the free-viewpoint watching of the contents of package media, such as DVDs. In this study, we design and implement an interactive 3D audio-visual service system called LiVRation, with a free-view-listen point. For subjective evaluation, 211 people were made to experience LiVRation and answer a questionnaire, subsequently. In addition, we demonstrated the system in the ”Billboard Live Hackasong 2017” hosted by Billboard Japan and received the first prize, based on the votes of the judges as well as the audience.},
keywords = {},
pubstate = {published},
tppubtype = {inproceedings}
}
@conference{粕谷貴司2018,
title = {LiVRation: VRによる自由視聴点映像音声のインタラクティブ再生},
author = {粕谷貴司 and 塚田学 and 菰原裕 and 高坂茂樹 and 水野拓宏 and 野村譲誉 and 上田 雄太 and 江崎 浩},
url = {http://tlab.hongo.wide.ad.jp/wp-content/uploads/2018/10/dicomo2018-LiVRation.pdf
https://youtu.be/YoUcCLDtvwM},
year = {2018},
date = {2018-06-20},
urldate = {2018-06-20},
booktitle = {マルチメディア,分散,協調とモバイル(DICOMO2018)シンポジウム},
address = {福井県芦原温泉},
abstract = {インターネットを前提とした視聴サービスが登場し,中でも空間に存在する視聴対象を解釈し,コン テンツとして活用するオブジェクトベースの視聴サービスの重要性が増している.2014 年より,Software Defined Media(SDM)コンソーシアムでは,オブジェクトベースのメディアとインターネットを前提と した視聴空間の研究を行っている.近年,4K や 360 度動画による高品質な動画配信サービスが普及して いるが,自由視点で視聴可能なコンテンツの配信手法については一般化していない.本研究では,音楽ラ イブのイベントを収録するとともに,イベント情報のメタデータ定義を行い,HMD を用いてインタラク ティブに自由視聴点での三次元映像音声を再生するアプリケーション「LiVRation」を設計,実装し,評価 を行なった.さらにビルボードジャパンが開催した Live Music Hackasong にてデモンストレーションを 行い,審査員と一般の来場者の投票により最優秀賞および会場賞を受賞した.},
note = {最優秀論文賞},
keywords = {},
pubstate = {published},
tppubtype = {conference}
}