カメラ1台でバーチャル博物館をつくる「Remote Museum Explorer」　自由に視点を変えて展示物を楽しめる技術の開発 | 北原 格 | 筑波大学「知」活用プログラム 成果インタビュー

カメラの画像から3次元形状を復元する

私たちが長く取り組んでいる研究テーマは、人間が眼というカメラを使って見ている物の形状や距離といった3次元的な情報を脳内で構成する仕組みをコンピュータで再現する「コンピュータビジョン」です。

特に私たちは、カメラの位置・姿勢を推定したり、画像の歪みを補正したりするカメラキャリブレーションの研究や、キャリブレーション結果を使って複数台のカメラで撮影した画像から被写体の3次元形状を復元したり、復元情報を使って自由な視点からの見え方を再現したりする研究をしてきました。

2000年代に入ると、デジタルカメラやスマートフォンが急速に普及し、大勢の人々が同じものをいろいろな方向から撮影する時代になりました。これを機に、多くの画像から被写体の3次元形状を精密に復元できる「Structure from Motion」という技術が生まれました。カメラが被写体の周囲を移動（motion）しながら撮影すると、それらの画像からカメラの位置や姿勢を推定できます。このカメラの移動情報を使いながら、被写体の外形を点群（point cloud）でとらえた3次元形状が得られるのです。その結果、一般の人が撮影した画像でも、3次元形状を復元するデータとして活用できるようになりました。

私たちは最近、皆さんが撮影した画像をどう集約すれば有効活用できるのか、制作したコンテンツをどう見せると3次元的な情報を効果的に伝達できるのか、ということに興味をもって活動しています。その一環として「Remote Museum Explorer」プロジェクトを立ち上げました。

自由な視点で展示物と解説文が連動する

本システムでコンテンツを作成するために必要なものは、撮影したい展示物と、デジタルカメラかスマートフォン1台です。被写体の全周囲で約40〜50枚の画像を撮影し、それらを専用サーバーにアップロードすると約5分で、「自由視点画像」が得られるため、学芸員や学生・生徒でも簡単にコンテンツを作成することが可能です（図1）。

展示物には見所となるような箇所があり、実際の美術館などでは解説文と照らし合わせながら鑑賞します。そこで、自由視点画像とテキストを連動させるインターフェイスも開発しました。テキストから自由視点画像内の注目ポイントを誘導する方法（図2）と、自由視点画像の鑑賞を助ける説明文（テキスト）が強調（ハイライト）表示される方法（図3）の2種類があります。

どちらも、画像上で横方向にドラッグすると見る角度を変えられ、右下の＋ボタンを押すと拡大できます。鑑賞者の「自分の好きなものを好きな角度から観察したい」という要望に応えられるメディアにしました。

図2、3で紹介した自由視点画像とテキストを連動させたインターフェイスは、2種類とも展示物の理解を促すことが大学生を対象にした実験で明らかになりました（図4、5）。

自由視点画像は、博物館や美術館以外でも、デジタル教科書のコンテンツ、学生が制作した作品など、新しい表現コンテンツになると考えています。遺跡のコンテンツがあれば、遠隔鑑賞ツアーも可能になるでしょう。将来的には、多くの人が撮った写真をよせ集めて自由視点画像を作れるようなシステムを提供することもめざしています。