北原 格 Kitahara Itaru
新型コロナウイルス感染症の世界的流行によって気軽に外出できる機会が減り、その影響は博物館や美術館にも及んでいます。私たちの「Remote Museum Explorer」プロジェクトでは、閲覧者がインターネットを使って展示物を手にとって見ているかのように、自由な角度から遠隔鑑賞できる技術の開発に取り組んでいます。博物館や美術館の展示物に対して、カメラ1台で簡単につくることができる「自由視点画像」はコストも抑えられているので、多くの皆さんに展示物の発信、そして遠隔鑑賞を楽しんでいただきたいと思います。
カメラの画像から3次元形状を復元する
私たちが長く取り組んでいる研究テーマは、人間が眼というカメラを使って見ている物の形状や距離といった3次元的な情報を脳内で構成する仕組みをコンピュータで再現する「コンピュータビジョン」です。
特に私たちは、カメラの位置・姿勢を推定したり、画像の歪みを補正したりするカメラキャリブレーションの研究や、キャリブレーション結果を使って複数台のカメラで撮影した画像から被写体の3次元形状を復元したり、復元情報を使って自由な視点からの見え方を再現したりする研究をしてきました。
2000年代に入ると、デジタルカメラやスマートフォンが急速に普及し、大勢の人々が同じものをいろいろな方向から撮影する時代になりました。これを機に、多くの画像から被写体の3次元形状を精密に復元できる「Structure from Motion」という技術が生まれました。カメラが被写体の周囲を移動（motion）しながら撮影すると、それらの画像からカメラの位置や姿勢を推定できます。このカメラの移動情報を使いながら、被写体の外形を点群（point cloud）でとらえた3次元形状が得られるのです。その結果、一般の人が撮影した画像でも、3次元形状を復元するデータとして活用できるようになりました。
私たちは最近、皆さんが撮影した画像をどう集約すれば有効活用できるのか、制作したコンテンツをどう見せると3次元的な情報を効果的に伝達できるのか、ということに興味をもって活動しています。その一環として「Remote Museum Explorer」プロジェクトを立ち上げました。
自由な視点で展示物と解説文が連動する
本システムでコンテンツを作成するために必要なものは、撮影したい展示物と、デジタルカメラかスマートフォン1台です。被写体の全周囲で約40〜50枚の画像を撮影し、それらを専用サーバーにアップロードすると約5分で、「自由視点画像」が得られるため、学芸員や学生・生徒でも簡単にコンテンツを作成することが可能です（図1）。
図1 自由視点画像作成のための撮影の様子。画像のずれや歪みは本システムが自動で調整する。これまでは、3次元CGモデルを製作するには、ズレや歪みなく撮影するためのレールや大掛かりなスキャナーなどが必要で膨大なコストが必要だった。学校行事で利用するような施設でも気軽に導入できるシステムに仕上げた。
展示物には見所となるような箇所があり、実際の美術館などでは解説文と照らし合わせながら鑑賞します。そこで、自由視点画像とテキストを連動させるインターフェイスも開発しました。テキストから自由視点画像内の注目ポイントを誘導する方法（図2）と、自由視点画像の鑑賞を助ける説明文（テキスト）が強調（ハイライト）表示される方法（図3）の2種類があります。
どちらも、画像上で横方向にドラッグすると見る角度を変えられ、右下の＋ボタンを押すと拡大できます。鑑賞者の「自分の好きなものを好きな角度から観察したい」という要望に応えられるメディアにしました。
図2「埴輪 盛装女子」（東京国立博物館所蔵）の自由視点画像と解説文。「テキスト操作による自由視点画像への作用」：ピンクでハイライトされたテキストをクリックすると、展示物の視点が自動で切り替わり、注目ポイントが表示される。
http://image-gis.ccs.tsukuba.ac.jp/qiu/bt-book/demo_1/ にて実際に操作できる。
図3「遮光器土偶」（東京国立博物館所蔵）の自由視点画像と解説文。「自由視点画像の観察視点切り替え操作による説明文の強調表示」：説明文が用意された視点位置では画像左上のボタンの色が濃くなり、その濃いボタンをクリックすると、その視点からの観察に適した説明文が強調表示（ハイライト）される。 https://image-gis.ccs.tsukuba.ac.jp/qiu/bt-book/demo_2/ にて実際に操作できる。
図2、3で紹介した自由視点画像とテキストを連動させたインターフェイスは、2種類とも展示物の理解を促すことが大学生を対象にした実験で明らかになりました（図4、5）。
図4 「埴輪 盛装女子」のように、テキストの一部をクリックすると指定された視点に切り替わるコンテンツを体験した学生へのアンケート結果
図5「遮光器土偶」のように、自由視点画像の視点位置からの鑑賞理解を助ける説明文が強調提示されるコンテンツを体験した学生へのアンケート結果
自由視点画像は、博物館や美術館以外でも、デジタル教科書のコンテンツ、学生が制作した作品など、新しい表現コンテンツになると考えています。遺跡のコンテンツがあれば、遠隔鑑賞ツアーも可能になるでしょう。将来的には、多くの人が撮った写真をよせ集めて自由視点画像を作れるようなシステムを提供することもめざしています。
北原 格（筑波大学 計算科学研究センター）
Project Name ／ リモートミュージアムエクスプローラー
（取材・執筆：島田 祥輔 ／ 編集：サイテック・コミュニケーションズ ／ ポートレート撮影・ウェブデザイン：株式会社ゼロ・グラフィックス）
ー さらに詳しく知りたい方へ ー
●電駆ビジョン株式会社
https://www.denqvision.com/index.html
自由視点画像技術を共同開発しています。自分たちが撮影した画像から自由視点画像の作成を依頼できます。撮影の依頼もできます。
●Remote Museum Explorer
https://www.osi.tsukuba.ac.jp/fight_covid19_topics/1069/
https://youtu.be/Nn6LVYweY8s
自由視点画像の特長を北原が解説する動画です。
どのような技術で、CG（コンピュータグラフィックス）を利用したVR（仮想現実）よりも製作費用を安く、製作時間を短くできているのかを説明しています。
●Interactive e-Book Linking Text and Multi-View Video（北原）
https://www.youtube.com/watch?v=Le9yrrTDtEE
本研究の英語によるプレゼンテーションをYouTubeで視聴できます。本研究を応用したe-bookも見られます。
●Calibration of multiple sparsely distributed cameras using a mobile camera
https://journals.sagepub.com/doi/10.1177/1754337119874276
カメラキャリブレーションに関する研究の成果が国際学術誌
『Proceedings of the Institution of Mechanical Engineers, Part P: Journal of Sports Engineering and Technology』に掲載されたものです。
●マーカレス3次元骨格位置推定のためのカメラキャリブレーション手法とバドミントン競技映像処理への実践
https://www.ipsj.or.jp/dp/contents/publication/44/0005/TR0101-05.html
2台の固定カメラと1台のモバイルカメラを用いてカメラキャリブレーションを行い、競技中のバドミントン選手の骨格推定を行う研究の報告です。
●“Remote Museum Explorer” meets “路上博物館”
https://www.osi.tsukuba.ac.jp/fight_covid19_topics/581/
FabCafe Tokyoで開催された『路上博物館特別展示「SHAPE OF BONE」』を自由視点コンテンツ化しました。撮影風景も掲載しています。
●“Remote Museum Explorer” goes to “無人島・猿島”
https://www.osi.tsukuba.ac.jp/fight_covid19_topics/627/
筑波大学芸術系松井敏也教授と神奈川県横須賀市の協力のもと、無人島・猿島の史跡を自由視点コンテンツ化しました。
ドローンを使って上空からも撮影しました。
Collaborators
Shishido Hidehiko, Center for Computational Sciences
Sakamoto Ryuuki, Denqvision Inc.
宮田 慎也（電駆ビジョン株式会社）
Miyata Shinya, Denqvision Inc.