キーワード：コンピュータ外科、手術シミュレーション、バーチャルリアリティ、医療技術評価

http://u-tsukuba-vmedsim.jp/

　高難度の手術や手技を必要とする医療現場において、手術の事前練習の場や教材は必ずしも十分整備されているとは言えず、特に外科医はおよそ10年に及ぶ長期間のOJTで技術の習得を図らなければならないのが実情です。さらに、医療の進歩とともに稀少な病気の治療ノウハウや、災害などの非常時に、患者やケガ人の重症度によって、治療の優先度を決定するトリアージなど、レアケースへの適切な対応能力がますます重要なものになっています。

バーチャルメディカルシミュレーション・リサーチユニットでは、高度な3Dセンシング・3D-CG技術を用いた医療現場向けの手術ナビゲーションシステムによる手術支援や、イメージトレーニングの重要性に着目した災害シミュレーションシステムによる人命救助訓練などへの貢献を目指しています。

3Dシミュレーターと高度センシング技術による外科手術のナビゲーション

図1：次世代型3D-CGバーチャル手術シミュレーションシステム（東京医大茨城医療センター消化器外科　大城幸雄講師より提供）

私たちは、臓器を変形させてその力覚を感じながら、臓器の切離によって出現する血管などリアルタイムに視認できる、次世代型3D-CGバーチャル手術シミュレーションシステムを開発しています。現在は、これをさらに発展させて、手術の進行を3Dカメラセンサでセンシングして、それをシミュレーター内のモデルに反映させることで、手術のナビゲーションが行えるシステムを開発をしています。これによって、術式に不慣れな医師でも適切な手順で適切な手術が行えるよう支援するとともに、精密な術前計画や新たな術式や手技の考案に繋がる可能性があります。現在は非常に柔らかく変形するためにリアルタイムでの追従の難度が高い臓器である肝臓をベースにシステムを開発していますが、今後は膵臓、肺、食道、胃、大腸とコンテンツを拡張していくことも視野に入れています。また、このシステムの、いろいろな術式のデータを教育用に応用し、研修医、看護師向けの新しい教材としてまとめあげました。当ユニットに参加しているネクステッジテクノロジー社より一般販売する準備が整ったところです。この教材により、特に希少な症例の手術の場合では、その映像自体を見ることができるため、執刀医師らの負担を軽減するとともに、手術の成功率も上昇することでしょう。

HMDでより臨場感のあるトリアージを体験

図2：トリアージシステム使用中の様子を撮影した画像

大規模な災害や事故などで多数のけが人が発生した場合に、手当ての緊急度に従って優先順位をつけるトリアージの訓練ができる、シミュレーターの開発も行っています。HMD（ヘッド･マウント･ディスプレイ）を装着することで臨場感の高いバーチャルな災害現場に入り込み、多数のけが人に対しての声がけや、必要に応じて脈拍の計測、止血、気道確保など、現場で必要となる作業手順を体験することが可能です。患者役のボランティアの協力を得て実践する従来型のトリアージ訓練と比較して、より緊迫した災害現場の状況を再現できます。今後はさらにCGの人物がいる場所に実際に人形や人を配置することで、触感や体温を感じながらの訓練も可能にする予定です。

この他にも、小児外科や外傷外科のレアな症例のシミュレーター開発など複数のプロジェクトが進行中です。その際に直面しているのは、３次元空間における人物体の挙動の計測精度の向上問題です。メスの入った肝臓や倒れている人の手の微妙な動きなどを、手術室や災害現場などの広い空間で精度よく高速で計測することはまだ難しく、今後も画像処理やAI技術などと組み合わせた計測技術の向上を目指します。

また、医療と工学領域のみならず、社会学領域の研究者とも連携し、手術やグループワークの進行方法の向上までを視野に入れ、より質の高い医療支援・トレーニングシステムを提供していきます。

取材日：2020年2月14日

Unit name: Virtual Medical Simulation Research Unit

Key words: Computer aided surgery, surgical simulation, virtual reality, health technology assessment

http://u-tsukuba-vmedsim.jp/

At medical care sites requiring highly difficult surgery and procedures, places for pre-training of surgery and teaching materials are not necessarily sufficiently prepared and surgeons have to acquire techniques by long-term OJT for about 10 years in the current situation. In addition, the ability to appropriately deal with rare cases has become more and more important with the progression of medical care, such as treatment know-how of rare diseases and triage determining treatment priority based on the severity of patients and injured persons in an emergency such as a disaster.

Virtual Medical Simulation Research Unit aims at supporting surgery through a surgical navigation system for medical care sites using high-level 3D sensing/3D-CG technology and contributing to life-saving drills using a disaster simulation system focusing on the importance of image training.

Navigation of surgical operation using a 3D simulator and high-level sensing technology

Fig. 1: Next-generation 3D-CG virtual surgical simulation system (provided by Yukio Oshiro, Lecturer, Digestive Surgery, Tokyo Medical University Ibaraki Medical Center)

We have developed a next-generation 3D-CG virtual surgical simulation system capable of visually recognizing the blood vessels in virtual organ by deforming/cutting the organ and feeling reaction forces from them in real time. By further advancing this, we are now developing a system capable of navigating surgery by sensing the progression of surgery using a 3D camera sensor and reflecting it in a model in the simulator. This may support physicians not familiar with a surgical procedure so that they can perform appropriate surgery using an appropriate procedure. It may also lead to designing a precise preoperative plan, new surgical procedure, and technique. At present, we are developing a system based on the liver, which is an organ very difficult to trace in real-time because it is very soft and deforms, but we will consider expansion of the content to the pancreas, lung, esophagus, stomach, and large intestine in the future. In addition, we applied data of various surgical procedures of this system for education and summarized them as new teaching material for residents and nurses. nextEDGE Technology K.K. participating in our unit has just completed preparation for general sales. Using this teaching material, operators can watch videos, especially those of surgery of rare cases, which may reduce the burden on operators and increase the success rate.

Experience of more realistic triage using HMD

Fig. 2: An image from the triage system in use

We also developed a simulator capable of training triage in which patients are prioritized corresponding to the urgency of treatment in large-scale disasters and accidents injuring many persons. By wearing a head mount display (HMD), it is possible to enter a highly realistic virtual disaster site and experience work procedures required at the site, such as calling out from many injured persons and pulse measurement, hemostasis, and securing the airway, as needed. The critical state of the disaster site can be reproduced compared with that in conventional triage training performed in cooperation with volunteers playing patient roles. We are planning to realize training while feeling the sense of touch and body temperature by actually arranging dolls and people at the positions of people in CG.

In addition, several projects including development of a simulator of rare pediatric and traumatic surgical cases are progressing, in which we are facing a problem in improving the measurement accuracy of human body behavior in a 3-dimensional space. It is still difficult to measure subtle movements of a scalpel-applied liver and hands of fallen persons in a large space such as an operating room and disaster site. We will aim at improvement of measurement technology combined with image processing and AI technologies.

Furthermore, we will provide a high-quality medical support/training system in cooperation with researchers of not only the medical and engineering fields but also sociology field taking improvement of methods progressing surgery and group work into consideration.

Interviewed on February 14, 2020