D1の秋山です.
この10月から12月まで,ミュンヘン工科大学のNarvis Lab.にて約2ヶ月のインターンシップをしてきましたので,その報告をさせていただきたいと思います.

NARVIS Lab. の様子
Nerves Lab.はNasir Navab教授によって運営されている研究室のひとつで,主にAR(拡張現実感)の医療応用を研究テーマとしています.この研究室で私は,手術灯をプロジェクタに置き換え,HMD(ヘッドマウントディスプレイ)と組み合わせることで手術をサポートすることを目的としたプロジェクトに参加させていただきました.この研究室にはすでに光学透過型HMDを使って患者に骨などのARコンテンツを重畳表示することで手術をサポートするシステムが存在します.しかし,手術灯は患者を一様に明るく照らすので,肌などの反射光によりARコンテンツを見るのに十分なコントラストが得られず,見にくいという問題があります.また,ただARコンテンツを重畳表示するだけでは,位置合わせが合っていたとしても,ARコンテンツが浮いているように見えてしまうという問題もあります.そこで,私たちは手術灯自体をプロジェクタに置き換えて,ARコンテンツが表示されている範囲の明るさや色をコントロールすることで,ARコンテンツを見やすく,かつ,人体の中を覗いている感覚を強化することを目的とします.
実際にシステムを実装する前に,HMDの位置姿勢に合わせてプロジェクタの投影画像を作成する簡単なシミュレーションを作成しました.これが僕のインターンシップでの主な進捗です.ウィンドウを二つ表示して,左はHMDから見た投影対象,右は固定されたプロジェクタから投影される画像を表示しています.今回は実際の医療のデータは使用せずに,投影対象としてウサギの3Dモデルを使用して,簡単な図形をそれに投影する,という形で実装しました.HMD側は視点を変更できますが,その際に表示されている図形は変化しません.その際,位置が固定されたプロジェクタからどのような映像を投影すればHMD視点から正三角形に見えるか,ということを計算して投影画像を作成しています.

インターン中に作成したシミュレーションプログラム
ここからはミュンヘンについて少し書きたいと思います.ミュンヘンは歴史的な建造物が多くTHEヨーロッパという街並みなのにもかかわらず,地下鉄やバス,トラムなどの公共交通機関が発達しており,ミュンヘン内を簡単に移動できました.また,僕の滞在中にミュンヘン内のあちこちでクリスマスマーケットが始まりました.名物のホットワインやクリスマスのオーナメントを売る露店が立ち並び,とても良い雰囲気でした.ミュンヘン市外では,電車で1時間ほど移動したところにシンデレラ城のモデルとしても有名なノイスヴァンシュタイン城があります.僕が行ったときは大雪でしたが,そのおかげで雪の中の城を見ることができました.

Marien Platzでのクリスマスマーケット

ノイスヴァンシュタイン城
僕の滞在は決して長いものではありませんでしたが,とても貴重な経験をさせていただきました.またチャンスがあれば訪れたいと思います.
ここまでお読みいただきありがとうございました.