ヒューマンコンピュータインタラクション

 

高齢者や各種患者のための拡張現実感インタフェースの開発

高齢者や各種患者が抱える様々な身体的・精神的問題を和らげるためのインタフェースについて検討,開発を行っています。国立成功大学(台湾)との共同研究として、音楽ゲーミフィケーションを用いた指の動作のリハビリに取り組んでいます。また、トレント大学(イタリア)との共同研究として、立ち座りや歩行のリハビリ情報の可視化手法などの研究を行っています。

  • Yanjiao Ao, Masayuki Kanbara, Yuichiro Fujimoto, Hirokazu Kato, "MR System to Promote Social Participation of People Who Have Difficulty Going Out," International Conference on Human-Computer Interaction (HCII2021), Springer, Vol.12787, pp.383-402, 2021.
  • Isidro III Butaslac, Alessandro Luchetti, Edoardo Parolin, Yuichiro Fujimoto, Masayuki Kanbara, Mariolino De Cecco, Hirokazu Kato, "The Feasibility of Augmented Reality as a Support Tool for Motor Rehabilitation," International Conference on Augmented Reality, Virtual Reality and Computer Graphics (Salento AVR), Springer, Online, 7 Sep. 2020.
  • Naoki Inoue, Yuichiro Fujimoto, Alexander Plopski, Sayaka Okahashi, Masayuki Kanbara, Hsiu-Yun Hsu, Li-Chieh Kuo, Fong-Chin Su, Hirokazu Kato, "Effect of Display Location on Finger Motor Skill Training with Music-based Gamification," International Conference on Human-Computer Interaction (HCII2020), Springer, pp.78-79, Online, 22 Jul. 2020.
  • Michele Stocco, Alessandro Luchetti, Paolo Tomasin, Alberto Fornaser, Patrizia Ianes, Giovanni Guandalini, J. Flores Ty, Sayaka Okahashi, Alexander Plopski, Hirokazu Kato, Mariolino De Cecco, “Augmented Reality to Enhance the Clinical Eye: The Improvement of ADL Evaluation by Mean of a Sensors Based Observation,” 16th EuroVR International Conference (EuroVR 2019), Springer, Vol.LNCS 11883, pp.291-296, Tallinn, Estonia, 23 Oct. 2019.
  • Alexander Plopski, Ada Virginia Taylor, Elizabeth Jeanne Carter, Henny Admoni, “InvisibleRobot: Facilitating Robot Manipulation Through Diminished Reality,” Poster in Proceedings of the International Symposium on Mixed and Augmented Reality, Beijing, China, 14 Oct. 2019
  • Silviya Hasana, Yuichiro Fujimoto, Alexander Plopski, Masayuki Kanbara, Hirokazu Kato, “Improving Color Discrimination for Color Vision Deficiency (CVD) with Temporal-domain Modulation,” International Symposium on Mixed and Augmented Reality, Beijing, China, 14 Oct. 2019


拡張現実感作業支援システムの設計・開発のためのガイドライン

スキルや経験が少ない人でも、高品質な拡張現実感作業支援システムが設計できるようにするためのガイドラインを提案し、公開しています(こちら)。なお、本研究は、株式会社富士通研究所との共同研究です。

  • Keishi Tainaka, Yuichiro Fujimoto, Masayuki Kanbara, Hirokazu Kato, Atsunori Moteki, Kensuke Kuraki, Kazuki Osamura, Toshiyuki Yoshitake, Toshiyuki Fukuoka, "Guideline and Tool for Designing an Assembly Task Support System Using Augmented Reality," IEEE International Symposium on Mixed and Augmented Reality (ISMAR), IEEE , Online, 9 Nov. 2020.
  • 田井中渓志, 藤本 雄一郎, Alexander Plopski, 神原 誠之, 加藤 博一, 武富 貴史, 茂木厚憲, 長村一樹, 倉木健介, 吉武敏幸, 福岡俊之, “組み立て作業支援のための拡張現実感ソフトウェア設計ガイドラインの提案,” 日本バーチャルリアリティ学会研究報告 複合現実感研究会, Vol.24, No.CS-3, pp.37-42, 北海道斜里町, 2019年10月10日.

バーチャルリアリティ・拡張現実感を使用したプレゼンテーション(ソーシャルスキル) サポート・トレーニング

VR/ARを用いて、プレゼンテーションなどのソーシャルスキルのトレーニング・支援を行う方法を研究しています。その中で、人前で話す恐怖心をやわらげるためのVRを使ったプレゼン記録・振り返り手法の効果を明らかにしました。現在は、リアルタイムフィードバック方法について検討・構築を進めています。

  • Hangyu Zhou, Yuichiro Fujimoto, Masayuki Kanbara, Hirokazu Kato, "Virtual Reality as a Reflection Technique for Public Speaking Training," Applied Sciences, MDPI, Vol.11, No.9, p.3988, Apr. 2021.
  • Hangyu Zhou, Yuichiro Fujimoto, Masayuki Kanbara, Hirokazu Kato, "Effectiveness of Virtual Reality Playback in Public Speaking Training," Workshop on Social Affective Multimodal Interaction for Health (SAMIH) in 22nd ACM International Conference on Multimodal Interaction (ICMI2020), ACM, Online, 29 Oct. 2020.

ヒューマンロボットインタラクション

 

日常的対話を継続するヒューマンロボットインタラクション

安全・安心・快適な日常的支援を行うために、視覚・触覚・ジェスチャなどによるマルチモーダルな対話技術の開発を目的としています。物理的な身体をもったロボットに限らずAR(拡張現実感)ロボット・バーチャルロボットを含むロボットメディアを利用した様々なヒューマンロボットインタラクション技術を研究しています。

  • Shogo Nishimura, Masayuki Kanbara, Norihiro Hagita, “Atmosphere Sharing with TV Chat Agents for Increase of User’s Motivation for Conversation,” International Conference on Human-Computer Interaction 2019 (HCI International), Springer, pp.482-492, 29 Jul. 2019.
  • 神田将吾, 澤邊 太志, 神原 誠之, 藤本 雄一郎, 加藤 博一, "継続利用意欲の向上を目的としたTVゲームを共にプレイする対話ロボットの提案," CNR研究会, 電子情報通信学会 クラウドネットワークロボット研究会(CNR), 東京, 日本, 2021年11月26日.
  • Shogo Kanda, Taishi Sawabe, Masayuki Kanbara, Yuichiro Fujimoto, Hirokazu Kato, “A Communication Robot for Playing Video Games Together to Boost Motivation for Daily-use,” ACM/IEEE International Conference on Human-Robot Interaction Late-Breaking Reports (HRI2022), March. 2022.

快適自動走行のための XR モビリティプラットフォーム

快適な自動走行車を作るために、人の快適性を第一に考えた快適化知能の創造を目指す。自動走行ストレスや自動走行酔いなどの不快要因の推定や検出アルゴリズムの構築、不快要因の軽減や抑制手法である情報提示や挙動制御などの手法の効果検証を実車を用いて行う。XRモビリティプラットフォームという、自動走行機能を有し、没入型円筒ディスプレイやHMDより映像を出力し、モーションプラットフォーム座席による任意の傾きより、搭乗者が感じる移動感覚を消失させる(隠消現実)研究をしています。

  • Sawabe, T. Kanbara, M. Fujimoto, Y. and Kato, H., “XR Mobility Platform: Multi-Modal XR System Mounted on Autonomous Vehicle for Passenger’s Comfort Improvement” ISMAR, 2021.
  • 澤邊 太志, "XR技術を用いた人と自動走行車の快適インタラクション," CNR研究会, 電子情報通信学会 クラウドネットワークロボット研究会(CNR), 東京, 日本, 2021年11月26日.
  • Sawabe, T. Kanbara, M. Fujimoto, Y. and Kato, H., “Toward Understanding the Effects of Visual and Tactile Stimuli to Reduce the Sensation of Movement with XR Mobility Platform”, IEEE VR, 2022.

タッチケアロボット

「なでる」動作は,心理面において,安心感の提供や不安の緩和,PTSD の緩和,孤独感の緩和,ストレス抑制,身体面において,血液循環の促進,睡眠障害の緩和,便秘改善,筋の緊張緩和といった幅広いポジティブ効果をもたらすことが分かっており、医療や介護現場においては,なでるケア手法として,ユマニチュードやタクティールマッサージといった,なでる動作を主としたケア手法も実際の現場で取り入れられている。このなでる動作を主とし、人代わりになでるケアを含むマルチモーダルインタラクションを行うロボット、タッチケアロボット の開発を通して人の快適性向上を目指した研究をしています。

  • 澤邊 太志, 本多 克, 藤本 雄一郎 神原 誠之, 加藤 博一,VR/ARを用いた視覚的変化による「なでながら話す」マルチモーダルインタラクティブロボットに関する心地良さの印象評価, IEICE-CNR2020-1, 2021.
  • Taishi Sawabe, Suguru Honda, Yuichiro Fujimoto, Masayuki Kanbara and Hirokazu Kato, 3rd International Workshop on Virtual, Augmented, and Mixed Reality for Human-Robot Interaction, 2020.
  • Suguru Honda, Taishi Sawabe, Shogo Nishimura, Sato Wataru, Yuichiro Fujimoto, Alexander Plopski, Masayuki Kanbara and Hirokazu Kato, Proceedings of 7th annual International Conference on Human-Agent Interaction, 2019.

コンピュータビジョン

 

スポーツ競技者の身体位置姿勢推定

短距離走などの競技者の身体動作の解析や可視化のため、画像からの身体各部の位置姿勢推定を行っています。

プロジェクタ・カメラシステムを用いた投影型拡張現実感

プロジェクタ・カメラシステムを用いて実世界をセンシングし、情報を投影する技術について研究を行っています。最近では、イベントカメラという特殊なカメラを利用して、屋外などの環境光が強い場所で使用可能なプロジェクションマッピング、動物体に投影可能な技術の研究を行っています。

  • Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Yuichiro Fujimoto, Masayuki Kanbara, Christian Sandor, Hirokazu Kato, "Illusory Light: Perceptual Appearance Control Using a Projection-Induced Illusion," Computers & Graphics, Elsevier, Vol.91, pp.129-140, Jul. 2020.
  • Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Christian Sandor, Hirokazu Kato, “Robust Reflectance Estimation for Projection-Based Appearance Control in a Dynamic Light Environment,” Transactions on Visualization And Computer Graphics, IEEE, Sep. 2019.
  • Ryo Akiyama, Goshiro Yamamoto, Toshiyuki Amano, Takafumi Taketomi, Alexander Plopski, Christian Sandor, Hirokazu Kato, “Perceptual Appearance Control by Projection-Induced Illusion,” Demo at the IEEE Conference on Virtual Reality and 3D User Interfaces, pp.1-2, Osaka, Japan, Mar. 2019.

コンピュータグラフィックス

 

新たなHMDの開発とレンダリング手法の研究

眼球の状態を考慮し、レンズアレイを用いた、新たなHMDの開発や、背景を考慮して視認性を向上させるレンダリング手法などの研究を行っています。

  • Kohei Oshima, Kenneth R Moser, Damien Constantine Rompapas, J Edward Swan, Sei Ikeda, Goshiro Yamamoto, Takafumi Taketomi, Christian Sandor, Hirokazu Kato, Improved Clarity of Defocussed Content on Optical See-Through Head-Mounted Displays, IEEE Symposium on 3D User Interfaces 2016, Greenville, South Carolina, March, 2016.
  • Damien Constantine Rompapas, Kohei Oshima, Sei Ikeda, Takafumi Taketomi, Goshiro Yamamoto, Christian Sandor, Hirokazu Kato, [DEMO] EyeAR: Physically-Based Depth of Field through Eye Measurements, Demo at ISMAR’15: the 14th IEEE International Symposium on Mixed and Augmented Reality, Fukuoka, Japan, October, 2015.