ヒューマンコンピュータインタラクション

ハンドヘルド型拡張現実感のための三次元位置指定法

Visual SLAMを用いたハンドヘルド型拡張現実感のための三次元位置指定方法を提案しています。拡張現実感のアノテーションなどの三次元位置姿勢をタブレット端末を用いて効率良く制御するインタフェースを開発しています。

  • Varunyu Fuvattanasilp, Yuichiro Fujimoto, Alexander Plopski, Takafumi Taketomi, Christian Sandor, Masayuki Kanbara, Hirokazu Kato, "SlidAR+: Gravity-Aware 3D Object Manipulation for Handheld Augmented Reality," Computers & Graphics, Elsevier, Vol.95, No.1, pp.23-35, Apr. 2021, DOI: 10.1016/j.cag.2021.01.005.
  • Polvi, J., Taketomi, T., Yamamoto, G., Dey, A., Sandor, C., and Kato, H., SlidAR: A 3D Positioning Method for SLAM-based Handheld Augmented Reality, International Journal of Computers and Graphics, Vol.55, pages 33-43, December, 2015.
  • Polvi, J., Taketomi, T., Yamamoto, G., Billinghurst, M., Sandor, C., and Kato, H., Evaluating a SLAM-based Handheld Augmented Reality Guidance System, Poster in Proceedings of the 2nd ACM Symposium on Spatial User Interaction, pages 147-147, New York, NY, USA, ACM, October, 2014.

拡張現実感を用いたスポーツトレーニング支援

拡張現実感技術を用いたトレーニングデータ可視化によるスポーツトレーニング支援技術の開発を行っています。特に、トップアスリートの支援を目的としており、現役のアスリートと共同で開発を進めています。

  • Oral Kaplan, Goshiro Yamamoto, Takafumi Taketomi, Yasuhide Yoshitake, Alexander Plopski, Christian Sandor, Hirokazu Kato., Promoting Short-Term Gains in Physical Exercise Through Digital Media Creation, Advances in Computer Entertainment Conference (ACE2017), Dec. 2017.
  • Taketomi Taketomi, Yasuhide Yoshitake, Goshiro Yamamoto, Christian Sandor, Hirokazu Kato, 3D Ground Reaction Force Visualization onto Training Video for Sprint Training Support System, International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments (ICAT-EGVE2017), Nov. 2017.
  • Haruka Matsumura, Hironori Watanabe, Tai Chih Chen, Taketomi Taketomi, Yasuhide Yoshitake, Alexander Plopski, Christian Sandor, Hirokazu Kato, Can Face Swapping Technology Facilitate Mental Imagery Training?, International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments (ICAT-EGVE2017), Nov. 2017.

ハンドヘルド型拡張現実感アプリケーションのユーザビリティについて評価するための指標について検討を行っています。これまでにも、アプリケーションのユーザビリティを評価する様々な指標が提案されていますが、我々の提案する評価指標は手持ちデバイスで拡張現実感を利用する際に考慮すべき項目を盛り込んだものとなってます。

  • Santos, M., Polvi, J., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., Toward Standard Usability Questionnaires for Handheld Augmented Reality, IEEE Computer Graphics and Applications, Vol.35, No.5, pages 66-75, Sept.-Oct., 2015.
  • Santos, M., Polvi, J., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., A Usability Scale for Handheld Augmented Reality, In Proceedings of ACM 20th Symposium on Virtual Reality Software and Technology, pages 167-176, Edinburgh, UK, November, 2014.

3次元メディアを作成するための拡張現実感インタフェースの作成とその評価を行っています。特に、プロのデザイナー向けのインタフェースの開発を目的としており、プロとして活動しているデザイナーからの聞き取り調査などに基づきインタフェースデザインを行っています。

  • Krichenbauer, M., Yamamoto, G., Taketomi, T., Sandor, C., and Kato, H., Towards Augmented Reality User Interfaces in 3D Media Production, in Proceedings of the 13th IEEE International Symposium on Mixed and Augmented Reality, pages 23-28, Munich, Germany, October, 2014.

拡張現実感技術を用いたアプリケーションを作成し、その教育効果について検証を行っています。

  • Santos, M., Wolde, A., Taketomi, T., Yamamoto, G., Rodrigo, M., Sandor, C., and Kato, H., Augmented reality as multimedia: the case for situated vocabulary learning, Research and Practice in Technology Enhanced Learning, Vol.11, No.1, pages 1-23, Berlin Heidelberg: Springer, January, 2016.
  • Santos, M., Souza, I., Yamamoto, G., Taketomi, T., Sandor, C., and Kato, H., Exploring Legibility of Augmented Reality X-Ray, Multimedia Tools and Applications, pages 1-23, Springer US, October, 2015.
  • Santos, M., Chen, A., Taketomi, T., Yamamoto, G., Miyazaki, J., and Kato, H., Augmented Reality Learning Experiences: Survey of Prototype Design and Evaluation, IEEE Transactions on Learning Technologies, Vol.7, No.1, pages 38-56, January, 2014.

軽度の認知症を患っている高齢者向け拡張現実感インタフェースについて検討を行っています。特に、日常生活における作業指示方法について検討を行っています。

  • Yamamoto, G., Hyry, J., Krichenbauer, M., Taketomi, T., Sandor, C., Kato, H., and Pulli, P., A User Interface Design for the Elderly using a Projection Tabletop System, In Proceedings of Third International Workshop on Virtual and Augmented Assistive Technology, pages 29-32, Arles, Camargue, Provence, France, March, 2015.
  • Yamamoto, G., Asghar, Z., Uranishi, Y., Taketomi, T., Sandor, C., Kuroda, T., Pulli, P., and Kato, H., Grid-pattern Indicating Interface for Ambient Assisted Living, in Proceedings of the 10th International Conference on Disability, Virtual Reality and Associated Technologies, pages 405-408, Gothenburg, Sweden, September, 2014. Best Short Paper Honourable Mention
  • Yamamoto, G., Chen, A., Pulli, P., Hyry, J., Asghar, M., Uranishi, Y., and Kato, H., A Laser Projection-based Tele-guidance System Embedded on a Mobility Aid, In ISMICT '13: Proceedings of IEEE International Symposium on Medical Information and Communication Technology, pages 140-144, March, 2013.

コンピュータビジョン

カメラから得られる画像列から物体の形状を推定する手法を提案している。特に、未知の環境に対して環境の三次元形状とカメラの運動を同時に推定することが可能なVisual-SLAMのアルゴリズムの研究開発を行っている。

  • Uchiyama, H., Taketomi, T., and Ikeda, S., [POSTER] Abecedary Tracking and Mapping: a Toolkit for Tracking Competitions, In Proceedings of 14th IEEE International Symposium on Mixed and Augmented Reality, Fukuoka, Japan, October, 2015.
  • 酒井 一樹,張 起瑞,武富 貴史,山本 豪志朗,サンドア クリスチャン,加藤 博一: "自然特徴点に基づく拘束を付加したDTAMによる三次元形状復元精度の定量評価", 日本バーチャルリアリティ学会研究報告, Vol. 20, No. CS-3, MR2015-13, Oct. 2015.
  • Zhang, Q., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., [POSTER]Exploiting Depth Information from Tracked Feature Points in Dense Reconstruction for Monocular Cameras, in Workshop Proceedings of the Special Interest Group on Mixed Reality (SIG-MR), pages 5-8, Nara, Japan, January, 2015.

画像からカメラの運動を推定する技術について研究を行っています。特に、拡張現実感への応用を想定し、マーカを使った方法、三次元モデルを使った方法、マーカおよび三次元モデルを利用しない方法などの手法を提案しています。

  • Taketomi, T., and Heikkilä, J., Focal Length Change Compensation for Monocular SLAM, in Proceedings of International Conference on Image Processing, pages 1-5, Quebec city, Canada, September, 2015.
  • Taketomi, T., Okada, K., Yamamoto, G., Miyazaki, J., and Kato, H., Camera Pose Estimation under Dynamic Intrinsic Parameter Change for Augmented Reality, International Journal of Computers and Graphics, Vol.44, pages 11-19, 2014.
  • Oikawa, M., Taketomi, T., Yamamoto, G., Fujisawa, M., Amano, T., Miyazaki, J., and Kato, H., A Model-Based Tracking Framework for Textureless 3D Rigid Curved Objects, SBC Journal on 3D Interactive Systems, Vol.3, No.2, pages 2-15, January, 2012.

プロジェクタ・カメラシステムを用いて実世界をセンシングし情報を投影する技術について研究を行っています。特に、プロジェクタを用いた見かけの制御や変形を伴う物体へのプロジェクションマッピング手法などの研究を行っています。

  • Akiyama, R., Yamamoto, G., Amano, T., Taketomi, T., Sandor, C., and Kato, H., Appearance Control in Dynamic Light Environments with a Projector-Camera System, In USB Proceedings of IEEE International Conference on Virtual Reality 2016: Workshop on Perceptual and Cognitive Issues in AR, Greenville, South Carolina, March, 2016.
  • Fujimoto, Y., Smith, R., Taketomi, T., Yamamoto, G., Miyazaki, J., Kato, H., and Thomas, B., Geometrically-Correct Projection-Based Texture Mapping onto a Deformable Object, IEEE Transactions on Visualization and Computer Graphics, Vol.20, No.4, pages 540-549, March, 2014.

コンピュータグラフィックス