三菱電機は2016年11月7日、ウエアラブル端末を活用し、AR（拡張現実）表示による点検手順の確認とハンズフリーでの点検結果の音声入力ができる「3次元モデルAR を用いた保守点検作業支援技術」を開発したと発表した。高騒音下音声認識技術を活用して騒音が大きい作業現場でも高精度に音声での記録ができるため、水処理プラントやビルの電気設備など、さまざまな現場での作業員の負荷低減や点検ミスの抑制に役立つと期待される。
新技術では、3次元センサを搭載したタブレットPC で撮影するだけで簡単に構築できる3次元モデルを使用することにより、モデル構築ツール上で点検対象と点検手順との関連付けを一括で構築できる。3次元モデルを用いて位置と方向を算出するので、作業員に対する点検対象の位置や方向に関わらず正確にAR 表示が可能になった。これにより、60cm 先での表示誤差を1.2cm 以内に抑える性能を実現している。さらに、複数の点検対象と作業員の位置関係を把握できるので、離れている機器同士の点検手順や各機器の詳細な点検手順などを、作業者と点検対象との距離に応じて自動的にAR 表示することも可能にした。
また新技術では、3次元モデルと関連付けた点検手順データベースから音声対話手順を自動生成することで、AR 表示と連動した音声対話による点検結果の入力が可能になった。音声入力した点検結果はAR 表示に直ちに反映されるため、作業者は音声入力の結果に誤りがないかをウエアラブル端末上で確認できる。不明確な入力や点検漏れが生じた場合は、システムが再入力を促すことにより、確実に点検結果を入力できる。さらに非定常騒音下であっても、音声区間を正しく検出し、多様な騒音を考慮したディープラーニングに基づく音響辞書を構築する高騒音下音声認識技術により、85dbA の騒音下で認識率95％の性能を達成し、現場の騒音下での使用に耐える高い認識精度を実現した。