SF映画だけでなく、アニメやドラマなどでも目にする機会が多くなった空中ディスプレイの操作シーン。
この技術は空想の物ではなく、多くの企業によって様々な製品に組み込まれはじめて実用化が進んでおり、現実のものとなっています。
筆者は、2016年からこの空中ディスプレイ（空中結像技術）のシステム化に取組み、様々な製品や事業の立ち上げやサービス開発、技術提供を行ってきました。
2019年には、3DCGで作成したVtuberを空中ディスプレイによって空中上に浮かび上がらせ、ユーザーとVTuberが握手できるできるようなホログラム映像で可能になる体験システムを構築しています。
起業してからは2020年度と2021年度の2年にわたり、田園調布学園中等部・高等部で空中ディスプレイを用いたWebコンテンツ制作*1の特別講師として講義を行っています。
関連記事：田園調布学園の学園ブログ｜「実践Webディレクション! ~空中ディスプレイ~」高1コア「探究」
空中ディスプレイの作り方
空中ディスプレイ*2の作り方はとても簡単です。
下記の手順で作ることができます。
- ASKA3Dを購入する
- ASKA3Dをはめ込む筐体を作る
- 高輝度ディスプレイとPCを繋ぐ
- インタラクティブにする場合はセンサーをつける
- 各機器を筐体にセットする
これだけの動作で完了です。
手作りでも良いのですが、筐体付きの完成品はアスカネット社から直接購入することが可能です。
コンテンツについてもWebブラウザをフル表示させて全画面で表示させることもできるので、Webサイト作成ツールを用いて簡単にコンテンツを作成することが可能です。
PCも、現在はスティックタイプのOS内蔵タイプが多く販売されているので、その中に実装されているWebブラウザの機能を利用することで、空中ディスプレイのコンテンツとして操作が可能です。
空中ディスプレイの実機を紹介
一言で空中ディスプレイと言っても、なかなか現実での操作イメージはしにくいものです。
上の動画は、小型の空中ディスプレイシステムを操作している動画です。
カメラ越しだと浮いているか感覚が伝わりにくいのですが、実際には手前に映像が浮いていて、触って操作できるようになっています。
空中ディスプレイの技術は、受付システム（レセプションシステム）やコンビニのセルフレジなど、多くの業務用機器で導入され始めており、一般利用されています。
それ以外にも、360度どこからみても空中映像表現を可能にする構造で空中結像を表現することや、超薄型の空中ディスプレイ筐体開発も可能になりました。
SF映画の世界は実現している
先ほどの動画は、「ASKA3D」という光学部品を使用した、空中ディスプレイの操作を体験できる小型筐体デモ機での操作を撮影した映像です。
動画では分かりづらいのですが、実際の結像された映像は空中上で結像されており、映像そのものに触ることが可能です。
空中ディスプレイの様な投影方式は様々な物があり、今まではハーフミラーのみを使用した物が多かったです。
実はかなり前から再起反射形、２面直交リフレクター、2面コーナーリフレクターなどの方式によって、ハーフミラーだけを使用したタイプの様に、映像がミラーの奥側で投影されるモノではなくて手前側に映る仕組みは開発されていました。
実際に映像に触ることができる？
これは可能です。
投影される映像の結像部に合わせて様々な種類のセンサーと組み合わせることによってそれを実現しています。
この記事の動画で使用しているセンサーは、 Neonodeの赤外線センサーを用いて、結像部に合わせてセンシングをしています。
赤外線センサー以外にも、デプスセンサーなどを用いて奥行き空間も認識させて空中に投影されているグラフィックを操作することも可能です。
触った時に感触をつけるための技術やデバイスも出てきていおり、筆者が空中ディスプレイに実装していたものはウルトラはプティクス社の超音波による触感フィードバックシステムでした。
空中ディスプレイで使用できるセンサー
センサーは多くのものがありますが、１番実装しやすい物が下記の商品です。
PC パソコンがタブレットやスマホのようにタッチパネルに スマートタッチパネル変換デバイス Airbar エアバー 14インチ
本当は13.3inchや15.6inchを使いたいところです。
やはり、モーション座標と実際のポインタで若干ズレは出てきます。
けれど、USBでPCやSTB（セットトップボックス）に簡単に繋げることが出来るインターフェイスです。
空中ディスプレイで使用できる高輝度ディスプレイ
例えば、上記の13.3inchセンサーの場合でしたら、13.3inchのモバイルモニター（できれば高輝度）ディスプレイで大丈夫です。
利用する場所によっては、もっと多くの輝度が必要になります。
西日の当たる会社のエントランスで使用していた時は、1,000cd以上の高輝度ディスプレイを使用していました。
その場合は、LITEMAXなどの高輝度ディスプレイが必要で、組み込む内容によって部材構成が変わるので注意が必要です。
空中ディスプレイに使用するPC
空中ディプレイに使用するPCは、正直Chromebookでも、MACでもWINPCでも大丈夫なのですが、とりあえずの最小限構成で空中ディスプレイを構築するために、モバイルモニターとセンサーだけ両方とも繋げられるインターフェイスの数だけ外部との接続が可能か確認です。
避けて欲しいところとしては、マルチインターフェイスは利用しない方が良いです。
検証の時は良いのですが、長時間利用には向いていません。
このように、ディスプレイとインターフェイスと合わせた安いPCを用意すれば大丈夫*3です。
ノートPCはType-Cかtype-Aで直に接続し、なるべく変換アダプタは使わないようにします。
上記の３つの構成でしたら、20万円以下で揃えることが可能なので、『ASKA3D』を加えたとしても、通常の稟議書で通すことが出来ると思います。
- ASKA3D
- 赤外線センサー
- 高輝度ディスプレイ
- 操作用PC
触覚はあるの？
触覚を持たせることも可能です。
この記事で紹介しているデモ機には付いていないのですが、超音波を用いたハプティクス技術によってそれが可能になっています。
ただ、空中ディスプレイのシステムを開発している経験としては、ハプティクス機能を用いても違和感を感じてしまう方が多く、実際は操作音のみで製品を仕上げることが多いです。
具体的には、下記の起業が提供している機器で実現可能です。
超音波 ハプティクス技術 非接触・触感フィードバックシステム｜コーンズ テクノロジー株式会社Webサイト
どうやって開発をするの？
空中ディスプレイコンテンツの開発はとても簡単です。
以前は、Unityを用いて複雑なコンテンツを開発することが多かったのですが、現在はHTML5で組むことも可能です。
例えば、オフィスのエントランスで使用されるレセプションシステムなどは、Webブラウザ上にUI画面を作成してシステムと組み込んでしまうこともあります。
実際に開発してみたい！
以前に比べて、空中ディスプレイを体験するための部材は、以前と比べると揃えやすい価格のものばかりになってきました。
- ASKA3D（空中ディスプレイ化させるプレート）
- IRセンサー（試作で簡単に試すならAir Bar）
- Intel Compute StickやノートPC（安いスペックで十分）
- なるべく高輝度のディスプレイ
- UnityかHTML５での開発環境
先ほども紹介しましたが、これらは全て合わせても10万円未満で部材を揃えることが可能です。
もし、会社のWebサイトと別にサーバーを用意しなければいけない場合は、下記のブログ記事に簡単にレンタルサーバーにWordPressなどのCMSをインストールして空中ディスプレイ用のWebサイトや検証・管理用のメールアドレスを構築する環境を作れる方法を解説しています。
最近では、Gateboxなども出てきてこの分野が賑わっていますが、空中ディスプレイを用いれば、表示されたコンテンツに直接触れることのできる新しい体験が可能です。
SONYなども空間再現ディスプレイとして『ELF-SR1』などを展開するようになりました。
空中ディスプレイを体験できる場所や、組み込まれている製品はどんどん増えてきているので楽しみですね。
超薄型筐体を作ってみた
現在、実際に市場で販売されていて、空中ディスプレイを実現させるための光学製品で課題になっているのが、空中ディスプレイを実現させるための構造として、大きなスペースを必要とするものです。
下記の動画では、通常の空中ディスプレイ化に必要な筐体の高さを1/5にしたものを制作してみました。
ASKA３D以外に、特殊な光学プレートを別に使用して、光源からの光の向かい先を調整しています。
映像だと平坦な感じに写ってしまいますが、実際の物は手前に映像が浮いて触れるようになっています。
- ASKA3D（空中ディスプレイ化させるプレート）
- 手持ちのスマホ
- 工作用スチレンボード2mm厚（筐体部材）
超薄型筐体にはこれだけしか使用していません。
IRセンサーを足しても＋数千円くらいです。様々な接触端末の空中ディスプレイ化は量産用になればかなり安価なものになっていきます。
筐体制作の詳細な内容についてはこちらの記事で紹介をしています。
非接触操作による需要は今後も大きく伸びていく市場です。これからも光学プレート関連は少しずつ記事や内容を増やしていく予定です。
空中ディスプレイ用の教育向けWebコンテンツ制作カリキュラムを開始
空中ディスプレイの利用は教育にも浸透してきました。
筆者は、2020年05月からASKA3Dを用いた空中ディスプレイ用のWebコンテンツ制作を中心にした教育カリキュラムの展開を開始しています。
関連記事：田園調布学園高等部の「土曜日 コアプログラム『探究』」にて 空中ディスプレイ技術を用いたWebコンテンツ制作講座を開始
教育課程に実際の先端技術を用いての体験を提供できることはとても嬉しいです。
広がっていく空中ディスプレイの利用
光学部品の利用により空中ディスプレイ化は、今後もより一層の広がりをみせていきます。
筐体の薄型化も、課題解決の糸口が見えています。空中操作用のUIも、デザイン会社がイベントなどで使用する度に、どのような操作感が良いのか知見が増えています。
空中ディスプレイとWebシステム
また、空中ディスプレイと空中ディスプレイ用に組み込んでいくWebコンテンツ制作の教育カリキュラムは、全国の各教育機関から反響をいただいています。
空中ディスプレイとWebサイトコンテンツの相性はすごく
これからも色々な使い方が出てくると思うので楽しみです。
ChatGPT等を用いたインタラクティブコンテンツの制作
最近は、ChatGPTにCode Interpreter機能が実装されたりしているので、HTMLや他の言語についても、指示する内容が的確であれば、楽器Webアプリなどの単純な動作で反応を返してくれる仕様であれば、それほど難しい開発工程を組まなくても、実験レベルでは手軽に行えるようになりました。
今後は、このような生成AI系の機能を活用すれば、空中ディスプレイを用いた新しい体験に繋がるインタラクティブコンテンツの制作も容易になってくると考えています。
今後も空中ディスプレイと色々なアプリケーションや体験を組み合わせて検証を進めていきたいと考えています。
最後まで読んでいただきありがとうございました。
空中ディスプレイに関する脚注や出典および参考情報の一覧
- 田園調布学園高等部、空中ディスプレイ用のWebコンテンツ制作講座を開始｜ICT教育ニュース より ↩︎
- 空中ディスプレイ｜Wikipedia ↩︎
- 実際に長時間稼働させる環境の場合は冷却とコンテンツに最適なPCスペックを用意する必要があります ↩︎
・ASKA3Dは、株式会社アスカネットの商標です。
