2022年に、医療業界に超人的な手術の進歩を実現するためのディープラーニングやAI強化画像処理の先駆的研究について執筆しました。ブログでは、画像の精度向上を図るためにマルチフレーム手法を採用していることを述べましたが、研究には適しているものの手術現場での使用には処理速度が遅すぎると指摘しました。数年が経ち、大きな進展のニュースを報告できることに興奮しています。我々の特許取得済みのOmniscia™画像プラットフォームは、最先端のリアルタイムAIベースのビデオ超解像の新たな基準を確立しています。
本技術では、カスタム・マルチフレーム方式と、 NVIDIA社のHoloscan platform を活用したAIの深い知見を組み合わせることで、現在公開されているどの技術よりも低遅延で、より鮮明で高解像度、高コントラストの画像を提供します。
このブレイクスルーの重要性は、従来のコンピュータビジョンからAIベースのシステムへと大きく転換する可能性を示している点にあります。医療ロボティクスの応用研究に関するハムリンシンポジウム2024でのOmnisciaのデモンストレーションは、多くの参加者を驚かせ、最先端技術を超える不可能と思われる画像改善を実現することで、外科医や研究者の期待を上回りました。会期中の2日間、途切れることなく関心を集めました。
ある著名な外科医は当然ながら懐疑的でした。実演では、一般的な腹腔鏡手術の場面を再現し、来場者自身に実際の器具を使って操作してもらうことで、極めて低い遅延と高い性能向上を直接体感していただきました。彼はそれが良いものであることを理解しましたが、AIベースの画像改善システムは学習していない対象に直面すると失敗する傾向があることも認識していました。そこで弊社の専門家が白ワインのグラスを手術空間に持ち込んだところ、驚くほど高精細な映像に驚き、その外科医は「一体どのようにして実現できたのか」とコメントしました。

Omnisciaの超解像アルゴリズムは、シーン内の情報のみを活用して高解像度の出力を生成します。純粋な生成AIのアプローチとは異なり、ワイングラスなど、これまで一度も見たことのない物体に対しても堅牢です。
AIベースのデジタル手術画像技術
外科医の方が驚愕した理由、また弊社の進歩の重要性を理解するために、もう少し背景を掘り下げてみます。デジタル手術分野は概して、解像度を向上させ、ノイズの多い視覚データを解釈可能にする新しいAIベースの画像技術から大きな恩恵を受けることができます。しかし、純粋な生成AI技術は、情報を幻覚するリスク(ハルシネーション)があるため(詳細は前投稿をご参照下さい)、採用されていません。ノイズを除去する過程で、ポリープや極めて重要な構造のような稀な特徴までも滑らかにしてしまうことがあり、外科医にとって見えないリスクを生み出す可能性があります。
当然ながらこれは非常に重要な課題です。手術は正確さと低遅延の性能を要求します。外科医が体内で動く組織を縫合したり切開する際には、目の前の映像を信頼し、リアルタイムで適応し、行動する必要があります。
以下の映像には手術中の様子が含まれています。ご視聴の際はご注意ください。
弊社のAIアルゴリズムのイノベーション
簡単に言うと、弊社のAIシステムは異なる方法で動作をします。シーン内の物体の動きを追跡することで複数のフレームを合成し、フレームごとに高品質の情報を生成することができます。これは天体写真撮影で使用される技術ですが、弊社のシステムでは3日ではなく12ミリ秒で実行しています。複数のビデオフレーム(画像)を利用し、時間の中で得られる情報を集め、それを視覚情報に統合するという独自の方法により、画像処理の最も一般的な課題に対処できます。我々の画像スタックには、新しい超解像、適応的コントラスト補正、そしてノイズ除去アルゴリズムが含まれており、これまで以上に幅広いカメラハードウェアから、鮮明な画像を提供します。
弊社の最先端技術における主な進展は以下の通りです:
- ノイズを100倍低減する適応型コントラスト
- 4倍の解像度の向上
- 12ミリ秒のレイテンシー (60fpsの1フレームより速いため、リアルタイム同等)
- ソフトウェアで全て定義された画像処理パイプラインによる開発期間の20倍短縮
これらの成果は、重要なブレークスルーに関する複数の特許によって保護されています。具体的には、人間の知覚に対するアルゴリズムの性能最適化、現実世界の条件に対して堅牢なリアルタイム超解像技術、煙や歪みの除去、コントラストの改善が含まれます。
AIベースのパイプラインに移行するには考え方の転換が必要ですが、NVIDIAのHoloscan platformおよびCUDAが幅広いライブラリ機能を提供しています。現実世界で優れた性能を実現するために新規性の高い部分だけに注力すればよいため、メリットがすぐにデメリットを上回ります。
高重要度AI支援ツール
このイノベーションは、「人間の役割を置き換えるのではなく、強化・拡張するAIシステムを構築する」というケンブリッジコンサルタンツ社の伝統に従っています。弊社が目指すのは、AI自体が自然に背景へと溶け込み、ワークフローの不可欠な一部となるほど迅速でシームレスなユーザー体験です。Omnisciaは、専門家(外科医)と協力して動作する高重要度の支援ツールとして位置づけることができます。
上述した観点から、Omnisciaの機能はレーダー(電波探知機)から自動車向けのシーン再構築まで、幅広い産業分野と用途に適しています。今後数か月間でプラットフォームの開発に向けた素晴らしい計画があり、既にリアルタイムのゼロショットツールやシーントラッキングを追加して、外科医が数千の例を面倒なラベリングをすることなく、ワークフローを完全に定量化できるようになります。
当該分野での我々の進歩は、科学者、エンジニア、デザイナーの多分野の専門分野を持つチームが結集し、臨床ワークフローを改善する手術用ツールを生み出すためのシステム思考の結果です。弊社の研究の詳細についてご関心がある方は、 こちら までご連絡ください。独自のアプリケーションを開発したい、またOmnisciaを使用して事業・研究開発のスピードを20倍に高めたい、とお考えの企業様・研究者の皆様からのご相談をお待ちしております。