AIによる効果的なイノベーションを実現するための強固な基盤構築

AIの潜在的なアプリケーションに関する話題は尽きません。ただ、そうした世間の強い関心は、AIによるイノベーションで実際にどのような要件が必要となるかを十分に理解しないまま、期待が先行していることは問題です。そこで、世間で言われているAIに関する様々な意見に関して、素朴に、私が感じているいることをお話しさせてください。急速に拡大し、変化する顧客ニーズから収益を得る上で、AIを活用した大規模なプロジェクトにはさまざまな分野の開発チーム全員が能力を発揮できる強固な基盤が必要です。  

クライアントと協働して、AIを活用したイノベーションを市場に導入している私にとって、これは何度も繰り返し取り組むテーマです。最近開催されたAI Summit Silicon Valleyに向けて 執筆し 、講演を行いました。その中で、私が力点をおいたのはAIを設計図から収益につなげる実践的な方法についてでした。AIが難しいという事実から逃れることはできません。しかし、一般的なボトルネックを体系化し、克服すれば、挑戦的な企業マインドを醸成する事に必ず役に立つと強く信じています。

この記事では、私のテーマをもう少し深く掘り下げ、IoTやAIoTデバイスが接続された大規模なサービスの立ち上げを目指す為に、組織が直面する課題に焦点を当てたいと思います。初期のアイデアや計画段階での課題、あるいはスケールアップでの苦労が課題となるかもしれません。いずれにせよ、重要な難問を乗り越えるための方法を見つけなければなりません。

AIエンジンに燃料を供給するためのデータの必要性はよく理解されています。しかしそれを実現するために必要な組織やインフラは全く理解されていないのです。
 

少し視点を変えて状況を見てみましょう。AIに関する大きな期待の多くは学術的な成果によるものでした。同時にAIのエンジニアリング的実践もまた、急速に発展してきました。苦心しながらアルゴリズムの革新を行い、データを本番環境に取り入れることで価値を生み出しています。ここ数年、検索エンジンのトレンドから、AIに必要な実践的エンジニアリング、いわゆるMLOpsへの関心が爆発的に高まっていることがわかります。

次のトレンドやAI化されたサービスでは、継続的なデータ処理、モデルの再トレーニング、展開、そしてデバイスとクラウド間で得られる知見の活用が必要となります。すなわち、データサイエンスチームからの情報を可能な限り抽象化する作業は複雑となり、労力を費やすことになります。データサイエンスチームは、インフラやデータクリーニングのような手間のかかる作業に邪魔されることなく、優れたアルゴリズムやサービスを生み出すことに集中しなければなりません。

この問題は、 2015年の時点 で認識されており、MLコミュニティは進化する課題に順次に対応してきました。MLの応用が高度化するにつれ、MLOpsの技術も対応が必要になってきました。特に、当社が行っているような大規模かつ学際的なプロジェクトの成功にはMLOpsは欠かせません。また、ModelOpsとDataOpsというサブフィールドが重要であることも事実です。MIT スローンマネージメントレビューのこの記事が わかりやすく解説しています。

幅広い基盤は戦略的整合性から 

AIの活用には3つの基盤を構築することが必要です。すなわち、戦略的な整合性、データドリブン型の組織とプロセス、現場で実験と反復を行うためのフレームワークです。AIでイノベーションを起こす際の強力な組織とインフラの重要性については、前述しました。この2つの柱を整備し、AIの目指す大きなビジョンを成功させるには、エンドユーザーと主要なステークホルダーはできるだけ早く戦略的な連携を図ることが重要です。

AIの可能性での意見の一致は簡単ですが、具体的なユースケースや関連する技術的な難しさや、投資について意見を一致させるのは難しいかもしれません。早い段階からこの点を確認し、目標の進捗に合わせて対話を続けていくことが重要です。最初から学際的なAI戦略を取り入れ、プロジェクトが進展する中で変更していくという手法は、大きな利益をもたらすでしょう。

データドリブンな組織とプロセス

このブロガーが言うように、 「MLは単なるコードではなく、コード＋データ」 であり、データセントリックでなければならないのです。代表的で時宜を得た正確な大量のデータが学習と推論に有効であることは、ますます広く理解されています。しかし、それをどのように組織やプロセスに反映させればよいのでしょうか。データサイエンスやAIチームが、アルゴリズム開発以外の業務に 80%もの時間 を費やすことを回避するにはどうすればよいのでしょうか

データサイエンスとAIチームがイノベーションに集中できる環境を整え、実験の遅れを生じさせるあつれきを軽減しなければなりません。私たちは、モデル管理（従来のソフトウェアDevOpsに対応するもの）とデータ管理（一部の組織では新しい手法）の2つの観点からみています。一見簡単そうに見えますが、適切なプロセスなしには 結果の再現 さえ困難です。このことを正しく理解することで、データの収集と管理を競争優位の源泉に変えることができるのです。

当社の開発業務や、業績の良いクライアントで何がうまくいっているか観察すると、次のような原則が浮かび上がってきます。

• データサイエンティストに、要件設定や他の部門との連携を積極的に取り組んでもらう。データ要件の設定、管理、プロファイリングは初期段階で重要となり、AI技術の設計と開発を決定する。また、開発作業量とリソースの計画が適切になされ、割り当てられていることが重要です。
• AIエンジニアリングをできるだけデータソースの近くで開始し、適切なデータパイプライン/アーキテクチャを構築します（同僚のJoe Corriganが ここで論じているように、計算および接続の選択にも影響します）。特に、データの品質管理は重要です。これにより、モデル開発の後半まで判明しない可能性のある、データパイプラインの初期に生じる制限を、回避することができます。
• モデル開発と並行したデータ収集は、十分な理由がない限り、回避をします。これは研究開発のスケジュールと機器設計に影響を与えるからです（単純な変更を実施するだけでも複雑でコストがかかる場合があります）。

こうした取り組みにより、データサイエンティストは、より効率良く仕事を進められることになりますが、それでも相当な労力を費やすことになります。大規模なプロジェクトでは、専任のデータエンジニアを設けることで、データサイエンティストをデータの検証作業から解放することができるかもしれません。こうした原則は、規模の拡大においても重要です。適切なデータを取得し、効果的に処理することで、過剰な通信コストや計算コストを発生させないことが、事業の成長には重要です。

このことはユーザーやデバイスの増加だけでなく、事業範囲が拡大する場合にも当てはまります。事業拡大により異なる処理内容に行うにも、再度トレーニングが必要です。米国で自律走行車のトレーニングを行っても、他の地域に展開する際には再度、トレーニングを行う必要があります。同じモデルを単純に展開しなおすことは理想的ではありません。つまり、パイプラインにはさらに多くのデータを流す必要があるのです。  

このような考え方は、今ではすっかり定着した CRISP-DMフレームワークに多く取り入れられており、データセントリックなプロセスを開発するための業界標準となりつつあります。

実環境での実験と繰り返しのためのフレームワーク 

ここでは最新のソフトウェア開発のベストプラクティスを結集して、モデルの設計、評価、展開を実現させます。必要なプロセスとインフラは、製品やサービスの開発を進める学習サイクルを加速させることを目指すべきであると、私たちは考えています。インフラとプロセスという形でどのように実現するかは、ユースケースに大きく依存します。例えば、クラウドのアプリケーション、オンプレミスの分散コンピューティング、ハイブリッドタイプでは、それぞれニーズが異なるかもしれません

Modzy や Nubixのような、ソリューション全体の一部を構成するツールも増えています。どのようなツールを使うにせよ、優れた業績を上げている組織は、有益な測定を行い、そのフィードバックが得られるシステムを確実に整備しています。フィードバックは、モデルの設計と展開を進展させるための要です。

さて、これでようやく完成です。顧客のニーズに対応できる強固で、拡張性があり、進化する大規模なAI導入プロジェクトの3つの基礎が整いました。冒頭で述べたように、これらは多くの人が直面する課題を克服するための実践的かつ体系的な対応策です。戦略的整合性の実現、データ駆動型組織への移行、AIを使った実験や検証するためのフレームワークの構築などでお困りでしたら、ぜひ ご連絡ください。皆さんからのご連絡をお待ちしています。