Red Hat OpenShiftとIOWNオールフォトニクスネットワークでNTTソフトウェアイノベーションセンター開発のデータパイプライン高速化を実証

先月開催されたMWC Barcelonaのイベントに向けて、Red HatとNTTソフトウェアイノベーションセンター様と、Innovative Optical and Wireless Network (IOWN) Global Forum PoCの一環として、消費電力と遅延時間を削減しながら膨大なデータセットのリアルタイムAI分析を可能にする、共同ソリューションを発表しました。 IOWNオールフォトニクスネットワーク（All-Photonics Network、以下、APN）とRed Hat OpenShift導入可能なIOWNデータセントリック基盤（Data Centric Infrastructure、以下、DCI）を活用し、エッジ領域でのAI推論を最適化することで、大規模なAIデータ分析において大幅な消費電力の削減を実現しました。 IOWN Global Forumは、このPoC成果を重要な前進として評価しています。

AI分析の遅延時間を60％削減し、40％～60％の消費電力を節約

3 年前、”How NTT and Red Hat have Built an Edge Offer to Deliver New Cloud-Native AI-Platform Services”をテーマにNTT東日本様と映像AIについて共同講演させていただきました。私たちはそれ以降も革新を続け、今回、最新の「Sensor Data Aggregation and Ingestion PoC」プロジェクトによって、AI分析の遅延時間を60％削減し、消費電力を約40～60％節約することが実証できました。

このレポートでは、IOWN APNおよび設計中のIOWN DCIを含むIOWNインフラストラクチャ技術によって日本の地域エッジ(Regional Edge)で実現した、Red Hat OpenShift動作環境でGPU Operatorコンテナソフトウェア により導入した、エネルギー効率に優れたリアルタイムAI分析の実装についてご紹介します。尚、IOWN DCIは、GPU上でNTTソフトウェアイノベーションセンター様のAI推論エンジンを実行する Red Hat OpenShiftのコンテナプラットフォーム上のIngestion node（インメモリーデータ取り込みノード）が駆動可能でコンポーザブルな分散型のデータセントリック基盤として計画されています。

今回のPoC では、以下のことが実証されました。

• 多数のローカルアグリゲーションノード(データ集約ノード）から大規模なセンサーデータを効率良く収集してAI分析処理するために、センサー・カメラ等のユーザーデバイスからのIPパケットをローカルアグリゲーションノードで終端させて、IPパケット内のユーザデータを、RDMA over APN(IOWN APNを介したリモートダイレクトメモリアクセス) 技術を活用して、地域エッジクラウド(Reginal Edge Cloud)に展開されたインメモリーデータ取り込みノードのRed Ha OpenShiftコンテナプラットフォームに搭載されたGPUメモリーに反映させた。Red Hat OpenShiftコンテナプラットフォームはGPUdirect RDMAを実行し、IOWN APNを介して遠隔接続されたローカルアグリゲーションノードからの画像データを直接GPUメモリーに反映させて、NTTソフトウェアイノベーションセンター様が開発した推論エンジンが高速解析処理するデータパイプラインの有効性を実証。
• 通信事業者のエッジデータセンターを含む地域エッジクラウドでのAI分析において、低遅延で消費電力が大幅に削減されることを確認。
• 多数のカメラを使用する場合でも、センサーデータの集約からAI分析の完了までに必要なレイテンシーを、従来のAI推論ワークロードと比較して最大60％削減。
• 地域エッジクラウド上の各カメラのAI分析に必要な消費電力を、従来技術と比較して40％削減。
• IOWN DCIでリアルタイムAI分析プラットフォームを実現した場合、CPUボトルネックを生じさせることなく、GPUを増設してより多くのカメラを収容できるため、1,000台のカメラを想定した場合の試算では最大60％の消費電力を削減できる見込み。

日本における地域エッジクラウドと郊外

センシング技術、ネットワーク、AIの発展によって、リアルタイムに生成される膨大なデータをAIが分析することに新たな価値が生まれます。 センサーを設置した拠点でAI分析を行う場合、設置台数が膨大になるため維持費が高額になるほか、AIプラットフォームに集約されるデータ量が少なくなるため、エリア管理の点において十分なGPU活用効果を得られなくなります。 また、多数のGPU/FPGAアクセラレーターでコンピュートノードをクラウドネイティブに構成するのが難しいため、日々進化を続けるAIモデルとハードウェアに追いつくことができません。

その一方で、クラウドなどの大規模データセンターを利用したAI分析は大量の電力を集中的に消費するため、環境に悪影響を与える可能性があります。また、大量のデータの収集に伴う遅延時間とCPUによるオーバーヘッドが大きいため、厳密なリアルタイム性が求められるサービスの提供が困難になります。これらの問題を解決するために、私たちは、47都道府県にわたるフォトニクスネットワークモデルを示した以下の

JPN48/JPN12の地図を参考に、日本で大規模データをサポートするためのエリアマネジメントIOWNのユースケースの、リファレンス実装モデルの設計に取り組みました。

それぞれのインメモリーデータ取り込みノード用Red Hat OpenShiftをデプロイし、GPU上でソフトウェアイノベーションセンター様開発のAI推論エンジンを実行して、日本の地域エッジエリアおよび郊外に、IOWN APNに接続された地域エッジクラウドを提供します。 IOWN APNは、オールフォトニクスネットワークの全国展開を想定しており、多数の電気パケットデバイスを必要とせず、低遅延とロスレスネットワークのメリットをもたらします。 今回、PoCは関東地方で実施しました。東京のNTT武蔵野研究開発センターにRed Hat OpenShiftベースのインメモリーデータ取り込みノードを設置し、そこから100km離れた神奈川県のNTT横須賀研究開発センターに設置した監視エリア用のローカルアグリゲーションノードをIOWN APNに接続しました。 その結果、多数のカメラ接続をセンサーとして想定した状態で、従来のAI分析処理を適用した結果と比較した場合、AI分析処理の遅延時間を最大60％削減できることがわかりました。 それには、センサー設置場所センタータを受信してから、IOWN APN経由でNTTの高速データパイプラインを使用して、NTT武蔵野研究開発センター内のRed Hat OpenSセンター でAI分析処理が完了するまでの遅延時間が含まれています。

この「Sensor Data Aggregation and Ingestion PoC」のリファレンス実装モデルは、エリア管理のユースケースだけでなく、産業管理分野での遠隔操作ロボットの検査や、AI統合コミュニケーションエンターテインメント分野でのインタラクティブ・ライブ・ミュージックといったユースケースにも適用することができます。

なお、IOWN DCIアーキテクチャは、コンポーザブル分散型インフラストラクチャ（CDI）などの最新テクノロジーを取り入れながら開発が続けられています。 OpenShift Commons Gatheringでは「IOWN: An Efficient Infrastructure for AI Analysis（AI分析のための効率的なインフラストラクチャ）」に関するセッションを開催し、IOWN PoCの結果を共有します。また、KubeCon + CloudNativeCon Europe 2024ではIOWN BOFセッションを開催し、CDIでのKubernetes/OpenShift動的デバイスリソース割り当てについてディスカッションします。

参考資料

• 郊外型データセンター活用・省電力リアルタイムAI分析技術を実証　～IOWN技術の活用によりリモート拠点上でのAI分析の遅延と消費電力を大幅に削減～
• IOWN時代のデータ処理を支えるデータセントリック基盤とそのコンセプト実証

行動喚起

• KubeCon + CloudNativeCon Europe 2024で開催される、OpenShift Commons Gathering をチェックしましょう。
• KubeCon + CloudNativeCon Europe 2024のIOWN BOFセッションをチェックしましょう。