![エンタープライズIT [COLUMNS]](https://ent.iij.ad.jp/wp-content/themes/liquid-smart-child/img/logo.svg){kind=logo}
改めて考える、AI時代に必要とされるデータセンターとは
昨今のディープラーニングを中心とするAIの進展により、多くの企業や機関がGPUを活用した研究開発やサービス提供に取り組んでいます。一般的なサーバの数倍の電力密度を持つAI基盤をどこに置けばいいのか？ AI基盤を所有するユーザが、データセンター（以下、DC）選定において確認すべきポイントを紹介します。
はじめに
AI基盤を構成するGPUサーバなどのハードウェアは、高い処理能力を持つ一方で発熱量も大きく、冷却用空調を必要とします。GPUリソースを保有するユーザにとって、これらの置き場所に悩み、迅速な始動や安定稼働が課題となることも少なくありません。今、AI基盤に対応するハウジング環境が求められています。
IIJは、20年以上に渡りDCを運営してきました。これまでのIIJ DCの取り組みと共に、AI時代に必要とされるDCについて紹介します。
AI利用における所要期間イメージ
IIJ DC開発の歩み
IIJは、自社サービス及びお客様の設備やネットワークを支えるDCを運営しています。安定稼働や効率的な運営を実現するために、DCを取り巻く環境の変化や潮流を見据えたDCの開発を独自に行っています。
IIJ DCの構築・実証の歴史
ここでは、IIJ DCとして独自性の高い、①松江データセンターパーク、②コンテナ型DCモジュール「co-IZmo/I」、③白井データセンターキャンパス、について紹介します。
①クラウド時代に最適化された「松江データセンターパーク」（松江DCP）
IIJが2011年に島根県松江市に構築した、国内初の外気冷却コンテナユニットによる商用DCが、「松江データセンターパーク」（以下、松江DCP）です。
2000年台後半からクラウド普及の時代に入り、大量のIT機器を効率的に稼働させるDCが求められるようになりました。まず始めたのは、スペースの拡張性や電力容量、空調能力に制約があった従来型DCと、クラウド時代に求められるDCとのギャップの把握。次いで空調システムの実証実験等を重ね、自社で開発したコンテナ型DCモジュール「IZmo」（イズモ）を利用した松江DCPを構築しました。地震や台風等の災害や停電対策・セキュリティといったDCの性能は、従来のビル型DCと同等を維持しつつ、迅速なデリバリ、拡張への柔軟性、高いコスト効率（省エネ性等）を実現。現在も、IIJサービスの基盤環境として稼働しています。
②進化したコンテナ型DCモジュール「co-IZmo/I」
2013年には、間接外気冷却方式、コンテナ連結構造等を採用した「co-IZmo/I」（コイズモアイ）を開発し、提供を始めました。
間接外気冷却方式は、外気を直接サーバルームに入れない構造で、塵埃や塩分といった空気質の影響を受けづらい特徴を持ちます。これにより設置可能エリアの制約が緩和され、また、DCに不可欠なコンポーネントをパッケージング化したことで、ポータビリティを高めています。エッジコンピューティングやDRサイトとしての利用、DC構築ノウハウの少ない途上国へのニーズにも対応し、過酷な環境下でも運用されています。
Co-IZmo/I
過酷な環境下で運用されるco-IZmo/I
③デジタルデータの爆発的な増加に対応する「白井データセンターキャンパス」（白井DCC）
2019年には、拡大を続けるクラウドサービス市場、5GやIoT、AIなどの普及で想定される大規模な需要に応えるため、千葉県白井市に「白井データセンターキャンパス」（以下、白井DCC）を開設しました。
東京ドームと同等の敷地面積（約4万㎡）を持った大容量DCで、キャンパス内（同一敷地内）で、大規模構築及びスケールアウトを実現できる環境を提供します。松江DCPにてコンテナを利用したモジュール構造を発展させ、より大きな単位で実現するシステムモジュール型工法を採用し、施工に至るまでの建築生産プロセスを体系化・省力化しています。大規模化するDCに対し、国内の労働人口が減少傾向である中で、DC運用の高度化・効率化が必須であると考え、ロボットを利用した運用実証に取り組んでいます。
IIJでは、全国のロケーションにDCを展開しています。松江DCPや白井DCCのように自社で構築するパターンと他の事業者のDCを利用するパターンを組み合わせることで、ユーザニーズに対応しやすい環境を整備しています。
AI利用の本格普及と課題 ～クラウド対オンプレミス～
昨今のディープラーニングを中心とするAIの進展により、医療施設、研究所、金融機関、エネルギー業界など、国や業種を問わず様々な企業・機関がGPUリソースを活用した研究開発やサービス提供に取り組んでいます。
これらの利用にあたり、ユーザが取りうる主な選択肢は、クラウドサービスプロバイダーが提供するサービスの利用か、オンプレミス基盤の所有かになります。
クラウドサービスの利用は初期投資なしでスタートできる一方、AI利用が本格化しているユーザにとっては、利用量に比例して増え続ける費用が問題となり始めています。また、従量課金への懸念から、研究者が試行や接続回数を自制するなど、研究開発などの本来の目的が阻害されかねない問題も浮上しています。
一方、オンプレミス基盤の所有では、利用時間への制約は軽減されます。しかし、AI基盤の構築や運用、そして高い電力密度を持つGPUサーバのハウジング先に関するノウハウの少ないユーザにとっては、迅速な始動や安定稼働が課題となる場合も少なくないようです。
AI基盤を運用するために必要なDCとは
AI基盤の所有を選択するユーザが、サービスの提供や研究開発に専念するために、DC選定における一般的な評価項目と共に、AI基盤を運用するために確認すべきポイントを紹介します。
一般的なDC評価項目について
DC選定における一般的な評価項目を下図に示しました。業界のガイドラインが策定されていますので、そちらを参考にされてもよいかと思います。利用するシステム要件に沿って、過剰とも不足ともならない適正なDC要件を定めて評価することが大切です。
DC選定における主な評価項目
AI基盤を運用するために確認すべきポイント
AI基盤には10kVA/ラックを超えるものもあり、機器の故障や寿命に影響しないよう、ラックから発生する熱を取り除くことができるDCが必要です。高温下でのサーバ運用は処理速度の低下を招く可能性があるため、メーカが推奨するサーバの稼働環境内にサーバルームの温湿度を保つ必要があります。
ラック電力の変遷
Point1：空調システムの冷房能力とエアフロー
DCの空調システムは、熱交換器やファン等の構成要素から、冷却可能な能力が算出されていますので、GPUサーバの発熱に対し十分な冷房能力（kW）を持っているかを確認します。
エアフロー（空気の流れ）の確認も重要です。空調システムの冷房能力は十分でも、エアフローが機能していないと、下図のように正常に熱交換がされず、バイパス、回り込みが発生し、IT機器の熱をうまく取り除けないことがあります。
こうしたIT機器の吸排気混合を軽減する対策として、IT機器の吸気側（コールドアイル）や排気側（ホットアイル）を囲い込む方式（コンテインメント）を採用するDCが増えてきています。加えて、ラック内の空スペースをふさぐブランクパネルが高風量の空調システムに耐える仕様であるかや、ラック天板や最下段下部、連結部からの回り込みを抑止するヒートシャッターなどの対策がなされているかといった、ラックマウント面以外の高気密性についても確認することが推奨されます。
壁吹出し空調のエアフローイメージ
Point2：空調システムの効率性
空調システムには大きな電力を使います。DC運用における電力コストは、利用状況によって異なるものの、コスト全体の3-4割を占めると言われています。冷却を効率的に行えないと、その分電力コストがかかり、ハウジングの利用料金に反映されてしまうのです。
DCの電力使用効率を表す指標として、PUE（Power Usage Effectiveness）があります。IT機器以外の各種設備の電力をどのくらい低減できているかを表します。1.0に近いほど効率が良いとされ、空調システムの電力が膨らむほど、数字が大きくなります。一世代前のDCではPUE2.0以上も少なくありませんでしたが、IIJの松江DCPではPUE1.2台を達成し、2019年に開設した白井DCCでも同等以上の省エネを目指しています。
RE100などに代表される環境価値の創出も重要な変化でしょう。環境への取り組みなどの非財務情報を含めた統合報告書を発行する企業も増えています。今後は、省エネに積極的なDCの利用が、ユーザの環境貢献として活用されることも増えていくと予想されます。
IIJが運営する松江DCP、白井DCCでは、高密度なIT機器に対応する空調システムの冷房能力を確保し、エアフローのシミュレーションや検証を行うことで、確実な冷却性能を確認しています。加えて、外気冷却方式を採用するなどの省エネ性やコスト効率の高いDCを提供しています。また、コンテナ型DCモジュール「co-IZmo/I」を利用して、研究機関や工場内の遊休地へ、研究開発基盤やDRサイトを構築するニーズにもお応えすることが可能です。
AI基盤向けのハウジング環境を提供するIIJ DC
おわりに
AI基盤には、DCの他にも、ハードウェア、OS/ミドルウェア、ソフトウェア、ネットワークといった構成要素があります。こちらについては、別の機会にお話しさせていただきたいと思います。
DCの市場規模は年10％程度のペースで拡大(*1)しており、ICTサービスの発展には、このDCの安定稼働が欠かせません。時代により変容するDCの形を考えながら、IIJ DCの進化は続いていきます。
IIJではDCのみならず、ネットワーク、その他クラウド基盤のご提供も可能です。ぜひご相談ください。
(*1) 総務省：令和元年版情報通信白書
