AI PCの性能は、仕様書に記載された処理性能の数値だけで決まるわけではありません。AI処理では大量のデータをメモリで処理しながら演算が行われるため、「メモリ帯域」が処理速度に大きく影響します。

本記事では、AI PCの性能に関わるメモリ帯域の役割を解説するとともに、演算性能との関係や帯域不足が招くボトルネックについて解説します。

AI PCの性能に関わる「メモリ帯域」

AI PCでは、CPU・GPU・NPUなど複数の演算ユニットがAI処理を担当します。特に近年のAI PCでは、NPUの性能を示す指標として「TOPS（Tera Operations Per Second）」が用いられます。TOPSは、1秒間に実行できる演算回数を示す数値であるため、TOPSの数値が大きいほどAI処理が高速であるように見えます。

しかし、実際のアプリケーションではTOPSの数値通りに演算性能が発揮されるとは限りません。AI処理の実効性能には、演算能力以外の要素も大きく関わります。代表的なものが「メモリ帯域」です。

AI PCにおけるAI処理では大量のデータをメモリから読み出し、演算後に再び書き戻す処理が繰り返されます。そのため、メモリとプロセッサの間のデータ転送速度が不足すると、演算ユニットの能力を十分に活かせない場合が生じます。AI PCの実際の性能を理解するには、演算性能だけでなく、メモリ帯域との関係をあわせて考えることが重要です。

メモリ帯域とは

メモリ帯域とは、1秒間にメモリとプロセッサの間で転送できるデータ量を示す指標です。一般的にGB/s（ギガバイト毎秒）で表され、数値が大きいほど大量のデータを高速にやり取りできます。

AI処理では、入力データや学習済みモデルの重み、演算途中の中間データなど、多くの情報をメモリから読み出して処理します。そのため、メモリと演算ユニットの間では頻繁にデータ転送が発生します。

このとき、メモリ帯域が不十分だとデータ転送速度が不足し、AI処理のボトルネックになる可能性があります。演算ユニットが高速であっても、必要なデータがメモリから届かなければ処理は進みません。

メモリの種類によっても帯域性能は異なります。デスクトップPCやゲーミングPCではDDR、ノートPCやスマートフォンなどの省電力端末では低電圧・低消費電力なLPDDRといったメモリが利用されています。データセンター向けのAIアクセラレータではHBM（High Bandwidth Memory）のような高帯域メモリが利用される場合もあります。

AI PCでは限られた帯域の中で効率的にデータを処理する設計が求められます。

AIの処理速度指標（TOPS）

AI処理の性能を示す指標としてよく使われるのがTOPS（Tera Operations Per Second）です。1秒間に実行できる演算回数を示す指標で、AI向けプロセッサの理論性能を表します。この数値は一般的に、並列演算ユニットの数と動作周波数、さらに1クロックあたりに実行できる演算回数の組み合わせによって決まります。

したがって、並列演算ユニットを増やしたり動作周波数を高めたりすることで、TOPSの数値を向上させることができます。

ただし、TOPSはあくまで理論上の最大性能を示す指標です。実際のAI処理では、演算ユニットが常に100％の効率で動作するとは限りません。

メモリ帯域が不足していると、演算ユニットはデータ待ちの状態となり、性能を十分に発揮できません。つまり、TOPSが高いプロセッサであっても、メモリ帯域が不足している場合には実際の処理性能が低下する可能性があります。

AI PCの性能を正しく理解するには、TOPSの数値だけでなく、メモリ帯域との関係も考慮する必要があります。

なぜ帯域不足がボトルネックになるのか

AI処理の多くは、行列演算を中心とした計算によって構成されています。行列演算では、大量のデータを連続的に読み出しながら計算を進める必要があります。

そのため、演算ユニットだけでなく、メモリからデータを供給する速度も処理性能に大きく影響します。メモリ帯域が不足している場合、演算ユニットは必要なデータを即座に取得できません。

これは、メモリ帯域がAI処理のボトルネックとなっている状態です。どれだけ高いTOPSを持つNPUを搭載していても、メモリからデータが十分な速度で供給されなければ、演算能力を十分に活かすことはできません。

AI PCの実効性能は、単体のパーツ性能だけでなく、相互にデータの授受を行う周辺パーツの性能の影響も受けます。

AI PC設計で求められるバランス

AI PCの実効性能は、カタログ上の性能だけでは評価できません。実際のAI処理では、演算能力とメモリ帯域をはじめ、各パーツが持つ性能のバランスが重要です。演算性能を高めるためにNPU性能を向上させれば、一定時間内に処理するデータ量も増加します。それに伴い、メモリからのデータ転送量も増えるため、より高いメモリ帯域が必要になります。

またメモリ帯域を拡大するには、メモリの動作周波数を高めたりバス幅を広げたりする必要がありますが、これらは消費電力の増加や発熱の増大につながる可能性があります。

現在のAI PCはモバイル環境で利用されることも多く、バッテリー駆動時間や電力効率も重要な設計要素です。単純に高性能を追求するだけではなく、電力消費や熱設計とのバランスも重視されます。

AI PCの設計では、演算性能・メモリ帯域・電力効率といった複数の要素を総合的に最適化し、適切なバランスを取ることが重要です。