自然言語モデルを活用した生成AIでは、ユーザーとリアルタイムにやり取りするユースケースが求められることが多く、高速化のニーズが高まっています。AIの高速化を実現する可能性の一つとして、スタートアップ企業のGroqが開発した言語処理ユニット（LPU）が注目を集めています。本記事ではLPUの概要、Groqの開発アプローチや今後の展望について解説します。

LPUとは

2016年に設立したスタートアップ企業のGroqは、言語処理ユニット（LPU：Language Processing Unit）と呼ばれる言語処理に特化したプロセッサを開発しました。LPUは大規模言語モデル（LLM）の処理における従来のハードウエア、特にGPUやCPUの欠点を克服するように設計され、高い計算能力とメモリ帯域幅の改善を特長としています。

これまでAI処理において中心的な役割を担ってきたGPUは、もともと映像や3Dグラフィックス処理に関する並列演算に長けていました。そして同じく並列演算を活用できる機械学習のモデル生成にもGPUが転用されるようになりました。しかし、テキストのようなデータの処理は本来のGPUの設計思想から外れています。

ここに着目し、自然言語モデルの推論処理に特化して設計されたLPUは、GPUを超えるパフォーマンスを発揮します。Groqは公式サイト上でLPUを搭載したチャットボット「GroqChat」を公開し、Llama2やMixtralなどのオープンソースLLMを用いたデモンストレーションを提供しています。

LPUの特長

大規模言語モデルの応答生成を比較すると、LPUはGPUより10倍以上早くなるという結果が得られています。これを可能にする理由として、チップの性能を最大限に引き出すためGroqはハードウエアとソフトウエアを一体開発していることが挙げられます。

圧倒的な高速性

LPUの計算パフォーマンスは従来のGPUを大きく凌駕しており、特に大規模な言語モデルの処理においてその差は顕著です。GroqChatとGPT-3.5を利用したChatGPTとの比較では、GroqChatがわずか数秒で応答可能なのに対し、ChatGPTは20秒以上を要するケースが報告されています。

Groqの発表によると、LPUの性能は最大500 tokens/秒に達するとのことで、これはGPT-3.5が提供する約40 tokens/秒の処理速度と比較して10倍以上の速度です。LPUは大規模言語モデルの応答生成時間を大幅に短縮する可能性を持ち、特にリアルタイム性が求められるアプリケーションにおいて、その優位性を発揮します。この桁違いの高速性が、LPUが将来的にAIや機械学習分野において重要な役割を果たすことを示唆しています。

ハードウエアとソフトウエアの一体開発で誕生

LPUの圧倒的な高速性を支える一因として、Groqの開発アプローチが挙げられます。Groqは、LPUのチップアーキテクチャから始まり、ソフトウエアにいたるまでのすべてを自社で一体開発しています。このアプローチは、Appleが自社のチップ、オペレーティングシステム（OS）、そしてアプリケーションを自社一貫で設計・開発する戦略と同様で、ハードウエアとソフトウエアの間の最適化を追求することにより、LPUはその驚異的な性能を達成しています。

多くのAI企業はGPUをNvidiaなどの外部ベンダーから調達し、そこに自社のソフトウエアを搭載します。一方でGroqはハードウエアとソフトウエアの設計を始めから終わりまで自社で行うことで、両者間の深い統合と最適化を実現し、LPUの性能を引き出しています。ハードウエアとソフトウエアの相性を細かく調整することで、通常では達成が難しいレベルの処理速度と効率を実現できるのです。

開発者向けプラットフォームを公開

Groqは、コードやサンプル、ドキュメントを統合した開発者向けプラットフォーム「GroqCloud」を公式サイトで公開しています。GroqCloudを利用することで、開発者はLPU推論エンジンに簡単にアクセスし、生成AIアプリケーションを容易に展開できます。2024年2月19日の公開以降、数千人が利用しているとのことです。

APIアクセスにも対応しており、APIキーをGroqCloudから取得できます。APIの利用は従量課金制で、使用する大規模言語モデルに応じて価格が異なります。OpenAIのAPIを利用している場合は、GroqのAPIキー、APIエンドポイント、言語モデルの三つを変更するだけで、簡単にGroqCloudを利用できます。

LPUで言語処理のリアルタイム性が向上

チャットボットやコンテンツ生成など、リアルタイムでの応答を求められるAI活用のニーズが高まる中で、言語処理の高速化は重要な課題となっています。Groqが開発したLPUは、GPUを凌駕する高速な言語処理能力を実現し、対話型アプリケーションにおけるリアルタイム性の向上に大きな可能性を秘めています。今後、LPUを搭載したAIツールが登場すれば、対話型アプリケーションの質が格段に向上することが期待されます。開発者向けプラットフォームは誰でも試せるため、興味のある方は他社のサービスと比較してみてはいかがでしょうか。