Lightelligence ハミングバード ロー

Aug 13, 2023

Hot Chips 2023 で、Lightelligence は、Hummingbird の低遅延光接続エンジンを披露しました。 私たちはなんとか講堂の外でカバー画像用のスナップショットを撮るものを見つけました。

尚、リアルタイムで書いておりますので、誤字脱字はご容赦ください。

これは、AI コンピューティング需要がトランジスタのスケーリングをはるかに上回っていることを示すもう 1 つの表です。

Lightelligence は、コンピューティングにおける光学機能の向上に重点を置いています。 今日、同社は光 NOC について話しています。 これは屋外で見たテストチップとカードを使用していますが、それは会社のポートフォリオの一部にすぎません。

同社は、特定の数値形式、数学、並列処理に対処するドメイン固有のアーキテクチャを作成することが、パフォーマンス向上の分野の 1 つであると述べています。

パフォーマンスを向上させるためのもう 1 つの分野は、パッケージにシリコンを追加することです。

電気信号を使用した相互接続は非効率であると考えられています。

ここで Lightelligence は、Optical Network-on-Chip (oNOC) について話しています。 このアイデアは、パッケージ上の電気信号の代わりに光を使用して効率を高めるというものです。

また、光導波路が長距離に及ぶことができるため、さまざまなタイプのトポロジーも可能になります。

チップレット間の距離が増加するにつれて、スケーリングが向上します。 チップレットは製造コストを低く抑えることができますが、パッケージ上で接続する必要があるため、これは重要です。

Hummingbird は oNOC の使用例です。 FPGA、外部レーザー、サードパーティ製 SiP がカード上にパッケージ化されています。 oNOC により、全対全ブロードキャストなどが可能になります。

Hummingbird は、電子シリコン チップとともにフォトニック集積回路 (PIC) を使用して、パッケージ上に光接続を実装することに重点を置いています。

インターポーザーはチップに電力を供給します。 一番下のPICは光学部品です。 EICが再びトップに。 その SiP は、8 コアのクラスターを備えたカスタム ISA を備えた SIMD アーキテクチャです。

大きな違いはコの字型構造の光放送網だ。 これを使用すると、すべてのコアが 1 つおきのコアを更新でき、PIC 内で導波路が交差することがなくなります。

これがコアのマイクロアーキテクチャです。 これは AI DSA 推論コアです。 他のすべてのコアは oNOC 受信を介してデータを送信でき、各コアも oNOC 量子化および送信を介してデータを送信できます。

ハミングバードのメトリクスは次のとおりです。

これは、PCIe GPU シャーシに Hummingbird を搭載したシステムです。

パフォーマンス指標は次のとおりです。

Lightelligence によれば、さまざまなサイズのチップをステッチできるという。 NVIDIA H100 のようなレクタイルに制限されたチップを超えたものを構築することに重点を置いているようです。

解決策をもう一度示します。

3D パッケージングを活用すると、この技術がさらに面白くなります。 もちろん、次の問題は、他の企業がこれをチップ間通信に求めるかどうか、それとも他の種類のテクノロジーが引き継ぐかどうかです。 これは興味深いテクノロジーですが、大手ベンダーの多くは光学テクノロジーにも注目しています。

今後の Hot Chips でアップデートが行われることを期待しています。