Jak działają akceleratory AI: rdzenie, klastry i pamięć

SiFive od lat projektuje rdzenie RISC-V dla układów AI innych firm. Teraz sprzedaje kompletny projekt akceleratora. Każdy klaster Intelligence XM łączy cztery rdzenie RISC-V z serii X z własnym silnikiem do obliczeń macierzowych, podaje The Register.

To zmiana. Jednostki TPU Google'a już korzystają z rdzeni X280 SiFive, które zasila jednostki mnożenia macierzy. John Ronco z SiFive UK powiedział The Register, że projekty firmy wspierają też rdzenie CPU w akceleratorze Blackhole od Tenstorrent. Różnica polega na tym, że SiFive dostarcza teraz własny silnik macierzowy, zamiast podpinać rdzenie do silnika innej firmy.

Co mówią liczby, a czego nie mówią

Każdy klaster obsługuje do 1TB/s przepustowości pamięci przez spójny interfejs hub i ma dostarczać do 16 TOPS w INT8 albo 8 teraFLOPS w BF16 na gigaherc. Przeliczenie na gigaherc ma znaczenie, bo klaster to nie układ. Wydajność zależy od liczby klastrów na matrycy, sposobu ich połączenia, pozostałych komponentów oraz taktowania finalnego elementu.

Ronco spodziewa się, że większość projektów użyje od czterech do ośmiu klastrów. Przy 1GHz dałoby to od 4 do 8TB/s szczytowej przepustowości pamięci i od 32 do 64 teraFLOPS w BF16. Slajdy produktowe SiFive sugerują możliwość użycia 512 klastrów. Przy 1GHz byłoby to około czterech petaFLOPS w BF16, powyżej 2,5 petaFLOPS, które Nvidia podaje dla swoich najwyższych GPU Blackwell. Dla porównania Nvidia H100 dostarcza blisko petaFLOPS gęstego BF16.

Problemem jest fizyka. Utrzymanie 1GHz na 512 klastrach bez przekroczenia limitów termicznych i mocy to otwarte pytanie. Ronco nie chciał powiedzieć, jak daleko skaluje się ten projekt. Spodziewa się też, że klastry nie będą szeroko używane do trenowania AI. SiFive zapowiada publikację otwartoźródłowej implementacji referencyjnej swojej SiFive Kernel Library.

Przepustowość pamięci to powracające wąskie gardło

Akceleratory buduje się w ten sposób, bo wnioskowanie, zwłaszcza faza dekodowania, jest ograniczone przepustowością pamięci. d-Matrix, prezentując się na Hot Chips 2026, postawił sprawę wprost: 64 użytkowników przy kontekście 1M to około 935GB pamięci KV cache. Projekt Raptor tej firmy nakłada układ logiczny TSMC N4 na 3D DRAM, łącząc je twarzą do twarzy przez 36 mikrometrów, przy 32GB na kartę i szafie na 72 karty, wymiarowanej pod modele frontier.

Rebellions pokazał inne podejście na Hot Chips 2025. REBEL-Quad mieści cztery układy ASIC obliczeniowe i cztery miejsca HBM3E, co daje 144GB pamięci w pakiecie Samsung SF4X i CoWoS-S. Jako łącze chipletowe wykorzystuje UCIe-A. ServeTheHome widział go w działaniu na płytce deweloperskiej z Llama 3.3 70B, ze średnim czasem 35,5 milisekundy na token wyjściowy.

Dostawcy, packaging i ucisk w górze łańcucha

Nic z tego nie trafi na rynek bez materiałów do pakowania. Tom's Hardware podał w marcu 2026 roku, że Nittobo kontroluje około 90% globalnych dostaw T-glass, tkaniny szklanej o niskim CTE używanej w rdzeniach podłoży IC. Ceny wzrosły o 20 do 30%, a terminy dostaw laminatów pokrytych miedzią wydłużyły się z normalnych 8 do 10 tygodni do ponad 20. Nittobo potraja moce w zakładzie w Fukushimie, ale nowe dostawy trafią na rynek dopiero w połowie 2027 roku. Bank of America szacuje, że segment materiałów elektronicznych prawie podwoi sprzedaż z 40,9 mld jenów w 2025 roku do 87,7 mld jenów do marca 2028 roku.

Warstwa polityczna jest równie pogmatwana. TSMC miało odciąć chińskiego projektanta Sophgo w październiku 2024 roku po tym, jak klient zamówił układ przypominający Ascend 910B Huawei. Sophgo zaprzeczyło jakimkolwiek związkom z Huawei i oświadczyło, że złożyło TSMC raport z dochodzenia.