Acceleratori AI: core RISC-V, carenza di T-glass e DRAM 3D

SiFive, nota per i core CPU RISC-V che altre aziende integrano nei propri chip AI, ha annunciato questa settimana che licenzierà un acceleratore di machine learning completo. La serie Intelligence XM è un cluster di quattro core CPU RISC-V SiFive Intelligence X collegati a un motore di calcolo matriciale interno, secondo The Register.

John Ronco, SVP e GM di SiFive per il Regno Unito, ha spiegato a The Register che alcuni clienti preferiscono ancora costruire l'hardware in-house, ma altri "volevano un punto unico di riferimento da SiFive". In passato l'azienda affiancava i propri core CPU a motori matriciali di terze parti, come nelle tensor processing unit di Google. I cluster XM invertono questo schema: SiFive fornisce ora l'intero design dell'acceleratore, che i clienti personalizzano e inviano alla fonderia.

Cosa offre davvero un cluster

Ogni cluster XM di base supporta fino a 1TB/sec di larghezza di banda della memoria tramite un'interfaccia hub coerente. SiFive prevede fino a 16 TOPS di INT8 o 8 teraFLOPS di BF16 per gigahertz.

I valori per gigahertz possono ingannare, perché non si tratta di un chip finito. Le prestazioni finali dipendono dal numero di cluster, dal cablaggio, da ciò che condivide il die e dal budget di potenza e raffreddamento. Ronco stima che la maggior parte dei design userà tra quattro e otto cluster. A 1GHz, ciò corrisponde a una larghezza di banda di picco tra 4 e 8TB/sec e a 32-64 teraFLOPS di BF16. Una Nvidia H100 raggiunge quasi un petaFLOPS di BF16 denso, quindi il confronto favorisce Nvidia. Tuttavia, per carichi di lavoro limitati dalla banda come l'inferenza, i FLOPS non sono tutto. Ronco ritiene che i cluster XM non saranno molto utilizzati per l'addestramento AI.

La scalabilità resta una questione aperta. Ronco ha evitato di indicare i limiti del design, mentre The Register osserva che la tecnologia di processo e l'area del die saranno determinanti. La presentazione di prodotto suggerisce la possibilità di 512 cluster XM. A 1GHz, senza vincoli termici o di potenza, si arriverebbe a circa quattro petaFLOPS di calcolo matriciale BF16. Le GPU Blackwell di Nvidia con specifiche massime sono indicate a 2,5 petaFLOPS di BF16.

SiFive pubblicherà anche un'implementazione di riferimento open source della SiFive Kernel Library per facilitare l'adozione di RISC-V. Il CEO Patrick Little ha dichiarato in una nota che l'azienda fornisce design di chip basati su RISC-V a cinque delle "Magnificent 7" (Microsoft, Apple, Nvidia, Alphabet, Amazon, Meta e Tesla). The Register nota che non tutto quel silicio riguarda l'AI.

Il collo di bottiglia del packaging ignorato

I design sono una cosa, i materiali un'altra. Nittobo, azienda giapponese, controlla circa il 90% dell'offerta globale di T-glass, un tessuto in fibra di vetro specializzato presente in ogni package di chip AI avanzato, secondo Tom's Hardware. Il T-glass è un tessuto a basso CTE usato nel core organico dei substrati per IC, lo strato di interconnessione tra chip e circuito stampato. Mantiene la stabilità dimensionale dei package grandi e caldi man mano che diventano più densi.

La domanda ha superato l'offerta. Nittobo sta triplicando la capacità dello stabilimento di Fukushima, ma la nuova produzione arriverà sul mercato solo a metà del 2027. I prezzi sono già saliti del 20-30% e i tempi di consegna per materiali a valle, come i laminati rivestiti in rame, sono passati da 8-10 settimane a oltre 20. "Con l'offerta di T-glass ormai più limitata, i fornitori non comunicano più i tempi di consegna", ha dichiarato Bill Ho, analista di Yuanta, a Tom's Hardware.

Sostituire il T-glass non è semplice. Bilal Hachemi, analista di Yole Group, ha spiegato che il materiale "ha valori dielettrici e di CTE specifici, ideali per i chip AI, soprattutto per il core organico". L'industria dei substrati opera con margini sottili, quindi anche piccoli picchi di domanda possono causare carenze. "Qualsiasi aumento della domanda di materiali build-up, ABF o T-glass può innescare una carenza, perché va contro le basi di questo settore", ha aggiunto Hachemi.

Gli hyperscaler aggravano la situazione ordinando package sempre più grandi. Secondo dati Nvidia citati da Tom's Hardware, le dimensioni degli interposer sono passate da 814mm2 per Hopper a 1.700mm2 per Blackwell, un aumento del 109%, con le generazioni Rubin e Feynman che scaleranno ulteriormente. Bank of America stima che il segmento materiali elettronici di Nittobo quasi raddoppierà le vendite, da 40,9 miliardi di yen (circa 266 milioni di dollari) nel 2025 a 87,7 miliardi di yen entro marzo 2028, con margini operativi vicini al 48%.

Nittobo sta raddoppiando la capacità di filato grezzo nello stabilimento taiwanese, importando il filato in Giappone per la tessitura e affidando parte della produzione a Nanya Plastics, uno dei suoi principali concorrenti. Entro il 2027, circa il 20% del tessuto di vetro di Nittobo sarà tessuto da Nanya, ha rivelato l'azienda. Hachemi ha definito senza precedenti il contatto diretto di Nvidia con un fornitore a monte come Nittobo, avvertendo che una volta che Nvidia si sarà assicurata la sua quota, i rivali si contenderanno il resto.

DRAM 3D e il muro della memoria

La memoria è il terzo fronte. All'Hot Chips 2026, d-Matrix ha presentato l'acceleratore Raptor, che impila il calcolo direttamente sopra i die di DRAM, secondo ServeTheHome. I pesi dei modelli crescono e la KV cache scala con la lunghezza del contesto moltiplicata per la dimensione del batch. ServeTheHome stima che 64 utenti a 1M di contesto possano richiedere circa 935GB di KV cache. È un problema di capacità e di banda.

La SRAM raggiunge l'obiettivo di banda ma su scala minima. Una coppia di schede Corsair SRAM arriva a circa 300TB/s con latenza di 1 nanosecondo, ma contiene solo 4GB. La HBM risolve la capacità ma fatica sulla banda, con un limite pratico di circa 20TB/s per package HBM4 come Nvidia Vera Rubin e AMD Instinct MI455, secondo d-Matrix. La DRAM 3D impilata si colloca in mezzo: l'IO 3D verticale costa circa 0,3-0,4 pJ, dieci volte meno della HBM, perché è un percorso PHY-less su scala millimetrica anziché una rotta su interposer su scala centimetrica.

Raptor posiziona un die logico TSMC N4 sopra un die di DRAM 3D usando un impilamento face-to-face da 36 micron, un processo che d-Matrix descrive come provato, economico, ad alto volume e rendimento. Ogni scheda contiene 32GB. d-Matrix afferma che uno scale-up da 72 schede può ospitare un modello di frontiera come Kimi K3 a 1M di contesto, con pesi a 4 bit e KV cache a 8 bit.

L'ingegneria non è conclusa. d-Matrix indica che uno stack 1-Hi logic-on-top a non più di 0,5 W/mm2 può essere raffreddato a liquido mantenendo la DRAM sotto i 100C. Il die ha 840 banchi, 768 attivi dopo 72 di riserva, su 256 canali, per 3 banchi per canale. Un flit da 128B non si divide uniformemente: un accesso restituisce 96B, due accessi ne recuperano 192B, sprecando circa il 33% della banda vicino ai 33TB/s. Lo schema di stream blocking condivide un accesso parziale da 32B tra tre flit, azzerando l'overfetch.

C'è poi la potenza dell'I/O. Spostare 100TB/s a 0,37 pJ/bit equivale a 296W solo per l'I/O. Il DBI convenzionale potrebbe risparmiare il 20%. La HBM lo gestisce bene perché i burst multi-ciclo permettono al PHY di vedere l'intero burst. Il link 3D-DRAM a 256 bit a ciclo singolo di d-Matrix non ha burst né pin di sideband per segnalare l'inversione, quindi usa lo stream flipping, confrontando ogni flit con il precedente e invertendo quando necessario.

Niente di questo arriva da solo. Blueprint di acceleratori RISC-V, un quasi monopolio su un tessuto per il packaging e DRAM impilata devono allinearsi prima che la prossima generazione di silicio per datacenter venga spedita.