Caso di studio · Hardware AI
Fare debug del software di un chip AI senza il chip.
Lucia voleva capire come viene implementata la quantizzazione sugli acceleratori AI di Tenstorrent. Non possiede nessuna delle loro schede. Si è scoperto che non importava.

Un setup senza hardware
pip install ttnn installa l'intero runtime di Tenstorrent, e ttsim, il loro simulatore open source, è una libreria condivisa da 220 KB che fornisce un chip Wormhole virtuale capace di eseguire i kernel reali. Un container Docker, un pip install e quel simulatore sono bastati per leggere, eseguire e fare debug dello stack.
Che cosa non tornava
Leggendo l'operazione di quantizzazione, lo stesso tensore di scala, con lo stesso dtype e lo stesso valore numerico, veniva accettato o rifiutato a seconda di parametri che non c'entravano nulla: se veniva passato un asse, e se lo zero point era uno scalare o un tensore.
La causa: dei quattro percorsi di codice, tre convertivano il dtype in un tipo più ampio prima di usarlo, uno no.
Perché il simulatore bastava
Il simulatore non è ancora in grado di eseguire i kernel di quantizzazione veri e propri, una limitazione nota. Non serviva. Quella validazione gira sull'host, prima che qualsiasi kernel venga lanciato, quindi l'errore era comunque osservabile.
Risultato
La segnalazione è stata accettata ed è stata aperta una correzione. Un bug piccolo, a cui lei stessa ha dato bassa priorità. Il risultato più interessante è quanto si sia abbassata la soglia d'ingresso: il software di un chip AI moderno è aperto a chiunque abbia voglia di leggerlo con attenzione.