Caso di studio · Hardware AI

Fare debug del software di un chip AI senza il chip.

Lucia voleva capire come viene implementata la quantizzazione sugli acceleratori AI di Tenstorrent. Non possiede nessuna delle loro schede. Si è scoperto che non importava.

Una griglia astratta di tensori con un percorso di dtype evidenziato in rosso

Un setup senza hardware

pip install ttnn installa l'intero runtime di Tenstorrent, e ttsim, il loro simulatore open source, è una libreria condivisa da 220 KB che fornisce un chip Wormhole virtuale capace di eseguire i kernel reali. Un container Docker, un pip install e quel simulatore sono bastati per leggere, eseguire e fare debug dello stack.

Che cosa non tornava

Leggendo l'operazione di quantizzazione, lo stesso tensore di scala, con lo stesso dtype e lo stesso valore numerico, veniva accettato o rifiutato a seconda di parametri che non c'entravano nulla: se veniva passato un asse, e se lo zero point era uno scalare o un tensore.

La causa: dei quattro percorsi di codice, tre convertivano il dtype in un tipo più ampio prima di usarlo, uno no.

Perché il simulatore bastava

Il simulatore non è ancora in grado di eseguire i kernel di quantizzazione veri e propri, una limitazione nota. Non serviva. Quella validazione gira sull'host, prima che qualsiasi kernel venga lanciato, quindi l'errore era comunque osservabile.

Risultato

La segnalazione è stata accettata ed è stata aperta una correzione. Un bug piccolo, a cui lei stessa ha dato bassa priorità. Il risultato più interessante è quanto si sia abbassata la soglia d'ingresso: il software di un chip AI moderno è aperto a chiunque abbia voglia di leggerlo con attenzione.