AMD rende silenziosamente open source un costoso processore di immagini per FPGA

Contrariamente a quanto alcuni potrebbero pensare, i sensori di immagine delle fotocamere non acquisiscono autonomamente immagini a colori già pronte. Essi acquisiscono griglie di pixel grezzi disposte secondo un motivo a mosaico cromatico. Per ottenere un’immagine utilizzabile, i produttori si affidano solitamente a costosi processori di segnale immagine (ISP) proprietari, che convertono i dati grezzi del sensore in video strutturato, tramite codice crittografato. Come gli ISP proprietari, Mini-ISP gestisce l’intera pipeline di conversione all’interno di una logica programmabile, ma è open source e verificabile. Esegue la calibrazione del livello del nero, il demosaicing Bayer per ricostruire il colore RGB completo, il bilanciamento del bianco e la mappatura tonale globale per produrre colori naturali sui display collegati. Sebbene gli ingegneri di AMD abbiano inizialmente pubblicato il codice in modo discreto, i recenti aggiornamenti hanno trasformato il progetto Mini-ISP in un pacchetto pronto per progetti hardware reali.

Il progetto si distingue inoltre per aver eliminato l’eccesso di funzionalità, comune nelle IP commerciali, al fine di migliorare le prestazioni di elaborazione delle immagini. I core ISP di terze parti consumano abitualmente migliaia di porte logiche FPGA (LUT) e sezioni DSP per eseguire filtri di smussamento spaziale molto onerosi. Mini-ISP elimina completamente le operazioni di denoising e post-sharpening più onerose. Concentrandosi sulla correzione del colore e sulla ricostruzione dei pixel essenziali, il core elabora 1, 2 o 4 pixel per ciclo di clock a velocità fino a 500 MHz. Questa architettura leggera offre una produttività fino a 2 gigapixel al secondo con una latenza della pipeline inferiore al millisecondo.

Per i costruttori di robot, i progettisti di droni e i ricercatori nel campo della visione integrata, questo lancio discreto di AMD offre un prezioso strumento di elaborazione delle immagini. Consente agli sviluppatori che utilizzano FPGA Spartan UltraScale+ o Artix, economicamente vantaggiosi, di realizzare pipeline di telecamere personalizzate senza dover sostenere onerosi costi di licenza da parte dei fornitori.