Una scheda di elaborazione delle immagini FWD-RK3588 conveniente, dotata di una CPU a 64 bit a 8 core con una frequenza di clock fino a 2,4 GHz

Questo prodotto è una scheda di elaborazione immagini integrata alimentata dal processore Rockchip RK3588, costituita principalmente da due componenti: una scheda di elaborazione core (SoM) e una scheda portante di interfaccia. L'RK3588 è il processore high-end di punta di prossima generazione di Rockchip, fabbricato utilizzando un nodo di processo avanzato da 8 nm. È dotato di una CPU a 8 core a 64 bit con una velocità di clock primaria fino a 2,4 GHz. Il processore integra una NPU acceleratore AI integrata, offrendo 6 TOPS di potenza di calcolo e supportando i principali framework di deep learning.

La scheda di elaborazione delle immagini integra tre interfacce di ingresso video, incluse due interfacce MIPI CSI e un'interfaccia video digitale BT.1120, consentendo l'acquisizione video ad alta definizione multi-sorgente. Dotata di numerose interfacce di comunicazione integrate, la scheda garantisce una trasmissione di dati video stabile ed efficiente per soddisfare i requisiti esigenti dei sistemi di visione integrati ad alte prestazioni. Il prodotto ha completato l'adattamento del driver principale nell'ambiente Linux (Ubuntu RootFS), consentendo agli utenti di procedere direttamente con lo sviluppo a livello di applicazione.

Questo prodotto ha completato l'adattamento e la verifica di tutti i driver periferici principali basati sul sistema Linux (dotato del file system Ubuntu per impostazione predefinita). Gli utenti non devono preoccuparsi di driver complessi di basso livello e possono condurre direttamente lo sviluppo a livello di applicazione utilizzando chiamate di sistema standard.

• Driver del processore principale:Adattati i controller di gestione energetica, clock, interrupt e DMA dell'RK3588, garantendo una pianificazione efficiente della potenza di calcolo di CPU e NPU.

• Driver di ingresso video:

  • Driver MIPI:Adattata l'interfaccia della fotocamera MIPI CSI-2 e i sensori di immagine, supportando l'acquisizione dei dati di immagine della fotocamera.

  • Driver BT.1120:Adattato il chip del ricevitore video digitale per consentire l'acquisizione di dati video tramite l'interfaccia BT.1120.

• Driver dell'interfaccia di rete:Gigabit Ethernet adattivo, che supporta lo streaming di streaming video di rete (RTSP) e il controllo dei comandi remoti.

• Driver dell'interfaccia di comunicazione:Interfacce integrate adattate come UART, I2C e GPIO. Gli utenti possono ottenere direttamente il controllo e l'interazione dei dati con dispositivi esterni tramite operazioni sui file o chiamate di sistema.

La scheda integra due tipologie di interfacce di ingresso video per soddisfare i requisiti di connessione di diversi sensori:

• Ingresso video digitale MIPI:Fornisce un'interfaccia V4L2 standard. Gli utenti possono acquisire i dati della cornice dell'immagine tramite chiamate di sistema standard comeaprireEioctl.

• Ingresso video digitale BT.1120:Fornisce un'interfaccia del dispositivo video unificata al livello dell'applicazione attraverso il framework V4L2, facilitando l'elaborazione del software unificata.

Integra una NPU con architettura tri-core che supporta operazioni ibride INT4/INT8/INT16/FP16, gestendo facilmente attività di visione complesse come il rilevamento, la classificazione e il tracciamento di oggetti. Fornisce l'API RKNN Runtime, responsabile del caricamento di modelli RKNN, della gestione di input/output e dell'esecuzione di calcoli di inferenza sulla NPU.

Per aiutare gli utenti a iniziare rapidamente, forniamo esempi di algoritmi in esecuzione. Gli utenti possono fare riferimento alla logica di implementazione (nota: gli esempi servono solo come guida tecnica; non siamo responsabili per le prestazioni o l'efficacia degli algoritmi stessi):

• Rilevamento oggetti:Fornisce un esempio di distribuzione di YOLOv5, che può eseguire direttamente il rilevamento di oggetti in tempo reale sul flusso video catturato e generare riquadri e categorie di delimitazione.

• Tracciamento degli oggetti:Integra esempi di algoritmi di tracciamento rilevanti, consentendo agli utenti di ottenere un controllo a circuito chiuso basato sui dati relativi alla distanza mancata.

• Integrazione con flussi video:Il programma di esempio dimostra come inserire fotogrammi di immagine nella NPU per l'inferenza e sovrapporre i risultati dell'inferenza (come i riquadri di delimitazione) sul video di output tramite la funzione OSD (On-Screen Display), formando un ciclo chiuso completo dell'applicazione end-to-end.