VScan

Questo è un mio piccolo progetto che mira a studiare come gli LLM per la visione possano aiutare le persone non vedenti in viaggio e nella vita di tutti i giorni, sostituendo la vista in diverse attività visive. VScan trasforma la fotocamera del tuo smartphone in un dispositivo per la percezione visiva. Puoi definire diverse funzioni cognitive ottiche, come la ricerca di oggetti, segnali, la valutazione di una scena o semplicemente la mediazione di impressioni visive. Puoi poi utilizzare queste funzioni sulla visuale della fotocamera, proprio come una persona vedente userebbe i propri occhi per raggiungere un obiettivo specifico nel mondo fisico. Ogni strumento cognitivo è composto da due parti principali: • La fotocamera da utilizzare - anteriore/posteriore, e i parametri della fotocamera - risoluzione, flash, ecc. • I prompt utilizzati per l'elaborazione LLM. LLM è il ponte tra i dati pixel grezzi e la loro interpretazione, e nel prompt utente/sistema puoi specificare esattamente a cosa sei interessato per la particolare funzione e come dovrebbe essere comunicato, nonché il modello LLM da utilizzare. L'input della telecamera, in combinazione con un prompt di elaborazione LLM, forma una funzione cognitiva che può essere utilizzata per diverse attività visive. VScan è un software open source. Visita il repository ufficiale del progetto per saperne di più sul suo background, le sue motivazioni, esempi di utilizzo specifici e le istruzioni di configurazione.