VScan

Il s'agit d'un petit projet visant à étudier comment les LLM de la vision pourraient aider les personnes aveugles en déplacement et dans leur vie quotidienne, en remplaçant la vue par diverses tâches visuelles. VScan transforme l'appareil photo de votre smartphone en un outil de perception visuelle. Vous pouvez définir diverses fonctions cognitives optiques, comme la recherche d'objets, de signes, l'évaluation d'une scène ou simplement la médiation d'impressions visuelles. Vous pouvez ensuite utiliser ces fonctions dans la vue de la caméra, tout comme une personne voyante utiliserait ses yeux pour atteindre un objectif précis dans le monde physique. Chaque outil cognitif se compose de deux parties principales : • La caméra à utiliser (avant/arrière), ainsi que ses paramètres (résolution, lampe de poche, etc.) • Les invites utilisées pour le traitement LLM. Le LLM fait le lien entre les données de pixels brutes et votre interprétation. Dans l'invite utilisateur/système, vous pouvez spécifier précisément ce qui vous intéresse pour la fonction en question, comment cela doit être communiqué, ainsi que le modèle LLM à utiliser. Combinées aux entrées de la caméra et à une invite de traitement LLM, les données de la caméra forment une fonction cognitive pouvant être utilisée pour diverses tâches visuelles. VScan est un logiciel open source. Visitez le dépôt officiel du projet pour en savoir plus sur son histoire, ses motivations, des exemples d'utilisation spécifiques et les instructions d'installation.