VScan

Este é um pequeno projeto meu com o objetivo de pesquisar como os LLMs de visão podem ajudar pessoas cegas em viagens e no dia a dia, substituindo a visão por diversas tarefas visuais. O VScan transforma a câmera do seu smartphone em um dispositivo para percepção visual. Você pode definir diversas funções cognitivas ópticas, como procurar objetos, sinais, avaliar uma cena ou simplesmente mediar impressões visuais. Posteriormente, você pode usar essas funções na visualização da câmera, assim como uma pessoa com visão usaria os olhos para atingir um objetivo específico no mundo físico. Cada ferramenta cognitiva consiste em duas partes principais: • A câmera a ser usada - frontal/traseira, bem como os parâmetros da câmera - resolução, lanterna, etc. • Os prompts usados ​​para o processamento do LLM. O LLM é a ponte entre os dados brutos de pixel e sua interpretação deles, e no prompt do usuário/sistema, você pode especificar exatamente o que lhe interessa para a função específica e como ela deve ser comunicada, bem como o modelo de LLM que deve ser usado. A entrada da câmera, em combinação com um prompt de processamento LLM, forma uma função cognitiva que pode ser usada para diversas tarefas visuais. O VScan é um software de código aberto. Visite o repositório oficial do projeto para saber mais sobre sua história, motivação, exemplos específicos de uso e instruções de configuração.