VScan

Este es un pequeño proyecto mío cuyo objetivo es investigar cómo las herramientas LLM de visión podrían ayudar a las personas ciegas en sus viajes y en su vida cotidiana, sustituyendo la vista en diversas tareas visuales. VScan convierte la cámara de tu smartphone en un dispositivo para la percepción visual. Puedes definir diversas funciones cognitivas ópticas, como buscar objetos, señales, evaluar una escena o simplemente mediar impresiones visuales. Posteriormente, puedes usar estas funciones en la vista de la cámara, tal como una persona vidente usaría sus ojos para lograr un objetivo específico en el mundo físico. Cada herramienta cognitiva consta de dos partes principales: • La cámara que se utilizará (frontal/trasera), así como sus parámetros (resolución, flash, etc.). • Las indicaciones utilizadas para el procesamiento LLM. LLM es el puente entre los datos de píxeles sin procesar y tu interpretación de ellos. En las indicaciones de usuario/sistema, puedes especificar qué te interesa exactamente para la función en cuestión, cómo debe comunicarse y el modelo LLM que se utilizará. La entrada de la cámara, en combinación con una indicación de procesamiento LLM, forma una función cognitiva que puede utilizarse para diversas tareas visuales. VScan es un software de código abierto. Visite el repositorio oficial del proyecto para obtener más información sobre sus antecedentes, motivación, ejemplos de uso específicos e instrucciones de configuración.