VScan

Это мой небольшой проект, цель которого — исследовать, как LLM-модели, контролирующие зрение, могут помочь слепым людям в путешествиях и повседневной жизни, заменяя зрение при выполнении различных визуальных задач. VScan превращает камеру вашего смартфона в устройство визуального восприятия. Вы можете определить различные оптические когнитивные функции, такие как поиск объектов, знаков, оценка обстановки или просто опосредование визуальных впечатлений. Впоследствии вы можете использовать эти функции в изображении с камеры, подобно тому, как зрячий человек использует свои глаза для достижения определенной цели в физическом мире. Каждый когнитивный инструмент состоит из двух основных частей: • Используемая камера — фронтальная/задняя, ​​а также параметры камеры — разрешение, вспышка и т. д. • Подсказки, используемые для обработки LLM. LLM — это мост между исходными пиксельными данными и вашей интерпретацией. В подсказке пользователю/системе вы можете указать, что именно вас интересует для конкретной функции, как это должно быть передано, а также модель LLM, которую следует использовать. Данные с камеры в сочетании с подсказкой обработки LLM формируют когнитивную функцию, которую можно использовать для решения различных визуальных задач. VScan — программное обеспечение с открытым исходным кодом. Посетите официальный репозиторий проекта, чтобы узнать больше о его истории, мотивации, конкретных примерах использования и инструкциях по настройке.