VScan

이 작은 프로젝트는 시각 LLM이 시각 장애인들이 여행 중이나 일상생활에서 다양한 시각 작업을 시력으로 대체하는 데 어떻게 도움을 줄 수 있는지 연구하는 것입니다. VScan은 스마트폰 카메라를 시각 인식 장치로 활용합니다. 사물이나 표지판 찾기, 장면 평가, 또는 시각적 인상 전달 등 다양한 광학적 인지 기능을 정의할 수 있습니다. 마치 시력이 정상인 사람이 눈을 사용하여 물리적 세계에서 특정 목표를 달성하는 것처럼, 카메라 뷰에서 이러한 기능을 사용할 수 있습니다. 각 인지 도구는 두 가지 주요 부분으로 구성됩니다. • 사용할 카메라 - 전면/후면, 카메라 매개변수 - 해상도, 손전등 등 • LLM 처리에 사용되는 프롬프트. LLM은 원시 픽셀 데이터와 사용자의 해석을 연결하는 다리 역할을 하며, 사용자/시스템 프롬프트에서 특정 기능에 대해 정확히 무엇을 원하는지, 어떻게 전달해야 하는지, 그리고 사용해야 할 LLM 모델을 지정할 수 있습니다. 카메라 입력과 LLM 처리 프롬프트를 결합하면 인지 기능이 형성되어 다양한 시각 작업에 활용할 수 있습니다. VScan은 오픈 소스 소프트웨어입니다. 이 프로젝트의 공식 저장소를 방문하여 배경, 개발 동기, 구체적인 사용 사례 및 설정 지침에 대해 자세히 알아보세요.