VScan

Ini adalah proyek kecil saya yang bertujuan untuk meneliti bagaimana LLM penglihatan dapat membantu penyandang tunanetra dalam perjalanan dan kehidupan sehari-hari mereka dengan menggantikan penglihatan untuk berbagai tugas visual. VScan mengubah kamera ponsel cerdas Anda menjadi perangkat untuk persepsi visual. Anda dapat menentukan berbagai fungsi kognitif optik, seperti mencari objek, tanda, mengevaluasi pemandangan, atau sekadar memediasi kesan visual. Anda kemudian dapat menggunakan fungsi-fungsi ini pada tampilan kamera, layaknya orang yang dapat melihat menggunakan mata mereka untuk mencapai tujuan tertentu di dunia nyata. Setiap alat kognitif terdiri dari dua bagian utama: • Kamera yang akan digunakan - depan/belakang, serta parameter kamera - resolusi, senter, dll. • Perintah yang digunakan untuk pemrosesan LLM. LLM adalah jembatan antara data piksel mentah dan interpretasi Anda terhadapnya, dan dalam perintah pengguna/sistem, Anda dapat menentukan apa sebenarnya yang Anda minati untuk fungsi tertentu dan bagaimana cara mengomunikasikannya, serta model LLM yang harus digunakan. Input kamera yang dikombinasikan dengan perintah pemrosesan LLM membentuk fungsi kognitif yang dapat digunakan untuk berbagai tugas visual. VScan adalah perangkat lunak sumber terbuka. Kunjungi repositori resmi proyek ini untuk mempelajari lebih lanjut tentang latar belakang, motivasi, contoh penggunaan spesifik, dan petunjuk penyiapannya.