VScan

Bu, görme alanında LLM programlarının görme engelli kişilere seyahatlerinde ve günlük yaşamlarında çeşitli görsel görevlerin yerine görme yetisini kullanarak nasıl yardımcı olabileceğini araştırmayı amaçlayan küçük bir projem. VScan, akıllı telefonunuzun kamerasını görsel algı için bir cihaza dönüştürür. Nesneleri, işaretleri arama, bir sahneyi değerlendirme veya görsel izlenimleri aktarma gibi çeşitli optik bilişsel işlevleri tanımlayabilirsiniz. Daha sonra, tıpkı gören bir kişinin fiziksel dünyada belirli bir hedefe ulaşmak için gözlerini kullanması gibi, bu işlevleri kamera görünümünde kullanabilirsiniz. Her bilişsel araç iki ana bölümden oluşur: • Kullanılacak kamera - ön/arka ve kamera parametreleri - çözünürlük, el feneri vb. • LLM işleme için kullanılan komutlar. LLM, ham piksel verileri ile bunları yorumlamanız arasında bir köprüdür ve kullanıcı/sistem komutlarında, belirli bir işlev için tam olarak neyle ilgilendiğinizi, bunun nasıl iletilmesi gerektiğini ve kullanılması gereken LLM modelini belirtebilirsiniz. Kamera girişi, bir LLM işleme istemiyle birlikte, çeşitli görsel görevlere hizmet etmek için kullanılabilen bilişsel bir işlev oluşturur. VScan açık kaynaklı bir yazılımdır. Projenin geçmişi, motivasyonu, özel kullanım örnekleri ve kurulum talimatları hakkında daha fazla bilgi edinmek için projenin resmi deposunu ziyaret edin.