VScan

यह मेरा एक छोटा सा प्रोजेक्ट है जिसका उद्देश्य यह शोध करना है कि दृष्टि संबंधी एलएलएम (LLM) कैसे विभिन्न दृश्य कार्यों के लिए दृष्टि का उपयोग करके दृष्टिहीन लोगों की यात्रा और उनके दैनिक जीवन में मदद कर सकते हैं। वीस्कैन आपके स्मार्टफोन के कैमरे को दृश्य बोध के लिए एक उपकरण में बदल देता है। आप विभिन्न ऑप्टिकल संज्ञानात्मक कार्यों को परिभाषित कर सकते हैं, जैसे वस्तुओं, संकेतों को देखना, किसी दृश्य का मूल्यांकन करना या केवल दृश्य प्रभावों की मध्यस्थता करना। आप बाद में इन कार्यों का उपयोग कैमरा दृश्य पर कर सकते हैं, ठीक उसी तरह जैसे एक दृष्टिबाधित व्यक्ति भौतिक दुनिया में किसी विशिष्ट लक्ष्य को प्राप्त करने के लिए अपनी आँखों का उपयोग करता है। प्रत्येक संज्ञानात्मक उपकरण में दो प्रमुख भाग होते हैं: • उपयोग किया जाने वाला कैमरा - आगे/पीछे, साथ ही कैमरा पैरामीटर - रिज़ॉल्यूशन, टॉर्च आदि। • एलएलएम प्रसंस्करण के लिए उपयोग किए जाने वाले संकेत। एलएलएम कच्चे पिक्सेल डेटा और उसकी आपकी व्याख्या के बीच का सेतु है, और उपयोगकर्ता/सिस्टम संकेत में, आप यह निर्दिष्ट कर सकते हैं कि किसी विशेष कार्य के लिए आपकी क्या रुचि है और उसे कैसे संप्रेषित किया जाना चाहिए, साथ ही उस एलएलएम मॉडल का भी उपयोग किया जाना चाहिए। कैमरा इनपुट और LLM प्रोसेसिंग प्रॉम्प्ट के संयोजन से एक संज्ञानात्मक कार्य बनता है, जिसका उपयोग विभिन्न दृश्य कार्यों को पूरा करने के लिए किया जा सकता है। VScan एक ओपन-सोर्स सॉफ़्टवेयर है। इसकी पृष्ठभूमि, प्रेरणा, विशिष्ट उपयोग उदाहरणों और सेटअप निर्देशों के बारे में अधिक जानने के लिए परियोजना के आधिकारिक रिपॉजिटरी पर जाएँ।