VScan

To mój niewielki projekt, którego celem jest zbadanie, w jaki sposób wzrokowe narzędzia LLM mogą pomóc osobom niewidomym w podróży i w życiu codziennym, zastępując wzrok różnymi zadaniami wzrokowymi. VScan przekształca aparat smartfona w urządzenie do percepcji wzrokowej. Możesz zdefiniować różne optyczne funkcje poznawcze, takie jak wyszukiwanie obiektów, znaków, ocena sceny lub po prostu przekazywanie wrażeń wzrokowych. Możesz następnie wykorzystać te funkcje w widoku kamery, tak jak osoba widząca używałaby oczu do osiągnięcia określonego celu w świecie fizycznym. Każde narzędzie poznawcze składa się z dwóch głównych części: • Aparatu, który ma być używany – przód/tył, a także parametrów aparatu – rozdzielczość, latarka itp. • Monitów używanych do przetwarzania LLM. LLM stanowi pomost między surowymi danymi pikselowymi a Twoją interpretacją, a w monicie użytkownika/systemu możesz określić, co dokładnie Cię interesuje w danej funkcji i jak powinno to być komunikowane, a także model LLM, który powinien zostać użyty. Sygnał wejściowy z kamery w połączeniu z podpowiedzią przetwarzania LLM tworzy funkcję poznawczą, która może być wykorzystywana do realizacji różnych zadań wizualnych. VScan to oprogramowanie typu open source. Odwiedź oficjalne repozytorium projektu, aby dowiedzieć się więcej o jego historii, motywacji, konkretnych przykładach użycia i instrukcjach konfiguracji.