VScan

Dies ist ein kleines Projekt von mir, in dem ich erforsche, wie visuelle LLMs blinden Menschen auf Reisen und im Alltag helfen können, indem sie das Sehvermögen bei verschiedenen Sehaufgaben ersetzen. VScan verwandelt die Kamera Ihres Smartphones in ein Gerät zur visuellen Wahrnehmung. Sie können verschiedene optische kognitive Funktionen definieren, wie z. B. das Suchen nach Objekten, Schildern, die Beurteilung einer Szene oder einfach die Vermittlung visueller Eindrücke. Anschließend können Sie diese Funktionen in der Kameraansicht nutzen, genau wie ein Sehender seine Augen nutzt, um ein bestimmtes Ziel in der physischen Welt zu erreichen. Jedes kognitive Werkzeug besteht aus zwei Hauptbestandteilen: • Die zu verwendende Kamera (Vorder-/Rückseite) sowie die Kameraparameter (Auflösung, Blitzlicht usw.). • Die Eingabeaufforderungen für die LLM-Verarbeitung. LLM ist die Brücke zwischen den Rohpixeldaten und Ihrer Interpretation. In der Benutzer-/Systemeingabeaufforderung können Sie angeben, was genau Sie für die jeweilige Funktion interessiert, wie diese kommuniziert werden soll und welches LLM-Modell verwendet werden soll. Kameraeingaben bilden in Kombination mit einer LLM-Verarbeitungseingabeaufforderung eine kognitive Funktion, die für verschiedene Sehaufgaben genutzt werden kann. VScan ist Open-Source-Software. Besuchen Sie das offizielle Repository des Projekts, um mehr über Hintergrund, Motivation, konkrete Anwendungsbeispiele und Einrichtungsanweisungen zu erfahren.