VScan

これは、視覚LLMが、旅行中や日常生活において、視覚を様々な視覚タスクの代替として、視覚障害者をどのように支援できるかを研究する、私の小さなプロジェクトです。VScanは、スマートフォンのカメラを視覚認識デバイスに変えます。物体や標識の探索、風景の評価、あるいは視覚的印象の媒介など、様々な光学認知機能を定義できます。その後、これらの機能をカメラの視野内で使用できます。これは、晴眼者が現実世界で特定の目的を達成するために目を使うのと同じです。 各認知ツールは、主に以下の2つの部分で構成されています。 • 使用するカメラ（前面／背面）、およびカメラパラメータ（解像度、フラッシュライトなど）。 • LLM処理に使用するプロンプト。LLMは、生のピクセルデータとその解釈を繋ぐ橋渡し役です。ユーザー／システムプロンプトでは、特定の機能について具体的に何を求めているのか、どのように伝えるのか、そして使用するLLMモデルを指定できます。 カメラ入力とLLM処理プロンプトを組み合わせることで、様々な視覚タスクに使用できる認知機能が形成されます。 VScanはオープンソースソフトウェアです。プロジェクトの公式リポジトリにアクセスして、その背景、目的、具体的な使用例、セットアップ手順について詳しくご覧ください。