VScan

Tai mano nedidelis projektas, kuriuo siekiama ištirti, kaip regėjimo LLM galėtų padėti neregiams kelionėse ir kasdieniame gyvenime, pakeisdami regėjimą įvairiomis vizualinėmis užduotimis. „VScan“ paverčia jūsų išmaniojo telefono kamerą vizualinio suvokimo įrenginiu. Galite apibrėžti įvairias optines kognityvines funkcijas, tokias kaip objektų, ženklų paieška, scenos vertinimas ar tiesiog vizualinių įspūdžių perteikimas. Vėliau galite naudoti šias funkcijas kameros vaizde, lygiai taip pat, kaip regintis žmogus naudotų savo akis konkrečiam tikslui fiziniame pasaulyje pasiekti. Kiekvienas kognityvinis įrankis susideda iš dviejų pagrindinių dalių: • Naudotina kamera – priekinė / galinė, taip pat kameros parametrai – skiriamoji geba, žibintuvėlis ir kt. • Raginimai, naudojami LLM apdorojimui. LLM yra tiltas tarp neapdorotų pikselių duomenų ir jūsų jų interpretacijos, o vartotojo / sistemos raginime galite nurodyti, kas tiksliai jus domina konkrečiai funkcijai ir kaip tai turėtų būti perduota, taip pat LLM modelį, kuris turėtų būti naudojamas. Kameros įvestis kartu su LLM apdorojimo raginimu sudaro kognityvinę funkciją, kuri gali būti naudojama įvairioms vizualinėms užduotims atlikti. „VScan“ yra atvirojo kodo programinė įranga. Apsilankykite projekto oficialioje saugykloje, kad sužinotumėte daugiau apie jo istoriją, motyvaciją, konkrečius naudojimo pavyzdžius ir sąrankos instrukcijas.