Kopš sāku izmantot #ChatGPT, viena no lietām, ko vēlējos – pajautāt ChatGPT par savu informāciju, kas nav pieejama internetā. Pēc noklusējuma tas nav iespējams. Tagad ar ChatGPT 4. versiju tas esot, izmantojot paplašinājumus. Man joprojām ir bezmaksas versija un šīs iespējas, iespējams, nemaz nav pieejamas.

Tādēļ jau diezgan agri sāku meklēt LLM risinājumus, kuri darbotos ar datiem no satura, kas ir manā datorā vai vismaz datu bāzēs internetā, nesūtot tos #OpenAI (tie, ka m pieder ChatGPT).

PrivateGPT

Izrādās tāds neesmu vienīgais. Vienlaicīgi nebaidos arī kaut ko pieprogrammēt, ja nepieciešams. Vai izmantot ne tik precīzu vai ātru risinājumu.

Sāku ar privateGPT, kad tas nesen parādījās un kuru jau patestēju “Testēju kārtējo “privātā GPT” čata programmu“. Lai arī #privateGPT bija tas, ko it kā meklēju, tomēr ātrums izrādījās lielākais mīnus. Vienkāršs vaicājums aizņēma 15 minūtes un vienkārša un pat maza dokumenta. Tehniskais ierobežojums – datora CPU. Man ir GPU – kaut kas daudz ātrāks. Pēc kādām divām stundām manai pacietībai bija pienācis gals. Zinot cik ātri tagad attīstās GPT un mākslīgā intelekta risinājumi, ticēju, ka tuvāko divu nedēļā būs risinājums.

LocalGPT

Un tas bija localGPT. Iznācis tikai pirms dažām dienām. Diemžēl uzreiz nesanāca notestēt, jo ir arī jāstrādā. Tagad nedēļas nogalē beidzot “iedarbināju” pēc apmēram stundas ņemšanās ar uzstādījumiem un kļūdu labojumiem kodā.

#LocalGPT ir balstīts uz PrivateGPT, tikai ielikts GPU atbalsts.

Izmēģināju uz pirmajiem dokumentiem – Latvijas Satversmi. Un patiešām – mācēja pārfrāzēt un atrast arī pēc vārdiem, kas tiešā veidā nav minēti tekstā, bet apzīmē noteiktu domu, vienlaicīgi mācēja arī izveidot kopsavilkumu.

Arī laiks kādā izpildās vaicājums (apmēram 3 minūtēs) ir pieņemams (8GB GPU grafiskā karte). Līdzīgi kā PrivateGPT, arī dot atsauci kā LocalGPT nonācis pie atbildes.

GPT latviešu valodā?

Nākamais solis – atrast veidu kā šo vai citu #GPT izmantot latviešu valodas testiem. Te gan jāpiemin, ka ne PrivateGPT, ne arī LocalGPT vēl neesmu ar latviešu valodu testējis.

Turpinu mācīties #python programmēšanas valodu, kas netīšām sakritis ar #NLP un mākslīgā intelekta izpēti.

Pilns raksts būs pieejams republa.lv.