TurboLLM: Offline AI Chat

TurboLLM käitab päris suuri keelemudeleid otse teie Android-telefoni protsessoril – pärast mudeli allalaadimist pole vaja pilve, kontot, tellimust ega internetiühendust.

MIKS KOHALIK TEHISINTELLEKT

Enamik "tehisintellektiga vestluse" rakendusi on õhuke ümbris kellegi teise pilve API ümber: teie küsimused lahkuvad teie telefonist, teie vestlused asuvad serveris, mida te ei kontrolli, ja rakendus lakkab töötamast hetkel, kui signaal kaob. TurboLLM on teistsugune. Mudel töötab reaalses seadmesiseses järeldusmootoris (llama.cpp, Androidi jaoks kompileeritud) ja teie vestlus ei pea kunagi teie telefonist lahkuma.

MIDA SA SAAD TEHA

- Vestelda avatud kaaluga kohalike LLM-idega – Llama, Qwen, Gemma ja mis tahes muu GGUF-i mudel – täiesti võrguühenduseta, isegi lennurežiimis.
- Avastage ja laadige mudeleid alla otse Hugging Face'ist, otse rakenduse sees, ühe puudutusega.
- Järeldusmootor installib end automaatselt esimesel korral, kui seda vajate – käsitsi seadistamist, kompileerimist ega terminali pole vaja. - Loo kohandatud tehisintellekti agente, millel on oma süsteemiviibad ja oskuste/tööriistade ligipääs erinevate ülesannete jaoks – kodeerimisabi, kirjutamine, uurimistöö või täiesti tühi leht ilma sisestatud juhisteta.
- Jälgi oma kasutust aja jooksul: seansid, sõnumid, genereeritud tokenite koguarv, seeriad ja sinu enimkasutatav mudel – kõik arvutatakse lokaalselt sinu enda ajaloo põhjal.
- Täpsusta genereerimist vestlusepõhiste juhtelementidega: mõtlemiseelarve, valim ja arutluspingutus mudelite jaoks, mis neid toetavad.
- Sama liides nagu TurboLLM-i töölauarakendusel (Windows, Mac, Linux) – kui oled TurboLLM-i arvutis kasutanud, töötab sinu telefon täpselt samamoodi.

PRIVAATSUSKAABEL

- Sinu vestluste jaoks pole kontot, sisselogimist ega pilvepõhist taustaserverit.
- Selles versioonis pole telemeetriat, analüütikat ega krahhide aruandluse SDK-d.
- Vestlused ja allalaaditud mudelid asuvad ainult selle rakenduse privaatses salvestusruumis sinu seadmes.
- Sinu viipasid, faile ja mudeli kaalusid ei saadeta kunagi meile ega kellelegi teisele. Selle rakenduse ainsad võrgupäringud on need, mille olete ise käivitanud: valitud mudeli allalaadimine, järeldusmootori binaarfaili toomine esimesel korral või tööriistakõne, mille olete selgesõnaliselt heaks kiitnud.

TASUB TEADA

Järeldused töötavad teie telefoni protsessoril, seega sõltub kiirus teie kiibistikust ja valitud mudeli suurusest – väiksemad mudelid (1–4 miljardit parameetrit) tunduvad enamikus telefonides kõige reageerivamad ja suuremad on olemas, kui teie riistvara neid mahutab. Aktiivne genereerimine on reaalne arvutustöö, seega arvestage normaalse aku ja termilise koormusega, samamoodi nagu iga seadme tehisintellekti ülesande puhul.

KELLELE SEE ON MÕELDUD

Privaatsusteadlikud kasutajad, kohaliku tehisintellekti entusiastid, arendajad, kes juba käitavad arvutis TurboLLM-i või llama.cpp-i, ja kõik, kes on uudishimulikud, milline tundub telefonis tõeliselt võrguühenduseta LLM-vestlus – teie kontrolli all, teie riistvaral, ilma et midagi seadmest lahkuks.