TurboLLM: Offline AI Chat

„TurboLLM“ paleidžia tikrus didelius kalbų modelius tiesiai jūsų „Android“ telefono procesoriuje – nereikia jokio debesies, paskyros, prenumeratos ir interneto ryšio, kai modelis atsisiunčiamas.

KODĖL VIETINIS DI

Dauguma „DI pokalbių“ programėlių yra plonas apvalkalas ant kažkieno kito debesies API: jūsų raginimai palieka jūsų telefoną, jūsų pokalbiai yra serveryje, kurio nekontroliuojate, o programa nustoja veikti vos tik prarandate signalą. „TurboLLM“ yra kitokia. Modelis veikia tikrame įrenginyje esančiame išvadų variklyje („llama.cpp“, kompiliuotame „Android“), todėl jūsų pokalbis niekada neturi palikti jūsų telefono.

KĄ GALITE DARYTI

- Bendraukite su atvirojo svorio vietiniais LLM – „Llama“, „Qwen“, „Gemma“ ir bet kuriuo kitu GGUF modeliu – visiškai neprisijungę, net lėktuvo režimu.
- Atraskite ir atsisiųskite modelius tiesiai iš „Hugging Face“, tiesiai programėlėje, vienu bakstelėjimu.
- Išvadų variklis automatiškai įdiegiamas pirmą kartą, kai jo prireikia – nereikia rankinio nustatymo, kompiliavimo ar terminalo. – Kurkite pasirinktinius dirbtinio intelekto agentus su savo sistemos raginimais ir prieiga prie įgūdžių / įrankių skirtingoms užduotims – kodavimo pagalbai, rašymui, tyrimams arba visiškai tuščiam lapui be jokių įterptų instrukcijų.
– Stebėkite savo naudojimą laikui bėgant: sesijas, pranešimus, bendrą sugeneruotų žetonų skaičių, serijas ir dažniausiai naudojamą modelį – visa tai apskaičiuojama lokaliai iš jūsų istorijos.
– Tiksliai koreguokite generavimą naudodami pokalbių valdiklius: mąstymo biudžetą, atranką ir samprotavimo pastangas modeliams, kurie juos palaiko.
– Ta pati sąsaja kaip ir „TurboLLM“ darbalaukio programėlėje („Windows“, „Mac“, „Linux“) – jei naudojote „TurboLLM“ kompiuteryje, jūsų telefonas veiks lygiai taip pat.

PRIVATUMAS PAGAL PROJEKTĄ

– Jūsų pokalbiams nereikia paskyros, nereikia prisijungimo, nereikia debesies serverio.
– Šioje versijoje nėra telemetrijos, jokios analizės, nėra gedimų ataskaitų SDK skambučių namo.
– Pokalbiai ir atsisiųsti modeliai yra tik šios programėlės privačioje saugykloje jūsų įrenginyje.
– Jūsų raginimai, failai ir modelių svoriai niekada nesiunčiami mums ar kam nors kitam. Vienintelės tinklo užklausos, kurias atlieka ši programėlė, yra tos, kurias suaktyvinote jūs patys: atsisiunčiate pasirinktą modelį, gaunate išvadų modulio dvejetainį failą pirmą kartą, kai jo reikia, arba įrankio iškvietimą, kurį aiškiai patvirtinote.

VERTA ŽINOTI

Išvados veikia jūsų telefono procesoriuje, todėl greitis priklauso nuo jūsų lustų rinkinio ir pasirinkto modelio dydžio – mažesni modeliai (1–4B parametrų) daugumoje telefonų atrodo reaguojantys geriausiai, o didesni – jei jūsų aparatinė įranga juos gali atlikti. Aktyvus generavimas yra tikras skaičiavimo darbas, todėl tikėkitės įprastos akumuliatoriaus ir šiluminės apkrovos, tokios pačios kaip ir bet kuriai įrenginyje atliekamai dirbtinio intelekto užduočiai.

KAM TAI SKIRTA

Privatumo neabejingi vartotojai, vietinio dirbtinio intelekto entuziastai, kūrėjai, kurie jau kompiuteryje naudoja „TurboLLM“ arba „llama.cpp“, ir visi, kuriems smalsu, kaip jaučiasi tikras neprisijungęs LLM pokalbis telefone – jūsų kontroliuojamas, jūsų aparatinėje įrangoje, niekam neišeinant iš įrenginio.