TurboLLM: Offline AI Chat

TurboLLM darbina reālus lielus valodu modeļus tieši jūsu Android tālruņa centrālajā procesorā — nav nepieciešams mākonis, konts, abonements un interneta savienojums, kad modelis ir lejupielādēts.

KĀPĒC LOKĀLAIS MĀKSLINIECISKĀS TEKSTS

Lielākā daļa "AI tērzēšanas" lietotņu ir plāns apvalks ap kāda cita mākoņa API: jūsu uzvednes atstāj jūsu tālruni, jūsu sarunas atrodas serverī, kuru jūs nekontrolējat, un lietotne pārstāj darboties brīdī, kad pazūd signāls. TurboLLM ir atšķirīgs. Modelis darbojas reālā ierīcē iebūvētā secinājumu dzinējā (llama.cpp, kompilēts operētājsistēmai Android), un jūsu sarunai nekad nav jāpamet jūsu tālrunis.

KO JŪS VARAT DARĪT

- Tērzējiet ar atvērta svara lokālajiem LLM — Llama, Qwen, Gemma un jebkuru citu GGUF modeli — pilnībā bezsaistē, pat lidmašīnas režīmā.
- Atklājiet un lejupielādējiet modeļus tieši no Hugging Face, tieši lietotnē, ar vienu pieskārienu.
- Secinājumu dzinējs instalējas automātiski, kad tas jums pirmo reizi nepieciešams — nav nepieciešama manuāla iestatīšana, kompilēšana, terminālis. - Izveidojiet pielāgotus mākslīgā intelekta aģentus ar savu sistēmas uzvedni un prasmju/rīku piekļuvi dažādiem uzdevumiem — kodēšanas palīdzībai, rakstīšanai, izpētei vai pilnīgi tukšai lapai bez ievadītām instrukcijām.
- Izsekojiet savu lietojumu laika gaitā: sesijas, ziņojumi, ģenerēto žetonu kopskaits, sērijas un visbiežāk izmantotais modelis — viss tiek aprēķināts lokāli no jūsu vēstures.
- Precīza ģenerēšana ar tērzēšanas vadības ierīcēm: domāšanas budžets, izlase un spriešanas piepūle modeļiem, kas tos atbalsta.
- Tā pati saskarne kā TurboLLM datora lietotnē (Windows, Mac, Linux) — ja esat izmantojis TurboLLM datorā, jūsu tālrunis darbojas tieši tāpat.

PRIVĀTUMS AR IZVEIDU

- Jūsu sarunām nav konta, nav pieteikšanās, nav mākoņa aizmugures sistēmas.
- Šajā versijā nav telemetrijas, nav analītikas, nav avāriju ziņošanas SDK zvana uz mājām.
- Tērzēšanas sarunas un lejupielādētie modeļi atrodas tikai šīs lietotnes privātajā krātuvē jūsu ierīcē.
- Jūsu uzvednes, faili un modeļu svari nekad netiek nosūtīti mums vai kādam citam. Vienīgie tīkla pieprasījumi, ko veic šī lietotne, ir tie, ko jūs pats aktivizējāt: jūsu izvēlēta modeļa lejupielāde, secinājumu dzinēja binārā faila izgūšana pirmajā reizē, kad tas ir nepieciešams, vai rīka izsaukums, ko jūs skaidri apstiprinājāt.

VĒRTS ZINĀT

Secinājumi darbojas jūsu tālruņa centrālajā procesorā, tāpēc ātrums ir atkarīgs no mikroshēmojuma kopas un izvēlētā modeļa lieluma — mazāki modeļi (1–4 B parametri) vairumā tālruņu šķiet visreaģējošākie, bet lielāki modeļi ir pieejami, ja jūsu aparatūra tos var izturēt. Aktīvā ģenerēšana ir reāls skaitļošanas darbs, tāpēc sagaidiet normālu akumulatora un termisko slodzi, tāpat kā jebkuru ierīces mākslīgā intelekta uzdevumu.

KAM TAS DOMĀTS

Lietotājiem, kas apzinās konfidencialitāti, vietējiem mākslīgā intelekta entuziastiem, izstrādātājiem, kuri jau datorā izmanto TurboLLM vai llama.cpp, un ikvienam, kam ir interese par to, kā īsta bezsaistes LLM tērzēšana šķiet tālrunī — jūsu kontrolē, jūsu aparatūrā, nekam neizejot no ierīces.