TurboLLM: Offline AI Chat

TurboLLM izvaja resnične velike jezikovne modele neposredno na procesorju vašega telefona Android – brez oblaka, brez računa, brez naročnine in brez internetne povezave, ko je model prenesen.

ZAKAJ LOKALNA UI

Večina aplikacij za »klepetalnico z UI« je tanek ovoj okoli API-ja v oblaku nekoga drugega: vaši pozivi zapustijo vaš telefon, vaši pogovori so na strežniku, ki ga ne nadzorujete, in aplikacija preneha delovati v trenutku, ko izgubite signal. TurboLLM je drugačen. Model deluje v pravem mehanizmu za sklepanje na napravi (llama.cpp, preveden za Android) in vaš pogovor nikoli ne sme zapustiti vašega telefona.

KAJ LAHKO STORIŠ

- Klepetajte z odprtimi lokalnimi LLM-ji – Llama, Qwen, Gemma in katerim koli drugim modelom GGUF – popolnoma brez povezave, tudi v letalskem načinu.
- Odkrijte in prenesite modele neposredno iz Hugging Face, kar v aplikaciji, z enim dotikom.
- Mehanizem za sklepanje se samodejno namesti, ko ga prvič potrebujete – brez ročne nastavitve, brez prevajanja, brez terminala.
- Ustvarite agente umetne inteligence po meri z lastnim sistemskim pozivom in dostopom do veščin/orodij za različne naloge – pomoč pri kodiranju, pisanje, raziskovanje ali popolnoma prazen list brez vbrizganih navodil.
- Spremljajte svojo uporabo skozi čas: seje, sporočila, skupno število ustvarjenih žetonov, nize in vaš najpogosteje uporabljen model – vse izračunano lokalno iz vaše lastne zgodovine.
- Natančno nastavite generiranje s kontrolami za vsak klepet: proračun za razmišljanje, vzorčenje in trud sklepanja za modele, ki jih podpirajo.
- Isti vmesnik kot namizna aplikacija TurboLLM (Windows, Mac, Linux) – če ste TurboLLM uporabljali v računalniku, vaš telefon deluje popolnoma enako.

ZASEBNOST PO ZASNOVI

- Za vaše pogovore ni računa, ni prijave, ni zalednega sistema v oblaku.
- V tej različici ni telemetrije, ni analitike, ni SDK-ja za poročanje o zrušitvah, ki bi vas klical domov.
- Klepeti in preneseni modeli so shranjeni samo v zasebnem pomnilniku te aplikacije v vaši napravi.
- Vaši pozivi, datoteke in uteži modelov niso nikoli poslani nam ali komur koli drugemu. Edine omrežne zahteve, ki jih ta aplikacija izvaja, so tiste, ki ste jih sprožili sami: prenos modela, ki ste ga izbrali, pridobivanje binarne datoteke mehanizma za sklepanje, ko je prvič potrebna, ali klic orodja, ki ste ga izrecno odobrili.

VREDNO JE VEDETI

Sklepanje poteka na procesorju vašega telefona, zato je hitrost odvisna od vašega čipseta in velikosti modela, ki ga izberete – manjši modeli (parametri 1–4B) se na večini telefonov zdijo najbolj odzivni, večji pa so na voljo, če jih vaša strojna oprema lahko prenese. Aktivno generiranje je resnično računalniško delo, zato pričakujte normalno obremenitev baterije in toplote, enako kot pri vseh nalogah umetne inteligence na napravi.

ZA KOGA JE NAMENJENO

Uporabniki, ki se zavedajo zasebnosti, navdušenci nad lokalno umetno inteligenco, razvijalci, ki že izvajajo TurboLLM ali llama.cpp na računalniku, in vsi, ki jih zanima, kakšen je občutek pristnega klepeta LLM brez povezave na telefonu – pod vašim nadzorom, na vaši strojni opremi, brez da bi karkoli zapustilo napravo.