TurboLLM: Offline AI Chat

TurboLLM pokreće stvarne velike jezične modele izravno na procesoru vašeg Android telefona - bez oblaka, bez računa, bez pretplate i bez internetske veze nakon preuzimanja modela.

ZAŠTO LOKALNA AI

Većina "AI chat" aplikacija su tanki omotač oko tuđeg cloud API-ja: vaši upiti napuštaju vaš telefon, vaši razgovori nalaze se na poslužitelju koji ne kontrolirate, a aplikacija prestaje raditi u trenutku kada izgubite signal. TurboLLM je drugačiji. Model se pokreće u stvarnom inferencijalnom mehanizmu na uređaju (llama.cpp, kompiliran za Android) i vaš razgovor nikada ne mora napustiti vaš telefon.

ŠTO MOŽETE UČINITI

- Čavrljajte s lokalnim LLM-ovima otvorene težine - Llama, Qwen, Gemma i bilo kojim drugim GGUF modelom - potpuno izvan mreže, čak i u zrakoplovnom načinu rada.
- Otkrijte i preuzmite modele izravno iz Hugging Facea, izravno unutar aplikacije, jednim dodirom.
- Inferencijalni mehanizam se automatski instalira prvi put kada vam zatreba - bez ručnog postavljanja, bez kompajliranja, bez terminala.
- Izradite prilagođene AI agente s vlastitim sistemskim upitima i pristupom vještinama/alatima, za različite zadatke - pomoć pri kodiranju, pisanje, istraživanje ili potpuno prazan list bez ubrizganih instrukcija.
- Pratite vlastitu upotrebu tijekom vremena: sesije, poruke, ukupan broj generiranih tokena, nizove i vaš najkorišteniji model - sve izračunato lokalno iz vaše vlastite povijesti.
- Fino podešavanje generiranja s kontrolama po chatu: proračun za razmišljanje, uzorkovanje i napor zaključivanja, za modele koji ih podržavaju.
- Isto sučelje kao i TurboLLM-ova desktop aplikacija (Windows, Mac, Linux) - ako ste koristili TurboLLM na računalu, vaš telefon radi potpuno isto.

PRIVATNOST PO DIZAJNU

- Nema računa, nema prijave, nema pozadinskog sustava u oblaku za vaše razgovore.
- Nema telemetrije, nema analitike, nema SDK-a za izvještavanje o rušenju koji se javlja kući u ovoj verziji.
- Razgovori i preuzeti modeli žive samo u privatnoj pohrani ove aplikacije na vašem uređaju.
- Vaši upiti, datoteke i težine modela nikada se ne šalju nama ili bilo kome drugome. Jedini mrežni zahtjevi koje ova aplikacija upućuje su oni koje ste sami pokrenuli: preuzimanje modela koji ste odabrali, dohvaćanje binarne datoteke inferencijskog mehanizma prvi put kada je potrebna ili poziv alata koji ste izričito odobrili.

VRIJEDI ZNATI

Inferencija se izvodi na procesoru vašeg telefona, pa brzina ovisi o vašem čipsetu i veličini modela koju odaberete - manji modeli (parametri 1-4B) osjećaju se najosjetljivijima na većini telefona, a veći su tu ako ih vaš hardver može podnijeti. Aktivno generiranje je pravi računalni posao, stoga očekujte normalno opterećenje baterije i topline, isto kao i svaki AI zadatak na uređaju.

ZA KOGA JE NAMIJENJENO

Korisnici koji su svjesni privatnosti, entuzijasti za lokalnu AI, programeri koji već pokreću TurboLLM ili llama.cpp na računalu i svi koji su znatiželjni kako se osjeća pravi offline LLM chat na telefonu - pod vašom kontrolom, na vašem hardveru, bez ikakvog napuštanja uređaja.