TurboLLM: Offline AI Chat

TurboLLM ekzekuton modele të mëdha gjuhësore direkt në CPU-në e telefonit tuaj Android — pa cloud, pa llogari, pa abonim dhe pa lidhje interneti pasi të shkarkohet një model.

PSE IA LOKAL

Shumica e aplikacioneve "bisedë me IA" janë një mbështjellës i hollë rreth API-t të cloud-it të dikujt tjetër: kërkesat tuaja largohen nga telefoni juaj, bisedat tuaja qëndrojnë në një server që nuk e kontrolloni ju dhe aplikacioni ndalon së punuari në momentin që humbni sinjalin. TurboLLM është ndryshe. Modeli funksionon në një motor të vërtetë inference në pajisje (llama.cpp, i kompiluar për Android), dhe biseda juaj nuk duhet të largohet kurrë nga telefoni juaj.

ÇFARË MUND TË BËNI

- Bisedoni me LLM lokale me peshë të hapur — Llama, Qwen, Gemma dhe çdo model tjetër GGUF — plotësisht jashtë linje, madje edhe në modalitetin e aeroplanit.
- Zbuloni dhe shkarkoni modele direkt nga Hugging Face, direkt brenda aplikacionit, me një prekje.
- Motori i inference instalohet automatikisht herën e parë që ju nevojitet — pa konfigurim manual, pa kompilim, pa terminal. - Krijoni agjentë të personalizuar të IA-së me udhëzimet e tyre të sistemit dhe aksesin në aftësi/mjete, për detyra të ndryshme - ndihmë në kodim, shkrim, kërkim ose një fletë krejtësisht bosh pa asnjë udhëzim të injektuar.
- Ndiqni përdorimin tuaj me kalimin e kohës: seancat, mesazhet, totali i tokenëve të gjeneruar, seritë dhe modeli juaj më i përdorur - të gjitha të llogaritura lokalisht nga historia juaj.
- Përmirësoni gjenerimin me kontrolle për çdo bisedë: buxheti i të menduarit, marrja e mostrave dhe përpjekja e arsyetimit, për modelet që i mbështesin ato.
- E njëjta ndërfaqe si aplikacioni për desktop i TurboLLM (Windows, Mac, Linux) - nëse keni përdorur TurboLLM në një kompjuter, telefoni juaj funksionon saktësisht në të njëjtën mënyrë.

PRIVATËSI NGA DIZAJNI

- Pa llogari, pa hyrje, pa backend në cloud për bisedat tuaja.
- Pa telemetri, pa analiza, pa SDK për raportimin e aksidenteve që telefonon në shtëpi në këtë ndërtim.
- Bisedat dhe modelet e shkarkuara jetojnë vetëm në ruajtjen private të këtij aplikacioni në pajisjen tuaj.
- Kërkesat, skedarët dhe peshat e modelit tuaj nuk dërgohen kurrë tek ne ose tek askush tjetër. Kërkesat e vetme të rrjetit që bën ky aplikacion janë ato që i keni aktivizuar vetë: shkarkimi i një modeli që keni zgjedhur, marrja e skedarit binar të motorit të përfundimit herën e parë që nevojitet, ose një thirrje mjeti që keni miratuar shprehimisht.

I VLEJË TË DINI

Inference funksionon në CPU-në e telefonit tuaj, kështu që shpejtësia varet nga çipseti juaj dhe madhësia e modelit që zgjidhni - modelet më të vogla (parametrat 1-4B) ndihen më të përgjegjshme në shumicën e telefonave, dhe ato më të mëdha janë aty nëse hardueri juaj mund t'i mbajë ato. Gjenerimi aktiv është punë e vërtetë llogaritëse, prandaj prisni ngarkesë normale të baterisë dhe termike, njësoj si çdo detyrë e IA-së në pajisje.

PËR KUSH ËSHTË

Përdoruesit e ndërgjegjshëm për privatësinë, entuziastët e IA-së lokale, zhvilluesit që tashmë përdorin TurboLLM ose llama.cpp në një kompjuter, dhe kushdo që është kurioz se si ndihet një bisedë LLM vërtet jashtë linje në një telefon - nën kontrollin tuaj, në harduerin tuaj, pa dalë asgjë nga pajisja.