TurboLLM: Offline AI Chat

TurboLLM извршува вистински големи јазични модели директно на процесорот на вашиот Android телефон - без облак, без сметка, без претплата и не е потребна интернет конекција откако ќе се преземе моделот.

ЗОШТО ЛОКАЛНА ВИСТИНСКА АИ

Повеќето апликации за „разговор со ВИ“ се тенка обвивка околу туѓо облак API: вашите инструкции го напуштаат вашиот телефон, вашите разговори седат на сервер што не го контролирате, а апликацијата престанува да работи во моментот кога ќе го изгубите сигналот. TurboLLM е различен. Моделот работи во вистински мотор за заклучување на уредот (llama.cpp, компајлиран за Android), а вашиот разговор никогаш не мора да го напушти вашиот телефон.

ШТО МОЖЕТЕ ДА НАПРАВИТЕ

- Разговарајте со локални LLM со отворена тежина - Llama, Qwen, Gemma и кој било друг GGUF модел - целосно офлајн, дури и во режим на авион.
- Откријте и преземајте модели директно од Hugging Face, директно во апликацијата, со еден допир.
- Моторот за заклучување се инсталира автоматски првиот пат кога ви треба - без рачно поставување, без компајлирање, без терминал. - Креирајте прилагодени агенти на вештачка интелигенција со нивни сопствени системски инструкции и пристап до вештини/алатки, за различни задачи - помош при кодирање, пишување, истражување или целосно празен лист без никакви инјектирани инструкции.
- Следете ја вашата сопствена употреба со текот на времето: сесии, пораки, вкупно генерирани токени, низи и вашиот најкористен модел - сите пресметани локално од вашата сопствена историја.
- Фино подесување на генерирањето со контроли по разговор: буџет за размислување, земање примероци и напор за расудување, за модели што ги поддржуваат.
- Истиот интерфејс како десктоп апликацијата TurboLLM (Windows, Mac, Linux) - ако сте го користеле TurboLLM на компјутер, вашиот телефон работи на ист начин.

ПРИВАТНОСТ ПО ДИЗАЈН

- Нема сметка, нема најавување, нема cloud backend за вашите разговори.
- Нема телеметрија, нема аналитика, нема SDK за пријавување падови што се јавува дома во оваа верзија.
- Разговорите и преземените модели се чуваат само во приватната меморија на оваа апликација на вашиот уред.
- Вашите инструкции, датотеки и тежини на модели никогаш не се испраќаат до нас или до некој друг. Единствените мрежни барања што ги прави оваа апликација се оние што сте ги активирале сами: преземање на модел што сте го избрале, преземање на бинарниот систем за инференција првиот пат кога е потребен или повик на алатка што експлицитно сте го одобриле.

ВРЕДНО Е ДА СЕ ЗНАЕ

Инференцијата работи на процесорот на вашиот телефон, па брзината зависи од вашиот чипсет и големината на моделот што ќе го изберете - помалите модели (параметри од 1-4B) се чувствуваат најодзивно на повеќето телефони, а поголемите се таму ако вашиот хардвер може да ги носи. Активното генерирање е вистинска компјутерска работа, па очекувајте нормално оптоварување на батеријата и топлината, исто како и секоја задача со вештачка интелигенција на уредот.

ЗА КОГО Е НАМЕНЕТО

Корисници што се свесни за приватноста, ентузијасти за локална вештачка интелигенција, програмери кои веќе користат TurboLLM или llama.cpp на компјутер и секој што е љубопитен како се чувствува вистински офлајн LLM разговор на телефон - под ваша контрола, на вашиот хардвер, без ништо да го напушти уредот.