TurboLLM: Offline AI Chat

TurboLLM uruchamia duże modele językowe bezpośrednio na procesorze telefonu z Androidem — bez chmury, konta, subskrypcji i połączenia internetowego po pobraniu modelu.

DLACZEGO LOKALNA SZTUCZNA INTELIGENCJA

Większość aplikacji do czatów opartych na sztucznej inteligencji to cienka powłoka na czyimś chmurowym API: komunikaty opuszczają Twój telefon, rozmowy znajdują się na serwerze, nad którym nie masz kontroli, a aplikacja przestaje działać w momencie utraty sygnału. TurboLLM działa inaczej. Model działa w prawdziwym silniku wnioskowania na urządzeniu (llama.cpp, skompilowanym dla Androida), a Twoja rozmowa nigdy nie musi opuszczać telefonu.

CO MOŻESZ ZROBIĆ

- Czatuj z lokalnymi, otwartymi modelami LLM — Llama, Qwen, Gemma i dowolnym innym modelem GGUF — w pełni offline, nawet w trybie samolotowym.
- Odkrywaj i pobieraj modele bezpośrednio z Hugging Face, bezpośrednio w aplikacji, jednym dotknięciem.
- Silnik wnioskowania instaluje się automatycznie za pierwszym razem — bez ręcznej konfiguracji, kompilacji i terminala. - Twórz niestandardowych agentów AI z własnymi monitami systemowymi i dostępem do umiejętności/narzędzi, do różnych zadań — pomocy w kodowaniu, pisania, badań lub zupełnie pustej karty bez żadnych wstrzykniętych instrukcji.
- Śledź własne użycie w czasie: sesje, wiadomości, łączną liczbę wygenerowanych tokenów, serie i najczęściej używany model — wszystko obliczane lokalnie na podstawie Twojej historii.
- Precyzyjne dostrajanie generowania za pomocą kontroli dla poszczególnych czatów: budżetowanie, próbkowanie i wysiłek wnioskowania dla modeli, które je obsługują.
- Ten sam interfejs, co w aplikacji desktopowej TurboLLM (Windows, Mac, Linux) — jeśli korzystałeś z TurboLLM na komputerze, Twój telefon działa dokładnie tak samo.

PRYWATNOŚĆ Z MYŚLĄ O PROJEKTOWANIU

- Brak konta, logowania, chmury obliczeniowej dla Twoich rozmów.
- Brak telemetrii, analityki i SDK do raportowania awarii w tej wersji.
- Czaty i pobrane modele są przechowywane tylko w prywatnej pamięci tej aplikacji na Twoim urządzeniu. - Twoje komunikaty, pliki i wagi modeli nigdy nie są wysyłane do nas ani do nikogo innego. Jedyne żądania sieciowe, jakie ta aplikacja wysyła, to te, które sam wywołałeś: pobranie wybranego modelu, pobranie pliku binarnego silnika inferencyjnego przy pierwszej potrzebie lub wywołanie narzędzia, na które wyraźnie wyraziłeś zgodę.

WARTO WIEDZIEĆ

Inferencja działa na procesorze telefonu, więc szybkość zależy od chipsetu i rozmiaru wybranego modelu — mniejsze modele (o parametrach 1–4 mld) wydają się najbardziej responsywne na większości telefonów, a większe są dostępne, jeśli sprzęt je obsługuje. Aktywne generowanie to prawdziwa praca obliczeniowa, więc spodziewaj się normalnego obciążenia baterii i temperatury, takiego samego jak w przypadku każdego zadania AI na urządzeniu.

DLA KOGO

Użytkownicy dbający o prywatność, entuzjaści lokalnej AI, programiści, którzy już korzystają z TurboLLM lub llama.cpp na komputerze, a także wszyscy ciekawi, jak wygląda prawdziwie offline'owy czat LLM na telefonie — pod Twoją kontrolą, na Twoim sprzęcie, bez opuszczania urządzenia.