TurboLLM: Offline AI Chat

TurboLLM huendesha mifumo mikubwa ya lugha moja kwa moja kwenye CPU ya simu yako ya Android — hakuna wingu, hakuna akaunti, hakuna usajili, na hakuna muunganisho wa intaneti unaohitajika mara tu modeli inapopakuliwa.

KWA NINI AI YA KIENYEJI

Programu nyingi za "gumzo la AI" ni kifurushi chembamba kinachozunguka API ya wingu ya mtu mwingine: vidokezo vyako huondoka kwenye simu yako, mazungumzo yako hukaa kwenye seva ambayo huidhibiti, na programu huacha kufanya kazi mara tu unapopoteza ishara. TurboLLM ni tofauti. Mfumo huendesha katika injini halisi ya hitimisho kwenye kifaa (llama.cpp, iliyokusanywa kwa ajili ya Android), na mazungumzo yako hayalazimiki kamwe kutoka kwenye simu yako.

UNACHOWEZA KUFANYA

- Gumzo na LLM za ndani zenye uzito wazi — Llama, Qwen, Gemma, na modeli nyingine yoyote ya GGUF — nje ya mtandao kabisa, hata katika hali ya ndege.

- Gundua na upakue mifumo moja kwa moja kutoka kwa Hugging Face, ndani ya programu, kwa mguso mmoja.

- Injini ya hitimisho hujisakinisha yenyewe kiotomatiki mara ya kwanza unapoihitaji — hakuna usanidi wa mwongozo, hakuna ujumuishaji, hakuna terminal.

- Unda mawakala maalum wa AI wenye uwezo wa kutumia mfumo wao wa haraka na ufikiaji wa ujuzi/zana, kwa kazi tofauti - usaidizi wa msimbo, uandishi, utafiti, au sehemu tupu kabisa bila maagizo yoyote yaliyoingizwa.

- Fuatilia matumizi yako mwenyewe baada ya muda: vipindi, ujumbe, jumla ya tokeni zinazozalishwa, mifuatano, na mfumo wako unaotumika zaidi - vyote vimehesabiwa ndani kutoka kwa historia yako mwenyewe.

- Rekebisha uzalishaji kwa kutumia vidhibiti vya kila gumzo: bajeti ya kufikiri, sampuli, na juhudi za kufikiri, kwa mifumo inayowaunga mkono.
- Kiolesura sawa na programu ya eneo-kazi ya TurboLLM (Windows, Mac, Linux) - ikiwa umetumia TurboLLM kwenye kompyuta, simu yako inafanya kazi kwa njia ile ile.

FARAGHA KWA UBUNIFU

- Hakuna akaunti, hakuna kuingia, hakuna sehemu ya nyuma ya wingu kwa mazungumzo yako.
- Hakuna telemetry, hakuna uchanganuzi, hakuna SDK ya kuripoti ajali inayopiga simu nyumbani katika muundo huu.
- Gumzo na mifumo iliyopakuliwa huishi tu kwenye hifadhi ya faragha ya programu hii kwenye kifaa chako.
- Vidokezo vyako, faili, na uzito wa mfumo hautumwi kamwe kwetu au mtu mwingine yeyote. Maombi pekee ya mtandao ambayo programu hii hufanya ni yale uliyoyaanzisha mwenyewe: kupakua modeli uliyochagua, kuchukua injini ya hitimisho mara ya kwanza inapohitajika, au kifaa kinachokupigia simu kilichoidhinishwa waziwazi.

INAYOSTAHILI KUJUA

Ufafanuzi huendeshwa kwenye CPU ya simu yako, kwa hivyo kasi inategemea chipset yako na ukubwa wa modeli unayochagua — modeli ndogo (vigezo vya 1-4B) huhisi sikivu zaidi kwenye simu nyingi, na kubwa zaidi zipo ikiwa vifaa vyako vinaweza kuvibeba. Uzalishaji unaofanya kazi ni kazi halisi ya hesabu, kwa hivyo tarajia betri ya kawaida na mzigo wa joto, sawa na kazi yoyote ya AI ya kifaa.

NI YA NANI

Watumiaji wanaojali faragha, wapenzi wa AI ya ndani, watengenezaji ambao tayari wanaendesha TurboLLM au llama.cpp kwenye kompyuta, na yeyote anayetaka kujua jinsi gumzo la LLM la nje ya mtandao linavyohisi kwenye simu — chini ya udhibiti wako, kwenye vifaa vyako, bila chochote kinachoondoka kwenye kifaa.