TurboLLM: Offline AI Chat

TurboLLM-ը գործարկում է իրական մեծ լեզվական մոդելներ անմիջապես ձեր Android հեռախոսի CPU-ի վրա՝ առանց ամպի, առանց հաշվի, առանց բաժանորդագրության և մոդելը ներբեռնելուց հետո ինտերնետ կապի անհրաժեշտության։

ԻՆՉՈՒ՞ ՏԵՂԱԿԱՆ AI

«AI չաթ» հավելվածների մեծ մասը բարակ փաթաթան է ուրիշի ամպային API-ի շուրջ. ձեր հուշումները լքում են ձեր հեռախոսը, ձեր զրույցները մնում են ձեր կողմից չկառավարվող սերվերի վրա, և հավելվածը դադարում է աշխատել այն պահին, երբ դուք կորցնում եք ազդանշանը։ TurboLLM-ը տարբերվում է։ Մոդելը աշխատում է իրական սարքի վրա գտնվող եզրակացության շարժիչով (llama.cpp, կազմված Android-ի համար), և ձեր զրույցը երբեք չի լքում ձեր հեռախոսը։

ԻՆՉ ԿԱՐՈՂ ԵՔ ԱՆԵԼ

- Զրուցեք բաց քաշի տեղական LLM-ների՝ Llama-ի, Qwen-ի, Gemma-ի և GGUF-ի ցանկացած այլ մոդելի հետ՝ լիովին անցանց, նույնիսկ ինքնաթիռի ռեժիմում։
- Բացահայտեք և ներբեռնեք մոդելները անմիջապես Hugging Face-ից, անմիջապես հավելվածի ներսում, մեկ հպումով։
- Եզրակացության շարժիչը տեղադրվում է ավտոմատ կերպով առաջին անգամ, երբ ձեզ անհրաժեշտ է՝ առանց ձեռքով կարգավորման, առանց կազմման, առանց տերմինալի։ - Ստեղծեք անհատական ​​արհեստական ​​բանականության գործակալներ՝ իրենց սեփական համակարգի հուշումներով և հմտությունների/գործիքների հասանելիությամբ, տարբեր առաջադրանքների համար՝ կոդավորման օգնություն, գրավոր աշխատանք, հետազոտություն կամ ամբողջովին դատարկ թերթիկ՝ առանց ներարկված հրահանգների։
- Հետևեք ձեր սեփական օգտագործմանը ժամանակի ընթացքում՝ սեսիաներ, հաղորդագրություններ, ստեղծված ընդհանուր տոկեններ, շարքեր և ձեր ամենաշատ օգտագործվող մոդելը՝ բոլորը հաշվարկված տեղականորեն ձեր սեփական պատմությունից։
- Կարգավորեք ստեղծումը զրույցի կառավարման միջոցով՝ մտածողության բյուջե, նմուշառում և դատողության ջանքեր՝ դրանք աջակցող մոդելների համար։
- Նույն ինտերֆեյսը, ինչ TurboLLM-ի աշխատասեղանի հավելվածը (Windows, Mac, Linux)՝ եթե դուք օգտագործել եք TurboLLM-ը համակարգչում, ձեր հեռախոսը աշխատում է ճիշտ նույն կերպ։

Գաղտնիություն ըստ նախագծի

- Ձեր զրույցների համար հաշիվ չկա, մուտք չկա, ամպային backend չկա։
- Այս կառուցվածքում հեռաչափություն չկա, վերլուծություն չկա, վթարների մասին հաղորդող SDK չկա։
- Զրույցները և ներբեռնված մոդելները պահվում են միայն այս հավելվածի անձնական պահեստում՝ ձեր սարքի վրա։
- Ձեր հուշումները, ֆայլերը և մոդելի կշիռները երբեք չեն ուղարկվում մեզ կամ որևէ մեկին։ Այս հավելվածը միակ ցանցային հարցումներն է կատարում, որոնք դուք ինքներդ եք գործարկել՝ ձեր ընտրած մոդելի ներբեռնում, առաջին անգամ անհրաժեշտության դեպքում inference engine binary ֆայլի ներբեռնում կամ ձեր կողմից հստակորեն հաստատված գործիքի կանչ։

ԱՐԺԵ ԻՄԱՆԱԼ

Inference-ը աշխատում է ձեր հեռախոսի CPU-ի վրա, ուստի արագությունը կախված է ձեր չիփսեթից և ձեր ընտրած մոդելի չափից. փոքր մոդելները (1-4B պարամետրեր) ամենաարագ արձագանքողն են թվում հեռախոսների մեծ մասում, իսկ ավելի մեծերը կան, եթե ձեր սարքավորումները կարող են դրանք կրել։ Ակտիվ գեներացիան իրական հաշվողական աշխատանք է, ուստի սպասեք նորմալ մարտկոցի և ջերմային բեռի, ինչպես ցանկացած սարքի վրա արհեստական ​​բանականության առաջադրանք։

ՈՒՄ ՀԱՄԱՐ Է ՍԱ

Գաղտնիության մասին գիտակից օգտատերերի, տեղական արհեստական ​​բանականության սիրահարների, մշակողների, ովքեր արդեն իսկ օգտագործում են TurboLLM կամ llama.cpp համակարգչում, և բոլոր նրանց, ովքեր հետաքրքրված են, թե ինչպիսին է իրականում անցանց LLM զրույցը հեռախոսով՝ ձեր վերահսկողության ներքո, ձեր սարքավորումների վրա, առանց սարքից ոչինչ դուրս գալու։