TurboLLM: Offline AI Chat

TurboLLM તમારા Android ફોનના CPU પર સીધા જ મોટા ભાષાના મોડેલો ચલાવે છે — કોઈ ક્લાઉડ નહીં, કોઈ એકાઉન્ટ નહીં, કોઈ સબ્સ્ક્રિપ્શન નહીં, અને મોડેલ ડાઉનલોડ થયા પછી ઇન્ટરનેટ કનેક્શનની જરૂર નથી.

સ્થાનિક AI શા માટે

મોટાભાગની "AI ચેટ" એપ્લિકેશનો કોઈ બીજાના ક્લાઉડ API ની આસપાસ એક પાતળી આવરણ હોય છે: તમારા પ્રોમ્પ્ટ તમારા ફોનમાંથી નીકળી જાય છે, તમારી વાતચીતો એવા સર્વર પર બેસે છે જે તમે નિયંત્રિત નથી કરતા, અને જ્યારે તમે સિગ્નલ ગુમાવો છો ત્યારે એપ્લિકેશન કામ કરવાનું બંધ કરી દે છે. TurboLLM અલગ છે. મોડેલ વાસ્તવિક ઓન-ડિવાઇસ ઇન્ફરન્સ એન્જિન (llama.cpp, Android માટે કમ્પાઇલ કરેલ) માં ચાલે છે, અને તમારી વાતચીત ક્યારેય તમારા ફોનમાંથી બહાર નીકળવાની નથી.

તમે શું કરી શકો છો

- ઓપન-વેઇટ સ્થાનિક LLMs - Llama, Qwen, Gemma અને કોઈપણ અન્ય GGUF મોડેલ સાથે ચેટ કરો - સંપૂર્ણપણે ઑફલાઇન, એરપ્લેન મોડમાં પણ.
- એક જ ટેપથી, એપ્લિકેશનની અંદર જ Hugging Face માંથી સીધા મોડેલો શોધો અને ડાઉનલોડ કરો.
- જ્યારે તમને પહેલી વાર જરૂર પડે ત્યારે ઇન્ફરન્સ એન્જિન આપમેળે ઇન્સ્ટોલ થઈ જાય છે — કોઈ મેન્યુઅલ સેટઅપ નહીં, કોઈ કમ્પાઇલ નહીં, કોઈ ટર્મિનલ નહીં.
- વિવિધ કાર્યો માટે તેમના પોતાના સિસ્ટમ પ્રોમ્પ્ટ અને કૌશલ્ય/સાધન ઍક્સેસ સાથે કસ્ટમ AI એજન્ટો બનાવો - કોડિંગ સહાય, લેખન, સંશોધન, અથવા શૂન્ય ઇન્જેક્ટેડ સૂચનાઓ સાથે સંપૂર્ણપણે ખાલી સ્લેટ.
- સમય જતાં તમારા પોતાના ઉપયોગને ટ્રૅક કરો: સત્રો, સંદેશાઓ, કુલ ટોકન્સ જનરેટ, સ્ટ્રીક્સ અને તમારા સૌથી વધુ ઉપયોગમાં લેવાતા મોડેલ - આ બધું તમારા પોતાના ઇતિહાસમાંથી સ્થાનિક રીતે ગણતરી કરવામાં આવે છે.
- પ્રતિ-ચેટ નિયંત્રણો સાથે ફાઇન-ટ્યુન જનરેશન: તેમને સપોર્ટ કરતા મોડેલો માટે વિચાર બજેટ, નમૂના અને તર્ક પ્રયાસ.
- ટર્બોએલએલએમની ડેસ્કટોપ એપ્લિકેશન (વિન્ડોઝ, મેક, લિનક્સ) જેવું જ ઇન્ટરફેસ - જો તમે કમ્પ્યુટર પર ટર્બોએલએલએમનો ઉપયોગ કર્યો હોય, તો તમારો ફોન બરાબર એ જ રીતે કાર્ય કરે છે.

ડિઝાઇન દ્વારા ગોપનીયતા

- તમારી વાતચીતો માટે કોઈ એકાઉન્ટ, કોઈ લોગિન, કોઈ ક્લાઉડ બેકએન્ડ નથી.
- આ બિલ્ડમાં કોઈ ટેલિમેટ્રી, કોઈ એનાલિટિક્સ, કોઈ ક્રેશ-રિપોર્ટિંગ SDK ફોનિંગ હોમ નથી.
- ચેટ્સ અને ડાઉનલોડ કરેલા મોડેલો ફક્ત તમારા ઉપકરણ પર આ એપ્લિકેશનના ખાનગી સ્ટોરેજમાં રહે છે.
- તમારા પ્રોમ્પ્ટ, ફાઇલો અને મોડેલ વજન ક્યારેય અમને અથવા બીજા કોઈને મોકલવામાં આવતા નથી. આ એપ ફક્ત નેટવર્ક વિનંતીઓ જ કરે છે જે તમે જાતે ટ્રિગર કરો છો: તમે પસંદ કરેલ મોડેલ ડાઉનલોડ કરવું, જ્યારે જરૂર પડે ત્યારે ઇન્ફરન્સ એન્જિન બાઈનરી મેળવવું, અથવા તમે સ્પષ્ટ રીતે મંજૂર કરેલ ટૂલ કોલ.

જાણવા જેવું

ઇન્ફરન્સ તમારા ફોનના CPU પર ચાલે છે, તેથી ઝડપ તમારા ચિપસેટ અને તમે પસંદ કરેલા મોડેલના કદ પર આધાર રાખે છે — નાના મોડેલ (1-4B પરિમાણો) મોટાભાગના ફોન પર સૌથી વધુ પ્રતિભાવશીલ લાગે છે, અને જો તમારું હાર્ડવેર તેમને વહન કરી શકે તો મોટા મોડેલો ત્યાં હોય છે. સક્રિય જનરેશન વાસ્તવિક ગણતરી કાર્ય છે, તેથી સામાન્ય બેટરી અને થર્મલ લોડની અપેક્ષા રાખો, જે કોઈપણ ઓન-ડિવાઇસ AI કાર્ય જેવું જ છે.

તે કોના માટે છે

ગોપનીયતા પ્રત્યે સભાન વપરાશકર્તાઓ, સ્થાનિક-AI ઉત્સાહીઓ, વિકાસકર્તાઓ જે પહેલાથી જ કમ્પ્યુટર પર TurboLLM અથવા llama.cpp ચલાવે છે, અને કોઈપણ જે ઉત્સુક છે કે ફોન પર ખરેખર ઑફલાઇન LLM ચેટ કેવું લાગે છે — તમારા નિયંત્રણ હેઠળ, તમારા હાર્ડવેર પર, ઉપકરણમાં કંઈ બાકી ન રહે.