TurboLLM: Offline AI Chat

TurboLLM तुमच्या अँड्रॉइड फोनच्या CPU वर थेट मोठे लँग्वेज मॉडेल्स (Large Language Models) चालवते — एकदा मॉडेल डाउनलोड झाल्यावर क्लाउड, खाते, सबस्क्रिप्शन किंवा इंटरनेट कनेक्शनची आवश्यकता नसते.

लोकल AI का?

बहुतेक "AI चॅट" ॲप्स हे दुसऱ्या कोणाच्यातरी क्लाउड API चे एक पातळ आवरण असतात: तुमचे प्रॉम्प्ट्स तुमच्या फोनमधून बाहेर जातात, तुमची संभाषणे तुमच्या नियंत्रणाबाहेरच्या सर्व्हरवर असतात आणि सिग्नल जाताच ॲप काम करणे थांबवते. TurboLLM वेगळे आहे. हे मॉडेल एका खऱ्या ऑन-डिव्हाइस इन्फरन्स इंजिनमध्ये (llama.cpp, जे अँड्रॉइडसाठी कंपाइल केलेले आहे) चालते आणि तुमचे संभाषण कधीही तुमच्या फोनमधून बाहेर जात नाही.

तुम्ही काय करू शकता

- Llama, Qwen, Gemma आणि इतर कोणत्याही GGUF मॉडेलसारख्या ओपन-वेट लोकल LLMs सोबत पूर्णपणे ऑफलाइन चॅट करा, अगदी एअरप्लेन मोडमध्येही.

- हगिंग फेस (Hugging Face) वरून थेट ॲपमध्येच, एका टॅपमध्ये मॉडेल्स शोधा आणि डाउनलोड करा.

- जेव्हा तुम्हाला पहिल्यांदा गरज असेल तेव्हा इन्फरन्स इंजिन आपोआप इन्स्टॉल होते — मॅन्युअल सेटअप नाही, कंपाइलिंग नाही, टर्मिनल नाही.

- विविध कामांसाठी, जसे की कोडिंगमध्ये मदत, लेखन, संशोधन किंवा कोणत्याही सूचना न देता पूर्णपणे कोरा साचा, यासाठी स्वतःच्या सिस्टम प्रॉम्प्ट आणि कौशल्य/साधनांच्या वापरासह सानुकूल AI एजंट तयार करा.

- कालांतराने तुमच्या स्वतःच्या वापराचा मागोवा घ्या: सेशन्स, संदेश, एकूण तयार केलेले टोकन्स, स्ट्रीक्स आणि तुमचे सर्वाधिक वापरलेले मॉडेल — हे सर्व तुमच्या स्वतःच्या इतिहासातून स्थानिक पातळीवर मोजले जाते.

- ज्या मॉडेल्समध्ये थिंकिंग बजेट, सॅम्पलिंग आणि रिझनिंग एफर्ट यांसारख्या नियंत्रणांना समर्थन आहे, त्यांच्यासाठी प्रत्येक चॅटनुसार जनरेशनमध्ये सुधारणा करा.

- TurboLLM च्या डेस्कटॉप ॲपसारखाच इंटरफेस (विंडोज, मॅक, लिनक्स) — जर तुम्ही TurboLLM संगणकावर वापरले असेल, तर तुमचा फोन अगदी त्याच प्रकारे काम करतो.

डिझाइननुसार गोपनीयता

- तुमच्या संभाषणांसाठी कोणतेही खाते नाही, लॉगिन नाही, क्लाउड बॅकएंड नाही.

- या बिल्डमध्ये टेलिमेट्री नाही, ॲनालिटिक्स नाही, किंवा क्रॅश-रिपोर्टिंग SDK द्वारे माहिती पाठवली जात नाही.

- चॅट्स आणि डाउनलोड केलेले मॉडेल्स केवळ तुमच्या डिव्हाइसवरील या ॲपच्या खाजगी स्टोरेजमध्ये राहतात.

तुमचे प्रॉम्प्ट्स, फाइल्स आणि मॉडेल वेट्स आमच्याकडे किंवा इतर कोणाकडेही कधीही पाठवले जात नाहीत. हे ॲप फक्त त्याच नेटवर्क रिक्वेस्ट्स करते ज्या तुम्ही स्वतः सुरू करता: जसे की तुम्ही निवडलेले मॉडेल डाउनलोड करणे, पहिल्यांदा गरज पडल्यावर इन्फरन्स इंजिन बायनरी मिळवणे, किंवा तुम्ही स्पष्टपणे मंजूर केलेला टूल कॉल.

जाणून घेण्यासारखे

इन्फरन्स तुमच्या फोनच्या CPU वर चालतो, त्यामुळे वेग तुमच्या चिपसेटवर आणि तुम्ही निवडलेल्या मॉडेलच्या आकारावर अवलंबून असतो — लहान मॉडेल्स (१-४ अब्ज पॅरामीटर्स) बहुतेक फोनवर सर्वात जास्त प्रतिसाद देतात, आणि जर तुमचे हार्डवेअर त्यांना हाताळू शकत असेल तर मोठी मॉडेल्सदेखील चालतात. ॲक्टिव्ह जनरेशन हे खरे कम्प्युट वर्क आहे, त्यामुळे कोणत्याही ऑन-डिव्हाइस AI टास्कप्रमाणेच सामान्य बॅटरी आणि थर्मल लोडची अपेक्षा करा.

हे कोणासाठी आहे

गोपनीयतेबद्दल जागरूक असलेले वापरकर्ते, लोकल-AI उत्साही, जे डेव्हलपर्स आधीच कॉम्प्युटरवर TurboLLM किंवा llama.cpp वापरतात, आणि ज्यांना फोनवर खऱ्या अर्थाने ऑफलाइन LLM चॅटचा अनुभव कसा असतो हे जाणून घ्यायचे आहे — तुमच्या नियंत्रणाखाली, तुमच्या हार्डवेअरवर, आणि डिव्हाइसमधून काहीही बाहेर न जाता.