TurboLLM: Offline AI Chat

TurboLLM உங்கள் ஆண்ட்ராய்டு ஃபோனின் CPU-வில் நேரடியாக உண்மையான பெரிய மொழி மாதிரிகளை இயக்குகிறது — ஒரு மாதிரி பதிவிறக்கம் செய்யப்பட்டவுடன், கிளவுட், கணக்கு, சந்தா மற்றும் இணைய இணைப்பு எதுவும் தேவையில்லை.

உள்ளூர் AI ஏன்

பெரும்பாலான "AI அரட்டை" செயலிகள், வேறொருவரின் கிளவுட் API-ஐச் சுற்றி உருவாக்கப்பட்ட ஒரு மெல்லிய உறையாகும்: உங்கள் கட்டளைகள் உங்கள் ஃபோனை விட்டு வெளியேறுகின்றன, உங்கள் உரையாடல்கள் நீங்கள் கட்டுப்படுத்தாத ஒரு சர்வரில் இருக்கின்றன, மேலும் சிக்னல் துண்டிக்கப்பட்டவுடன் செயலி வேலை செய்வதை நிறுத்திவிடுகிறது. TurboLLM வேறுபட்டது. இந்த மாதிரி, சாதனத்திலேயே இயங்கும் ஒரு உண்மையான அனுமான இயந்திரத்தில் (llama.cpp, ஆண்ட்ராய்டுக்காகத் தொகுக்கப்பட்டது) இயங்குகிறது, மேலும் உங்கள் உரையாடல் ஒருபோதும் உங்கள் ஃபோனை விட்டு வெளியேற வேண்டியதில்லை.

நீங்கள் என்ன செய்யலாம்

- திறந்தநிலை உள்ளூர் LLM-களான Llama, Qwen, Gemma மற்றும் பிற GGUF மாதிரிகளுடன், விமானப் பயன்முறையில் (airplane mode) கூட, முழுமையாக ஆஃப்லைனில் அரட்டையடிக்கலாம்.

- ஒரே தட்டலில், செயலிக்குள்ளேயே, Hugging Face-லிருந்து நேரடியாக மாதிரிகளைக் கண்டறிந்து பதிவிறக்கம் செய்யலாம்.

- உங்களுக்கு முதல் முறை தேவைப்படும்போது அனுமான இயந்திரம் தானாகவே நிறுவப்படும் — கைமுறை அமைப்பு, தொகுத்தல், டெர்மினல் எதுவும் தேவையில்லை.

- கோடிங் உதவி, எழுதுதல், ஆராய்ச்சி அல்லது எந்தவிதமான அறிவுறுத்தல்களும் உள்ளிடப்படாத ஒரு முழுமையான வெற்றுப் பலகை போன்ற பல்வேறு பணிகளுக்காக, அவற்றின் சொந்த சிஸ்டம் ப்ராம்ட் மற்றும் திறன்/கருவி அணுகலுடன் தனிப்பயன் AI ஏஜென்ட்களை உருவாக்கவும்.

- காலப்போக்கில் உங்கள் சொந்தப் பயன்பாட்டைக் கண்காணிக்கவும்: அமர்வுகள், செய்திகள், உருவாக்கப்பட்ட மொத்த டோக்கன்கள், தொடர் நிகழ்வுகள் மற்றும் நீங்கள் அதிகம் பயன்படுத்திய மாடல் — இவை அனைத்தும் உங்கள் சொந்த வரலாற்றிலிருந்து உள்ளூரில் கணக்கிடப்படுகின்றன.

- ஒவ்வொரு அரட்டைக்குமான கட்டுப்பாடுகளுடன் உருவாக்கத்தை நுட்பமாகச் சரிசெய்யவும்: சிந்தனை வரவுசெலவு, மாதிரியெடுத்தல் மற்றும் பகுத்தறிவு முயற்சி, இவற்றை ஆதரிக்கும் மாடல்களுக்கு.

- TurboLLM-இன் டெஸ்க்டாப் செயலியின் (Windows, Mac, Linux) அதே இடைமுகம் — நீங்கள் கணினியில் TurboLLM-ஐப் பயன்படுத்தியிருந்தால், உங்கள் தொலைபேசியும் அதே வழியில் செயல்படும்.

வடிவமைப்பிலேயே தனியுரிமை

- உங்கள் உரையாடல்களுக்கு கணக்கு இல்லை, உள்நுழைவு இல்லை, கிளவுட் பேக்கெண்ட் இல்லை.

- இந்த உருவாக்கத்தில் டெலிமெட்ரி இல்லை, பகுப்பாய்வு இல்லை, செயலிழப்பு-அறிக்கை SDK தகவல் பரிமாற்றம் இல்லை.

- அரட்டைகள் மற்றும் பதிவிறக்கம் செய்யப்பட்ட மாடல்கள் உங்கள் சாதனத்தில் உள்ள இந்தச் செயலியின் தனிப்பட்ட சேமிப்பகத்தில் மட்டுமே இருக்கும்.

உங்கள் கட்டளைகள், கோப்புகள் மற்றும் மாடல் எடைகள் ஒருபோதும் எங்களுக்கோ அல்லது வேறு யாருக்கோ அனுப்பப்படுவதில்லை. இந்தச் செயலி செய்யும் ஒரே நெட்வொர்க் கோரிக்கைகள், நீங்களே தூண்டுபவை மட்டுமே: நீங்கள் தேர்ந்தெடுத்த ஒரு மாடலைப் பதிவிறக்குவது, இன்ஃபரன்ஸ் இன்ஜின் பைனரியை முதல் முறையாகத் தேவைப்படும்போது பெறுவது, அல்லது நீங்கள் வெளிப்படையாக ஒப்புதல் அளித்த ஒரு கருவி அழைப்பு.

அறிந்துகொள்ள வேண்டியவை

இன்ஃபரன்ஸ் உங்கள் தொலைபேசியின் CPU-வில் இயங்குகிறது, எனவே வேகம் உங்கள் சிப்செட் மற்றும் நீங்கள் தேர்ந்தெடுக்கும் மாடல் அளவைப் பொறுத்தது — சிறிய மாடல்கள் (1-4 பில்லியன் அளவுருக்கள்) பெரும்பாலான தொலைபேசிகளில் மிகவும் துரிதமாகச் செயல்படும், மேலும் உங்கள் வன்பொருள் அவற்றைத் தாங்க முடிந்தால் பெரிய மாடல்களும் உள்ளன. ஆக்டிவ் ஜெனரேஷன் என்பது உண்மையான கணக்கீட்டுப் பணியாகும், எனவே சாதனத்தில் செய்யப்படும் எந்தவொரு AI பணியையும் போலவே, சாதாரண பேட்டரி மற்றும் வெப்பச் சுமையை எதிர்பார்க்கலாம்.

இது யாருக்கானது

தனியுரிமையில் அக்கறை கொண்ட பயனர்கள், லோக்கல்-AI ஆர்வலர்கள், ஏற்கனவே கணினியில் TurboLLM அல்லது llama.cpp-ஐ இயக்கும் டெவலப்பர்கள், மற்றும் ஒரு தொலைபேசியில் உண்மையான ஆஃப்லைன் LLM உரையாடல் எப்படி இருக்கும் என்பதை அறிய ஆர்வமுள்ள எவரும் — உங்கள் கட்டுப்பாட்டில், உங்கள் வன்பொருளில், சாதனத்தை விட்டு எதுவும் வெளியேறாமல்.