TurboLLM: Offline AI Chat

TurboLLM რეალურ დიდ ენობრივ მოდელებს პირდაპირ თქვენი Android ტელეფონის CPU-ზე მართავს — არც ღრუბელი, არც ანგარიში, არც გამოწერა და არც ინტერნეტ კავშირია საჭირო მოდელის ჩამოტვირთვის შემდეგ.

რატომ ლოკალური ხელოვნური ინტელექტი

„ხელოვნური ინტელექტის ჩატის“ აპლიკაციების უმეტესობა სხვისი ღრუბლოვანი API-ს თხელი გარსია: თქვენი მოთხოვნები ტოვებს თქვენს ტელეფონს, თქვენი საუბრები რჩება სერვერზე, რომელსაც თქვენ არ აკონტროლებთ და აპლიკაცია წყვეტს მუშაობას სიგნალის დაკარგვისთანავე. TurboLLM განსხვავებულია. მოდელი მუშაობს რეალურ მოწყობილობაზე დამონტაჟებულ ინფერენციის ძრავში (llama.cpp, კომპილირებული Android-ისთვის) და თქვენი საუბარი არასდროს უნდა დატოვოს თქვენი ტელეფონი.

რა შეგიძლიათ გააკეთოთ

- ესაუბრეთ ღია წონის ადგილობრივ LLM-ებს — Llama-ს, Qwen-ს, Gemma-ს და ნებისმიერ სხვა GGUF მოდელს — სრულად ოფლაინში, თუნდაც თვითმფრინავის რეჟიმში.
- აღმოაჩინეთ და ჩამოტვირთეთ მოდელები პირდაპირ Hugging Face-დან, პირდაპირ აპლიკაციაში, ერთი შეხებით.
- ინფერენციის ძრავა ავტომატურად ინსტალირდება პირველივე საჭიროების შემთხვევაში — არც ხელით დაყენება, არც კომპილაცია, არც ტერმინალი. - შექმენით საკუთარი ხელოვნური ინტელექტის აგენტები საკუთარი სისტემის მოთხოვნებით და უნარების/ინსტრუმენტების წვდომით, სხვადასხვა ამოცანებისთვის — კოდირების დახმარება, წერა, კვლევა ან სრულიად ცარიელი ფურცელი ნულოვანი ინექციური ინსტრუქციებით.
- თვალყური ადევნეთ თქვენს საკუთარ გამოყენებას დროთა განმავლობაში: სესიები, შეტყობინებები, გენერირებული ტოკენების ჯამური რაოდენობა, სტრიქონები და თქვენი ყველაზე ხშირად გამოყენებული მოდელი — ყველაფერი გამოითვლება ადგილობრივად თქვენივე ისტორიიდან.
- დახვეწეთ გენერაცია თითოეული ჩატის კონტროლით: აზროვნების ბიუჯეტი, შერჩევა და მსჯელობის ძალისხმევა, იმ მოდელებისთვის, რომლებიც მათ მხარს უჭერენ.
- იგივე ინტერფეისი, რაც TurboLLM-ის დესკტოპის აპლიკაცია (Windows, Mac, Linux) — თუ თქვენ გამოიყენეთ TurboLLM კომპიუტერზე, თქვენი ტელეფონი ზუსტად ისევე მუშაობს.

კონფიდენციალურობა დიზაინის მიხედვით

- არ არის ანგარიში, არ არის შესვლა, არ არის ღრუბლოვანი ბექენდი თქვენი საუბრებისთვის.
- არ არის ტელემეტრია, არ არის ანალიტიკა, არ არის ავარიის შესახებ ანგარიშგების SDK, რომელიც ტელეფონს ურეკავს სახლში ამ ბილდში.
- ჩეთები და ჩამოტვირთული მოდელები მხოლოდ ამ აპლიკაციის პირად საცავში ინახება თქვენს მოწყობილობაზე.
- თქვენი მოთხოვნები, ფაილები და მოდელის წონა არასდროს იგზავნება ჩვენთვის ან სხვა ვინმესთვის. ამ აპლიკაციის ქსელური მოთხოვნები მხოლოდ თქვენ მიერ გააქტიურებულებს წარმოადგენს: თქვენს მიერ არჩეული მოდელის ჩამოტვირთვა, პირველად საჭიროების შემთხვევაში ინფერენციის ძრავის ბინარული ფაილის მოძიება ან თქვენს მიერ აშკარად დამტკიცებული ინსტრუმენტის ზარი.

მნიშვნელოვანია იცოდეთ

ინფერენცია მუშაობს თქვენი ტელეფონის პროცესორზე, ამიტომ სიჩქარე დამოკიდებულია თქვენს ჩიპსეტსა და თქვენს მიერ არჩეულ მოდელის ზომაზე - პატარა მოდელები (1-4B პარამეტრები) ყველაზე მეტად რეაგირებენ ტელეფონების უმეტესობაზე, ხოლო უფრო დიდი მოდელები ხელმისაწვდომია, თუ თქვენს აპარატურას შეუძლია მათი გადატანა. აქტიური გენერაცია რეალური გამოთვლითი სამუშაოა, ამიტომ ველით ნორმალურ ბატარეას და თერმულ დატვირთვას, ისევე როგორც მოწყობილობაზე ნებისმიერი ხელოვნური ინტელექტის დავალება.

ვისთვის არის ეს?

კონფიდენციალურობისადმი მგრძნობიარე მომხმარებლებისთვის, ადგილობრივი ხელოვნური ინტელექტის მოყვარულებისთვის, დეველოპერებისთვის, რომლებიც უკვე იყენებენ TurboLLM-ს ან llama.cpp-ს კომპიუტერზე და ყველასთვის, ვისაც აინტერესებს, როგორია ნამდვილად ოფლაინ LLM ჩატი ტელეფონზე - თქვენი კონტროლის ქვეშ, თქვენს აპარატურაზე, მოწყობილობიდან არაფრის გასვლის გარეშე.