TurboLLM: Offline AI Chat

TurboLLM מריץ מודלים של שפות גדולות אמיתיות ישירות על המעבד של טלפון האנדרואיד שלך - ללא ענן, ללא חשבון, ללא מנוי וללא צורך בחיבור לאינטרנט לאחר הורדת מודל.

למה בינה מלאכותית מקומית

רוב אפליקציות "צ'אט בינה מלאכותית" הן עטיפה דקה סביב ממשק ה-API של ענן של מישהו אחר: ההנחיות שלך עוזבות את הטלפון שלך, השיחות שלך נמצאות בשרת שאינך שולט בו, והאפליקציה מפסיקה לעבוד ברגע שאתה מאבד קליטה. TurboLLM שונה. המודל פועל במנוע הסקה אמיתי במכשיר (llama.cpp, קומפילציה עבור אנדרואיד), והשיחה שלך לעולם לא צריכה לעזוב את הטלפון שלך.

מה אתה יכול לעשות

- צ'אט עם מומחי LLM מקומיים בעלי משקל פתוח - Llama, Qwen, Gemma וכל מודל GGUF אחר - במצב לא מקוון לחלוטין, אפילו במצב טיסה.
- גלה והורד מודלים ישירות מ-Hugging Face, ישירות בתוך האפליקציה, בנגיעה אחת.
- מנוע ההסקה מתקין את עצמו אוטומטית בפעם הראשונה שאתה זקוק לו - ללא הגדרה ידנית, ללא קומפילציה, ללא מסוף.
- צור סוכני בינה מלאכותית מותאמים אישית עם הנחיות מערכת וגישה למיומנות/כלי משלהם, עבור משימות שונות - עזרה בקידוד, כתיבה, מחקר או דף חלק לחלוטין ללא הוראות מוזרקות.
- עקוב אחר השימוש שלך לאורך זמן: סשנים, הודעות, סך כל האסימונים שנוצרו, רצפים והמודל הנפוץ ביותר שלך - הכל מחושב באופן מקומי מההיסטוריה שלך.
- כוונן את היצירה עם בקרות לכל צ'אט: תקציב חשיבה, דגימה ומאמץ הנמקה, עבור מודלים התומכים בהם.
- אותו ממשק כמו אפליקציית שולחן העבודה של TurboLLM (Windows, Mac, Linux) - אם השתמשת ב-TurboLLM במחשב, הטלפון שלך יעבוד בדיוק באותו אופן.

פרטיות מעוצבת

- אין חשבון, אין התחברות, אין backend ענן לשיחות שלך.
- אין טלמטריה, אין ניתוחים, אין SDK לדיווח קריסות שמתקשר הביתה בבנייה זו.
- צ'אטים ומודלים שהורדו חיים רק באחסון הפרטי של אפליקציה זו במכשיר שלך.
- ההנחיות, הקבצים ומשקלי המודל שלך לעולם לא נשלחים אלינו או לאף אחד אחר. בקשות הרשת היחידות שהאפליקציה הזו מבצעת הן כאלה שהפעלת בעצמך: הורדת מודל שבחרת, אחזור קובץ הבינארי של מנוע ההסקה בפעם הראשונה שהוא נחוץ, או קריאה לכלי שאישרת במפורש.

כדאי לדעת

הסקה פועלת על המעבד של הטלפון שלך, כך שהמהירות תלויה בערכת השבבים שלך ובגודל הדגם שתבחר - דגמים קטנים יותר (פרמטרים של 1-4B) מרגישים הכי מהירים ברוב הטלפונים, ודגמים גדולים יותר קיימים אם החומרה שלך יכולה לשאת אותם. יצירה אקטיבית היא עבודת מחשוב אמיתית, אז צפו לעומס סוללה ותרמי רגיל, כמו כל משימת בינה מלאכותית במכשיר.

למי זה מיועד

משתמשים מודעים לפרטיות, חובבי בינה מלאכותית מקומית, מפתחים שכבר מפעילים TurboLLM או llama.cpp במחשב, וכל מי שסקרן איך מרגיש צ'אט LLM לא מקוון באמת בטלפון - תחת שליטתך, על החומרה שלך, בלי שום דבר שיוצא מהמכשיר.