TurboLLM: Offline AI Chat

TurboLLM ನಿಮ್ಮ Android ಫೋನ್‌ನ CPU ನಲ್ಲಿ ನೇರವಾಗಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ - ಯಾವುದೇ ಕ್ಲೌಡ್ ಇಲ್ಲ, ಖಾತೆ ಇಲ್ಲ, ಚಂದಾದಾರಿಕೆ ಇಲ್ಲ ಮತ್ತು ಮಾದರಿಯನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದ ನಂತರ ಇಂಟರ್ನೆಟ್ ಸಂಪರ್ಕದ ಅಗತ್ಯವಿಲ್ಲ.

ಸ್ಥಳೀಯ AI ಏಕೆ

ಹೆಚ್ಚಿನ "AI ಚಾಟ್" ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಬೇರೊಬ್ಬರ ಕ್ಲೌಡ್ API ಸುತ್ತಲೂ ತೆಳುವಾದ ಹೊದಿಕೆಯಾಗಿದೆ: ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ನಿಮ್ಮ ಫೋನ್‌ನಿಂದ ಹೊರಹೋಗುತ್ತವೆ, ನಿಮ್ಮ ಸಂಭಾಷಣೆಗಳು ನೀವು ನಿಯಂತ್ರಿಸದ ಸರ್ವರ್‌ನಲ್ಲಿ ಕುಳಿತುಕೊಳ್ಳುತ್ತವೆ ಮತ್ತು ನೀವು ಸಿಗ್ನಲ್ ಕಳೆದುಕೊಂಡ ಕ್ಷಣ ಅಪ್ಲಿಕೇಶನ್ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆ. TurboLLM ವಿಭಿನ್ನವಾಗಿದೆ. ಮಾದರಿಯು ನಿಜವಾದ ಆನ್-ಡಿವೈಸ್ ಇನ್ಫರೆನ್ಸ್ ಎಂಜಿನ್‌ನಲ್ಲಿ (llama.cpp, Android ಗಾಗಿ ಸಂಕಲಿಸಲಾಗಿದೆ) ಚಲಿಸುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಸಂಭಾಷಣೆಯು ನಿಮ್ಮ ಫೋನ್‌ನಿಂದ ಎಂದಿಗೂ ಹೊರಹೋಗಬೇಕಾಗಿಲ್ಲ.

ನೀವು ಏನು ಮಾಡಬಹುದು

- ಓಪನ್-ವೇಟ್ ಸ್ಥಳೀಯ LLM ಗಳೊಂದಿಗೆ ಚಾಟ್ ಮಾಡಿ - Llama, Qwen, Gemma, ಮತ್ತು ಯಾವುದೇ ಇತರ GGUF ಮಾದರಿ - ಸಂಪೂರ್ಣವಾಗಿ ಆಫ್‌ಲೈನ್, ಏರ್‌ಪ್ಲೇನ್ ಮೋಡ್‌ನಲ್ಲಿಯೂ ಸಹ.
- ಹಗ್ಗಿಂಗ್ ಫೇಸ್‌ನಿಂದ ನೇರವಾಗಿ ಮಾದರಿಗಳನ್ನು ಒಂದೇ ಟ್ಯಾಪ್‌ನೊಂದಿಗೆ ಅನ್ವೇಷಿಸಿ ಮತ್ತು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ.
- ನಿಮಗೆ ಅಗತ್ಯವಿರುವ ಮೊದಲ ಬಾರಿಗೆ ಅನುಮಾನ ಎಂಜಿನ್ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಸ್ವತಃ ಸ್ಥಾಪಿಸುತ್ತದೆ - ಯಾವುದೇ ಹಸ್ತಚಾಲಿತ ಸೆಟಪ್ ಇಲ್ಲ, ಯಾವುದೇ ಕಂಪೈಲಿಂಗ್ ಇಲ್ಲ, ಟರ್ಮಿನಲ್ ಇಲ್ಲ.
- ಕೋಡಿಂಗ್ ಸಹಾಯ, ಬರವಣಿಗೆ, ಸಂಶೋಧನೆ ಅಥವಾ ಶೂನ್ಯ ಇಂಜೆಕ್ಟ್ ಮಾಡಿದ ಸೂಚನೆಗಳೊಂದಿಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಖಾಲಿ ಸ್ಲೇಟ್ - ವಿಭಿನ್ನ ಕಾರ್ಯಗಳಿಗಾಗಿ ತಮ್ಮದೇ ಆದ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಕೌಶಲ್ಯ/ಪರಿಕರ ಪ್ರವೇಶದೊಂದಿಗೆ ಕಸ್ಟಮ್ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ರಚಿಸಿ.
- ಕಾಲಾನಂತರದಲ್ಲಿ ನಿಮ್ಮ ಸ್ವಂತ ಬಳಕೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ: ಸೆಷನ್‌ಗಳು, ಸಂದೇಶಗಳು, ಒಟ್ಟು ಟೋಕನ್‌ಗಳನ್ನು ರಚಿಸಲಾಗಿದೆ, ಸ್ಟ್ರೀಕ್‌ಗಳು ಮತ್ತು ನಿಮ್ಮ ಹೆಚ್ಚು ಬಳಸಿದ ಮಾದರಿ - ಎಲ್ಲವನ್ನೂ ನಿಮ್ಮ ಸ್ವಂತ ಇತಿಹಾಸದಿಂದ ಸ್ಥಳೀಯವಾಗಿ ಲೆಕ್ಕಹಾಕಲಾಗಿದೆ.
- ಪ್ರತಿ-ಚಾಟ್ ನಿಯಂತ್ರಣಗಳೊಂದಿಗೆ ಪೀಳಿಗೆಯನ್ನು ಉತ್ತಮಗೊಳಿಸಿ: ಚಿಂತನೆಯ ಬಜೆಟ್, ಮಾದರಿ ಮತ್ತು ತಾರ್ಕಿಕ ಪ್ರಯತ್ನ, ಅವುಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಮಾದರಿಗಳಿಗಾಗಿ.
- TurboLLM ನ ಡೆಸ್ಕ್‌ಟಾಪ್ ಅಪ್ಲಿಕೇಶನ್ (ವಿಂಡೋಸ್, ಮ್ಯಾಕ್, ಲಿನಕ್ಸ್) ನಂತೆಯೇ ಅದೇ ಇಂಟರ್ಫೇಸ್ - ನೀವು ಕಂಪ್ಯೂಟರ್‌ನಲ್ಲಿ TurboLLM ಅನ್ನು ಬಳಸಿದ್ದರೆ, ನಿಮ್ಮ ಫೋನ್ ನಿಖರವಾಗಿ ಅದೇ ರೀತಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

ವಿನ್ಯಾಸದಿಂದ ಗೌಪ್ಯತೆ

- ಯಾವುದೇ ಖಾತೆ ಇಲ್ಲ, ಲಾಗಿನ್ ಇಲ್ಲ, ನಿಮ್ಮ ಸಂಭಾಷಣೆಗಳಿಗೆ ಕ್ಲೌಡ್ ಬ್ಯಾಕೆಂಡ್ ಇಲ್ಲ.
- ಟೆಲಿಮೆಟ್ರಿ ಇಲ್ಲ, ವಿಶ್ಲೇಷಣೆ ಇಲ್ಲ, ಕ್ರ್ಯಾಶ್-ರಿಪೋರ್ಟಿಂಗ್ SDK ಈ ಬಿಲ್ಡ್‌ನಲ್ಲಿ ಮನೆಗೆ ಫೋನ್ ಮಾಡುವುದಿಲ್ಲ.
- ಚಾಟ್‌ಗಳು ಮತ್ತು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದ ಮಾದರಿಗಳು ನಿಮ್ಮ ಸಾಧನದಲ್ಲಿ ಈ ಅಪ್ಲಿಕೇಶನ್‌ನ ಖಾಸಗಿ ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಮಾತ್ರ ವಾಸಿಸುತ್ತವೆ.
- ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಫೈಲ್‌ಗಳು ಮತ್ತು ಮಾದರಿ ತೂಕವನ್ನು ಎಂದಿಗೂ ನಮಗೆ ಅಥವಾ ಬೇರೆಯವರಿಗೆ ಕಳುಹಿಸಲಾಗುವುದಿಲ್ಲ. ಈ ಅಪ್ಲಿಕೇಶನ್ ಮಾಡುವ ನೆಟ್‌ವರ್ಕ್ ವಿನಂತಿಗಳು ನೀವೇ ಟ್ರಿಗರ್ ಮಾಡಿದವುಗಳು ಮಾತ್ರ: ನೀವು ಆಯ್ಕೆ ಮಾಡಿದ ಮಾದರಿಯನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡುವುದು, ಅಗತ್ಯವಿರುವ ಮೊದಲ ಬಾರಿಗೆ ಅನುಮಾನ ಎಂಜಿನ್ ಬೈನರಿಯನ್ನು ಪಡೆಯುವುದು ಅಥವಾ ನೀವು ಸ್ಪಷ್ಟವಾಗಿ ಅನುಮೋದಿಸಿದ ಪರಿಕರ ಕರೆ.

ತಿಳಿದುಕೊಳ್ಳಲು ಯೋಗ್ಯವಾಗಿದೆ

ಅನುಮಾನವು ನಿಮ್ಮ ಫೋನ್‌ನ CPU ನಲ್ಲಿ ಚಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ವೇಗವು ನಿಮ್ಮ ಚಿಪ್‌ಸೆಟ್ ಮತ್ತು ನೀವು ಆಯ್ಕೆ ಮಾಡುವ ಮಾದರಿ ಗಾತ್ರವನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ - ಸಣ್ಣ ಮಾದರಿಗಳು (1-4B ನಿಯತಾಂಕಗಳು) ಹೆಚ್ಚಿನ ಫೋನ್‌ಗಳಲ್ಲಿ ಹೆಚ್ಚು ಸ್ಪಂದಿಸುತ್ತವೆ ಮತ್ತು ನಿಮ್ಮ ಹಾರ್ಡ್‌ವೇರ್ ಅವುಗಳನ್ನು ಸಾಗಿಸಲು ಸಾಧ್ಯವಾದರೆ ದೊಡ್ಡವುಗಳು ಇರುತ್ತವೆ. ಸಕ್ರಿಯ ಉತ್ಪಾದನೆಯು ನಿಜವಾದ ಕಂಪ್ಯೂಟ್ ಕೆಲಸವಾಗಿದೆ, ಆದ್ದರಿಂದ ಯಾವುದೇ ಆನ್-ಡಿವೈಸ್ AI ಕಾರ್ಯದಂತೆಯೇ ಸಾಮಾನ್ಯ ಬ್ಯಾಟರಿ ಮತ್ತು ಥರ್ಮಲ್ ಲೋಡ್ ಅನ್ನು ನಿರೀಕ್ಷಿಸಿ.

ಇದು ಯಾರಿಗಾಗಿ

ಗೌಪ್ಯತೆ-ಪ್ರಜ್ಞೆಯುಳ್ಳ ಬಳಕೆದಾರರು, ಸ್ಥಳೀಯ-AI ಉತ್ಸಾಹಿಗಳು, ಕಂಪ್ಯೂಟರ್‌ನಲ್ಲಿ ಈಗಾಗಲೇ TurboLLM ಅಥವಾ llama.cpp ಅನ್ನು ಚಲಾಯಿಸುವ ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಫೋನ್‌ನಲ್ಲಿ ನಿಜವಾದ ಆಫ್‌ಲೈನ್ LLM ಚಾಟ್ ಹೇಗಿರುತ್ತದೆ ಎಂದು ಕುತೂಹಲ ಹೊಂದಿರುವ ಯಾರಾದರೂ - ನಿಮ್ಮ ನಿಯಂತ್ರಣದಲ್ಲಿ, ನಿಮ್ಮ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ, ಸಾಧನವನ್ನು ಬಿಡದೆ.