TurboLLM: Offline AI Chat

TurboLLM chạy các mô hình ngôn ngữ lớn thực sự trực tiếp trên CPU của điện thoại Android của bạn — không cần đám mây, không cần tài khoản, không cần đăng ký và không cần kết nối internet sau khi mô hình được tải xuống.

TẠI SAO LÀ AI CỤC BỘ

Hầu hết các ứng dụng "trò chuyện AI" chỉ là một lớp bao bọc mỏng xung quanh API đám mây của bên thứ ba: các câu lệnh của bạn rời khỏi điện thoại, các cuộc trò chuyện của bạn nằm trên máy chủ mà bạn không kiểm soát và ứng dụng ngừng hoạt động ngay khi bạn mất tín hiệu. TurboLLM thì khác. Mô hình chạy trong một công cụ suy luận thực sự trên thiết bị (llama.cpp, được biên dịch cho Android) và cuộc trò chuyện của bạn không bao giờ phải rời khỏi điện thoại.

NHỮNG GÌ BẠN CÓ THỂ LÀM

- Trò chuyện với các LLM cục bộ có trọng lượng mở — Llama, Qwen, Gemma và bất kỳ mô hình GGUF nào khác — hoàn toàn ngoại tuyến, ngay cả khi ở chế độ máy bay.

- Khám phá và tải xuống các mô hình trực tiếp từ Hugging Face, ngay trong ứng dụng, chỉ với một lần chạm.

- Công cụ suy luận tự động cài đặt lần đầu tiên bạn cần — không cần thiết lập thủ công, không cần biên dịch, không cần thiết bị đầu cuối.

- Tạo các tác nhân AI tùy chỉnh với lời nhắc hệ thống và quyền truy cập kỹ năng/công cụ riêng, cho các nhiệm vụ khác nhau — hỗ trợ lập trình, viết bài, nghiên cứu, hoặc một trang trắng hoàn toàn không có hướng dẫn nào được chèn vào.

- Theo dõi việc sử dụng của bạn theo thời gian: phiên, tin nhắn, tổng số token được tạo, chuỗi liên tiếp và mô hình được sử dụng nhiều nhất của bạn — tất cả đều được tính toán cục bộ từ lịch sử của riêng bạn.

- Tinh chỉnh việc tạo với các điều khiển cho mỗi cuộc trò chuyện: ngân sách suy nghĩ, lấy mẫu và nỗ lực suy luận, đối với các mô hình hỗ trợ chúng.

- Giao diện giống như ứng dụng máy tính để bàn của TurboLLM (Windows, Mac, Linux) — nếu bạn đã sử dụng TurboLLM trên máy tính, điện thoại của bạn hoạt động chính xác theo cùng một cách.

BẢO MẬT RIÊNG TƯ

- Không cần tài khoản, không cần đăng nhập, không có máy chủ đám mây cho các cuộc trò chuyện của bạn.

- Không có dữ liệu đo từ xa, không có phân tích, không có SDK báo cáo sự cố nào được gửi về máy chủ trong bản dựng này.

- Các cuộc trò chuyện và mô hình đã tải xuống chỉ tồn tại trong bộ nhớ riêng tư của ứng dụng này trên thiết bị của bạn.

- Lời nhắc, tệp và trọng số mô hình của bạn không bao giờ được gửi cho chúng tôi hoặc bất kỳ ai khác. Ứng dụng này chỉ thực hiện các yêu cầu mạng do chính bạn kích hoạt: tải xuống mô hình bạn đã chọn, tải xuống tệp nhị phân của công cụ suy luận lần đầu tiên cần thiết, hoặc gọi một công cụ mà bạn đã phê duyệt rõ ràng.

ĐÁNG BIẾT

Quá trình suy luận chạy trên CPU của điện thoại, vì vậy tốc độ phụ thuộc vào chipset và kích thước mô hình bạn chọn — các mô hình nhỏ hơn (1-4 tỷ tham số) cho cảm giác phản hồi nhanh nhất trên hầu hết các điện thoại, và các mô hình lớn hơn sẽ có sẵn nếu phần cứng của bạn có thể xử lý được. Quá trình tạo mô hình chủ động là công việc tính toán thực sự, vì vậy hãy kỳ vọng vào mức tiêu hao pin và nhiệt độ bình thường, giống như bất kỳ tác vụ AI nào trên thiết bị.

ỨNG DỤNG CHO AI

Người dùng quan tâm đến quyền riêng tư, những người đam mê AI cục bộ, các nhà phát triển đã chạy TurboLLM hoặc llama.cpp trên máy tính, và bất kỳ ai tò mò về cảm giác trò chuyện LLM ngoại tuyến thực sự trên điện thoại — dưới sự kiểm soát của bạn, trên phần cứng của bạn, mà không có bất kỳ dữ liệu nào rời khỏi thiết bị.