TurboLLM: Offline AI Chat

TurboLLM은 클라우드, 계정, 구독, 인터넷 연결 없이도 안드로이드 스마트폰의 CPU에서 직접 대규모 언어 모델을 실행합니다.

로컬 AI의 장점

대부분의 "AI 채팅" 앱은 다른 회사의 클라우드 API를 단순히 감싸는 것에 불과합니다. 사용자의 메시지는 스마트폰을 벗어나고, 대화 내용은 사용자가 제어할 수 없는 서버에 저장되며, 신호가 끊기면 앱이 작동을 멈춥니다. TurboLLM은 다릅니다. 모델은 실제 온디바이스 추론 엔진(안드로이드용으로 컴파일된 llama.cpp)에서 실행되며, 대화 내용은 항상 스마트폰에 저장됩니다.

주요 기능

- Llama, Qwen, Gemma 등 GGUF의 모든 오픈 웨이트 로컬 언어 모델(LLM)을 사용하여 오프라인 상태에서도, 심지어 비행기 모드에서도 채팅할 수 있습니다.

- Hugging Face 앱 내에서 탭 한 번으로 모델을 검색하고 다운로드할 수 있습니다.

- 추론 엔진은 처음 사용할 때 자동으로 설치됩니다. 수동 설정, 컴파일, 터미널 작업이 필요 없습니다.

- 코딩 지원, 글쓰기, 연구 등 다양한 작업을 위한 맞춤형 AI 에이전트를 생성하고, 에이전트에 고유한 시스템 프롬프트와 스킬/도구 접근 권한을 부여할 수 있습니다. 또는 아무런 명령어도 주입되지 않은 완전히 빈 상태로 시작할 수도 있습니다.

- 세션, 메시지, 생성된 총 토큰 수, 연속 사용 기록, 가장 많이 사용한 모델 등 사용량 추이를 실시간으로 추적할 수 있습니다. 모든 데이터는 사용자의 기록을 기반으로 로컬에서 계산됩니다.

- 채팅별 제어 기능을 통해 생성 과정을 세밀하게 조정할 수 있습니다. 사고 예산, 샘플링, 추론 노력 등을 설정할 수 있으며, 해당 기능을 지원하는 모델에 한해 사용 가능합니다.

- TurboLLM 데스크톱 앱(Windows, Mac, Linux)과 동일한 인터페이스를 제공합니다. 컴퓨터에서 TurboLLM을 사용해 보셨다면, 휴대폰에서도 동일하게 사용할 수 있습니다.

개인정보 보호를 최우선으로 설계했습니다.

- 계정 생성, 로그인, 클라우드 백엔드 연결이 필요 없습니다.

- 원격 측정, 분석, 충돌 보고 SDK를 사용하여 데이터를 외부 서버로 전송하지 않습니다.

- 채팅 및 다운로드한 모델은 사용자의 기기에 있는 앱의 개인 저장소에만 저장됩니다.

- 사용자의 프롬프트, 파일 및 모델 가중치는 저희를 포함한 그 누구에게도 전송되지 않습니다. 이 앱이 수행하는 네트워크 요청은 사용자가 직접 요청한 경우뿐입니다. 예를 들어, 사용자가 선택한 모델을 다운로드하거나, 추론 엔진 바이너리가 필요할 때 처음 가져오거나, 사용자가 명시적으로 승인한 도구를 호출하는 경우입니다.

참고 사항

추론은 휴대폰의 CPU에서 실행되므로 속도는 칩셋과 선택한 모델 크기에 따라 달라집니다. 대부분의 휴대폰에서는 작은 모델(1~40억 개의 파라미터)이 가장 빠른 응답 속도를 제공하며, 하드웨어 사양이 허용하는 경우 더 큰 모델도 사용할 수 있습니다. 능동적인 생성은 실제 컴퓨팅 작업이므로 다른 온디바이스 AI 작업과 마찬가지로 일반적인 배터리 소모 및 발열이 발생합니다.

대상

개인 정보 보호를 중요하게 생각하는 사용자, 로컬 AI 애호가, 이미 컴퓨터에서 TurboLLM 또는 llama.cpp를 실행하는 개발자, 그리고 휴대폰에서 완전히 오프라인으로 실행되는 LLM 채팅이 어떤 느낌인지 궁금한 모든 사용자에게 적합합니다. 모든 데이터는 사용자의 기기에서 직접 관리되며, 외부로 전송되지 않습니다.