TurboLLM: Offline AI Chat

TurboLLMは、AndroidスマートフォンのCPU上で、実際の大規模言語モデルを直接実行します。クラウド、アカウント、サブスクリプション、そしてモデルのダウンロード後はインターネット接続も不要です。

ローカルAIのメリット

多くの「AIチャット」アプリは、他社のクラウドAPIを薄くラップしただけのものです。そのため、入力した内容はスマートフォンから送信され、会話データはユーザーが制御できないサーバーに保存されます。そして、電波が途切れるとアプリは動作しなくなります。TurboLLMは違います。モデルはデバイス上の推論エンジン（Android用にコンパイルされたllama.cpp）で実行されるため、会話データはスマートフォンから送信されることはありません。

できること

- オープンウェイトのローカルLLM（Llama、Qwen、Gemma、その他GGUFモデル）と、機内モードでも完全にオフラインでチャットできます。

- アプリ内から、Hugging Faceから直接モデルを検索してダウンロードできます。ワンタップで完了します。

- 推論エンジンは初回使用時に自動的にインストールされます。手動設定、コンパイル、ターミナル操作は一切不要です。

- 独自のシステムプロンプトとスキル/ツールアクセス権限を持つカスタムAIエージェントを作成し、コーディング支援、ライティング、リサーチ、あるいは指示が一切注入されていない完全な白紙状態など、さまざまなタスクに対応できます。

- セッション数、メッセージ数、生成されたトークン総数、連続使用数、最もよく使用するモデルなど、使用状況を時系列で追跡できます。これらはすべて、ユーザーの履歴に基づいてローカルで計算されます。

- チャットごとのコントロールで生成を微調整できます。思考予算、サンプリング、推論の労力など、対応するモデルで設定可能です。

- TurboLLMのデスクトップアプリ（Windows、Mac、Linux）と同じインターフェースです。パソコンでTurboLLMを使用したことがある方なら、スマートフォンでも全く同じように操作できます。

プライバシーを重視した設計

- アカウント、ログイン、会話用のクラウドバックエンドは不要です。

- このビルドでは、テレメトリ、分析、クラッシュレポートSDKによる外部へのデータ送信は一切行いません。

- チャットとダウンロードしたモデルは、デバイス上のこのアプリのプライベートストレージにのみ保存されます。

プロンプト、ファイル、モデルの重みは、当社または第三者に送信されることはありません。このアプリが行うネットワークリクエストは、ユーザー自身がトリガーしたもののみです。例えば、選択したモデルのダウンロード、推論エンジンのバイナリを初めて必要とする場合の取得、または明示的に承認したツール呼び出しなどです。

知っておくべき点

推論はスマートフォンのCPU上で実行されるため、速度はチップセットと選択したモデルサイズに依存します。ほとんどのスマートフォンでは、小さなモデル（1～40億パラメータ）が最もレスポンスが良く、ハードウェアが対応していれば大きなモデルも使用できます。アクティブ生成は実際の計算処理であるため、他のデバイス上のAIタスクと同様に、バッテリー消費と発熱が予想されます。

対象ユーザー

プライバシーを重視するユーザー、ローカルAI愛好家、既にコンピュータ上でTurboLLMまたはllama.cppを実行している開発者、そして、デバイスからデータが一切送信されない、完全にオフラインのLLMチャットをスマートフォンで体験してみたい方。