TurboLLM: Offline AI Chat

TurboLLM ໃຊ້ຮູບແບບພາສາຂະໜາດໃຫຍ່ໂດຍກົງໃນ CPU ຂອງໂທລະສັບ Android ຂອງທ່ານ — ບໍ່ມີຄລາວ, ບໍ່ມີບັນຊີ, ບໍ່ມີການສະໝັກໃຊ້, ແລະ ບໍ່ຕ້ອງເຊື່ອມຕໍ່ອິນເຕີເນັດເມື່ອດາວໂຫລດຮູບແບບແລ້ວ.

ເປັນຫຍັງຕ້ອງໃຊ້ AI ທ້ອງຖິ່ນ

ແອັບ "ສົນທະນາ AI" ສ່ວນໃຫຍ່ແມ່ນຄ້າຍຄືກັບ API ຄລາວຂອງຄົນອື່ນ: ການແຈ້ງເຕືອນຂອງທ່ານຈະອອກຈາກໂທລະສັບຂອງທ່ານ, ການສົນທະນາຂອງທ່ານຈະຢູ່ໃນເຊີບເວີທີ່ທ່ານບໍ່ໄດ້ຄວບຄຸມ, ແລະ ແອັບຈະຢຸດເຮັດວຽກທັນທີທີ່ທ່ານສູນເສຍສັນຍານ. TurboLLM ແຕກຕ່າງ. ຮູບແບບເຮັດວຽກໃນເຄື່ອງຈັກອະນຸມານໃນອຸປະກອນຕົວຈິງ (llama.cpp, ລວບລວມສຳລັບ Android), ແລະ ການສົນທະນາຂອງທ່ານບໍ່ຈຳເປັນຕ້ອງອອກຈາກໂທລະສັບຂອງທ່ານ.

ສິ່ງທີ່ທ່ານສາມາດເຮັດໄດ້

- ສົນທະນາກັບ LLM ທ້ອງຖິ່ນທີ່ມີນ້ຳໜັກເປີດ — Llama, Qwen, Gemma, ແລະ ຮູບແບບ GGUF ອື່ນໆ — ອອບລາຍໄດ້ຢ່າງສົມບູນ, ເຖິງແມ່ນວ່າຈະຢູ່ໃນໂໝດເຮືອບິນກໍຕາມ.
- ຄົ້ນພົບ ແລະ ດາວໂຫຼດຮູບແບບໂດຍກົງຈາກ Hugging Face, ພາຍໃນແອັບ, ດ້ວຍການແຕະພຽງຄັ້ງດຽວ.
- ເຄື່ອງຈັກອະນຸມານຈະຕິດຕັ້ງຕົວມັນເອງໂດຍອັດຕະໂນມັດໃນຄັ້ງທຳອິດທີ່ທ່ານຕ້ອງການ — ບໍ່ມີການຕັ້ງຄ່າດ້ວຍຕົນເອງ, ບໍ່ມີການລວບລວມ, ບໍ່ມີເຄື່ອງຮັບສັນຍານ.
- ສ້າງຕົວແທນ AI ທີ່ກຳນົດເອງດ້ວຍການກະຕຸ້ນລະບົບ ແລະ ການເຂົ້າເຖິງທັກສະ/ເຄື່ອງມືຂອງຕົນເອງ, ສຳລັບວຽກງານຕ່າງໆ - ການຊ່ວຍເຫຼືອດ້ານການຂຽນໂປຣແກຣມ, ການຂຽນ, ການຄົ້ນຄວ້າ, ຫຼື ແຜ່ນກະດານຫວ່າງເປົ່າທີ່ບໍ່ມີຄຳແນະນຳໃດໆ.
- ຕິດຕາມການນຳໃຊ້ຂອງທ່ານເອງໃນໄລຍະເວລາ: ກອງປະຊຸມ, ຂໍ້ຄວາມ, ໂທເຄັນທັງໝົດທີ່ສ້າງຂຶ້ນ, ເສັ້ນ, ແລະ ຮູບແບບທີ່ໃຊ້ຫຼາຍທີ່ສຸດຂອງທ່ານ - ທັງໝົດຄິດໄລ່ໃນທ້ອງຖິ່ນຈາກປະຫວັດຂອງທ່ານເອງ.
- ປັບແຕ່ງການສ້າງແບບລະອຽດດ້ວຍການຄວບຄຸມຕໍ່ການສົນທະນາ: ງົບປະມານການຄິດ, ການເກັບຕົວຢ່າງ, ແລະ ຄວາມພະຍາຍາມໃນການຫາເຫດຜົນ, ສຳລັບຮູບແບບທີ່ຮອງຮັບພວກມັນ.
- ອິນເຕີເຟດດຽວກັນກັບແອັບເດັສທັອບຂອງ TurboLLM (Windows, Mac, Linux) - ຖ້າທ່ານເຄີຍໃຊ້ TurboLLM ໃນຄອມພິວເຕີ, ໂທລະສັບຂອງທ່ານເຮັດວຽກໃນລັກສະນະດຽວກັນ.

ຄວາມເປັນສ່ວນຕົວຕາມການອອກແບບ

- ບໍ່ມີບັນຊີ, ບໍ່ມີການເຂົ້າສູ່ລະບົບ, ບໍ່ມີ backend ຄລາວສຳລັບການສົນທະນາຂອງທ່ານ.
- ບໍ່ມີ telemetry, ບໍ່ມີການວິເຄາະ, ບໍ່ມີ SDK ລາຍງານການຂັດຂ້ອງທີ່ໂທຫາບ້ານໃນ build ນີ້.
- ການສົນທະນາ ແລະ ຮູບແບບທີ່ດາວໂຫຼດມາຈະຢູ່ໃນບ່ອນເກັບຂໍ້ມູນສ່ວນຕົວຂອງແອັບນີ້ໃນອຸປະກອນຂອງທ່ານເທົ່ານັ້ນ.
- ການກະຕຸ້ນ, ໄຟລ໌, ແລະ ນ້ຳໜັກຮູບແບບຂອງທ່ານຈະບໍ່ຖືກສົ່ງໄປຫາພວກເຮົາ ຫຼື ຜູ້ອື່ນ. ການຮ້ອງຂໍເຄືອຂ່າຍດຽວທີ່ແອັບນີ້ເຮັດແມ່ນການຮ້ອງຂໍທີ່ທ່ານໄດ້ກະຕຸ້ນດ້ວຍຕົວທ່ານເອງ: ການດາວໂຫຼດຮູບແບບທີ່ທ່ານເລືອກ, ການດຶງຂໍ້ມູນໄບນາຣີຂອງເຄື່ອງຈັກອະນຸມານໃນຄັ້ງທຳອິດທີ່ມັນຕ້ອງການ, ຫຼືການໂທຫາເຄື່ອງມືທີ່ທ່ານໄດ້ອະນຸມັດຢ່າງຊັດເຈນ.

ສິ່ງທີ່ຄວນຮູ້

Inference ເຮັດວຽກຢູ່ໃນ CPU ຂອງໂທລະສັບຂອງທ່ານ, ສະນັ້ນຄວາມໄວແມ່ນຂຶ້ນກັບຊິບເຊັດຂອງທ່ານ ແລະ ຂະໜາດຮູບແບບທີ່ທ່ານເລືອກ - ຮູບແບບຂະໜາດນ້ອຍກວ່າ (ພາລາມິເຕີ 1-4B) ຮູ້ສຶກຕອບສະໜອງໄດ້ດີທີ່ສຸດໃນໂທລະສັບສ່ວນໃຫຍ່, ແລະຮູບແບບຂະໜາດໃຫຍ່ກວ່າຈະຢູ່ທີ່ນັ້ນຖ້າຮາດແວຂອງທ່ານສາມາດຮອງຮັບພວກມັນໄດ້. ການສ້າງແບບເຄື່ອນໄຫວແມ່ນວຽກງານການຄິດໄລ່ທີ່ແທ້ຈິງ, ສະນັ້ນຄາດຫວັງວ່າແບັດເຕີຣີ ແລະ ການໂຫຼດຄວາມຮ້ອນປົກກະຕິ, ຄືກັນກັບວຽກງານ AI ໃນອຸປະກອນໃດໆ.

ສຳລັບໃຜ

ຜູ້ໃຊ້ທີ່ຄຳນຶງເຖິງຄວາມເປັນສ່ວນຕົວ, ຜູ້ທີ່ມັກ AI ໃນທ້ອງຖິ່ນ, ນັກພັດທະນາທີ່ໃຊ້ງານ TurboLLM ຫຼື llama.cpp ໃນຄອມພິວເຕີແລ້ວ, ແລະ ຜູ້ໃດກໍຕາມທີ່ຢາກຮູ້ວ່າການສົນທະນາ LLM ແບບອອບໄລນ໌ແທ້ໆຮູ້ສຶກແນວໃດໃນໂທລະສັບ - ພາຍໃຕ້ການຄວບຄຸມຂອງທ່ານ, ໃນຮາດແວຂອງທ່ານ, ໂດຍບໍ່ມີຫຍັງອອກຈາກອຸປະກອນ.