Penggunaan GGUF dengan GPT4All

GPT4All adalah aplikasi LLM open-source yang dikembangkan oleh Nomic. Versi 2.7.2 memperkenalkan fitur eksperimental baru yang disebut Model Discovery.

Model Discovery menyediakan cara bawaan untuk mencari dan mengunduh model GGUF dari Hub. Untuk memulai, buka GPT4All dan klik Download Models. Dari sini, Anda dapat menggunakan bilah pencarian untuk menemukan model.

Setelah Anda memilih dan mengunduh model, Anda dapat membuka Settings dan menyediakan template prompt yang sesuai dalam format GPT4All (placeholder %1 dan %2).

Lalu dari halaman utama, Anda dapat memilih model dari daftar model yang terinstal dan memulai percakapan.

Update on GitHub