Cara Install dan Jalankan QwQ-32B Secara Lokal di Windows, macOS, dan Linux

Bayangkan memiliki model AI canggih yang berjalan langsung di komputer pribadi—tanpa panggilan API terus-menerus, tanpa tagihan cloud, dan yang paling penting, privasi data tetap utuh. Dengan Alibaba QwQ-32B, AI kelas perusahaan kini dapat bekerja di meja Anda. Panduan berikut menjelaskan langkah-langkah install dan jalankan QwQ-32B secara lokal di Windows, macOS, dan Linux. Prosesnya hampir sama untuk model apa pun di Ollama, membuatnya sangat fleksibel. Jika ingin menjelajahi model canggih lain seperti DeepSeek-R1, GPT-4o, atau Claude 3.7, kunjungi Anakin AI sebagai pusat AI serba guna.

Manfaat Menjalankan QwQ-32B Secara Lokal

1. Privasi: seluruh data tetap di komputer pribadi tanpa dikirim ke cloud.
2. Penghematan Biaya: bebas biaya API berulang; QwQ-32B beroperasi sekitar 0,25 USD per sejuta token.
3. Kustomisasi: lakukan fine-tuning dengan dataset sendiri sesuai kebutuhan.
4. Fleksibilitas: beralih antar-model—Llama 3, Mistral, dll.—dengan langkah sama.

Persyaratan Perangkat Keras

Mac
- Prosesor: Apple Silicon minimal M1 Pro/Max.
- RAM: 24 GB (48 GB lebih ideal).
- Penyimpanan: minimum 100 GB kosong.

Windows
- Prosesor: CPU multi-inti dengan dukungan AVX2/AVX512.
- GPU: RTX 3060 12 GB untuk versi terkuantisasi, RTX 4090 24 GB untuk presisi penuh.
- RAM: 32 GB.
- Penyimpanan: 100 GB.

Linux
- Prosesor: CPU multi-inti atau ARM.
- GPU: RTX 3090/4090 24 GB untuk kuantisasi, A6000 untuk konteks besar.
- RAM: 32 GB.
- Penyimpanan: 100 GB.

Cara Install di Windows

1. Download Ollama di ollama.com, pilih versi Windows, lalu jalankan file .exe.
2. Buka Terminal dari Start Menu.
3. Jalankan perintah: ollama run qwq (untuk FP16) atau ollama run qwq:32b-preview-q4_K_M (untuk VRAM terbatas).
4. Setelah instalasi selesai, tanyakan sesuatu untuk memastikan model aktif.

Cara Install di macOS

1. Buka Terminal, jalankan ollama run qwq.
2. Untuk Mac 48 GB, gunakan kuantisasi 5-bit: ollama run qwq:32b-preview-q5_1.
3. Gunakan Activity Monitor untuk memonitor penggunaan memori.

Cara Install di Linux

1. Buka terminal, jalankan: curl -fsSL https://ollama.com/install.sh | sh.
2. Verifikasi instalasi dengan perintah ollama.
3. Unduh model: ollama pull qwq:32b.
4. Jalankan model: ollama run qwq:32b.

Antarmuka Web Opsional dengan Docker

1. Install Docker Desktop.
2. Jalankan container Open WebUI:
docker run -d -p 8080:8080 --gpus all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3. Buka browser ke http://localhost:8080 untuk antarmuka ChatGPT-like.

Alternatif Cloud untuk Hardware Terbatas

1. Daftar di NodeShift.
2. Jalankan instance GPU A100/A6000.
3. Instal otomatis: curl -sL nodeshift.com/qwq32b-install | bash.

Penyesuaian Model

Buat versi kustom dengan dataset sendiri:
1. Siapkan file Modelfile.
2. Jalankan: ollama create qwq-custom -f Modelfile.

Kesimpulan

Menjalankan QwQ-32B secara lokal memberi kontrol penuh, privasi, dan biaya lebih rendah. Langkah-langkah di atas berlaku universal untuk model Ollama lainnya. Untuk eksplorasi lebih luas, kunjungi Anakin AI.

Iklan

Ingin aplikasi AI yang lebih personal untuk bisnis Anda? Morfotech.id siap membantu. Sebagai developer aplikasi profesional, kami menyediakan solusi AI lokal sesuai kebutuhan Anda. Hubungi WhatsApp +62 811-2288-8001 atau kunjungi https://morfotech.id untuk konsultasi gratis.