Panduan Lengkap: Cara Menginstal dan Menjalankan QwQ-32B di Windows, macOS, dan Linux Secara Lokal

Keunggulan menjalankan AI secara lokal adalah privasi data penuh, biaya operasional lebih rendah, dan kontrol penuh atas model. QwQ-32B dari Alibaba memungkinkan Anda menikmati teknologi ini langsung di komputer sendiri tanpa memerlukan koneksi cloud. Panduan ini menjelaskan langkah-langkah instalasi di tiga sistem operasi populer.

Manfaat menjalankan QwQ-32B secara lokal:
1. Privasi terjaga karena data tidak dikirim ke server eksternal
2. Hemat biaya API berulang, hanya sekitar 0,25 USD per 1 juta token
3. Fleksibilitas untuk menyesuaikan dan memperbarui model sesuai kebutuhan
4. Kemudahan beralih ke model lain seperti Llama 3 atau Mistral menggunakan prosedur serupa

Persyaratan perangkat keras:

macOS:
- Prosesor: Apple Silicon minimal M1 Pro atau M1 Max
- RAM: 24 GB minimum, 48 GB lebih ideal
- Penyimpanan: 100 GB ruang kosong untuk file model

Windows:
- Prosesor: Multi core dengan dukungan AVX2/AVX512
- GPU: RTX 3060 12 GB VRAM untuk versi kuantisasi, RTX 4090 24 GB untuk presisi penuh
- RAM: 32 GB minimum
- Penyimpanan: 100 GB ruang kosong

Linux:
- Prosesor: Multi core x86_64 atau ARM dengan AVX2/AVX512
- GPU: RTX 3090/4090 24 GB VRAM, atau A6000 untuk kinerja maksimal
- RAM: 32 GB minimum
- Penyimpanan: 100 GB ruang kosong

Instalasi di Windows:

Langkah 1: Unduh dan instal Ollama dari ollama.com untuk Windows. Ikuti petunjuk layar tanpa perlu hak administrator.

Langkah 2: Buka Terminal dengan mengetik Terminal di Start Menu.

Langkah 3: Jalankan perintah berikut untuk menginstal QwQ-32B:
ollama run qwq

Jika VRAM terbatas gunakan versi kuantisasi:
ollama run qwq:32b-preview-q4_K_M

Instalasi di macOS:

Langkah 1: Buka Terminal lalu jalankan:
ollama run qwq

Langkah 2: Untuk Mac dengan RAM besar (48 GB+) gunakan versi kuantisasi 5-bit:
ollama run qwq:32b-preview-q5_1

Langkah 3: Verifikasi instalasi dengan mengetik pertanyaan sederhana seperti What is your name? pada prompt.

Instalasi di Linux:

Langkah 1: Instal Ollama dengan satu baris perintah:
curl -fsSL https://ollama.com/install.sh | sh

Langkah 2: Unduh model QwQ-32B:
ollama pull qwq:32b

Langkah 3: Jalankan interaksi:
ollama run qwq:32b

Opsional: Antarmuka web dengan Docker

Langkah 1: Instal Docker Desktop sesuai sistem Anda.

Langkah 2: Jalankan kontainer Open WebUI:
docker run -d -p 8080:8080 --gpus all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Buka browser dan akses http://localhost:8080 untuk tampilan mirip ChatGPT.

Alternatif cloud untuk spesifikasi terbatas

1. Daftar di NodeShift
2. Pilih GPU instance A100 atau A6000
3. Jalankan auto-installer:
curl -sL nodeshift.com/qwq32b-install | bash

Penyesuaian lanjutan

Buat model kustom dengan dataset pribadi:
ollama create qwq-custom -f Modelfile

Kunjungi repositori Hugging Face resmi Alibaba untuk berkas contoh dan kontribusi komunitas.

Kesimpulan

Menjalankan QwQ-32B secara lokal memberikan kontrol penuh atas proyek AI tanpa bergantung pada layanan cloud. Prosedur di atas juga berlaku untuk model lain yang tersedia di Ollama seperti Llama 3, Mistral, hingga DeepSeek-R1. Untuk pengalaman lebih luas, eksplorasi Anakin AI yang menghimpun banyak model mutakhir dalam satu platform.

Butuh bantuan pengembangan aplikasi AI, chatbot, atau integrasi WhatsApp? Morfotech.id siap membantu. Tim developer profesional kami melayani konsultasi dan pengembangan aplikasi berbasis AI. Hubungi WhatsApp Morfotech di +62 811-2288-8001 atau kunjungi https://morfotech.id untuk penawaran terbaik.