Mengapa penyebaran lokal masuk akal
Versi online DeepSeek R1 kadang-kadang memiliki cegukan: layanan akan kelebihan beban, dan Anda harus menunggu pemberitahuan lebih lama dari biasanya untuk jawaban. Instal secara lokal memecahkan masalah ini sekali dan untuk semua - model akan berada di disk Anda dan tidak akan lagi tergantung pada keadaan server orang lain. Tidak ada antrian, tidak ada batas, dan tidak ada pesan "coba lagi nanti".
Proses ini mungkin tampak rumit dari luar, tapi pada kenyataannya semuanya turun ke tiga langkah: menginstal manajer model, mengunduh model itu sendiri, dan menambahkan antarmuka yang nyaman.
Langkah 1, instal Ollama.
Ollama adalah semacam manajer untuk model bahasa lokal. Ini download, berjalan, dan switch LLM dengan perintah tunggal, sehingga cocok sempurna untuk tugas kami. Semua versi DeepSeek R1 tersedia secara gratis.
Inilah yang harus dilakukan:
- Unduh pemasang dari situs resmi Ollama - untuk Windows, sekitar 700 MB.
- Jalankan pemasang dan menunggu untuk menyelesaikan.
- Setelah instalasi, ikon Ollama akan muncul di baki sistem - tanda yakin bahwa segala sesuatu bekerja.
Langkah 2, download DeepSeek R1
Buka website Ollama, pergi ke Model tab, dan menemukan DeepSeek R1. Ada banyak versi, dan pilihan tergantung langsung pada perangkat keras Anda:
- jika Anda memiliki sejumlah kecil memori video, memilih model yang lebih kecil - itu tidak akan menekan batas VRAM;
- jika keluaran terlalu lambat, coba versi lebih rendah;
- varian 7B adalah pilihan yang paling populer dan seimbang untuk lari pertama.
Pada halaman model, salin perintah instalasi, dan kemudian:
- Buka PowerShell, atau tekan Win + R dan tipe
cmd. - Tempelkan perintah ke terminal dan tekan Enter.
- Ollama akan secara otomatis men-download dan menyebarkan model.
Tepat setelah itu, Anda dapat mengajukan pertanyaan langsung dari baris perintah. Sementara proses model permintaan, Pikirkan penanda muncul di keluaran - itulah yang "penalaran" terlihat seperti sebelum menjawab.
Langkah 3. Menambahkan antarmuka peramban
Obrolan di konsol berfungsi, tapi cepat menjadi tua - Anda ingin dialog gaya ChatGPT- akrab. Ekstensi Halaman Membantu untuk Chrome akan membantu. Carilah di Chrome Web Store - hasil pencarian pertama akan dilakukan.
Kemudian ikuti langkah-langkah ini:
- Klik ikon Asisten Halaman di pojok kiri atas peramban.
- Pilih model yang terpasang.
- Dalam pengaturan (kanan atas), aktifkan Pengaturan RAG dan menentukan model untuk Model Embedding.
- Simpan perubahan.
Ekstensi juga memiliki beberapa bonus bagus. Di pojok kiri botol, Anda dapat mengaktifkan pencarian web - model akan dapat menarik data segar dari internet. Dan jika Anda memiliki beberapa model yang terpasang, Anda dapat dengan mudah berpindah antara mereka dari interface.
Garis bawah
Hasilnya adalah obrolan offline penuh: tidak ada penundaan, tidak ada ketergantungan pada layanan eksternal, dan antarmuka peramban yang nyaman. Ini layak menghabiskan sedikit waktu pada setup sekali - dan model akan selalu berada di tangan.
