Rehber Yerel yapay zeka çok yavaş: model yükleme ve cevap hızını ayrı ölçme

Yerel bir modelin ilk cevaba geç başlamasıyla, cevap başladıktan sonra kelimeleri yavaş üretmesi aynı sorun değildir. İlkinde dosyanın belleğe yüklenmesi veya uzun girdinin işlenmesi etkili olabilir; ikincisinde model boyutu, donanım ve çalışma ayarları önem kazanır. Önce hangi aşamanın yavaşladığını ölçün, sonra tek bir ayarı değiştirin.

Karşılaştırılabilir küçük bir deneme kurun​

Aynı model sürümünü, aynı metni ve aynı cevap uzunluğunu kullanın. Bir turda kısa soru, başka turda kitap uzunluğunda belge vermek anlamlı bir hız karşılaştırması değildir. Arka planda çalışan diğer model veya yoğun uygulamaları not edin. İlk çalıştırmayı ayrı kaydedin; bellekte kalan modelin ikinci denemesini ilk yüklemeyle karşılaştırmayın.


Bir ölçüm tablosuna model adı, girdi uzunluğu, ilk cevaba kadar geçen süre ve tamamlanma süresini yazın. Üç tekrarın çok farklı çıkması halinde tek en iyi sonucu seçmek yerine koşulları yeniden kontrol edin. Yanıtın doğruluğunu da ayrı sütunda tutun; hızlı ama görevi kaçıran model iyileştirme sayılmaz.

Donanım kullanımını görünür yapın​

Ollama kullanıyorsanız yanıt üretilirken başka bir terminalde ollama ps komutuyla çalışan modeli ve işlemci dağılımını inceleyebilirsiniz. Yerel uygulamanız başka bir araçsa onun model/bellek ekranını kullanın. GPU kullanımının kısa süreli yükselip düşmesi tek başına sorun kanıtı değildir; sistem belleği ve disk etkinliğini aynı denemeyle birlikte değerlendirin.

Tek değişkenle ilerleyin​

• Önce aynı görev için daha kısa bir girdi deneyin.
• Sonra gereğinden uzun sohbet geçmişi yerine temiz bir oturum açın.
• Bellek yetmiyorsa daha küçük model veya farklı nicemleme kopyasıyla aynı testi uygulayın.
• Uzun bağlam gerçekten gerekmiyorsa ayırdığınız bağlamı azaltıp yeniden ölçün.

Ollama'nın bağlam belgesi daha geniş bağlamın bellek ihtiyacını artırdığını açıklar. Ancak “bağlamı küçültmek her sistemde belirli oranda hızlandırır” gibi bir sonuç çıkarmayın. Model ve çalışma yükü değişir. Hızın yanında uzun görevde gerekli bilginin kaybolup kaybolmadığını kontrol edin. Sonuç kaydınızı saklarsanız bir sonraki model güncellemesinin gerçekten fark oluşturup oluşturmadığını aynı küçük denemeyle görebilirsiniz.

Kaynaklar​

Ollama: çalışan modelin CPU/GPU dağılımı
Ollama: bağlam uzunluğu ve bellek