Mehmet
Admin
Bir modelin kısa soruya cevap vermesi, uzun PDF veya uzun sohbet için de yeterli belleğiniz olduğu anlamına gelmez. Model ağırlıklarının yanında bağlam ve çalışma verileri de bellek kullanır. Bu yüzden “dosya boyutu ekran kartımdan küçük” karşılaştırması tek başına yeterli bir kapasite testi değildir.
Daha küçük bir modelle aynı belgeyi denemek ikinci bir karşılaştırmadır. Aynı anda hem modeli hem bağlamı hem motoru değiştirirseniz neyin fark oluşturduğunu göremezsiniz. Tek ekran kartında yetmeyen bir ayarın sistem belleğine taşınması bazı çalışma yollarında mümkün olabilir, fakat bunun hızı ve desteği uygulamaya bağlıdır.
Sonuç ölçütü “hata çıkmadı” olmamalı. Yanıtta ilgili sayfa veya satırın kullanıldığını ve önemli ayrıntının kaybolmadığını kontrol edin. Yardım istemeden önce bağlam ayarı, tam model kopyası ve hata anındaki bellek gözlemini ekleyin. Böyle bir kayıt, yalnızca ekran kartı modelini yazmaktan daha tanı koydurucudur.
Ollama: donanım desteği
Sorunun başladığı noktayı kaydedin
Model hiç yüklenmiyorsa önce model/motor uyumluluğuna bakın. Kısa görev çalışıyor fakat belge eklendiğinde hata oluşuyorsa aynı modeli aynı ayarlarla, giderek büyüyen girdilerle deneyin. İlk tur bir paragraf, ikinci tur birkaç sayfa olsun. Her turda cevap uzunluğunu sabit tutun. Böylece model boyutu değişmeden girdi yükünün etkisini gözleyebilirsiniz.
Kod:
Deneme kaydı
Model / nicemleme:
Uygulama ve sürüm:
Ayırdığım bağlam:
Girdi: kısa / orta / uzun
Yanıt sınırı:
RAM / VRAM gözlemi:
Sonuç ve tam hata:Bir ayarı değiştirerek daraltın
Önce aynı uygulamadaki diğer model oturumlarını kapatın ve görev için gereksiz uygulamaları azaltın. Sonra bağlam ayarını gerçekten ihtiyaç duyduğunuz seviyeye çekin. Ollama'nın resmî belgesi daha geniş bağlamın bellek ihtiyacını artırdığını belirtir; modelin ilan edilen azami bağlamını her görevde ayırmanız gerekmez. Küçültme sonrasında görevin gerekli belgesinin tamamının hâlâ kapsandığını kontrol edin.Daha küçük bir modelle aynı belgeyi denemek ikinci bir karşılaştırmadır. Aynı anda hem modeli hem bağlamı hem motoru değiştirirseniz neyin fark oluşturduğunu göremezsiniz. Tek ekran kartında yetmeyen bir ayarın sistem belleğine taşınması bazı çalışma yollarında mümkün olabilir, fakat bunun hızı ve desteği uygulamaya bağlıdır.
Belgeyi yalnızca küçültmek yeterli olmayabilir
PDF'yi rastgele yarıya bölmek, sorunun cevabının bulunduğu sayfayı dışarıda bırakabilir. Önce soruyu daraltın, gerekli bölüm ve tabloyu seçin. Çok belge üzerinde sürekli çalışıyorsanız her şeyi tek sohbete doldurmak yerine kaynak seçimi veya arama/geri getirme kullanan bir iş akışı düşünün. Bu, donanım ihtiyacını tamamen ortadan kaldırmaz; yalnızca görevin nasıl beslendiğini değiştirir.Sonuç ölçütü “hata çıkmadı” olmamalı. Yanıtta ilgili sayfa veya satırın kullanıldığını ve önemli ayrıntının kaybolmadığını kontrol edin. Yardım istemeden önce bağlam ayarı, tam model kopyası ve hata anındaki bellek gözlemini ekleyin. Böyle bir kayıt, yalnızca ekran kartı modelini yazmaktan daha tanı koydurucudur.
Kaynaklar
Ollama: bağlamın bellek ihtiyacıOllama: donanım desteği
