Mehmet
Admin
GGUF ve safetensors aynı amaçla kullanılabilen iki rastgele uzantı değildir. Hangi dosyayı indireceğinizi, çalıştıracağınız uygulamanın desteklediği biçim belirler. Bu nedenle önce modeli değil, kullanacağınız çalışma yolunu seçin: masaüstü sohbet uygulaması mı, llama.cpp benzeri bir motor mu, yoksa Transformers tabanlı Python projesi mi?
Bu notu doldurduktan sonra indirmeye başlayın. Örneğin masaüstü uygulamanız modelin GGUF kopyasını destekliyorsa sırf depoda ilk göründüğü için safetensors parçalarını indirmeyin. Python projeniz belirli bir Transformers mimarisini bekliyorsa da tek bir GGUF dosyasının doğrudan aynı şekilde yüklenmesini beklemeyin; kullandığınız kütüphanenin açık desteği gerekir.
Modeli başkasına önerecekseniz yalnızca aile adını yazmak yerine yukarıdaki tam dosya bilgisini paylaşın. Böylece aynı model adı altında farklı kopyaları karşılaştırma hatasını azaltırsınız.
Hugging Face: safetensors
Dosya biçimi ile model adını ayırın
Bir model ailesinin farklı depolarında aynı temel modelin çeşitli biçimleri bulunabilir. GGUF, tensörlerin yanında standartlaştırılmış meta verileri de taşıyan ve belirli çıkarım motorlarıyla kullanılan bir biçimdir. Safetensors ise tensörlerin saklanmasına odaklanır; Transformers projesinde model yapılandırması ve tokenizer gibi ek dosyalar da gerekir. Dosya uzantısını değiştirerek birinden diğerine geçemezsiniz.Bir dönüşümde korunması gereken üç parça
- Çalışma motoru ve mimari. Kullandığınız sürümün model/mimari desteğini okuyun. “GGUF destekli” ifadesi bütün yeni mimarilerin desteklendiğini göstermez.
- Ağırlıkların temsili. Modelin adı, boyutu ve varsa nicemleme etiketi birlikte değerlendirilmelidir. Aynı boyuttaki iki dosya farklı modeller olabilir.
- Tokenizer ve yapılandırma. Bölünmüş model dosyasında yalnızca ilk parçayı indirmek yeterli olmayabilir. Depodaki dosya açıklamasını takip edin.
Kod:
Model seçim notu
Kullanacağım uygulama ve sürümü:
Desteklenen mimari/biçim:
Modelin tam depo adı:
Seçilen dosya veya dosya grubu:
Nicemleme etiketi (varsa):
Lisans/model kartı bağlantısı:
İlk deneme görevi:Bu notu doldurduktan sonra indirmeye başlayın. Örneğin masaüstü uygulamanız modelin GGUF kopyasını destekliyorsa sırf depoda ilk göründüğü için safetensors parçalarını indirmeyin. Python projeniz belirli bir Transformers mimarisini bekliyorsa da tek bir GGUF dosyasının doğrudan aynı şekilde yüklenmesini beklemeyin; kullandığınız kütüphanenin açık desteği gerekir.
Nicemleme ayrı bir karardır
Q4, Q8 gibi etiketleri dosya biçimiyle aynı şey sanmayın. Dosyanın nasıl temsil edildiği, boyutu ve çalışma belleği ihtiyacı farklı konulardır. “Daha büyük dosya her görevde daha iyi” veya “daha küçük dosya kesin açılır” sonucu çıkarılamaz. Küçük bir Türkçe görevle biçim, dil ve anlam kontrolü yapın; sonra uzun belge denemesine geçin.Modeli başkasına önerecekseniz yalnızca aile adını yazmak yerine yukarıdaki tam dosya bilgisini paylaşın. Böylece aynı model adı altında farklı kopyaları karşılaştırma hatasını azaltırsınız.
Kaynaklar
Hugging Face: GGUF ve meta verilerHugging Face: safetensors
