Rehber Yapay zekâ araçları aynı soruyla nasıl adil karşılaştırılır?

Araçları adil karşılaştırmak için aynı görevi, aynı girdiyi ve aynı başarı ölçütünü kullanın. Bir araca ayrıntılı açıklama ve dosya verip diğerine tek cümle yazmak, araçtan çok hazırlık farkını ölçer. Kendi işiniz için en uygun seçeneği arıyorsanız, karşılaştırmanın da o işi temsil etmesi gerekir.

Yanıtları görmeden önce neye bakacağınızı yazın​

Metin özeti için kritik bilgilerin korunması; belge sorusunda doğru bölümün bulunması; kodda beklenen davranışın çalışması gibi ölçütler belirleyin. “Daha zekice görünüyor” tek başına kontrol edilebilir bir ölçüt değildir. Sonuçları gördükten sonra yalnız beğendiğiniz aracın güçlü olduğu alanları seçmek, kararı yanıltabilir.

Örnekleriniz yalnız kolay görevlerden oluşmasın. Günlük işinizde karşılaşacağınız normal bir girdiyle birlikte eksik bilgi veya belirsiz istek içeren bir örnek de ekleyebilirsiniz. Kaç örneğin yeterli olduğu işin çeşitliliğine bağlıdır; birkaç denemeyle bütün kullanıcılar için genel sıralama yaptığınızı iddia etmeyin.

Denemeyi aynı koşullarda yürütün​

1. Görev metnini bir dosyada saklayın. Aynı yazıyı her araca kopyalayın ve aynı ekleri kullanın. Başka bir konuşmadan kalan bağlamın sonucu etkilememesi için yeni bir sohbetle başlayın.
2. Model veya çalışma modu seçilebiliyorsa hangisini kullandığınızı not edin. Web araması, dosya erişimi ve düşünme ayarları gibi görev kapsamını değiştiren özellikleri ayrı değerlendirin.
3. İlk yanıtı kaydedin. Sonradan verilen düzeltme talimatlarını ilk sonuçla karıştırmayın; gerekirse “ilk yanıt” ve “bir düzeltme sonrası” olarak iki ayrı sonuç tutun.
4. Cevabı önceden yazdığınız ölçütlerle kontrol edin. Kaynağı gerçekten açın, sayı varsa yeniden hesaplayın, kod varsa uygun küçük örnekte çalıştırın.
5. Düzeltmek için gereken zamanı ve arada yaptığınız elle müdahaleyi not edin. Daha güzel görünen fakat her seferinde yeniden düzenlenmesi gereken çıktı işinizi hızlandırmayabilir.

Basit bir kayıt tablosu kullanın​

Tabloya dayanağı olmayan puan vermek yerine gözlenebilir sonucu yazabilirsiniz:


Tek bir denemede bir aracın daha iyi çıkması, aynı sonucun her görevde tekrarlanacağını göstermez. Sonuçlar yakınsa kullandığınız uygulamayla uyumu, veri paylaşım koşullarını ve gerçek günlük kullanımınızı dikkate alın. Yeni sürüm veya farklı ayar kullandığınızda karşılaştırmayı aynı küçük görevlerle yeniden yapabilirsiniz.