Rehber Yapay zeka işlemci nedir?

Yapay zekâ işlemci, yapay zekâ modellerinin ihtiyaç duyduğu büyük miktardaki matematiksel hesabı daha hızlı ve verimli yapmak için tasarlanmış işlemci birimidir. Bu ifade tek bir donanım türünü değil, kullanım yerine göre GPU, NPU, TPU veya yapay zekâ hızlandırıcısı gibi farklı birimleri anlatabilir. Bilgisayarda model çalıştırırken hangi işlemcinin kullanılacağı; modelin boyutuna, VRAM veya sistem belleği kapasitesine, desteklenen yazılıma ve istenen hıza bağlıdır.

Yapay zekâ işlemcisi ne yapar?​

Bir yapay zekâ modeli, girdiyi çıktıya dönüştürürken çok sayıda matris çarpımı ve benzeri işlemler gerçekleştirir. Örneğin bir dil modeli, yazdığınız cümlede sıradaki kelimeyi tahmin etmek için modeldeki milyarlarca parametreyi işler. Görüntü oluşturma, nesne tanıma ve ses dönüştürme gibi görevlerde de benzer hesaplamalar yapılır.

Yapay zekâ için kullanılan işlemciler bu hesapları paralel olarak yürütmeye, düşük hassasiyetli sayılarla çalışmaya ve veriyi işlemci ile bellek arasında daha hızlı taşımaya odaklanır. Bu nedenle yalnızca işlemcinin saat hızı veya çekirdek sayısı, yapay zekâ performansını tek başına göstermez.

CPU, GPU ve NPU arasındaki fark​

Aynı bilgisayarda birden fazla işlemci türü bulunabilir. Ancak bunların yapay zekâ görevlerindeki rolleri farklıdır.
Bu tablo bir işlemcinin her görevde diğerlerinden üstün olduğu anlamına gelmez. Küçük bir model veya kısa bir metin işlemi CPU üzerinde yeterli olabilir. Büyük bir modeli yerel olarak çalıştırmak içinse çoğunlukla GPU belleği, yani VRAM, belirleyici hâle gelir. NPU, özellikle kamera görüntüsü iyileştirme, gürültü azaltma, konuşma tanıma veya işletim sistemindeki yerel yapay zekâ özellikleri gibi desteklenen görevlerde avantaj sağlar.

Yapay zekâ işlemcisi ile normal işlemci aynı şey mi?​

Tamamen farklı olmak zorunda değildir. CPU ve GPU, yapay zekâ işlemlerini yazılım desteği olduğu sürece çalıştırabilir. “Yapay zekâ işlemcisi” denildiğinde bazen yapay zekâ için özel komutlara veya hızlandırma birimlerine sahip genel amaçlı bir işlemci, bazen de yalnızca yapay zekâ hesaplarına odaklanan ayrı bir NPU kastedilir.

Bu nedenle bir üründe “yapay zekâ destekli” veya “yapay zekâ işlemcili” ifadesini görmek, her yapay zekâ yazılımının otomatik olarak hızlanacağı anlamına gelmez. Kullanılan uygulamanın ilgili donanımı desteklemesi, modelin uygun biçimde derlenmesi ve belleğe sığması gerekir.

Yerel yapay zekâ için hangi özelliklere bakılır?​

Yerel bir dil modeli, görüntü modeli veya fine-tuning çalışması için seçim yaparken şu ayrımları birlikte değerlendirin:

• VRAM veya sistem belleği: Modelin ağırlıkları, çalışma alanı ve bağlam verileri belleğe sığmalıdır. Quantization uygulanmış GGUF gibi sıkıştırılmış modeller daha az bellek kullanabilir; ancak bellek ihtiyacı tamamen ortadan kalkmaz.
• Bellek bant genişliği: Model çalışırken verinin işlem birimlerine ne kadar hızlı taşındığını etkiler. Aynı kapasitedeki iki ekran kartı farklı hızlar verebilir.
• Yazılım desteği: Çalıştıracağınız araç, işlemci mimarisini ve hızlandırma altyapısını desteklemelidir. Destek yoksa işlem yükü CPU'ya kayabilir.
• Modelin amacı: Sadece çıkarım yapmak, görüntü üretmek ve LoRA ile eğitim yapmak aynı donanım gereksinimine sahip değildir. Eğitim ve fine-tuning genellikle daha fazla bellek ve işlem gücü ister.

Örneğin 4 bit sıkıştırılmış bir dil modeli seçtiğinizi varsayalım. Model dosyasının boyutu, gereken toplam çalışma belleğiyle aynı olmayabilir; bağlam uzunluğu, yazılımın önbelleği ve diğer geçici veriler ek bellek kullanabilir. Model açılıyor fakat üretim çok yavaşsa sorun yalnızca işlemci gücü olmayabilir; modelin kısmen sistem belleğine taşınması veya hızlandırıcının yazılım tarafından kullanılmaması da olasıdır.

Sonuç olarak “yapay zekâ işlemcisi” tek başına belirli bir ürün adı değildir. Donanım seçerken önce çalıştıracağınız model ve yazılımı belirleyin, ardından gereken VRAM veya sistem belleğini, desteklenen hızlandırma türünü ve hedeflediğiniz işlem türünü karşılaştırın. Büyük modellerde kapasite yetersizse daha hızlı bir işlemci almak yerine daha düşük bit derinliği, daha küçük model veya daha fazla bellek gerekebilir.