Yeni başlayanlar için AI
01Token nedir?
Bir token, bir yapay zekânın işlediği küçük bir metin parçasıdır; genellikle kısa bir kelime veya kelimenin bir bölümüdür. “House” genellikle tek bir token iken, “internationalisation” gibi uzun kelimeler birden fazla token oluşturur. Yaklaşık kural: 1.000 token yaklaşık 750 İngilizce kelimeye eşittir; bu da yaklaşık bir buçuk sayfa demektir.
Her bir token için ödeme yaparsınız: girdi olarak gönderdiğiniz veri için bir kez ve çıktı olarak alacağınız yanıt için bir kez. İşte bu yüzden kısa bir e-posta için ödenen miktar bir sentin küçük bir kısmı iken, tüm bir kitabı özetlemek çok daha fazla maliyet gerektirir.
02Bağlam penceresi nedir?
Bağlam penceresi, bir modelin “kısa vadeli hafızası”dır: aynı anda görebileceği metin miktarıdır; sorunuz, eklenen belgeler ve şimdiye kadar olan sohbet, hepsi bir arada. Bu değer token cinsinden ölçülür.
32.000 tokenlık bir bağlam kapasitesine sahip bir model aynı anda yaklaşık 40–50 sayfa okuyabilir. Belgeniz daha uzunsa bölünmesi gerekir – ya da daha büyük bir bağlam kapasitesine sahip bir modele ihtiyacınız vardır. Ancak daha büyük her zaman daha iyi anlamına gelmez: uzun girdiler daha fazla maliyet oluşturur ve bazı modeller çok uzun metinlerdeki detayları gözden kaçırabilir.
03Parametre sayısı ne anlama gelir?
Parametreler, bir modelin eğitim sırasında öğrendiği “ayar düğmeleridir”. “70B” modelinde bu tür parametrelerin sayısı 70 milyardır. Daha fazla parametre genellikle daha fazla bilgi anlamına gelir; ancak aynı zamanda daha fazla işlem gücü ve daha pahalı donanım gerektirir.
Bu sayı tek başına kalite hakkında pek bir bilgi vermez; eğitim verileri ve yöntemleri genellikle daha önemlidir. İyi eğitilmiş küçük bir model, kötü eğitilmiş büyük bir modelden daha üstün performans gösterebilir – tıpkı kalın bir ansiklopedinin her zaman iyi bir ince kitaptan daha iyi açıklama yapmadığı gibi. Birçok sağlayıcı bu sayıyı bile yayınlamaz.
04Bir modeli yerel olarak çalıştırmak için hangi donanımlara ihtiyacım var?
En önemli faktör grafik kartınızın belleği (VRAM)dir. Model bu belleğe sığmalıdır; aksi takdirde performansı büyük ölçüde düşer. Standart sıkıştırılmış versiyon için genel bir kural: her bir milyar parametre için yaklaşık 0,6 GB ve bunun yanında 1–2 GB ek alan.
Örnek: 7B’lik bir model yaklaşık 6 GB bellek gerektirir, bu yüzden 8 GB’lık bir RTX 4060 kartında çalışır. 70B’lik bir model ise 40 GB’dan fazla bellek kullanır; normal bir grafik kartında bu kapasite bulunmaz. M-serisi çiplere sahip Mac’ler ana belleklerini GPU ile paylaştığı için genellikle daha büyük modelleri işleyebilir. Grafik kartı olmadan da çalışır, ancak çok daha yavaş olur. Windows’ta GPU belleğinizi Görev Yöneticisi → Performans → GPU bölümünde görebilirsiniz.