Bir yapay zekâ modelinin yüzde 99 doğrulukla çalıştığını duyduğumuzda ilk tepki olumlu olur. Oysa bu sayıyı yorumlamak için modelin neyi tahmin ettiğini ve testte hangi örneklerin bulunduğunu bilmemiz gerekir. Bazen yüksek bir sayı, yapılması gereken işi hiç yapmayan bir sistemden de çıkabilir.
Kendi kurduğumuz bir örnek düşünelim: Bin iletinin yalnızca onu istenmeyen ileti olsun. Her iletiye “normal” diyen bir sistem, 990 örnekte doğru cevap verir ve yüzde 99 doğruluğa ulaşır. Ancak bulmasını istediğimiz on iletiden hiçbirini yakalamamıştır. Hesap doğru; ölçütün görevle ilişkisi yetersizdir.
Hangi hatayı önemsiyoruz?
Google’ın sınıflandırma rehberi, dengesiz veri kümelerinde veya hata türlerinin maliyeti farklı olduğunda doğruluğun tek başına yeterli olmayabileceğini açıklıyor. Kesinlik ve duyarlılık gibi ölçütler, yanlış alarm ile kaçırılan örnekler arasındaki farkı görmeye yardım eder. Google’ın değerlendirme rehberi.
Kesinlik, sistemin olumlu dediği örneklerin ne kadarının gerçekten olumlu olduğunu inceler. Duyarlılık ise gerçek olumlu örneklerin ne kadarının yakalandığıyla ilgilidir. İki ölçüt aynı soruyu cevaplamaz. Kullanılan eşik de bunlar arasındaki dengeyi değiştirebilir.
İleti örneğinde gereksiz yere normal mesajları engellemek ile istenmeyen mesajları kaçırmak farklı sorunlardır. Ürünün amacı ve kullanıcı etkisi bilinmeden tek bir ölçüt “en iyi” ilan edilemez. Değerlendirme, bu tercihleri açık hâle getirmelidir.
Testte cevap önceden görünmüş mü?
İkinci sorun veri sızıntısıdır. Google’ın veri bölme rehberi, eğitim, doğrulama ve test kümelerinin farklı görevlerini anlatıyor. Eğitimde görülen örneklerin testte yeniden bulunması, yeni veri üzerindeki performans için yanıltıcı bir sonuç yaratabilir. Aynı testle tekrar tekrar model seçmek de değerlendirmeyi aşındırabilir. Google’ın veri bölme rehberi.
Bu yüzden modelin yüksek puanını görmeden önce testin nasıl oluşturulduğu sorulmalıdır. Aynı kaydın kopyaları farklı kümelere düşmüş mü? Bir kişiye veya zamana ait yakın örnekler, uygulamanın gerçek kullanımını temsil etmeyecek şekilde karışmış mı? Testi hazırlayan seçimler sonucun bir parçasıdır.
Küçük bir destek asistanını değerlendirmek
Varsayımsal bir ekip, müşteri taleplerini sınıflandıran asistan hazırlıyor. Deneme kümesine yalnızca açık ve düzgün yazılmış talepler koyarsa ilk sonuç iyi görünebilir. Gerçek kullanıcılar ise eksik bilgi verebilir, iki konuyu tek mesajda sorabilir veya farklı sözcüklerle aynı sorunu anlatabilir.
Ekip örnekleri bu davranışları kapsayacak biçimde seçebilir. Açık talepler, belirsiz talepler ve sistemin cevap vermemesi gereken durumlar ayrı incelenebilir. Hata sayısının yanında hatanın türü de kaydedilebilir. Bir sürümün toplam puanı artarken belli bir gruptaki sonuç kötüleşiyorsa bu değişiklik ayrıca görülmelidir.
Bu küçük deneme, geniş ölçekli kaliteyi kanıtlamaz. Ürünün nerede zayıfladığını araştırmak için başlangıç sağlar. Gerçek kalite iddiası için örnek büyüklüğü, temsil ve kullanım koşulları daha ayrıntılı değerlendirilmelidir.
Puanın yanında yöntemi isteyin
Bir ürün sunumundaki başarı oranı için veri kümesi, ölçüt ve test koşullarının açıklanmasını istemek makul bir beklentidir. Sonuç hangi dilde ve hangi görevde alınmış? Bilinmeyen örneklerde ölçülmüş mü? Son sürümle aynı sistem mi denenmiş?
Yapay zekâ testinin değeri, en yüksek sayıyı bulmasından gelmez. O sayının neyi anlattığını ve hangi durumda geçerli olmadığını gösterebilmesinden gelir. Yüzde 99, yöntemle birlikte okunduğunda bilgi verir; tek başına ürün hakkında yeterli bir karar oluşturmaz.
Bu yazı 1–15 Ekim arşiv serisi kapsamında 16 Ekim 2026’da hazırlanıp eklenmiştir. Metin ve kavramsal kapak görseli yapay zekâ desteğiyle hazırlanmıştır. Kaynak bağlantıları 16 Ekim 2026’da kontrol edilmiştir.
