Yapay zeka tespit güvenilirliğini nasıl test ediyoruz

Aşağıda bu sitenin dört dilindeki yanlış işaretler var. Her hücrede sayı, oran ve oranın %95 güven aralığı yer alıyor.

İngilizce ikinci dil seti iki yarıdan oluşuyor. Ana dili Arapça olan yazarların 300 metninden 3'ü işaretlendi (%1,0, aralık %0,3 ile %2,9). Ana dili İspanyolca olanlarda bu sayı 300 metinden 0. Türkçe için ikinci dilde yazılmış bir test setimiz yok, o yüzden Türkçeyi sonradan öğrenmiş kişilerin metinleri hakkında hiçbir şey iddia etmiyoruz. Kalibre edilmiş diğer dokuz dilin sayıları doğruluk sayfasında.

Makine metnini yakalamada en zayıf dilimiz Fransızca. Dedektör 77 makine metninden 53'ünü, baştan sona bir sohbet modelinin yazdığı 54 metinden 44'ünü yakaladı. Doğruluk sayfası bu satırı diğerleriyle yan yana gösterir.

Bir modelin, bir insanın başlattığı metni sürdürdüğü örnekler çok daha az yakalanıyor. Bu gruplar dil başına 9 ile 15 metinden oluşuyor ve adil bir oran vermek için fazla küçük. O yüzden oran vermiyoruz.

Kısa metin dedektöre daha az ipucu bırakır. 50 kelimenin altında hiç sonuç verilmez, 100 kelimenin altında güven düzeyi her zaman Düşük kalır.

Uzun belgelerin de bir zayıf yanı var. Uzun bir metnin puanı, metin parçalara farklı bölündüğünde değişebilir. Bunu henüz düzeltmedik. Uzun bir tezi ya da raporu kontrol ediyorsan genel puanın yanında işaretlenen cümlelere de bak.

Bir dile kendi eşiği ancak test setinde en az 0,9 AUROC değerine ulaşılırsa verilir. AUROC, rastgele seçilmiş bir makine metninin rastgele seçilmiş bir insan metninden daha yüksek puan alma olasılığıdır. 0,5 yazı tura atmakla aynı şeydir, 1,0 ise iki grubun tamamen ayrıldığını gösterir.

Eşik belirlendikten sonra 20 insan metninden en fazla 1'i, 20 ikinci dil metninden de en fazla 1'i eşiğe ya da üstüne çıkabilir. Bugün 13 dil bu kuralı geçiyor ve Türkçe bunlardan biri. Başka bir dilde yazılmış metin puan almaz, yalnızca dilin kalibre edilmediğini söyleyen bir not görünür.

Metni insanlaştırma aracı için tek bir sonuç yayımlıyoruz. 17 Ekim 2026'da 20 İngilizce metinle yapılan testte, yeniden yazılan metin 20 metnin 20'sinde bilgileri, yine 20'sinde üslubu korudu. Bu küçük bir test ve yapay zeka dedektörleri hakkında hiçbir şey söylemiyor. İnsanlaştırma aracı için bir geçme oranı yayımlamıyoruz, çıktısının herhangi bir dedektörden geçtiğini de iddia etmiyoruz.

Yazım ve dil bilgisi denetimini, metin yeniden yazma aracını ve intihal kontrolünü de kendi testlerimizden geçiriyoruz. Örnekler küçük ya da bizim kurduğumuz setler. Sonuçlar yayımlanacak büyüklüğe ulaşana kadar onları kendimizde tutuyoruz.