AI yatırımını tokenla değil, başarıyla biten işle ölçmek

AI araçlarını değerlendirirken kolayca yanlış sayılara bakıyoruz: kaç token kullandı, yanıt kaç saniyede geldi, benchmarkta kaç puan aldı veya ayda kaç görev açtık. Bunlar sistemin davranışını anlatabilir; ama işin gerçekten tamamlanıp tamamlanmadığını söylemez.

OpenAI'ın 17 Temmuz'da yayımladığı 'AI çağı için scorecard' yazısı daha kullanışlı bir çerçeve öneriyor. Dört eksen var: yararlı iş, başarılı görev başına maliyet, güvenilirlik ve ölçek büyürken elde edilen değer. Bu yaklaşım özellikle küçük ekipler için anlamlı, çünkü pahalı bir ölçüm sistemi kurmadan doğrudan ürüne bakmayı zorluyor.

1. Yararlı iş ne kadar arttı?

İlk soru kullanım değil çıktı sorusu. Model kaç kez çağrıldı değil, kalite eşiğini geçen kaç iş tamamlandı? Bir içerik akışında bu yayımlanabilir taslak; yazılımda testleri geçen ve beklentiyi karşılayan değişiklik; destekte doğru çözülen talep olabilir. Ölçülebilir bir bitiş tanımı yoksa AI kullanımı kolayca hareket üretip sonuç üretmeyebilir.

2. Başarılı işin toplam maliyeti ne?

API faturası tek başına maliyet değildir. İnsan incelemesi, yeniden yazım, başarısız çalıştırmalar ve hatanın geri alınması da hesaba girmeli. Ucuz model üç kez denenip uzun bir kontrol gerektiriyorsa, pahalı ama ilk seferde geçen modelden daha pahalı olabilir. Bu yüzden doğru payda token değil, başarıyla tamamlanan görevdir.

3. Sonuca ne kadar güvenebilirim?

Bir sistem bazen mükemmel, bazen tehlikeli sonuç veriyorsa ortalama kalite yüksek görünse bile üretimde zayıftır. Güvenilirlik; düzeltme oranı, tekrar deneme oranı, geri alma ihtiyacı ve insanın hangi noktalarda zorunlu kaldığıyla izlenebilir. Benim için en değerli metriklerden biri, 'kontrol etmeden gönderebilir miyim' değil, 'kontrol süresi zamanla azalıyor mu' sorusu.

4. Ölçek büyüdükçe her lira daha çok iş yapıyor mu?

Aynı iş akışını zaman içinde izlemek burada kritik. Tamamlanan iş sayısı toplam maliyetten hızlı artıyor ve kalite korunuyorsa ekonomi iyileşiyor demektir. Model yönlendirme, daha iyi istemler, önbellek, küçük modele devir ve daha net kabul kriterleri bu oranı iyileştirebilir.

Bu çerçeve, daha önce yazdığım token bazlı fiyatlandırmanın çatlaması fikrini operasyon tarafında tamamlıyor: satın alınan şey ham hesaplama değil, güvenilir sonuç olmalı.

Pratik başlangıç basit: tek bir tekrarlı iş seç, kalite eşiğini yaz, bir ay boyunca tamamlanan iş sayısını, toplam insan süresini ve AI maliyetini kaydet. Sonra araçları 'hangisi daha zeki' diye değil, 'hangisi aynı kaliteyi daha az toplam maliyetle üretiyor' diye karşılaştır. Küçük bir ürün için gerçek AI scorecard bence bundan fazlasına ihtiyaç duymuyor.