Agent Hukuku
Ücretsiz kitaplar
Akademi · Seviye 4 — İleri Konular
Ders 4.2

İzleme ve sapma (drift)

MB Slaytlı ders · ~7 dk · Mert Can Boyar

Kurdunuz, kaydettiniz — ama bakıyor musunuz? Bu derste ajan performansının sessizce bozulmasını (drift), halüsinasyonun çok adımlı akışta nasıl büyüdüğünü ve tam zamanlı bir ekip olmadan işleyen dört izleme rutinini öğreneceksiniz.

Ders 4.2 · İleri Konular01 / 08

İzleme ve sapma (drift)

Ajanlar patlayarak değil, solarak ölür.

Slayt02 / 08

Vaka: yavaşça bozulan asistan

Altı ay önce mükemmel olan asistanın memnuniyeti ayda 0,1 düştü — kimse tek ayın düşüşünü fark etmedi. Sonra asistan, olmayan bir KVKK taahhüdünü emin bir dille uydurdu ve haftalarca müşterilere tekrarladı.

Slayt03 / 08

Drift: üç kaynak

  • Dünya değişti, ajan değişmedi — yeni ürün/fiyat/mevzuat.
  • Yetki sessizce genişledi.
  • Girdiler değişti.

Model hiç değişmese bile, operasyonel bağlam değişince ajan yanlışa kayar.

Slayt04 / 08

Halüsinasyonun çığ etkisi

Üretken modeller makul ama gerçek olmayan çıktılar üretir. Çok adımlı akışta erken bir hata sonraki adıma girdi olur, büyür, çıktıyı zehirler. m.4: veri doğru ve güncel olmalı.

Slayt05 / 08

En değerli kural

“Emin olmadığında uydurma — ‘bilmiyorum’ de ve insana devret.”

Bir ajanın “bilmiyorum” diyebilmesi, verebileceğiniz en değerli yetenektir.

Slayt06 / 08

Dört izleme rutini

  • Haftalık örnekleme (yarım gün, insan okuması).
  • Sinyal grafikleri (eğriye bak, tek aya değil).
  • Değişiklik tetikleyicileri (ürün/fiyat/mevzuat/sürüm).
  • Çeyreklik derin bakış.
Slayt07 / 08

En ucuz metrik

“Temsilci” (insana bağlan) deme oranı. Sessizce yükseliyorsa, müşterileriniz anket size söylemeden ayaklarıyla oy veriyor: ajandan umudu kesip insana kaçıyorlar. Ölçmesi bedava, haber değeri paha biçilmez.

Slayt08 / 08

Özet: üçüncü gözetim aşaması

KVKK'nın üç aşamalı gözetiminin sonuncusu: kullanım sonrası izleme.

Kurmak yetmez, bakmak gerekir. Gözetim bir kurulum anı değil, bir alışkanlıktır.

1 / 8

Ajanlar sessizce bozulur

Drift'in sinsiliği aniliğinin olmamasındadır: bir sistem bir gecede çökerse herkes görür; ayda %2 bozulursa kimse görmez — ta ki toplam kayıp bir krize dönüşene kadar. Üç kaynağının hiçbiri “model bozuldu” değildir: dünya değişip ajan aynı kalır, yetki sessizce genişler, girdiler evrilir. KVKK'nın rehberi de bunu vurgular: davranış sapması, model hiç değişmese bile operasyonel bağlamın değişmesinden doğabilir.

Unutmayın
Halüsinasyonun en tehlikeli özelliği kendinden emin olmasıdır: ajan “bilmiyorum” demez, makul bir cevap uydurur. Bu yüzden en kritik görev tanımı kuralı şudur: “Emin olmadığında uydurma — ‘bilmiyorum’ de ve insana devret.”

Dört rutin ve en ucuz metrik

İzleme, dört mütevazı alışkanlıkla kurulur: haftalık örnekleme (otomasyonun göremediği “anlam” hatalarını yalnızca insan okuması yakalar), sinyal grafikleri (tek ayın düşüşü görünmez, eğri görünür), değişiklik tetikleyicileri (yeni ürün/fiyat/mevzuat/sürüm → ilgili ajanı gözden geçir) ve çeyreklik derin bakış. En ucuz ve güçlü tek metrik ise “temsilci” deme oranıdır — sessizce yükseliyorsa kalite düşüyor demektir.

Dikkat
Otomatik kalite skoru kuruyorsanız, insan örneklemesinin yanına koyun, yerine değil. Otomatik skor ölçülebilir şeyleri görür; “asistan olmayan bir taahhüt mü uydurdu?” gibi anlam gerektiren hataları çoğu zaman göremez — çünkü uydurma cevap da akıcı ve kendinden emindir.
Bu derste öğrendikleriniz
  • Drift üç kaynaktan gelir; model değişmese bile ajan sapar.
  • Halüsinasyon kendinden emindir ve zincirde büyür.
  • Dört rutin: örnekleme, sinyal grafiği, tetikleyici, derin bakış.
  • En ucuz erken uyarı: “temsilci” deme oranı.
← Önceki: Kayıt ve denetim izi Sonraki ders: Saldırılar ve savunmalar →