AI Chatbot Kurulumu

Bot ne biliyorsa onu söyler, kaynak hazırlığı işin yarısı

Botun güvenilir çalışması kurulumdan çok kaynak içeriğe bağlı. Cevaplar sitedeki sayfalardan, ürün dokümanlarından ve hazırlanan bilgi kartlarından geliyor. Bu içerik dağınıksa, aynı konuda birbiriyle çelişen iki sayfa varsa ya da bilgi yalnız birinin kafasındaysa bot da o karışıklığı yansıtıyor.

Bu yüzden çalışmanın önemli bölümü kaynağı düzenlemekle geçiyor. Sık gelen sorular tek tek yazılıyor, eskimiş sayfalar ayıklanıyor, çelişen bilgiler tek bir doğru halde birleştiriliyor. Fiyat, teslim ve kapsam gibi değişken bilgiler ayrı kartlarda tutuluyor ki güncellemek kolay olsun.

Kaynağı olmayan sorularda bot cevap üretmiyor. Bilmediğini söyleyip ilgili kişiye ya da sayfaya yönlendiriyor. Bu davranış kurulumun ayarıyla sağlanıyor ve test edilmesi gereken en önemli davranış oluyor.

İçeriği güncel tutmanın da bir sahibi oluyor. Fiyat ya da kapsam değiştiğinde kaynağın güncellenmesi gerekiyor. Bu sorumluluk tanımlanmadığında bot bir süre sonra eski bilgiyi anlatmaya devam ediyor ve sorun ancak müşteri şikâyetiyle görülüyor.

Test seti olmadan yayına alınmıyor

Chatbot kurulumlarında atlanması en kolay adım test, çünkü bot ilk denemede iyi cevaplar veriyor. Gerçek trafikte ise sorular beklenenden farklı geliyor: eksik yazılmış cümleler, birden çok soru içeren mesajlar, konuyla ilgisiz istekler ve bilerek sınırı zorlayan sorular.

Yayından önce gerçek kayıtlardan türetilmiş bir soru listesi hazırlıyoruz. Her sorunun yanında beklenen davranış yazılı: cevap versin, kaynağa yönlendirsin, insana devretsin ya da cevap vermeyi reddetsin. Liste tek tek çalıştırılıp sonuçlar karşılaştırılıyor.

Aynı liste kurulum değiştiğinde tekrar çalıştırılıyor. Kaynak içerik güncellendiğinde ya da ayarlarda bir şey değiştiğinde daha önce doğru cevaplanan bir sorunun bozulması mümkün. Yayına alındıktan sonra da konuşmalarda yanlış cevabı işaretleme yolu açık kalıyor ve işaretlenen her örnek listeye ekleniyor.

Kurulumda beklentiyi de netleştiriyoruz. Bot her soruyu cevaplamıyor ve cevaplamaması gereken sorular var. Başarı ölçüsünü cevaplanan soru oranı olarak değil, doğru cevaplanan ve doğru devredilen soruların toplamı olarak koyuyoruz.