İşletmelerde yapay zekâ otomasyonu: nereden başlanır, nerede durulur
Demo kolay, üretim zor. Hangi işin otomasyona uygun olduğunu seçme kriterleri, insana devir kuralı ve maliyetin gerçekten nerede oluştuğu.
Yapay zekâ projelerinde demo ile üretim arasındaki mesafe, başka hiçbir yazılım türünde olmadığı kadar uzun. Bir demoda modelin on soruyu doğru cevaplaması yeter. Üretimde, bin sorunun kaçını yanlış ama ikna edici biçimde cevapladığı önemlidir.
Bu yazı hangi işin otomasyona uygun olduğunu seçmekle ilgili.
Uygun işin dört özelliği
Bir süreci otomasyona vermeden önce dört kutuyu işaretleyin.
1 · Tekrar oranı yüksek. Ayda üç kez gelen bir talep için sistem kurmak, kurulum maliyetini asla çıkarmaz. Ayda üç yüz kez geliyorsa hesap değişir.
2 · Doğru cevap bir yerde yazılı. Modelin kendi “bilgisine” dayanan cevaplar üretimde riskli. Cevabın kaynağı sizin dokümanınızsa — fiyat listesi, prosedür, politika — model o kaynağa dayanarak konuşabilir. Bu, RAG’ın (kaynak getirip cevap üretme) var oluş sebebi.
3 · Yanlış cevabın maliyeti kurtarılabilir. Yanlış bir kargo takip cevabı düzeltilebilir. Yanlış bir dozaj cevabı düzeltilemez. Alanın hata toleransı, otomasyonun sınırını belirler.
4 · Sonucu ölçebiliyorsunuz. Doğruluğu ölçemeyeceğiniz bir sistemi üretime almayın. “İyi görünüyor” bir ölçüm değildir.
Dördü de sağlanmıyorsa proje teknik olarak yapılabilir ama ticari olarak kayıptır.
En sık işe yarayan üç uygulama
Tekrar eden sorulara cevap. Fiyat aralığı, süreç, teslimat, iade, çalışma saatleri. Destek yükünün büyük kısmı bu tip sorulardır ve cevapları zaten yazılıdır.
Yapılandırılmamış veriden alan çıkarma. Gelen e-postadan, faturadan veya sözleşmeden belirli alanları okuyup sisteme yazmak. Burada model yaratıcı olmadığı için hata oranı düşük ve doğrulaması kolaydır.
Konuşma ve çağrı analizi. Satış görüşmelerinin puanlanması, itirazların sınıflandırılması, bir sonraki adımın netleşip netleşmediği. İnsanın hiç yapmadığı bir işi yaptığı için yanlış cevabın maliyeti de düşük — kimse zaten okumuyordu.
RAG’ı doğru kurmak
Kaynak getirip cevap üretme (RAG) basit görünür: dokümanları parçala, vektöre çevir, soruya en yakınları getir, modele ver. Üretimde takıldığı yerler belli:
Yalnız anlamsal arama yetmez. Fiyat gibi kesin bilgilerde model, anlamca yakın ama yanlış satırı getirmeye eğilimlidir. Anahtar kelime aramasıyla birleştirin ve sonucu yeniden sıralayın.
Parçalama sınırları önemli. Bir tabloyu ortadan bölen parçalama, cevabı imkânsız hâle getirir. Doküman yapısına saygı gösteren bir bölme, model seçiminden daha çok fark yaratır.
Kaynak gösterilmeli. Model yalnızca getirilen parçalara dayanarak cevap versin, dayanak yoksa cevap vermesin. “Bilmiyorum” diyebilen sistem, ikna edici biçimde uyduran sistemden kıyaslanamayacak kadar değerlidir.
Bilgi tabanı eskir. Fiyat listesi değişip vektör deposu güncellenmezse sistem eski fiyatı kendinden emin biçimde söyler. Güncelleme hattını baştan kurun.
İnsana devir, gizlenecek bir sayı değil
Her otomasyonun bir güven eşiği olmalı ve eşiğin altındaki her vaka insana gitmeli.
Devir oranı, sistemin başarısızlık göstergesi değil ana metriğidir. %30 devirle çalışan ve hiç yanlış cevap vermeyen bir sistem, %0 devirle çalışıp haftada beş kez yanlış konuşan sistemden iyidir.
Devrin kullanıcıya fark ettirilmeden olması gerekir: konuşma geçmişi insana aktarılır, kullanıcı baştan anlatmak zorunda kalmaz.
Maliyet nerede oluşuyor
Token maliyeti genelde en küçük kalemdir. Gerçek maliyet şurada:
| Kalem | Not |
|---|---|
| Bilgi tabanının hazırlanması | En büyük ve en çok atlanan kalem |
| Değerlendirme kümesi | İnsan tarafından etiketlenmiş soru-cevap seti |
| Güncelleme hattı | Doküman değişince vektörlerin tazelenmesi |
| İnsan inceleme kuyruğu | Devredilen vakalara bakacak kişi |
| Model çağrıları | Genelde toplamın küçük bir kısmı |
Değerlendirme kümesi özellikle kritik. Model ya da istem değiştiğinde doğruluğun düşüp düşmediğini bu küme söyler. Yoksa her değişiklik kumar olur.
Başlangıç için pratik sıra
- Destek kayıtlarından en çok tekrar eden 20 soruyu çıkarın.
- Bu soruların cevaplarının yazılı olduğu dokümanları toplayın.
- İnsan eliyle 50 soruluk bir değerlendirme kümesi hazırlayın.
- Dar bir kapsamla — tek konu, tek kanal — başlayın.
- Güven eşiğini yüksek tutun; devir oranı yüksek başlasın.
- Değerlendirme kümesinde doğruluk istikrar kazandıkça eşiği kademeli düşürün.
En sık yapılan hata dördüncü adımı atlayıp her şeyi aynı anda otomatikleştirmeye çalışmak. Dar kapsamla başlayan sistem büyür; geniş başlayan sistem güven kaybeder ve kapatılır.
