Devasa bir chatbotu incelemek: TOBi Conversational UX Audit Projesi

Onlarca niyet, yüzlerce kırılım ve sayısız mesajdan oluşan bir chatbot düşünün. Öyle ki bu chatbottan hem faturanızı inceleyebiliyorsunuz hem de market siparişi verebiliyorsunuz. Türkiyenin belki de ilk Superchatbot’u TOBi’yle tanışın! Bu hikâye devasa TOBi’nin sohbete dayalı kullanıcı deneyimi bakımından incelenmesi yani conversational UX (CUX) audit sürecini anlatıyor. Onlarca saatlik araştırma, workshop, toplantı, analiz ve raporlamayla geçen zorlu ama eğlenceli süreci dinlemeye hazır mısınız?

Nereden çıktı bu fikir?

Belli bir olgunluk seviyesine ulaşan her chatbot projesinde duyulan (duyulması gereken) bir ihtiyacın sonucu olarak doğdu. Vodafone tarafından yürütülen global bir projenin Türkiye ayağı olan TOBi, hızlı ve emin adımlarla ilerliyordu. Telekomünikasyon chatbotundan beklenen temel özelliklerin çoğunu karşılıyor ve “beklenmedik” hamleler için hazırlık yapılıyordu. Tam bu anda şimdiye kadar yapılan işlerin kullanıcı deneyimi bakımından incelenmesi ve yeni özellikler için içerik önerilerinin oluşturulması ihtiyacı bizi CUX audit projesine yönlendirdi.

CUX audit nedir?

Bir tür sezgisel (heuristic) araştırma metodu olan Chatbot CUX Audit, chatbotların sistematik biçimde incelenmesi ve raporlanması sürecidir. Bilimsel literatüre ve “best practice”lere dayandırılarak oluşturulan kriterlere göre gerçekleştirilen denetime uzmanların öznel görüşleri de eşlik etmektedir.

Süreci nasıl inşa ettik?

Her ne kadar dışarıdan diyalogların analiz edip raporlanması gibi tek taraflı bir iş gibi gözükse de CUX audit süreci müşterinin aktif katılımını gerektirir. Hem chatbotun teknik yapısını öğrenmek hem de içeriksel bağlamı anlamak için müşterilerimizin katkısı olmazsa olmazdır. Beraber tasarladığımız denetim sürecini dört adıma böldük:

• Öğrenme: Sohbete dayalı kullanıcı deneyimi ve TOBi üzerine bilinebilecek her şeyi öğrendik ve birbirimize öğrettik. Burada amaç nasıl inceleyeceğimizi Vodafone’a anlatırken; neyi inceleyeceğimizi Vodafone’dan öğrenmekti. Çift taraflı geçen bu öğrenme süreci sonunda sohbete dayalı kullanıcı deneyimi ve TOBi üzerine bilinebilecek her şeye hakim hale geldik.
• Hazırlık: Denetleyeceğiz ama neyi? Bu soruya cevap vermek için çalışmanın sınırlarını belirledik. İncelenecek niyetleri seçtik. Uygulanacak kural ve kıstaslara karar verdik. Hazırlık süreci sonunda neyi denetleyeceğimizi biliyorduk.
• Denetim: Süreci yalnız yürüttüğümüz tek kısım denetimdi. Belirlediğimiz kıstaslarda ve alanlarda TOBi’yi incleledik; notlarımızı aldık. Tüm çıktıları rapor için hazır hale getirdik.
• Aktarma: Ulaştığımız sonuçları hem anlattık hem de birlikte yorumladık. Hep beraber ele aldıktan sonra çıktıları rapora dönüştürdük.

Denetimle neyi hedefledik?

Tüm çalışmaların sonunda ulaşmayı beklediğimiz iki temel hedef vardı. Öncelikle varolan akışlarda olan sorunları tespit edecektik. İkinci ve belki de daha önemlisi bundan sonra oluşabilecek sorunaların önüne geçecek bir yol ortaya koyacaktık.

Koyduğumuz amaçlara ulaşmak için terzi usulü iki çözüm yolu yarattık: TOBi Denetim Listesi ve TOBi Content Style Guide

TOBi Denetim Listesi

Denetim boyunca her bir akışın tüm metinlerinin teker teker incelenmesi gerekiyordu. Daha önemlisi inceleme sonrasında elde edilen verilerin anlamlandırılabilir ve işlenebilir olmalıydı. Akışlarla ilgili satır satır not düşmek bir çözümdü ama yüzlerce mesajın incelendiği bir yapıda kullanılamazdı. Bize hem tüm görüşleri içerecek hem kolay ulaşılabilecek hem de diğer sonuçlarla karşılaştırılabilecek bir metod gerekiyordu. Biz de çözüm olarak bir denetim listesi hazırladık.

Adına TOBi Denetim Listesi dememizin en önemli nedeni, maddelerin önemli bir bölümünün TOBi için özel hazırlanmasıydı. Elbette sohbete dayalı kullanıdı deneyimini ilgilendiren standart maddeler de yer alıyordu ama asıl fark, telekominikasyon sektörü ve Vodafone ihtiyaçlarıyla ilgili özel maddelerdi.

Denetim listesini bir anket formatında hazırladık. Yorum alanı dışında her soru için seçenekler hazırladık. Örnek olarak akış sonunda bir yönlendirme varsa ve bu yönlendirme web sitesine yapılıyorsa; “yönlendirme var ve bu yönlendirme web sitesine yapılıyor” seçeceğini seçtik. Bu sayede tüm TOBi’de yönlendirmelerin nereye yapıldığını istatistiksel olarak inceleyecek veriye ulaştık.

Denetim listesinin görünmez ama hayati özelliği ise hızlı analiz imkanı tanıması. Yazının başını hatırlayın… onlarca niyet ve yüzlerce kırılım… Ve bunlar içerisindeki her bir diyaloğun teker teker incelenmesi. İşin ne kadar devasa olduğu gözünüzde canlanıyor değil mi? Tek bir satır atlamadan tüm içerikleri açık bir formatla analiz etmek aylar alırdı. Dahası analiz sonucunun çıktılarını okumak isteyen “bunu okuyacağımız Savaş ve Barış okurum, o daha kısa” diyebilirdi. Anket formatı sadece analiz sonuçlarının kolay analiz edilmesine değil analizin kağıda kolay aktarılmasını da sağladı.

TOBi Content Style Guide

Bu tür kullanıcı deneyimi araştırmaların başına gelebilecek en kötü olay; hazırlanan çıktıların gelecekteki tasarımlara etki edememesidir. Gelecekte bu tarz talihsiz bir olay yaşanmaması için öncelikle sonuçların anlaşılabilir olması (TOBi denetim listesinde hedeflediğimiz buydu) gerekir. Akabinde ise denetimden elde edilen çıktıların uygulanabilir bir hale dönüştürülmesi gerekir. Biz bu ihtiyacı TOBi Content Style Guide ile çözdük.

İsminden de anlaşılacağı gibi TOBi Content Style Guide bir içerik rehberidir. İçeriklerin nasıl yazılması (ve tabi yazılmaması) yönünde yönergeler ve örnekler bulunur. Biz bu standart içerik rehberi formatını alıp ayrıntılı bir yazım kılavuzuna döndürdük.

TOBi Content Style Guide’ı özel kılan, sohbete dayalı kullanıcı deneyimi odaklı Türkiyedeki ilk ayrıntılı kılavuz olmasıydı. Yola çıkarken amacımız hayatında TOBi’yi hiç görmemiş, chatbot nedir bilmeyen birinin bile zorlanmadan TOBi için içerik üretebilmesine olanak sağlayacak bir kanaati. Bu sebeple sadece özel isimlerin nasıl yazılacağı gibi formatsal kurallara değil; bunların chatbot özelinde nasıl kullanılacağı yönergelerine de yer verdik.

Kılavuzu ayrıntılı kılan bir başka detaysa, chatbotun Vodafone gibi devasa bir yapının parçası olmasıydı. TOBi’nin kendi persona kurallarına uyarken Vodafone’un dünyasını da unutmamalıydık. Buna analiz sonucunda elde edilen sonuçlar da eklenince yönergelerin hazırlanmasında hassas bir ayar tutturulması gerekti. Bu noktada en büyük destek ve yardım Vodafone’daki iş ortaklarımızdan geldi. Onlarla beraber aldığımız kararlar ışığında herkesi memnun edecek optimum sonuçlara ulaşabildik.

Her ne kadar bugünden işlevsel olsa da esas faydası ileriki zamanlarda ortaya çıkacak. Bir tür içerik anayasası gibi algılayabileceğiniz içerik rehberi bundan sonraki tüm içerik süreçlerinin belirleyicisi olacak. IVR, ev asistanları ve hatta Metaverse için bile kullanılabilir bir kaynak olmayı sürdürecek.