Bilişim ve yapay zekâÖn baskıVeri analizi3 dk okuma

NEYİ SEVECEĞİNİZİ ALGORİTMADAN DAHA İYİ BİLİYORSUNUZ

Öneri sistemleri, insanların ne izlediğinin, ne okuduğunun ve ne satın aldığının büyük kısmını belirliyor; yazarların atıf yaptığı 2015 tarihli bir makaleye göre Netflix’te öneri sistemi “izlenen saatlerin yaklaşık %80’inde seçimi etkiliyor”. İşe yaraması için bir platformun, her kişinin neyi seveceğini tahmin etmesi gerekir. Bunu davranıştan öğrenebilir — sizin ve milyonlarca başkasının verdiği puanlar, tıklamalar, sonuna kadar izlenen yapımlar — ya da basitçe sorabilir.

Sormak maliyetlidir. Bir film puanlama sitesi olan MovieLens’te 3,0 milyon sorunun %98,8’i yanıtsız kaldı. Kuram da çelişkili tavsiyeler veriyor. Yazarların kalabalık görüşü adını verdiği bir gelenek, çok sayıda insandan derlenen istatistiklerin bireysel yargıyı geride bıraktığını ve insanların kendi keyiflerini tahmin etmekte başarısız olduğunu söyler. Bir diğeri, dağınık bilgi görüşü, her birimizin hiçbir veritabanının kaydetmediği bilgilere sahip olduğunu söyler: yönetmenin önceki işlerine bayılmışsınızdır ama onları hiç puanlamamışsınızdır, fragman sizi soğuk bırakmıştır, zevkine güvendiğiniz bir arkadaşınız filmden söz etmeyi bir türlü bırakmıyordur.

Ana sayfada bir soru

Zihan Chen ve Di Zhu (Stevens Institute of Technology) ile Lei Nico Zheng (Massachusetts Üniversitesi Boston), bu testi mümkün kılan bir veri kümesi kullandı. Minnesota Üniversitesi’ndeki GroupLens laboratuvarının işlettiği ticari olmayan bir öneri sistemi olan MovieLens, Mart 2023’ten Mayıs 2024’e kadar ana sayfasında bir soru yayımladı. Soru bir film adı gösteriyor ve üyeye o filmi görüp görmediğini soruyordu. Görmediyse: yarım yıldızdan beş yıldıza kadar, ona kaç yıldız vereceğinizi düşünüyorsunuz?

Bu türden 26.020 tahminin 551’ini — 277 üyeden gelen — en az bir gün sonra gerçek bir puan izledi. Ekip tam olarak bu çiftler üzerinde tahmini dört makineyle karşılaştırdı: MovieLens’in kendi öneri sisteminin tahmini; 33 milyon önceki puanla eğitilmiş ve üyenin tahmin anına kadar puanladığı her şeyle güncellenmiş iki klasik öneri algoritması; ve her makine öngörüsünü platformun film ve üye hakkında bildikleriyle birleştiren bir “yığın” (stack).

İnsanlar kazanıyor

Üyenin tahmini, sonraki puanla 0,69 düzeyinde korelasyon gösterdi. Eğitilmiş algoritmalar 0,54 ile 0,59 arasına ulaştı; MovieLens’in kendi tahmini ise 0,34’te kaldı. Tahmin, sonraki puandan ortalama 0,61 yıldız saptı; bu sapma herhangi bir makine için en az 0,72’ydi. Tahmin ayrıca neredeyse yansızdı; MovieLens ise sonraki puanı yarım yıldız fazla tahmin ediyordu.

Üstünlük yalnızca hangi filmlerin iyi olduğunu ya da insanın ne kadar cömert puan verdiğini bilmekten gelmiyor. Filmin ortalama çekiciliğini ve üyenin olağan cömertliğini çıkarın; tahmin, geriye kalanı — bu kişi ile bu film arasındaki kişisel uyumu — yine de makinelerden çok daha iyi öngörüyor (en fazla 0,47’ye karşı 0,63).

Makinelerin bildiği her şeye eklendiğinde tahmin, öngörü hatasını %26 azalttı. Tersi doğru değildi: tüm makine bilgisini tahmine eklemek saptanabilir hiçbir kazanç sağlamadı.

Makinelerin yetiştiği yer

Sıralama söz konusu olduğunda tablo daha dengeli. Bir üyenin daha sonra farklı puanladığı iki film verildiğinde, tahmin onları vakaların %72’sinde doğru sıraya koydu. MovieLens %56’da kaldı — yazı tura %50 tutturur — ama eğitilmiş algoritmalar %64 ila %67’ye ulaştı; yazarlar bunu istatistiksel olarak kişiden ayırt edilemez buluyor.

Tanıdık zeminde ise makineler aynı derecede iyi ya da daha iyi. Üyelerin aslında yıllar önce puanlamış olduğu filmlerde — daha eski, çok puan almış, sitenin en yoğun kullanıcılarınca puanlanmış filmlerde — algoritmalar kişiyi yakaladı ya da geçti. Kişinin üstünlüğü, verilerin az olduğu yerde en büyük: az puanlanmış filmlerde (bir algoritma için 0,41’e ve MovieLens için 0,13’e karşı 0,65) ve üyenin nadiren puanladığı türlerde.

İşe yaramayanlar

İki kestirme yol işe yaramıyor. Bir üyenin diğer filmler hakkındaki önceki tahminleri, o filmlerin ne kadar benzer olduğuna göre ağırlıklandırılsa bile, eldeki film hakkında taze bir tahminin yerini tutmuyor. İnsanlara ne kadar emin olduklarını sormak da neredeyse hiçbir şey katmıyor: kesinlik çoğunlukla aşırı görüşlere işaret ediyor ve en emin üyelerin biraz fazla iyimser olduğu ortaya çıktı.

Yazarlar ayrıca insanların sitenin gösterdiği tahmini basitçe kopyalamadığını da kontrol etti: tahminleri onunla yaklaşık olarak tesadüfün öngöreceği sıklıkta örtüşüyordu.

Platformlar için dört kural

Ekip bu sonuçlardan dört tasarım ilkesi çıkarıyor: belirli bir öğe için beklenen puanı sorun; şu anda hakkında karar verilen öğeleri sorun; öneri sistemlerini, gerçekten yeniden sıraladıkları en üst adaylar üzerinden değerlendirin, ki MovieLens burada çiftlerin yalnızca %56’sını doğru sıralamıştı; ve herhangi bir algoritmayı insanlarla karşılaştırmadan önce ona platformun bildiği her şeyi verin.

Sınırlar makalede açıkça belirtiliyor. 551 çift tüm tahminlerin %2,1’ini oluşturuyor, tek bir sitedeki meraklılardan geliyor ve insanlar izlemeyi seçtikleri şeyi puanlıyor. Yazarlara göre rastgele seçimli bir deney, sormanın insanların uyduğu önerileri gerçekten iyileştirip iyileştirmediğini gösterebilir. O zamana kadar sonuç, makalenin başlığının ifade ettiği gibi geçerli: önünüzdeki film hakkında, hiçbir puan geçmişinin kaydetmediği bir şey biliyorsunuz.