Yapay zekâ sohbet robotları koyu tenlerde cilt kanserini kaçırırken yüksek güven bildirdi

San Diego'da düzenlenen Amerikan Dermatolojik Cerrahi Derneği (American Society for Dermatologic Surgery, ASDS) Yıllık Toplantısı'nda sunulan bir çalışma, yaygın kullanılan iki yapay zekâ sohbet robotunun koyu tenli bireylerde cilt kanserini tanımadaki performansını ele aldı. Healio Dermatology'nin aktardığına göre Claude ve ChatGPT modelleri, koyu ten tiplerindeki cilt kanserlerini belirlemede sınırlı doğruluk gösterdi; buna karşın tanılarına görece yüksek güven atfetti.

Araştırmacılar, modellerden her tanı için güven düzeylerini yüzde 1 ile yüzde 100 arasında bir ölçekte belirtmelerini istedi. En koyu ten renklerini kapsayan Fitzpatrick V-VI cilt tiplerindeki lezyonlarda modeller, doğru tanı koyduklarında yüzde 65-70, yanlış tanı koyduklarında ise yüzde 60-65 düzeyinde güven bildirdi. Doğru ve yanlış tanılar arasındaki bu dar fark, modellerin kendi belirsizliklerini ayırt etmede zorlandığına işaret ediyor.

Bulgu, özellikle hastaların ya da hekim dışı kullanıcıların bu araçlara cilt lezyonları hakkında soru sorduğu senaryolarda önem taşıyor. Yanlış bir tanının yüksek güvenle sunulması, kullanıcıda yersiz bir rahatlama ya da yanlış yönlendirme yaratabilir. Dermatolojide görüntü tabanlı algoritmaların koyu ten tiplerinde daha düşük performans gösterebileceği endişesi uzun süredir tartışılıyor; bu çalışma, genel amaçlı sohbet robotlarını da bu tartışmanın içine taşıyor.

Çalışmanın sınırlılıkları dikkate alınmalıdır. Bilgiler bir kongre sunumuna dayanan haber metninden aktarılmaktadır ve hakemli bir yayın henüz mevcut değildir. Kaynakta kullanılan görüntü sayısı, lezyon türleri, model sürümleri, genel doğruluk oranları ve açık ten tipleriyle karşılaştırma verileri yer almamaktadır. Sohbet robotları sürekli güncellendiğinden sonuçların güncel sürümlere ne ölçüde genellenebileceği de belirsizdir.