CNN berusia 10 tahun mengalahkan LLM frontier membaca kanker kulit

Magnus Lynch, seorang dokter kulit, melakukan uji kecil tapi cermat untuk melihat apakah model bahasa frontier bisa membaca lesi kulit dari gambar, lalu membandingkannya dengan convolutional neural network dari sepuluh tahun lalu. Ia memakai 200 lesi dengan bukti biopsi dari dataset publik MILK10k, separuh berupa kasus yang tidak boleh dipulangkan (melanoma dan kanker lain) dan separuh aman untuk dipulangkan. GPT-6 Astra dan Claude Fable 5.1 masing-masing menjawab diagnosis dengan benar sebagai pilihan pertama 42% kasus. CNN-nya, model Inception v3 yang di-fine-tune pada sekitar 68.000 gambar dermatologi, meraih 62%.

Pola kesalahannya justru bagian paling menarik. Kedua LLM terlalu berhati-hati: mereka mempertahankan hampir semua lesi berbahaya (97 dan 96 dari 100) tetapi juga menandai sepertiga lesi yang tidak berbahaya, dan pada uji bergaya pasien memakai foto klinis mereka menyuruh hampir semua orang menemui dokter, termasuk yang bercaknya jelas jinak. CNN lebih tegas dan lebih akurat, tetapi pada ambang bawaannya ia memulangkan 18 dari 30 melanoma, bahaya tersendiri. Lynch jujur soal batasannya: sampelnya kecil, tiap model hanya dijalankan sekali, model mungkin pernah melihat dataset publik ini saat training, dan Inception v3 hanyalah baseline, bukan sistem khusus terkini.

Kenapa ini penting

Kalau kamu mempertimbangkan mengganti model khusus yang sudah bekerja dengan LLM serbaguna, ini pengingat berguna: pada tugas persepsi sempit, jaringan khusus yang murah dan tua masih mengungguli dua model frontier sejauh 20 poin. Uji dulu pada data berlabelmu sendiri sebelum menganggap model yang lebih baru dan lebih mahal pasti lebih baik.