Uji coba di Sierra Leone: tutor Gemini angkat nilai matematika siswa

Google DeepMind menguji tutor AI lewat randomized controlled trial di Sierra Leone, dan hasilnya jauh lebih konkret dari kebanyakan pilot yang biasanya hanya optimis di atas kertas. Bersama Fab AI dan Kementerian Pendidikan setempat, tim memberi 1.763 siswa sekolah menengah pertama di 12 sekolah di Distrik Port Loko akses ke Guided Learning, fitur pada Gemini yang dibangun dari riset pedagogi LearnLM. Selama delapan minggu, siswa yang memakai alat ini unggul 0,258 standar deviasi di nilai matematika dibanding kelompok kontrol, setara sekitar 1,2 sampai 1,7 tahun kemajuan belajar normal. Di kelas yang gurunya mengintegrasikan alat ini lebih dalam, kemajuannya mencapai 1,8 sampai 2,5 tahun.

Yang membuat studi ini layak dibaca adalah data interaksi di balik angka itu. Tim menganalisis lebih dari 113.000 percakapan siswa dengan model. Pada 91,4% percakapan, siswa berusaha memahami konsep, bukan sekadar meminta jawaban, dan model mendorong ke arah itu: 76% pesannya berupa pertanyaan pemandu, dan hanya 2% yang langsung memberi solusi jadi. Tingkat pemakaiannya juga tinggi, dengan 69% siswa memenuhi atau melampaui target penggunaan, jauh di atas angka satu digit yang lazim untuk software pendidikan sukarela.

Catatan jujurnya ada di laporan: siswa yang dasar matematikanya sudah lebih kuat justru paling diuntungkan, sehingga alat ini bisa melebarkan jurang yang seharusnya ia tutup. Laporan lengkapnya bisa dibaca di blog DeepMind.

Kenapa ini penting

Buat yang membangun atau mendanai teknologi pendidikan, ini bukti lapangan yang langka bahwa model serbaguna, jika diarahkan untuk bertanya alih-alih menjawab, bisa menggerakkan nilai ujian yang nyata. Masalahnya ada di kesenjangan: ukur dulu siapa yang diuntungkan sebelum memperbesar skala.