Menebak batas pengetahuan asli model frontier lewat kuis dan prompt identitas

Shrivu Shankar menjalankan serangkaian percobaan untuk memperkirakan kapan sebenarnya data pra-pelatihan di balik model frontier berhenti. Menurut pengukurannya, Opus 4.7 ke atas dari Anthropic tampak berbagi satu checkpoint dengan batas pengetahuan efektif sekitar akhir Desember 2025, sedangkan GPT-5.6 dari OpenAI berasal dari checkpoint terpisah yang rampung sekitar akhir Februari 2026. Opus 5 jadi anomali: dokumentasinya menyebut batas Mei 2026, tetapi perilakunya seperti model yang berhenti belajar pada Januari 2026.

Metodenya mudah diulang. Shankar memberi tiap model kuis pilihan ganda delapan opsi tentang fakta harian dari Wikipedia untuk melihat di titik mana tingkat kesalahan melonjak, menanyakan tanggal saat ini ke tiap model, dan menjalankan 50 prompt "kamu model apa?" untuk menebak isi campuran datanya. Satu kejanggalan menonjol: Sonnet 5 kerap mengaku sebagai GPT-4, petunjuk bahwa teks buatan ChatGPT mungkin bocor ke data pelatihannya, sementara model buatan OpenAI tidak pernah mengaku sebagai model pesaing.

Kenapa ini penting

Kalau kamu membangun di atas model ini, batas pengetahuan yang tertulis di dokumen belum tentu sama dengan yang benar-benar diketahui model. Saat aplikasimu bergantung pada fakta terbaru, uji sendiri batasnya, jangan percaya pada labelnya.