Model Claude terbaru justru lebih buruk memakai tool schema buatan sendiri

Armin Ronacher, yang sedang membangun coding harness bernama Pi, menemukan hal yang terbalik: model terbaru Anthropic, Opus 4.8 dan Sonnet 5, justru lebih buruk dari model lama saat memanggil edit tool buatannya. Hasil editnya sendiri biasanya benar, tapi argumennya tidak cocok dengan schema. Model mengarang key tambahan di dalam array edits[] yang tidak pernah didefinisikan tool-nya, sehingga pemanggilan gagal validasi. Model yang lebih kecil dan lebih lama, termasuk Haiku, tidak melakukan ini. Justru model yang lebih pintar yang rusak.

Menurut penjelasannya, model-model ini dilatih intensif lewat reinforcement learning pada edit tool bawaan Claude Code, yang bekerja dengan cara search and replace. Spesialisasi itu tampaknya bocor. Model punya prior yang begitu kuat soal bagaimana sebuah edit tool "seharusnya" terlihat, sampai ia membentuk ulang schema pihak ketiga agar cocok, walau diberi kontrak yang berbeda. Simon Willison, yang menyoroti temuan ini, membacanya sebagai contoh konkret di mana model dengan skor benchmark lebih tinggi tetap kurang pas untuk harness tertentu.

Kenapa ini penting

Kalau kamu membangun agent di atas model Anthropic dan mendefinisikan tool sendiri, upgrade model bisa diam-diam merusak tool call yang tadinya jalan. Uji schema kamu pada tiap rilis baru, jangan mengira yang lebih baru pasti lebih aman. Kalau field karangan terus muncul, meniru format edit search-and-replace ala Claude Code mungkin lebih murah ketimbang melawan prior model.