Prompt caching GPT-6 dari OpenAI tambah breakpoint dan diagnostik

Bersama model barunya, OpenAI merombak prompt caching untuk GPT-6, mekanisme yang memakai ulang prefix prompt yang berulang alih-alih menghitungnya lagi. Perubahan ini menyasar developer yang selama ini merekayasa balik perilaku itu demi menekan biaya. Menurut OpenAI, diskon cache kini berlaku untuk shared prefix yang memenuhi syarat dan dipakai ulang dalam jendela 30 menit, serta hit rate naik secara default: satu pelanggan bergerak dari sekitar 85 persen ke konsisten di atas 90 persen dalam waktu kurang dari sepekan, dan pelanggan lain naik dari 83 ke 91 persen setelah memindahkan session agent ke explicit breakpoint.

Bagian yang lebih berguna adalah kontrolnya. Explicit cache breakpoint membuat Anda bisa memilih prefix mana yang dipakai ulang lewat prompt_cache_options.mode dan prompt_cache_breakpoint pada GPT-5.6 ke atas, sehingga system prompt panjang atau definisi tool bisa di-cache secara sengaja, bukan sekadar kebetulan. Alat diagnostik baru menjelaskan kenapa sebuah request memakai ulang lebih sedikit token dari yang diharapkan, menunjuk pada perubahan model, tool, setelan, atau input yang memutus reuse, sedangkan dashboard memantau seberapa banyak input yang ter-cache dari waktu ke waktu. Harganya tetap: token input dari cache berbiaya 10 persen dari tarif non-cache, sedangkan cache write ditagih 1,25 kali tarif itu.

Kenapa ini penting

Bagi siapa pun yang menjalankan prompt panjang dan berulang lewat GPT-6, ini mengubah caching dari kotak hitam menjadi sesuatu yang bisa dikemudikan dan diaudit. Kalau agent Anda memakai ulang system prompt besar di setiap panggilan, memasang explicit breakpoint dan mengamati diagnostiknya bisa memangkas biaya dan latensi nyata, jadi endpoint yang paling sibuk layak ditinjau ulang.