Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Perusahaan riset keamanan AI Goodfire menghadirkan sistem pemantauan internal yang bertujuan mengidentifikasi perilaku agen AI berisiko. Inovasi terbaru ini memiliki relevansi penting karena sistem kecerdasan buatan semakin mandiri. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan pengawasan manusia yang terbatas. Perkembangan ini membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi indikasi penyimpangan ketika model bekerja.

Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap respons akhir agen AI. Melalui pendekatan berbeda, detektor memeriksa representasi numerik yang muncul selama pemrosesan. Data aktivasi tersebut dapat memberikan petunjuk mengenai kemungkinan tindakan berisiko. Nilai tambah teknologi tersebut adalah penggunaan kembali proses perhitungan model. Melalui rancangan tersebut, biaya pemantauan berpotensi berkurang. Namun demikian, hasil deteksi tetap memerlukan evaluasi.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Bagian penting dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu detektor berukuran kecil yang memeriksa pola komputasi selama pemrosesan. Saat model memproses instruksi, proses komputasi menciptakan berbagai aktivasi internal. Aktivasi yang terbentuk memuat petunjuk mengenai aktivitas komputasi yang sedang berlangsung. Detektor aktivasi kemudian menganalisis karakteristik sinyal untuk mengidentifikasi perilaku mencurigakan. Dalam penerapan keamanan, probe berpotensi dirancang mendeteksi pola penyalahgunaan kemampuan siber. Dengan pemrosesan semacam ini, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Pada metode konvensional, pemeriksa kecerdasan buatan terpisah dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Pendekatan pemeriksaan ulang ini berpotensi menambah waktu pemrosesan, terutama apabila sistem menjalankan banyak langkah. Sebaliknya, detektor cukup memanfaatkan sinyal internal yang tersedia. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Meskipun konsumsi sumber daya relatif kecil, penyesuaian detektor tetap diperlukan untuk memastikan pengawasan sesuai risiko.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Goodfire menerapkan mekanisme pengawasan bertahap. Dalam pemeriksaan pertama, activation probes memantau aktivasi pada berbagai langkah. Apabila tidak ditemukan masalah, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Namun apabila terdapat peringatan, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Evaluasi berikutnya membantu menilai apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.

Di samping mengidentifikasi risiko, administrator berkesempatan mengatur langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut dapat mencakup penyimpanan laporan kejadian, eskalasi ke petugas keamanan, atau penghentian tindakan tertentu. Pada sistem AI yang digunakan untuk pekerjaan, sistem otomatis yang dapat menggunakan alat berpotensi menggunakan repositori kode. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, ambang deteksi perlu ditetapkan dengan hati-hati agar proses kerja tetap berjalan dengan wajar.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Eksperimen perusahaan melibatkan kurang lebih 1.500 sesi untuk mengukur kemampuan pendeteksian. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen aktivitas hacking yang tergolong berisiko. Di samping keberhasilan deteksi, kurang lebih 8,7 persen sesi yang sebenarnya aman ikut ditandai. Angka tersebut memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Dengan demikian, administrator perlu mengevaluasi kemampuan menemukan ancaman.

Dari sisi biaya, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Dalam pengujian pembanding, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium dapat mencapai US$10.000. Sebagai aspek performa tambahan, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan latensi waktu menuju respons pertama kurang dari 2 persen. Meskipun angka tersebut menarik, hasilnya belum otomatis berlaku pada semua model. Karena alasan tersebut, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.

Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka

Salah satu langkah penerapan adalah ketersediaan teknologi Goodfire bagi pengguna platform penyedia model AI Baseten. Platform Baseten berperan sebagai layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika mengoperasikan model AI. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Dengan demikian, organisasi berpotensi meningkatkan pengendalian risiko ketika model digunakan.

Di luar pendeteksian aktivitas hacking, pendekatan interpretabilitas model memiliki potensi digunakan pada jenis risiko lainnya. Contoh risiko yang diperhatikan antara lain penyalahgunaan terkait senjata kimia dan biologis, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Untuk menggambarkan masalah, agen mungkin mencoba memanipulasi hasil evaluasi. Dengan memahami pola tersebut, administrator berpotensi mengetahui tanda masalah sebelum masalah menimbulkan dampak lebih besar.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengenalan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Berkat pemanfaatan representasi numerik selama pemrosesan, sistem berupaya mendeteksi pola penyimpangan model tanpa harus memeriksa seluruh keluaran menggunakan model besar. Data eksperimen yang diumumkan perusahaan melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Namun demikian, perbedaan karakteristik antar-model tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, pemantauan internal sebaiknya dilengkapi pengawasan manusia pada aktivitas penting. Apa pandangan Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Silakan bagikan pendapat Anda mengenai pentingnya pengawasan agen otomatis.