Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan sistem pemantauan internal yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini memiliki relevansi penting karena penggunaan agen digital semakin berkembang. Ketika digunakan untuk menjalankan pekerjaan, agen AI berpotensi menyelesaikan tugas bertahap dengan tingkat otomatisasi yang semakin tinggi. Kondisi tersebut membuka peluang otomatisasi, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire mengembangkan kemampuan mendeteksi indikasi penyimpangan ketika model bekerja.

Tidak seperti pendekatan pemeriksaan keluaran, sistem pemantauan internal ini tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebaliknya, detektor memeriksa aktivasi internal jaringan saraf. Informasi tersebut memungkinkan pengenalan pola mengenai arah perilaku model. Nilai tambah teknologi tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Berkat cara kerja ini, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.

Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI

Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa representasi numerik jaringan saraf. Saat model memproses instruksi, jaringan saraf membentuk pola sinyal pada lapisan pemrosesan. Aktivasi yang terbentuk memuat petunjuk mengenai aktivitas komputasi yang sedang berlangsung. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mendeteksi aktivitas berisiko. Sebagai contoh, sistem klasifikasi dapat digunakan mengidentifikasi indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, indikasi masalah mungkin ditemukan lebih awal.

Keunggulan teknis pendekatan tersebut adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, pemeriksa kecerdasan buatan terpisah sering harus membaca ulang teks yang dihasilkan agen. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Sebaliknya, detektor cukup memanfaatkan representasi model yang telah dihitung. Oleh karena itu, beban pengawasan dapat dikurangi. Walaupun demikian, penyesuaian detektor tetap diperlukan untuk menjaga relevansi hasil.

Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan

Sistem keamanan ini memanfaatkan proses pemeriksaan berlapis. Dalam pemeriksaan pertama, detektor internal memeriksa representasi internal selama pemrosesan. Apabila tidak ditemukan masalah, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, hasil deteksi dapat dikirim kepada sistem peninjauan lanjutan. Pemeriksaan kedua membantu menilai apakah peringatan membutuhkan intervensi. Melalui sistem bertahap tersebut, pemeriksaan mahal hanya digunakan ketika diperlukan.

Selain melakukan deteksi, penyedia layanan memiliki pilihan menetapkan respons terhadap peringatan. Pengaturan respons ini antara lain penyimpanan laporan kejadian, permintaan peninjauan manual, atau penolakan permintaan berisiko. Pada sistem AI yang digunakan untuk pekerjaan, agen pemrograman berpotensi menggunakan repositori kode. Apabila aktivitas berbahaya terdeteksi, pengawasan dapat memicu tindakan pencegahan. Walaupun respons otomatis membantu, pengelola harus mempertimbangkan risiko kesalahan agar pengguna tidak terlalu banyak menerima peringatan palsu.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Menurut laporan Goodfire, probe mampu menandai 94 persen aktivitas hacking yang tergolong berisiko. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas normal teridentifikasi sebagai potensi masalah. Data pengujian tersebut menunjukkan adanya false positive. Dengan demikian, administrator perlu mengevaluasi tingkat kesalahan peringatan.

Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model tambahan kelas ringan memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium dapat mencapai US$10.000. Selain penghematan tersebut, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Bagian penting dari peluncuran adalah penggunaan sistem monitoring internal bagi pelanggan Baseten. Baseten merupakan layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan detektor risiko berbasis model ketika menerapkan layanan kecerdasan buatan. Sistem pemantauan ini menjadi relevan terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Dengan demikian, pengembang memiliki pilihan memperkuat mekanisme keamanan saat inferensi.

Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model memiliki potensi digunakan pada jenis risiko lainnya. Bidang pengawasan yang dapat dipilih antara lain aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Melalui deteksi risiko secara dini, pengembang dapat memperoleh peringatan sebelum tindakan berisiko berlanjut tanpa pengawasan.

Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan

Pengembangan pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi interpretabilitas kecerdasan buatan. Berkat pemanfaatan aktivasi internal jaringan saraf, detektor memungkinkan identifikasi kemungkinan aktivitas berbahaya tanpa membutuhkan analisis ulang setiap respons secara mendalam. Data eksperimen yang diumumkan perusahaan memberikan gambaran efektivitas terhadap 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Oleh karena itu, sistem probe perlu diterapkan bersama evaluasi tindakan eksternal. Bagaimana pendapat Anda, apakah sistem pemantauan internal Goodfire akan menjadi standar keamanan agen AI masa depan? Jangan ragu menyampaikan pandangan mengenai masa depan sistem kecerdasan buatan yang lebih aman.