Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI

Perusahaan riset keamanan AI Goodfire memperkenalkan pendekatan inside-out monitoring yang bertujuan mengidentifikasi potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini memiliki relevansi penting karena kemampuan agen AI terus meningkat. Pada lingkungan komputasi modern, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Kondisi tersebut memberikan manfaat produktivitas, tetapi memerlukan sistem perlindungan tambahan. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi indikasi penyimpangan ketika model bekerja.

Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap respons akhir agen AI. Sebagai alternatif, sistem menganalisis sinyal komputasi di dalam model. Informasi tersebut berpotensi memperlihatkan indikasi mengenai arah perilaku model. Nilai tambah teknologi tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Dengan demikian, pengawasan dapat menjadi lebih hemat. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.

Teknologi Interpretabilitas Membaca Sinyal Internal Model AI

Komponen utama dalam teknologi inside-out monitoring adalah activation probes, yaitu detektor berukuran kecil yang membaca aktivasi internal model AI. Ketika agen AI menjalankan tugas, proses komputasi menciptakan berbagai aktivasi internal. Informasi internal tersebut memuat petunjuk mengenai representasi yang dipelajari model. Sistem klasifikasi internal kemudian menganalisis karakteristik sinyal untuk mengidentifikasi perilaku mencurigakan. Sebagai contoh, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, indikasi masalah mungkin ditemukan lebih awal.

Faktor yang mendukung kecepatan sistem adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Pada metode konvensional, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap teks yang dihasilkan agen. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, detektor cukup memanfaatkan sinyal internal yang tersedia. Berkat mekanisme tersebut, kebutuhan komputasi tambahan berpotensi lebih rendah. Meskipun konsumsi sumber daya relatif kecil, penyesuaian detektor tetap diperlukan untuk menjaga relevansi hasil.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Goodfire menerapkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, detektor internal memeriksa aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, agen berpotensi tetap menjalankan tugas. Namun apabila terdapat peringatan, aktivitas tersebut dapat diteruskan kepada model pemeriksa tambahan. Tahap analisis tambahan bertujuan menentukan apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, proses analisis mendalam tidak harus berjalan terus-menerus.

Di samping mengidentifikasi risiko, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Mekanisme penanganan tersebut meliputi penyimpanan laporan kejadian, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Pada sistem AI yang digunakan untuk pekerjaan, agen pemrograman mungkin memperoleh akses lingkungan pengujian. Apabila aktivitas berbahaya terdeteksi, administrator dapat meminta pemeriksaan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.

Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi

Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe diuji menggunakan model AI terbuka Kimi K3. Pengujian tersebut mencakup sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Berdasarkan angka yang diumumkan, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal memerlukan pemeriksaan lanjutan. Data pengujian tersebut memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Karena kondisi tersebut, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.

Dari sisi biaya, Goodfire melaporkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah menghabiskan dana sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi dapat mencapai US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menerapkan sistem secara luas.

Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang

Bagian penting dari peluncuran adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, organisasi berpotensi menerapkan detektor risiko berbasis model ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut menjadi relevan terutama pada sistem AI yang bobotnya tersedia karena model dapat dijalankan pada infrastruktur sendiri. Berkat dukungan pemantauan berlapis, organisasi berpotensi meningkatkan mekanisme keamanan saat inferensi.

Selain pemantauan keamanan siber, pendekatan interpretabilitas model memiliki potensi digunakan pada aktivitas berbahaya dalam konteks berbeda. Kategori tersebut mencakup aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Pada penggunaan model otomatis, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Berkat pemantauan perilaku internal, pengembang dapat memperoleh peringatan sebelum tindakan berisiko berlanjut tanpa pengawasan.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengembangan teknologi pemantauan internal Goodfire menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Melalui pemeriksaan aktivasi internal jaringan saraf, detektor memungkinkan identifikasi indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Hasil pengujian Goodfire menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Walaupun perkembangan ini menarik, potensi peringatan palsu tetap harus dipertimbangkan. Oleh karena itu, sistem probe perlu diterapkan bersama pengawasan manusia pada aktivitas penting. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Silakan bagikan pendapat Anda mengenai masa depan sistem kecerdasan buatan yang lebih aman.