Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI

Perusahaan riset keamanan AI Goodfire meluncurkan pendekatan inside-out monitoring yang bertujuan mengidentifikasi perilaku agen AI berisiko. Teknologi pemantauan tersebut memperoleh sorotan karena kemampuan agen AI terus meningkat. Pada lingkungan komputasi modern, agen AI mampu menjalankan sejumlah tindakan digital dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Dengan pendekatan pemantauan internal, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.

Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap seluruh percakapan sistem. Sebaliknya, sistem menganalisis representasi numerik yang muncul selama pemrosesan. Sinyal internal ini dapat memberikan petunjuk mengenai arah perilaku model. Keunggulan pendekatan ini adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, akurasi pengawasan tidak dapat dianggap sempurna.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Elemen dasar dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang membaca representasi numerik jaringan saraf. Ketika agen AI menjalankan tugas, proses komputasi menciptakan pola sinyal pada lapisan pemrosesan. Sinyal tersebut dapat mencerminkan representasi yang dipelajari model. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Dengan pemrosesan semacam ini, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Ketika memakai sistem evaluasi eksternal, sistem pengawas berbasis bahasa perlu menganalisis kembali rangkaian percakapan yang panjang. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, sistem dapat menganalisis representasi model yang telah dihitung. Berkat mekanisme tersebut, beban pengawasan dapat dikurangi. Walaupun demikian, kualitas probe harus dievaluasi untuk mengurangi kesalahan klasifikasi.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Sistem keamanan ini memanfaatkan proses pemeriksaan berlapis. Ketika agen sedang bekerja, activation probes memantau sinyal model secara berkelanjutan. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Evaluasi berikutnya digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Dengan pendekatan ini, pemeriksaan mahal hanya digunakan ketika diperlukan.

Tidak hanya menemukan aktivitas mencurigakan, pengelola sistem dapat menentukan tindakan setelah risiko dikenali. Mekanisme penanganan tersebut dapat mencakup logging untuk pemeriksaan, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Pada sistem AI yang digunakan untuk pekerjaan, asisten digital pengembang dapat memiliki kewenangan berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, administrator dapat meminta pemeriksaan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar proses kerja tetap berjalan dengan wajar.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk memeriksa kinerja detektor. Berdasarkan angka yang diumumkan, probe mampu menandai 94 persen sesi peretasan berbahaya. Selain itu, kurang lebih 8,7 persen sesi yang sebenarnya aman ikut ditandai. Data pengujian tersebut memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Dengan demikian, administrator perlu mengevaluasi tingkat kesalahan peringatan.

Dalam evaluasi efisiensi, Goodfire melaporkan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe menghabiskan dana kurang lebih US$51. Dalam pengujian pembanding, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi diperkirakan membutuhkan US$10.000. Sebagai aspek performa tambahan, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan penundaan sebelum model mulai merespons kurang dari dua persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.

Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka

Bagian penting dari peluncuran adalah ketersediaan teknologi Goodfire bagi pelanggan Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika mengoperasikan model AI. Pendekatan tersebut menjadi relevan terutama pada open-weight models karena pengembang dapat memodifikasi pengaturannya. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan perlindungan terhadap tindakan agen.

Selain pemantauan keamanan siber, teknologi Goodfire memiliki potensi digunakan pada beragam pola penyalahgunaan. Bidang pengawasan yang dapat dipilih mencakup penyalahgunaan terkait senjata kimia dan biologis, manipulasi sistem penghargaan, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, pengembang dapat memperoleh peringatan sebelum masalah menimbulkan dampak lebih besar.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengenalan sistem inside-out monitoring menjadi perkembangan penting dalam teknologi keamanan agen AI. Melalui pemeriksaan aktivasi internal jaringan saraf, detektor memungkinkan identifikasi indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Hasil pengujian Goodfire menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Namun demikian, potensi peringatan palsu tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama pembatasan izin agen. Bagaimana pendapat Anda, apakah sistem pemantauan internal Goodfire akan meningkatkan kepercayaan terhadap sistem AI otonom? Silakan bagikan pendapat Anda mengenai masa depan sistem kecerdasan buatan yang lebih aman.