Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI

Perusahaan riset keamanan AI Goodfire meluncurkan pendekatan inside-out monitoring yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut menjadi perhatian karena kemampuan agen AI terus meningkat. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini mendukung efisiensi pekerjaan, tetapi memerlukan sistem perlindungan tambahan. Melalui teknologi terbarunya, Goodfire berupaya mengenali aktivitas mencurigakan sebelum tindakan terjadi.

Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak selalu memerlukan pemeriksaan terhadap seluruh percakapan sistem. Melalui pendekatan berbeda, detektor memeriksa sinyal komputasi di dalam model. Data aktivasi tersebut memungkinkan pengenalan pola mengenai kemungkinan tindakan berisiko. Nilai tambah teknologi tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, kemampuan sistem perlu diuji pada berbagai kondisi.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Komponen utama dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang memeriksa aktivasi internal model AI. Ketika agen AI menjalankan tugas, proses komputasi menciptakan berbagai aktivasi internal. Sinyal tersebut berkaitan dengan aktivitas komputasi yang sedang berlangsung. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengidentifikasi perilaku mencurigakan. Pada pemantauan tindakan digital, sistem klasifikasi dapat digunakan mengidentifikasi pola penyalahgunaan kemampuan siber. Berkat pemeriksaan aktivasi, pengawasan tidak harus menunggu seluruh respons selesai.

Keunggulan teknis pendekatan tersebut adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap rangkaian percakapan yang panjang. Metode pengawasan tambahan tersebut dapat meningkatkan biaya, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, sistem dapat menganalisis aktivasi selama proses komputasi. Berkat mekanisme tersebut, kebutuhan komputasi tambahan berpotensi lebih rendah. Walaupun demikian, pemilihan sinyal internal perlu diperhatikan untuk mengurangi kesalahan klasifikasi.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Goodfire menerapkan mekanisme pengawasan bertahap. Dalam pemeriksaan pertama, detektor internal memeriksa sinyal model secara berkelanjutan. Apabila tidak ditemukan masalah, agen berpotensi tetap menjalankan tugas. Namun apabila terdapat peringatan, hasil deteksi dapat dikirim kepada sistem peninjauan lanjutan. Tahap analisis tambahan bertujuan menentukan apakah peringatan membutuhkan intervensi. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.

Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Mekanisme penanganan tersebut antara lain logging untuk pemeriksaan, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat mungkin memperoleh akses berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, kebijakan penanganan harus disesuaikan agar proses kerja tetap berjalan dengan wajar.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diuji menggunakan model AI terbuka Kimi K3. Pengujian tersebut mencakup sekitar 1.500 sesi untuk memeriksa kinerja detektor. Menurut laporan Goodfire, probe mampu menandai 94 persen sesi peretasan berbahaya. Sebagai hasil evaluasi tambahan, kurang lebih 8,7 persen sesi yang sebenarnya aman ikut ditandai. Angka tersebut menunjukkan adanya peringatan yang tidak tepat. Karena kondisi tersebut, administrator perlu mengevaluasi tingkat kesalahan peringatan.

Dari sisi biaya, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Sebagai perbandingan, model tambahan kelas ringan membutuhkan sekitar US$233, sedangkan model pemeriksa kelas atas dapat mencapai US$10.000. Selain penghematan tersebut, pemantauan menggunakan empat klasifikasi sekaligus dalam pengujian memberikan tambahan penundaan sebelum model mulai merespons kurang dari dua persen. Meskipun angka tersebut menarik, data tersebut berasal dari evaluasi tertentu. Karena alasan tersebut, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.

Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang

Salah satu langkah penerapan adalah ketersediaan teknologi Goodfire bagi organisasi yang menjalankan model melalui Baseten. Layanan Baseten menyediakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika menjalankan agen otomatis. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada model terbuka karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.

Tidak hanya untuk mengawasi risiko peretasan, teknologi Goodfire dikembangkan agar dapat memantau aktivitas berbahaya dalam konteks berbeda. Kategori tersebut antara lain penyalahgunaan terkait senjata kimia dan biologis, upaya mengeksploitasi mekanisme evaluasi, dan penyalahgunaan kemampuan keamanan komputer. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Sebagai contoh, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Melalui deteksi risiko secara dini, pengembang dapat memperoleh peringatan sebelum masalah menimbulkan dampak lebih besar.

Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan

Pengembangan teknologi pemantauan internal Goodfire menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Melalui pemeriksaan sinyal komputasi model, teknologi tersebut dirancang mengenali kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen aktivitas hacking berisiko, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Namun demikian, potensi peringatan palsu tetap harus dipertimbangkan. Oleh karena itu, pemantauan internal sebaiknya dilengkapi evaluasi tindakan eksternal. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.