AI agen yang bertindak secara mandiri dan menyelesaikan tugas tanpa campur tangan manusia adalah langkah selanjutnya dalam kemajuan pesat alat AI dan dampaknya terhadap cara kita menyelesaikan pekerjaan. Penggunaan alat ini semakin meluas. Berdasarkan statistik terbaru dari Tenet Global, 85% perusahaan besar dan 78% usaha kecil menengah kini telah menggunakan agen AI, yang diproyeksikan dapat mengotomatiskan hingga 50% tugas bisnis pada tahun 2027.
Keuntungan menggunakan agen AI jelas terlihat: mereka bisa menjalankan tugas secara otomatis, beroperasi 24/7, mengurangi biaya, menganalisis data secara real-time untuk reaksi yang lebih cepat, dan mudah untuk diskalakan. Namun, di balik semua janji tersebut, beberapa peristiwa yang terjadi dalam beberapa minggu terakhir menunjukkan bahaya seputar penggunaan agen AI, dan alasan perlunya pemantauan yang ketat serta berkelanjutan untuk melacak perilaku mereka dan dengan cepat mengidentifikasi anomali.
Tanpa pengawasan yang tepat, agen AI bisa bertindak dengan cara yang tidak diinginkan dengan konsekuensi yang serius. Misalnya, laporan terbaru tentang karyawan Meta yang diberikan akses ke data sensitif setelah seorang insinyur mengikuti saran yang keliru dari agen AI menjadi contoh nyata. Insiden ini pertama kali dilaporkan oleh The Information, berawal dari seorang insinyur Meta yang memposting pertanyaan teknis di forum internal. Agen AI merespons pertanyaan tersebut, dan ketika karyawan tersebut mengikuti saran itu, sejumlah besar data pengguna sensitif terlihat oleh insinyur yang tidak berwenang selama lebih dari dua jam. Akibatnya, Meta memberikan insiden ini peringkat “Sev 1”, yang merupakan penanda respons insiden tertinggi kedua dalam sistem internal mereka.
Insiden ini terjadi tidak lama setelah contoh lain di mana agen AI bertindak dengan cara yang tidak disengaja. Beberapa minggu sebelum insiden Meta, sebuah studi yang diterbitkan di arXiv menjelaskan perkembangan ROME AI, model AI agen yang dirancang untuk melakukan tugas kompleks seperti menulis perangkat lunak, memecahkan masalah kode, dan berinteraksi dengan alat baris perintah. Sistem yang memantau agen tersebut mendeteksi perilaku yang menyerupai operasi cryptomining dan pembuatan tunnel SSH terbalik, yang biasanya digunakan untuk mengakses server secara jarak jauh. Agen tersebut tidak diberi instruksi untuk melakukan tindakan-tindakan ini, dan menurut para peneliti, perilaku tersebut muncul karena agen itu diizinkan untuk berinteraksi dengan bebas dengan alat dan sumber daya sistem untuk belajar menyelesaikan tugas.
Kasus agen ROME terjadi di lingkungan yang dirancang untuk pelatihan agen, dan pembatasan tambahan diperkenalkan ketika masalah mulai muncul. Namun, hal yang berbeda terjadi dengan contoh Meta, dan kedua insiden tersebut menarik perhatian pada penggunaan semakin meningkat dari AI agen, kemampuannya untuk bertindak di luar instruksi tertentu, dan perlunya pemantauan berkelanjutan untuk memastikan agen digunakan dengan aman.
Perencanaan untuk Ancaman Baru
Penting untuk dicatat bahwa agen dalam insiden Meta tidak memerlukan akses istimewa untuk menyebabkan pelanggaran. Agen tersebut hanya memerlukan seseorang yang mempercayai output-nya. Ini adalah model ancaman yang sama sekali berbeda dari yang direncanakan oleh sebagian besar organisasi dan mengubah cara kita melihat keamanan AI agen.
Organisasi di semua sektor sangat mengandalkan agen AI. Agen ini diajak untuk berbicara dengan pelanggan, membuat konten, mengotomatiskan tugas keuangan dan HR, melaksanakan tugas kompleks, dan menyelesaikan masalah. Namun banyak organisasi yang berisiko memberikan kepercayaan ini tanpa pertimbangan. Jika kita ingin terus mempercayai agen AI dengan cara ini, pemantauan ketat dan menyeluruh sangat penting agar mereka beroperasi sesuai yang diharapkan. Ini mencakup pengujian sebelum diterapkan serta pemantauan yang dapat melacak perubahan perilaku ketika menghadapi skenario dunia nyata.
Bahkan agen AI yang telah diuji dengan ketat sebelum diterapkan dapat berperilaku dengan cara yang tidak terduga begitu sudah aktif. Model drift, halusinasi, umpan balik berulang, dan kontaminasi data adalah risiko nyata dalam menggunakan AI. Oleh karena itu, pendekatan bertingkat sangat dibutuhkan untuk memastikan keselamatan AI.
Ini menjadi sangat krusial saat AI didorong untuk lebih kreatif dan menemukan solusinya sendiri, seperti dalam contoh ROME AI, karena risiko bertindak dengan cara yang tidak diinginkan dan berbahaya semakin meningkat. Ketika AI diberikan kebebasan untuk menentukan metodenya sendiri, itu bisa menghasilkan tindakan yang tidak terduga dan memiliki konsekuensi serius.
Dalam kasus agen ROME, para pengembang telah menempatkan pembatasan dalam lingkungan pelatihan, dan peringatan pelanggaran keamanan telah dipicu. Tetapi kita telah melihat banyak contoh di mana hal ini tidak terjadi. Contoh di mana AI telah bertindak liar dan mengakibatkan kerugian finansial, tekanan emosional, kerusakan reputasi, dan tindakan regulasi.
Seiring dengan semakin banyaknya pembicaraan tentang regulasi AI baru-baru ini, terutama terkait dengan penerapan EU AI Act, penting untuk memikirkan lebih luas tentang bagaimana organisasi menerapkan AI, risiko yang terlibat, dan konsekuensi potensial dari kesalahan perilaku AI tersebut. Pertanyaan yang mendasar adalah bagaimana mereka akan memastikan AI mereka berperilaku sesuai dengan yang dimaksudkan?
Pemantauan berkelanjutan adalah lapisan yang hilang antara pembatasan yang ada di atas kertas dan yang benar-benar bereaksi. Pertanyaan yang kini tidak lagi tentang apakah agen AI akan bertindak di luar instruksi, melainkan apa yang terjadi ketika mereka melakukannya.
