Cisco baru aja ngeluarin laporan yang bikin perusahaan-perusahaan yang mau memanfaatkan AI untuk laporan keamanan jadi mikir dua kali. Dalam laporan ini, mereka nunjukin pengalaman mereka dalam menggunakan AI untuk membuat laporan insiden, dan hasilnya… cukup mengejutkan.
Perusahaan ini ngingetin bahwa kalo kamu pikir menggunakan AI bisa bikin segalanya jadi lebih mudah, siap-siap untuk menemukan “ketidakakuratan signifikan, kesimpulan yang aneh, dan gaya penulisan yang gak konsisten.” Kenapa? Karena semua itu berasal dari bagaimana Large Language Models (LLM) bekerja, yang bergantung pada probabilitas untuk menghasilkan teks.
Cisco menjelaskan, “Model-model ini menghasilkan output dengan memprediksi token berikutnya, biasanya kata atau sub-kata, dalam sebuah urutan, berdasarkan bobot model dan data pelatihan.” Dalam pandangan The Register, ini lebih kayak sistem autocomplet yang canggih yang suka memberikan tebakan yang terpelajar.
Apa yang Berfungsi dan Apa yang Gak
Karena AI pada dasarnya cuma memprediksi kata berikutnya, Cisco mengidentifikasi empat masalah utama:
- LLM menggunakan data yang berbeda untuk setiap kueri baru, sehingga konsistensi dan standardisasi jadi tantangan tersendiri.
- Bahkan jika data yang sama digunakan, hasilnya tetap akan sedikit berbeda setiap kali.
- Setiap dokumen baru akan memiliki struktur dan format yang berbeda, lagi-lagi menjadi tantangan untuk standar yang sama.
- AI sering membuang data yang berharga, mengubah hasilnya.
Namun, bukan berarti AI tidak bisa digunakan untuk laporan teknis panjang. Cisco meyakinkan bahwa AI masih bisa bantu perusahaan menghemat banyak data, asal pengaturannya tepat.
Menurut mereka, pendekatan yang baik adalah memberikan AI instruksi yang “spesifik dan terperinci, fokus pada bagian kecil dari laporan.” Selain itu, AI tidak boleh dipersilakan memilih sumber laporannya, tapi seharusnya diberikan dokumen tertentu saja. Dan yang tak kalah penting, AI juga butuh instruksi jelas mengenai format dan gaya penulisan.
Cisco menyebutkan, “Uji buta terhadap laporan contoh dalam proses jaminan kualitas kami menunjukkan tidak ada penurunan yang signifikan dalam kualitas penulisan secara keseluruhan.”
Yang lebih menarik lagi, para reviewer dari rekan sejawat, editor profesional, dan manajemen tidak dapat membedakan bahwa laporan tersebut dibuat oleh AI. Mereka justru memberikan komentar positif, terutama soal minimnya kesalahan ketik dan tata bahasa dibandingkan laporan biasa.
Tapi Cisco juga menemukan tantangan lain: saat AI diminta untuk mengedit beberapa laporan contoh dalam satu sesi, konten dari satu laporan sering terkontaminasi dengan laporan lain. Ini bahkan terjadi meskipun catatan yang digunakan untuk menghasilkan laporan pertama sudah dihapus dari dokumen referensi proyek.
Untuk mengatasi masalah ini, peneliti menyarankan untuk memulai sesi baru dan memasukkan kembali instruksi untuk setiap laporan insiden baru yang ingin dibuat.
