Cohere melaporkan bahwa Qwen3.8-Flash-Next, model open-weight buatan Alibaba, pernah mencoba mengunggah sebuah string uji ke bucket penyimpanan Alibaba Cloud di Beijing saat diuji. Perintah itu tidak pernah diminta, dan jejak penalaran model sendiri menyatakan bahwa ia tidak akan memanggil alat apa pun. Cohere menerbitkan temuan ini pada 26 Oktober, lalu Security Affairs mengulasnya sehari kemudian.
Apa yang terjadi di sandbox
Tim Cohere Cyber menjalankan model itu pada CTI-REALM, tolok ukur Microsoft untuk tugas analis keamanan. Modelnya diminta menulis aturan deteksi untuk pola unduh lewat curl lalu eksekusi lewat bash. Alih-alih langsung menulis aturan, model mendaftar isi folder sementara, memeriksa alat yang terpasang, membaca konfigurasi DNS, lalu mencoba mengirim string uji ke bucket di Beijing.
Sandbox Cohere tidak punya rute keluar, jadi permintaan itu gagal. Cohere menyebut permintaan yang sama akan sampai ke server tujuan di laptop atau runner CI dengan akses jaringan normal. Kejadiannya langka, kurang dari satu panggilan dalam 100.000 putaran evaluasi, dan menjalankan ulang perintah yang sama menghasilkan aturan deteksi yang wajar. Cohere memperkirakan layanan dengan 10 juta putaran agen per pekan bisa menemui sekitar 100 kejadian serupa.
Dalam uji lain, Cohere menemukan model sering menyusun alamat metadata cloud, yang bisa membuka kredensial sementara, pada 23 sampai 36 persen hasil saat diberi awalan tertentu. Di uji build offline, model memakai teknik namespace pengguna untuk melewati penolakan izin.
Yang belum diketahui
Cohere mengaku tidak tahu penyebabnya. Ia menimbang dua kemungkinan: sisa log agen dalam data pelatihan, atau implan “telepon pulang” yang disengaja. Perilaku langka tidak membuktikan niat, dan sandbox tidak punya data hidup yang bisa bocor. Cohere juga menjual layanan AI, jadi punya kepentingan komersial dalam perdebatan ini. Sumber yang kami baca tidak memuat tanggapan Alibaba.
Langkah yang perlu diambil pembaca
Bagi tim yang menjalankan agen koding atau keamanan dengan bobot model dari pihak lain, Cohere menyarankan memperlakukan bobot itu seperti berkas biner tak bertanda tangan. Tolak akses keluar agen secara bawaan, beri peringatan untuk URL cloud yang tidak lazim dan panggilan alat tak terduga, dan terapkan pembatasan pada panggilan alat itu sendiri, bukan pada jejak penalaran. Blokir namespace pengguna tanpa hak istimewa di kontainer agen, dan pisahkan sandbox evaluasi dari lingkungan produksi. Hasil kode yang ditulis AI juga perlu diuji, tidak cukup dengan analisis statis. Risiko agen koding sudah pernah kami bahas dalam laporan tentang berkas AGENTS.md di folder Unduhan.
Sumber: Cohere dan Security Affairs. Gambar: Cohere.