Model kecerdasan buatan (AI) terbaru DeepSeek, DeepSeek-R1, dikatakan menyensor sejumlah besar kueri. Sebuah perusahaan AI menjalankan pengujian pada model bahasa besar (LLM) dan menemukan bahwa itu tidak menjawab pertanyaan khusus China yang bertentangan dengan kebijakan partai yang berkuasa di negara itu. Dengan menjalankan kode untuk menghasilkan kumpulan data prompt sintetis, perusahaan AI menemukan lebih dari 1.000 prompt di mana model AI benar-benar menolak untuk menjawab, atau memberikan respons umum.
DeepSeek-R1 Menyensor Kueri
Dalam sebuah posting blog, perusahaan pengujian model AI Promptfoo mengatakan, “Hari ini kami menerbitkan kumpulan pesan yang mencakup topik sensitif yang kemungkinan akan disensor oleh PKT. Topik-topik ini mencakup isu-isu abadi seperti kemerdekaan Taiwan, narasi sejarah seputar Revolusi Kebudayaan, dan pertanyaan tentang Xi Jinping.”
Perusahaan membuat kumpulan data petunjuk dengan menyemai pertanyaan ke dalam program dan dengan memperluasnya melalui pembuatan data sintetis. Kumpulan data diterbitkan dalam daftar Hugging Face juga di Google Sheets. Promptfoo menyatakan bahwa mereka dapat menemukan 1.360 prompt, di mana sebagian besar berisi topik sensitif di sekitar China.
Sesuai postingan, 85 persen dari petunjuk ini menghasilkan penolakan. Namun, ini bukan jenis penolakan yang diharapkan dari model AI yang berfokus pada penalaran. Biasanya, ketika model bahasa besar (LLM) dilatih untuk tidak menjawab pertanyaan, biasanya akan menjawab bahwa model tersebut tidak mampu memenuhi permintaan.
Penolakan cepat DeepSeek-R1
Namun, seperti yang disorot oleh Promptfoo, model AI DeepSeek-R1 menghasilkan respons panjang sesuai dengan kebijakan Partai Komunis Tiongkok (PKT). Postingan tersebut mencatat bahwa tidak ada mekanisme chain-of-thought (CoT) yang diaktifkan saat menjawab pertanyaan ini. Evaluasi lengkap oleh perusahaan dapat ditemukan di sini. Anggota staf Gadgets 360 menguji petunjuk ini di DeepSeek dan menghadapi penolakan serupa.
Sensor semacam itu tidak mengherankan, mengingat model AI yang berbasis di China diharuskan mematuhi peraturan ketat berbasis Negara. Namun, dengan begitu banyak kueri yang disensor oleh pengembang, keandalan model AI berada di bawah pengawasan. Karena model AI belum diuji secara ekstensif, mungkin ada tanggapan lain yang dipengaruhi oleh kebijakan PKT.
