Pada hari Selasa, Musubi merilis PolicyLM-1.7B, model ringan untuk moderasi konten waktu nyata, dan membuka bobot modelnya kepada publik. Rancangan yang diajukan perusahaan adalah menerapkan kebijakan konten yang ditulis dalam bahasa Inggris pada pesan dan memberikan hasil dalam waktu kurang dari 50 milidetik. Intinya, model ini dirancang agar kriteria dapat diubah tanpa harus melatih model dari awal setiap kali kebijakan berubah.

Latar belakang dan konteks

Musubi menyatakan bahwa PolicyLM-1.7B dirancang untuk memiliki biaya dan kecepatan yang serupa dengan pengklasifikasi AI yang digunakan untuk moderasi konten di sebagian besar platform media sosial. Perusahaan juga menjelaskan bahwa model ini bertujuan memanfaatkan fleksibilitas model bahasa besar (LLM) terbaru untuk menerapkan kebijakan yang rumit tanpa pelatihan khusus tambahan. Penjelasan ini berkaitan dengan arah desain model, bukan berarti kinerja yang sama telah terbukti di platform nyata.

Menurut penjelasan perusahaan, pihak yang bertanggung jawab menetapkan kebijakan dapat mengubah kebijakan sesuai kebutuhan tanpa melatih ulang model setiap kali kriteria berubah. Pendekatan ini berupaya memisahkan “mengubah kriteria penilaian” dari “melatih ulang model” dalam moderasi konten. Ketika jumlah konten bertambah dan kebijakan dapat berubah, pendekatan ini berpotensi memberi ruang untuk mencoba perubahan operasional dengan lebih cepat dibandingkan struktur yang mengharuskan pelatihan ulang untuk menerapkan kriteria baru.

Model pengambilan keputusan, kategori yang menaungi model ini, dirancang untuk memberikan hasil berdasarkan pilihan yang telah ditentukan, bukan menghasilkan kalimat seperti model bahasa besar pada umumnya. Sumber menjelaskan bahwa model pengambilan keputusan biasanya mengeluarkan probabilitas hasil, sedangkan PolicyLM-1.7B memberikan penilaian biner mengenai apakah suatu konten termasuk dalam kategori tertentu atau tidak. Menurut sumber, membatasi pilihan keluaran memungkinkan model berjalan lebih cepat dan murah daripada model bahasa besar, sambil tetap mempertahankan fleksibilitas arsitektur transformer.

Model pengambilan keputusan mendapat perhatian setelah TypeSafe AI merilis Jev pada September, dan OpenAI serta Amazon juga merilis model pesaing, menurut sumber. Philip Jankowicz, salah satu pendiri Musubi sekaligus kepala AI perusahaan, mengatakan bahwa ia tertarik pada pendekatan ini sebelum Jev dirilis. Ia menyebut proyek GLiNER pada 2024, yang menggunakan beberapa teknik serupa, sebagai awal mula pendekatan tersebut.

Arti kabar ini

Moderasi konten tidak hanya mencakup penetapan kebijakan, tetapi juga pengklasifikasian pesan yang diunggah ke platform berdasarkan kriteria tersebut. Jika desain PolicyLM-1.7B berfungsi sesuai tujuan, kemampuannya menerapkan kriteria baru tanpa menunggu pelatihan ulang model setiap kali kebijakan berubah dapat menambah pilihan operasional bagi pengelola platform yang menangani konten dalam jumlah besar. Jankowicz menjelaskan bahwa model ini memberi pengelola cara untuk mengklasifikasikan konten secara proaktif.

Namun, “klasifikasi” dan “sanksi” bukanlah hal yang sama. Keluaran model yang dijelaskan sumber adalah penilaian apakah konten termasuk dalam kategori tertentu. Sumber tidak menjelaskan apakah penilaian tersebut benar-benar berujung pada penghapusan unggahan atau pemberian sanksi kepada pengguna, maupun apakah hasilnya ditinjau oleh manusia. Karena itu, penting untuk membedakan bahwa model ini diperkenalkan sebagai alat untuk mengategorikan konten berdasarkan kriteria moderasi, bukan langsung menyimpulkan bahwa model ini mengotomatiskan tindakan tertentu terhadap konten.

Sebagai contoh, jika sebuah platform ingin mengubah redaksi kebijakan yang sudah ada untuk menerapkan kriteria baru, menurut penjelasan Musubi, kebijakan itu dapat diubah dan diterapkan tanpa proses melatih ulang model. Hal ini menunjukkan kemungkinan untuk menyederhanakan proses pengelola dalam mengubah dan menerapkan kriteria. Namun, informasi yang tersedia belum cukup untuk menilai seberapa akurat model menerapkan kriteria yang telah diubah atau bagaimana konten yang salah diklasifikasikan akan diperbaiki.

Fakta yang telah dikonfirmasi dan hal yang belum diketahui

Fakta yang telah dikonfirmasi

  • Pada hari Selasa, Musubi merilis PolicyLM-1.7B dan membuka bobot modelnya kepada publik.
  • Model ini dirancang untuk menerapkan kebijakan konten berbahasa Inggris pada pesan dalam waktu kurang dari 50 milidetik.
  • Musubi menjelaskan bahwa pihak yang bertanggung jawab dapat mengubah kebijakan tanpa pelatihan ulang saat kebijakan berubah.
  • PolicyLM-1.7B diperkenalkan sebagai model yang memberikan penilaian biner tentang apakah suatu konten termasuk dalam kategori tertentu.

Hal yang belum diketahui

  • Seberapa tinggi akurasi moderasi aktual dan berapa tingkat kesalahan klasifikasinya?
  • Di platform atau jenis konten apa model ini diuji, dan bagaimana hasilnya?
  • Ketentuan atau pembatasan penggunaan apa yang berlaku untuk bobot model yang dirilis?

Hal yang perlu diperhatikan pembaca

  • Jika nantinya muncul kabar tentang penerapan nyata atau evaluasi kinerja, penting untuk memeriksa bukan hanya akurasinya, tetapi juga tingkat kesalahan klasifikasi konten dan lingkungan pengujiannya.
  • Jika ingin menggunakan langsung bobot model yang dirilis, ketentuan dan pembatasan yang berlaku perlu diperiksa. Sumber saat ini tidak menyebutkan perincian ketentuan tersebut.
  • Jika sebuah platform menerapkan model ini, patut dicermati apakah prosedur yang menghubungkan hasil klasifikasi model dengan tindakan terhadap konten, serta cara untuk meninjau dan memperbaiki hasilnya, akan dijelaskan kepada publik.