Na terça-feira, a Musubi apresentou o PolicyLM-1.7B, um modelo leve para moderação de conteúdo em tempo real, e também disponibilizou os pesos do modelo. A proposta apresentada pela empresa é aplicar políticas de conteúdo redigidas em inglês às mensagens e produzir um resultado em menos de 50 milissegundos. O ponto central é que o modelo foi projetado para permitir ajustes nos critérios sem precisar ser treinado novamente a cada mudança de política.

Contexto

A Musubi afirmou que o PolicyLM-1.7B foi projetado para ter custo e velocidade semelhantes aos de classificadores de IA usados para moderação de conteúdo na maioria das plataformas sociais. Ao mesmo tempo, explicou que pretende aproveitar a flexibilidade dos grandes modelos de linguagem (LLMs) atuais para aplicar políticas complexas sem treinamento especial separado. Essa explicação diz respeito à abordagem de projeto do modelo e não significa que o mesmo desempenho tenha sido comprovado em plataformas reais.

Segundo a empresa, os responsáveis pelas políticas podem modificar os critérios repetidamente conforme necessário, sem treinar novamente o modelo a cada alteração. A ideia é separar, na moderação de conteúdo, a “mudança dos critérios de decisão” do “retreinamento do modelo”. Em situações nas quais há muito conteúdo e as políticas podem ser ajustadas, essa abordagem pode abrir espaço para mudanças operacionais mais rápidas do que em um sistema que exige retreinamento para aplicar novos critérios.

Os modelos de decisão, categoria à qual pertence este modelo, são projetados para produzir resultados dentro de opções predefinidas, em vez de gerar texto como os grandes modelos de linguagem em geral. O texto original explica que os modelos de decisão normalmente fornecem probabilidades para os resultados e distingue o PolicyLM-1.7B por produzir uma avaliação binária sobre se o conteúdo pertence ou não a determinada categoria. Segundo o texto original, limitar as opções de saída permite executar o modelo de forma mais rápida e barata do que um grande modelo de linguagem, preservando ao mesmo tempo a flexibilidade da arquitetura Transformer.

Os modelos de decisão ganharam destaque depois que a TypeSafe AI apresentou o Jev em setembro, e a OpenAI e a Amazon também lançaram modelos concorrentes, informou o texto original. Philip Jankowicz, cofundador e diretor de IA da Musubi, disse que seu interesse por essa abordagem começou antes da apresentação do Jev. Ele apontou o projeto GLiNER, de 2024, que usou várias técnicas semelhantes, como sua origem.

O que essa notícia significa

A moderação de conteúdo envolve não apenas definir políticas, mas também classificar as mensagens publicadas na plataforma de acordo com esses critérios. Se o projeto do PolicyLM-1.7B funcionar como pretendido, a possibilidade de aplicar novos critérios sem esperar pelo retreinamento do modelo pode ampliar as opções operacionais dos administradores de plataformas que lidam com grandes volumes de conteúdo. Jankowicz explicou que o modelo oferece aos administradores uma forma de classificar conteúdo de maneira proativa.

No entanto, “classificação” e “sanção” não são a mesma coisa. A saída do modelo, conforme descrita no texto original, é uma avaliação sobre se o conteúdo pertence a determinada categoria. O texto original não esclarece se essa avaliação leva à remoção de publicações ou a sanções contra usuários, nem se uma pessoa revisa os resultados, entre outros aspectos dos procedimentos operacionais. Portanto, em vez de afirmar que o modelo automatiza diretamente alguma medida contra o conteúdo, é importante distinguir que ele foi apresentado como uma ferramenta para classificar conteúdo de acordo com critérios de moderação.

Por exemplo, se uma plataforma quiser alterar a redação de uma política existente para aplicar novos critérios, segundo a explicação da Musubi, poderá modificar a própria política e aplicá-la sem passar por um processo de retreinamento do modelo. Isso mostra que há possibilidade de simplificar o processo pelo qual os operadores revisam e aplicam critérios. Mas, com base apenas nas informações divulgadas, não é possível avaliar a precisão com que o modelo aplica os critérios alterados nem como corrige conteúdos classificados incorretamente.

O que foi confirmado e o que ainda não se sabe

Fatos confirmados

  • Na terça-feira, a Musubi apresentou o PolicyLM-1.7B e disponibilizou os pesos do modelo.
  • O modelo foi projetado para aplicar políticas de conteúdo em inglês às mensagens em menos de 50 milissegundos.
  • A Musubi explicou que os responsáveis podem modificar as políticas sem retreinar o modelo quando os critérios mudarem.
  • O PolicyLM-1.7B foi apresentado como um modelo que produz uma avaliação binária sobre se o conteúdo pertence a determinada categoria.

O que ainda não se sabe

  • Qual é a precisão real da moderação e a taxa de classificação incorreta?
  • Em quais plataformas ou tipos de conteúdo o modelo foi testado e quais foram os resultados?
  • Que termos de uso ou restrições se aplicam aos pesos do modelo disponibilizados?

O que os leitores devem acompanhar

  • Caso sejam divulgadas informações sobre adoção real ou avaliações de desempenho, será importante verificar não apenas a precisão, mas também a taxa de classificação incorreta e as condições dos testes.
  • Quem pretende usar diretamente os pesos disponibilizados deve verificar os termos de uso e as restrições aplicáveis. O texto original não apresenta esses detalhes.
  • Se uma plataforma adotar o modelo, vale acompanhar se serão divulgados os procedimentos pelos quais os resultados da classificação levam a medidas contra o conteúdo, bem como as formas de revisar e corrigir esses resultados.