OpenAI가 유럽연합(EU)에서 ChatGPT와 Codex가 생성한 텍스트에 보이지 않는 워터마크를 적용한다. 회사는 월요일 블로그 게시물에서 앞으로 몇 주에 걸쳐 EU의 이용 자격이 있는 사용자에게 이를 도입한다고 밝혔다. 대상은 모든 요금제의 이용 자격이 있는 사용자지만, 구체적인 자격 기준은 공개된 근거에 제시되지 않았다.

배경과 맥락

EU AI Act의 투명성 규칙은 8월 2일 발효됐으며, AI 기업에 다른 시스템이 식별할 수 있는 방식으로 AI 생성 콘텐츠를 표시하도록 요구한다. OpenAI는 이 규칙에 대응해 EU에서 워터마크를 적용하겠다고 밝혔다.

워터마크는 글에 눈에 보이는 기호를 넣는 방식이 아니다. 모델이 단어를 고르는 방식을 미묘하게 조정해 탐지기가 알아볼 수 있는 패턴을 만드는 방식이다. 텍스트 자체에 흔적이 남기 때문에 복사해 붙여넣어도 함께 이동하지만, OpenAI는 이 방식이 사용자 신원을 식별하지는 않는다고 설명했다.

OpenAI는 발표와 함께 textGrain 기술 보고서를 공개했다. 펜실베이니아대학교와 예일대학교 연구자들이 공동 작성한 보고서는 비밀 키를 이용해 다음 단어 예측을 정렬하는 사례를 설명한다. 이런 조정이 수백 번 쌓이면 텍스트와 키를 이용해 AI 생성 콘텐츠를 탐지할 수 있다는 것이다. OpenAI는 워터마크를 켰을 때 모델 성능에 의미 있는 변화가 나타나지 않았다고 밝혔다.

이번 조치는 다른 기업의 방식과도 대비된다. Anthropic은 두 달 앞서 Claude 생성 텍스트에 전 세계적으로 워터마크를 적용하겠다고 발표했고, 일부 사용자는 자신들이 지시와 맥락, 결정을 제공했다고 반발한 것으로 전해졌다. 2024년에는 OpenAI가 텍스트 워터마크를 개발하고도 워터마크가 없는 경쟁사로 사용자가 옮길 수 있다는 우려 등을 이유로 출시를 보류했다고 보도됐다. Anthropic, Google, Meta, Microsoft, OpenAI는 AI 생성 콘텐츠에 관한 EU 실천 강령을 따르기로 약속한 기업들에 포함된다.

이 소식이 뜻하는 것

EU 이용자에게는 AI가 만든 텍스트를 식별할 수 있는 단서가 생길 수 있다. 그러나 워터마크는 모든 글에서 언제나 확실하게 판별되는 표시가 아니다. OpenAI의 한 테스트에서는 단어의 10%를 동의어로 바꾸자 탐지율이 약 92%에서 66%로 낮아졌다. 회사는 짧은 글, 수학 답변, 번역된 텍스트도 탐지하기 어렵다고 밝혔다.

따라서 탐지 결과를 저자 확인이나 부정행위 판정의 단독 근거로 삼는 데는 한계가 있다. 워터마크가 없다는 사실만으로 사람이 썼다고 입증되는 것은 아니다. 글이 너무 짧거나 많이 편집됐을 수 있고, 다른 회사의 AI가 생성했을 수도 있다. 반대로 워터마크가 있더라도 OpenAI 시스템이 글의 일부를 생성하거나 처리했다는 점을 나타낼 수 있을 뿐, 사람의 판단·편집·창의성이 얼마나 들어갔는지는 보여주지 않는다.

예를 들어 어떤 글에서 탐지기가 워터마크를 찾지 못했더라도, 그 결과만으로 사람이 작성했다고 결론 내리기는 어렵다. 글의 길이와 편집 정도, 다른 AI 도구 사용 가능성도 함께 고려해야 한다는 뜻이다.

EU 적용과 별도로, 전 세계 OpenAI API 개발자는 일부 모델에서 워터마크를 켤 수 있다. 다만 기본 설정은 꺼져 있으며, OpenAI는 출시 시점에 텍스트 워터마크를 전 세계 기본 설정으로 적용하지 않는다고 밝혔다. 즉, EU 사용자 대상 적용과 API 개발자의 선택적 사용은 구분해서 봐야 한다.

확인된 사실과 아직 알 수 없는 것

확인된 사실

  • EU에서는 이용 자격이 있는 ChatGPT·Codex 사용자를 대상으로 앞으로 몇 주에 걸쳐 적용될 예정이다.
  • EU 적용은 모든 요금제의 이용 자격이 있는 사용자에게 이뤄질 예정이다.
  • API 개발자는 전 세계에서 일부 모델의 워터마크를 켤 수 있지만, 기본값은 꺼져 있다.
  • 워터마크는 단어 선택에 보이지 않는 패턴을 남기며, 사용자 신원을 식별하지 않는다.
  • 초기 탐지기 접근은 신뢰성과 책임 있는 사용을 평가하는 데 도움을 줄 승인된 연구자와 전문가 단체에만 제공될 예정이다.

아직 알 수 없는 것

  • EU에서 말하는 ‘이용 자격이 있는 사용자’의 구체적인 기준은 무엇인가.
  • 승인된 연구자와 전문가 단체는 언제부터 탐지기를 이용할 수 있는가.
  • 워터마크가 적용될 구체적인 모델과 출시 일정은 무엇인가.

독자가 확인할 것

  • EU에서 ChatGPT나 Codex를 이용한다면 본인 계정이 적용 대상인지, 서비스에서 안내하는 적용 시점을 확인할 필요가 있다. 근거에는 이용 자격의 세부 기준이 나와 있지 않다.
  • 글의 작성 주체를 판별해야 한다면 워터마크 탐지 결과만으로 결론 내리지 않는 것이 중요하다. OpenAI는 초기 탐지기 접근을 승인된 연구자와 전문가 단체에 한정한다고 밝혔다.
  • API를 사용하는 개발자는 워터마크가 기본적으로 꺼져 있다는 점과, 적용 가능한 모델이 일부로 제시됐다는 점을 확인해야 한다. 구체적인 모델 목록과 일정은 공개된 근거만으로는 알 수 없다.