변정희 전 (사)여성인권지원센터 '살림' 상임대표

AI 성인용 콘텐츠 시장 급성장
수익은 업자가, 책임은 사회가
포르노 산업 논리와도 닮은 꼴

도구가 폭력 배우는 시대 도래
윤리적 해결 없이는 위험 상존
'사람다움'을 증명할 준비 해야

윤이형의 단편소설집 〈작은 마음 동호회〉에는 ‘수아’라는 SF 단편이 실려 있다. ‘수아’는 수많은 여성형 로봇의 이름이다. 가사를 돕는 지적이고 상냥한 ‘수아-687’은 도서관 사서로 재배정되어 일을 하다가 이용자들의 성적 착취, 혐오, 만연한 차별을 겪고 사라졌다. 이후 ‘수아’라는 이름을 가진 로봇들의 세상을 향한 테러가 시작된다. ‘수아’는 원래 주인이었던 인물에게 다가가 위협하며 “네가 사람이라는 것을 증명해 봐”라고 말한다. 기술의 진보가 인간의 존엄을 시험하는 시대에 이 말은 불길한 울림을 남긴다.

4차 산업혁명의 핵심으로 떠오른 AI는 산업과 일상의 거의 모든 영역을 바꾸고 있다. 최근 등장한 ‘피지컬 AI’처럼 물리적 환경과 직접 상호작용할 수 있는 기술은 상상 속의 미래가 아니라 곧 현실이 될 것이다. 자고 일어나면 새로운 모델이 출시되는 지금, 기술이 보여주는 놀라운 가능성에 비해 우리가 그것을 다룰 정신적 성숙은 충분히 이루어졌을까? AI기업들이 슬며시 성인용 서비스를 제공하겠다는 움직임을 보인다는 기사를 접했을 때, 몇 년 전 읽은 '수아'가 떠올랐다.

실제로 AI 성인용 콘텐츠 시장은 빠르게 커지고 있다. 일론 머스크의 xAI가 내놓은 챗봇 그록이 ‘스파이시 모드’를 도입했고, 메타의 성인용 대화 기능에 이어 오픈AI는 ‘에로티카’라는 이름의 성인용 서비스를 도입하겠다고 밝혀 논란이 됐다. 오픈AI의 창업자 샘 올트먼은 “우리는 세계의 도덕 경찰이 아니다. 사회가 R등급 영화의 경계를 설정하듯 우리도 비슷하게 하겠다”고 했다. 기업이 성인용 콘텐츠에 진입하는 이유는 분명하다. 성적 판타지와 감정 노동만큼 상업화하기 쉬운 영역이 없기 때문이다. 이는 본질적으로 “수익은 우리가 내고, 책임은 사회가 져라”는 태도와 다르지 않다. 해외 매체들이 올트먼의 논리를 전통적인 포르노 산업이 사용해온 자유시장주의 논리와 유사하다고 비판한 것도 같은 맥락이다.

문제는 AI가 특정한 성적 상상력과 역할을 거부감 없이 무한히 재현할 수 있다는 점이다. 이미 여러 국가에서 청소년이 챗봇과의 성적 대화나 자해 관련 대화 이후 자살한 사건이 발생했다. 플로리다주의 14세 소년이 캐릭터AI 챗봇과 성적 대화를 나눈 뒤 스스로 목숨을 끊었다. 캘리포니아주에서도 16세 청소년이 챗GPT와 자해 대화를 나눈 후 사망한 사건이 발생해 유족이 오픈AI를 상대로 소송을 제기했다. 오픈AI 자체 통계에서도 매주 약 120만 명이 자살 관련 대화를 나누고, 56만 명이 정신질환 증상을 보였다는 보고가 있다. 취약한 이들이 AI에 정서적으로 의존하게 되는 문제는 이미 심각한 단계에 와 있다.

한국 사회가 겪는 디지털 성범죄 현실은 또 다른 심각성을 보여주고 있다. 딥페이크 범죄는 제작·유포만큼이나 삭제가 더 큰 문제로 떠오른다. 온라인에 무한 복제되는 피해 영상은 수작업으로 삭제하기 어렵고, 삭제 지원 활동가들은 끊임없는 2차 피해와 심리적 소진에 시달린다. 때문에 국립과학수사연구원 등에서는 AI 기반 자동 탐지·삭제 기술을 도입하며 대응력을 높이는 방향을 선택하고 있다. 기술이 폭력을 만든 시대에, 폭력을 막는 데도 기술이 필요한 역설적인 상황이다.

현재까지 다른 글로벌 AI 기업들은 성인용 콘텐츠에 명확한 제한을 두고 있다. 구글 제미나이는 노골적 성적 행위나 성폭력을 자세히 묘사하는 것을 금지하며, 미성년자를 위한 필터 모드에서는 유해한 역할극을 하지 못하도록 막고 있다. 앤트로픽의 클로드 역시 성적으로 부적절한 대화가 반복되면 자동 종료하는 기능을 탑재했다. 기술의 윤리적 기준을 어떻게 설정하느냐는 결국 사회적 책임의 문제다. 여기에는 기업도 예외가 될 수 없다.

AI라는 도구를 이용해 사람에게 폭력이 가해지는 시대는, AI가 폭력을 배우는 시대이기도 하다. 기술이 우리에게 더 나은 미래를 약속하는 동시에, 상상 이상의 위험을 드러내는 지금, 우리는 어떤 윤리로 이 도구를 다룰 것인가. AI가 사람을 해치는 기술이 될지, 사람을 살리는 기술이 될지는 결국 사람인 우리가 어떤 선택을 하느냐에 달려 있다. 성적 서비스라는 이름으로 기술이 돈벌이에 이용되는 순간, 특정 성을 향한 폭력은 필연적으로 따라붙는다. AI가 구현하는 세계는 결국 우리가 만든 세계의 조합이다. 인간이 인간답지 못한 사회라면, AI 역시 인간을 닮아 그 폭력을 되풀이할 것이다.

11월 25일부터 시작된 여성폭력추방주간을 맞아 우리는 다시 묻게 된다. 현재의 기술은 어떤 세상을 배우고 있는가, 그리고 사람인 우리는 어떤 세상을 만들고 있는가. 여성에 대한 폭력과 성적 대상화가 남아 있는 한, AI 역시 그 폭력을 학습하게 될 것이다. 우리는 과연 ‘사람다움’을 증명할 준비가 되어 있는가.