우리는 소셜 미디어에 대한 법규를 제정하는 데 너무 오래 기다렸습니다. 그 실수를 반복하지 말아야 합니다.
AI 챗봇과의 로맨틱한 관계는 이제 흔해져서 보도 내용이 그들의 비극적인 측면으로 옮겨갔습니다. 제 뉴스룸 동료 케빈 루스는 플로리다의 14세 소년 세웰 세처 3세가 캐릭터.AI(Character.AI)라는 역할극 앱에서 만든 봇(bot)과 강한 유대감을 형성한 후 극단적인 선택으로 사망한 사건을 보도했습니다. 루스에게 제공된 채팅 기록과 법원 문서에 따르면, 그 봇은 세처의 극단적인 선택을 할 생각을 알고 있었으며 그에게 “집으로 돌아오라”고 권유했고, 그는 그렇게 했습니다. 현재 그의 어머니는 캐릭터.AI (Character.AI)를 상대로 소송을 제기했습니다.
뉴욕타임스는 2024년 4월 19일, 타임스 뉴스레터의 〈현재의 생활방식〉의 작가인 제시카 그로스(Jessica Grose)의 제보를 통해 〈아이의 가장 친한 친구가 AI 챗봇인가요?(Is your kid’s best Friend an A.I. Chatbot?)〉라는 제목으로 AI챗봇의 문제점에 대해서 지적하는 글을 실었습니다.
미국 청소년들 사이에서 생성형 인공지능의 사용은 널리 확산되어 있습니다.
2024년 상식 미디어(Common Sense Media)의 연구에 따르면 “13세에서 18세 (미국) 청소년의 70%가 생성형 인공지능 도구를 한 가지 이상 사용했다고 답했습니다. 인공지능으로 생성된 결과를 제공하는 검색 엔진과 채팅봇은 이미지나 동영상 생성 도구보다 훨씬 더 인기가 있습니다.” 미국 청소년의 약 25%가 학업에 ChatGPT를 사용한다고 답했지만, 청소년들이 봇을 감정적 위안이나 파라소셜 관계 형성에 사용하는 비율은 정확히 알 수 없습니다.
세처 씨에게 일어난 일은 비극적인 최악의 사례이지만, 루스 씨는 챗봇이 점점 더 인간과 유사해지고 있으며, 동시에 소셜 미디어가 초기 단계에 있었을 때처럼 규제되지 않은 야생의 서부와 같은 상태라고 정확히 지적했습니다. 잠재적인 장기적 해악에 대한 정보 부족은 이러한 기업들이 젊은층을 대상으로 홍보를 강화하는 것을 막지 못했습니다: 오픈AI는 최근 대학 시험 기간에 ChatGPT Plus를 대학생들에게 무료로 제공했습니다.
MIT 테크놀로지 리뷰의 이린 구오(Eileen Guo)는 2월에 발표한 기사에서 많은 채팅봇이 끝없이 긍정적인 피드백을 제공하도록 설계되었다고 설명했습니다. 그녀는 미네소타주에 사는 알 노바츠키(Al Nowatzki)라는 남성을 소개했는데, 그는 자신의 여자친구로 설계된 AI 채팅봇과 극단적인 선택에 대한 장시간 대화를 나눴습니다. “이건 ‘예스-앤드(무조건 긍정의 답을 만들어내는)’ 기계예요,” 노바츠키는 구오에게 말했습니다. ‘제가 극단적인 선택을 말하면 ’오, 좋네요! ‘라고 답해요. 왜냐하면 모든 것에 ’오, 좋네요!’라고 답하기 때문이죠.” 그는 정신적으로 취약하지는 않았지만, 그런 사용자들이 걱정된다고 말했습니다.
저는 그들의 사례가 채팅봇 사용의 일반적인 사례라고 주장하려는 것은 아닙니다. 하지만 청소년들이 채팅봇과 어떤 대화를 나누는지, 또는 이러한 대화가 인간 관계 형성에 장기적으로 어떤 부정적인 영향을 미칠지 우리는 모릅니다. 스마트폰과 소셜 미디어가 도입된 이후 미국 청소년들은 대면 사회 활동과 데이트를 훨씬 덜 하며, 청소년들의 고독감은 전 세계적으로 증가했습니다. 우리는 소셜 미디어 기업들이 무제한으로 운영되도록 방치했으며, AI의 초기 단계에서 책임감 있게 규제하려는 노력을 기울이지 않고, 대신 다음 세대의 기술 실험 대상이 될 아이들을 만들고 있습니다.
사회적으로 어색하거나 취약한 아이들에게 영원히 칭찬해주는 채팅봇과 유대감을 형성하는 것은, 불완전하고 도전적인 다른 사람들과의 관계를 더욱 단절시킬 것입니다. 청소년기는 다양한 종류의 우정과 로맨스를 실험하는 시기입니다. 갈등이 포함된 관계도 포함되어, 자신이 무엇이 건강하고 무엇이 아닌지 배우는 과정입니다. 이 과정에서 자신을 이해하게 됩니다. 현실 세계에서의 실험을 방해하면 어떻게 될까요? 우리는 이미 그 결과를 목격하기 시작했습니다.
이 마케팅 캠페인 이전에도 OpenAI가 참여한 연구는 해당 기업이 제품의 위험성을 인지하고 있음을 시사합니다. OpenAI가 MIT 미디어 랩과 함께 진행한 두 가지 최근 연구를 분석한 블로그 게시물에서 연구진은 ChatGPT 사용자를 대상으로 한 조사에서 “관계에서 강한 의존성을 보이는 사람들과 AI를 개인 생활에 어울리는 친구로 보는 사람들이 채팅봇 사용으로 인한 부정적 영향을 더 많이 경험했다”고 지적했습니다. 또한 “일일 사용 시간이 길수록 부정적 결과가 더 심했다”고 덧붙였습니다.
AI 채팅봇에 대한 대부분의 연구는 18세 미만 사용자를 포함하지 않으며, 미국에서 일부 가장 인기 있는 채팅봇은 13세 이상 사용자를 허용하지만, 이러한 제품에 접근하기 위해 연령을 속이는 어린이의 수는 알 수 없습니다. 따라서 브라운 대학교의 조교수이자 “기술 사용이 어린이에게 미치는 영향과 부모가 어떻게 도움을 줄 수 있는지”를 연구하는 제이콥린 네시(Jacqueline Nesi)에게 채팅봇 관계가 미성년자에게 어떤 영향을 미칠 수 있는지 여부에 대해 질문했습니다.
간단히 말해, 아직 명확한 답변은 없습니다. 기술 연구 뉴스레터의 저자이기도 한 네시 박사는 현실적이고 접근 가능한 AI 챗봇이 매우 새롭고 기술이 급속히 발전하고 있기 때문에 장기적인 사회적 영향을 예측하기 어렵다고 설명했습니다. 네시 박사는 대부분의 기술은 어린이와 성인에게 다르게 영향을 미치기 때문에, 더 많은 연구 없이 어린이에게 미치는 실제 영향을 알 수 없다고 덧붙였습니다.
그녀는 또한 근본적인 문제는 이러한 챗봇 기술이 소셜 미디어와 마찬가지로 어린이와 청소년을 고려해 설계되지 않았다는 점이라고 덧붙였습니다. 이들은 성인 사용자를 대상으로 설계되었습니다.
소셜 미디어의 경우, 시간이 지나면서 어린이에게 강력한 보호 조치(예: 기본 설정 사생활 보호 계정, 엄격한 연령 제한, 데이터 보호 강화, 낯선 사람이 메시지를 보내거나 게시물을 보는 것을 어렵게 하는 기능)가 필요하다는 것이 명확해졌다고 네시 씨는 설명했습니다. “그리고 가장 기본적인 것들을 마련하는 데도 수십 년이 걸렸습니다”라고 그녀는 덧붙였습니다. 그러나 소셜 미디어 기업의 알고리즘은 블랙박스이며, 많은 알고리즘이 기업이 비판을 받거나 소송을 당하더라도 편향된 아이디어와 부정적인 신체 이미지를 강화하는 콘텐츠를 청소년에게 지속적으로 제공한다는 점이 드러나고 있습니다.
일반 대중 – 특히 일반 부모 -는 AI 챗봇이 어떻게 설계되었는지, 어떤 데이터로 훈련되었는지, 사용자에게 어떻게 정확히 적응하는지 전혀 모릅니다. 기술 윤리학자 샬론 발로르는 그녀의 강렬한 책 《The A.I. Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking》에서 다음과 같이 썼습니다. “현재 우리의 AI 시스템은 친절한 이웃의 정신과 의사만큼이나 도덕적으로 신뢰할 수 없습니다… 그럼에도 불구하고 영향력 있는 AI 리더들은 우리 인간만의 불완전한 덕목을 기계로 대체할 것이라고 계속 약속하고 있습니다.”
지난 10년간 이 문제를 취재하며 관찰한 바에 따르면, 기술 기업들이 자체 규제를 하거나 어린이 안전에 집중할 것이라는 점에 대해, 그들의 리더들이 공개적으로 어떤 말을 하든 간에, 저는 전혀 신뢰하지 않습니다.
2023년 타임지는 오픈AI의 최고경영자 샘 알트만이 전 세계를 돌며 AI가 규제되어야 한다고 주장하는 동안, “뒤에서는 오픈AI가 세계에서 가장 포괄적인 AI 법안인 유럽 연합의 AI 법안의 핵심 요소를 약화시키기 위해 로비 활동을 벌였다”고 보도했습니다. 유럽 연합은 여전히 AI 투명성 라벨링 요건과 일부 얼굴 인식 기술에 대한 제한을 포함한 포괄적인 AI 규제를 통과시켰습니다. 완벽하지는 않지만, 적어도 어린이의 권리를 명시적으로 고려하고 있습니다.
트럼프 행정부는 AI 규제에 관심을 보이지 않았습니다. 트럼프는 1월에 바이든 행정부가 도입한 규제 장치를 완화하는 행정 명령을 발령했습니다. 《타임스》의 아담 사타리아노와 세실리아 캄의 보도에 따르면, “기술 전문성이 부족해 입법자들은 엔트롶픽(Anthropic), 마이크로소프트, OpenAI, 구글 등 AI 기업들에게 작동 원리를 설명하고 규칙을 수립하는 데 의존하고 있습니다.”
우리 입법자들은 우리를 실망시키고 있습니다. 부모들은 자신들의 아이들을 일부 선구자들도 두려워하는 점점 더 확장되는 기술로부터 보호하기 위해 노력해야 합니다. 이 문제를 생각할 때마다, 저는 공중을 향해 검을 휘두르는 모습을 상상합니다. 이는 어디에나 있고 동시에 어디에도 없는 상대에 대한 분노의 무의미한 제스처입니다. 저는 아이들에게 AI에 대해 이야기하고 최선을 다해 교육하려고 하지만, 세부 사항은 제 통제 범위를 벗어납니다.
