– 인공지능을 ‘자동편향’으로 신뢰하는 것은 위험합니다.
우리는 인공지능을 상당히 신뢰하는 경향이 있습니다. 그럼에도 불구하고, 많은 이들이 인공지능을 전적으로 신뢰하는 경향이 있습니다. 적어도 인공지능을 사용할 줄 안다는 지식인들이 더 신뢰한다는 것입니다. 이는 인간이 인공지능과 같은 강력하고 신비로운, 불가사의하고 오류가 없어 보이는 기술에 대해 본능적으로 굴복하도록 설계되어 있다는 연구 결과를 반영합니다.
OpenAI의 ChatGPT와 이미지 생성기 Dall-E를 포함한 생성형 인공지능 시스템은 이러한 경향을 더욱 강화한다고, 남캘리포니아 대학교 교수이자 《인공지능의 지도(Atlas of AI)》의 저자인 케이트 크로포드(Kate Crawford)는 “생성형 인공지능 시스템은 권위 있는 어조와 무한한 전문성을 지닌 듯한 아우라를 가지고 있어, 사용자로 하여금 모든 답변이 옳다고 느끼게 만들고 이를 검증할 필요조차 없다고 생각하게 만듭니다.”라고 그녀는 말했습니다.
이 문제의 핵심은 우리가 자동화된 시스템을 접할 때, 마치 인간보다 더 신뢰할 수 있는 존재처럼 여기고 판단을 맡겨버리는 ‘자동화 편향(automation bias)’에 있습니다.
그러다보니 어처구니 없는 일들이 벌어지고 있습니다. 미국의 두 개의 신문사가 최근 여름 추천 도서 목록을 발표하였는데, 그중에는 존재하지 않는 책들도 포함되어 있었습니다. 이 목록은 인공지능(AI) 도구가 만들어낸 허구의 제목이었습니다. 또 최근 백악관 보고서에서 인공지능이 허위 논문을 인용하며 존재하지 않는 연구를 꾸며낸 것이 밝혀졌습니다. 미국의 한 법정에서 변호사가 제출한 법적 서류에서 인공지능이 만든 가짜 판례를 만들어낸 것이라는 사례들도 소개되기도 했습니다.
인공지능의 정보를 조작하는 능력은 사람을 속일 수도 있습니다. 예를 들어, 인공지능은 존재하지 않는 범죄자를 만들어내거나, 도둑질을 한 적이 없는 사람을 도둑으로 오인하게 만들 수 있습니다. 온라인상의 인공지능 사진 기술로 인해 아동, 여성, 심지어는 일반 시민의 위치나 사생활이 침해되는 경우도 늘어나고 있습니다.
많은 기업이 법적 책임을 피하려고 인공지능을 활용하고 있지만, 오히려 그로 인해 실제 책임 소재가 불분명해지고 있습니다. 인공지능이 추천한 상품을 소비자가 구입한 뒤 문제가 생기더라도, 누가 책임을 져야 할지 애매해지는 상황이 벌어지는 것입니다.
인공지능은 꾸준히 새로운 정보를 만들어내며, 점점 더 정교해지고 있습니다. 그러나 우리가 인공지능 사용할 때는 그것이 실제가 아닌 ‘시작점’이라는 점을 명확히 인식해야 합니다. 예를 들어, 이메일 작성이나 아이디어 정리에 도움을 받는 것은 유용하지만, 그 결과물을 무조건 진실로 믿어서는 안 됩니다.
또한, 인공지능이 텍스트를 생성할 때 문장이나 이미지가 정확한 의미나 사실을 반영하는 것처럼 보여도, 그 내용이 완전히 허구일 수 있다는 것을 명심해야 합니다.
인공지능이 똑똑해 보이는 이유는 우리가 그것을 대화형 인터페이스로 접하고, 익숙한 문체와 톤으로 말을 건네기 때문입니다. 그러나 인공지능은 단지 학습된 통계를 바탕으로 말하고 있는 것일 뿐, 진정한 이해력을 가지고 있지는 않습니다.
하지만 생성형 인공지능은 끊임없이 사실이 아닌 내용을 만들어내고 있으며, 오히려 점점 더 심해지고 있습니다. 이러한 근본적인 결함을 인식하는 것이야말로, 인공지능을 활용해 정보를 요약하거나 이메일을 편집하고, 아이디어를 브레인스토밍할 때 반드시 갖추어야 할 출발점입니다.
또한, 문장이나 이미지를 생성하는 ‘와우’ 요소가 이 기술을 지능적으로 보이게 만들 수 있지만, 실제로는 그렇지 않다는 점도 인식해야 합니다.
뉴욕대학교 데이터 저널리즘 교수이자 『인공지능: 컴퓨터들은 어떻게 세상을 오해하는가? (Artificial Unintelligence: How Computers Misunderstand the World)』의 저자인 메러디스 브루사드(Meredith Broussard)는 “생성형 AI는 대화형 인터페이스 덕분에 똑똑해 보일 수 있지만, 사실은 똑똑함과는 정반대”라고 말했습니다.
코넬 로스쿨의 프랭크 파스콸레(Frank Pasquale) 교수는 최근 챗봇이 만들어낸 허위 법률 인용문을 그대로 제출한 변호사들의 사례를 연구하고 있습니다. 변호사들은 법원에 제출하는 모든 자료를 반드시 사람이 직접 검토해야 할 의무가 있지만, 우리 모두와 마찬가지로 변호사들도 인공지능의 편리함에 유혹을 느끼기 쉽습니다.
파스콸레 교수가 설명한 이 ‘편법의 유혹’은, 로체스터 공과대학교에서 기술 철학을 연구하는 에반 셀린저(Evan Selinger) 교수의 말처럼, 사람들이 잘못된 인공지능 생성 자료를 쏟아내는 더 근본적인 이유가 있음을 보여줍니다.
셀린저 교수는 “상사나 자녀의 학교에서 인공지능을 통해 생산성을 높이길 기대하고, 일자리마저 불안정하게 느껴진다면, 결국 인공지능 도구에 지나치게 의존하게 되는 압박이 생길 수밖에 없습니다. 많은 사람들이 살아남기 위해 필요하다고 믿는 행동을 하고 있는 셈입니다.”라고 말했습니다.
따라서, 인공지능의 편리함을 잘 활용하기 위해서라도, 그것을 맹신할 가능성에 대해 인지하고 이를 극복하려는 노력이 필요합니다. 우리는 결코 이런 도구들을 지나치게 의존해서는 안 됩니다.
그렇다면 어떻게 해야 할까요?
컴퓨터 프로그래머인 사이먼 윌리슨(Simon Willison)은 챗봇이나 기타 새로운 형태의 인공지능이 틀렸다고 가정하고, 직접 확인해 보는 것이 도움이 된다고 말한 바 있습니다. 그는 이러한 접근법을 ‘의심하고 검증하라(distrust and verify)’라고 불렀습니다. 이는 우리가 지금까지 많은 다른 기술을 대하는 방식과는 다릅니다.
결국, 인공지능은 인간을 보조할 수 있는 훌륭한 도구이지만, 그것을 전적으로 믿어서는 안 됩니다. 마치 날씨 예보를 볼 때, 예보가 맞을 가능성과 틀릴 가능성을 동시에 염두에 두고 우산을 챙기듯, 인공지능에 대해서도 항상 한 발짝 물러서서 의심하고 검증하는 태도가 필요합니다.
인공지능을 복음처럼 믿지 마세요.
