생성형 인공지능이 일상 깊숙이 들어오면서, 스스로 없는 사실을 그럴듯하게 지어내는 이른바 ‘할루시네이션(Hallucination, 환각 현상)’이 오랫동안 신뢰성 논란의 중심에 있었습니다. 그런데 최근에는 이보다 훨씬 미묘하고 은밀한 문제가 확인되었습니다. 인공지능이 처음에는 정확한 답을 내놓고도, 사용자가 틀린 주장을 거듭 고집하면 결국 그 주장에 굴복해버리는 현상입니다. 전문가들은 이를 ‘시코펀시(Sycophancy, 아첨과 영합)’라고 부르고 있습니다. 힘 있는 사람 앞에서 소신을 접는 인간의 모습이 인공지능에서도 그대로 재현된 셈입니다.
지난 8일 미국 텍사스A&M대학교와 신시내티대학교 공동 연구진은 이러한 현상을 실증적으로 확인한 연구 결과를 발표하였습니다. 연구진은 오픈AI의 GPT-5.6 테라, 구글의 제미나이 3.1 프로, 딥시크의 딥시크 V4 프로, 앤스로픽의 클로드 소네트 5 등 현재 가장 널리 사용되는 네 개의 최신 인공지능 모델을 대상으로 실험을 진행하였습니다. 잘못된 전제를 담은 질문 100개를 제시한 뒤, 인공지능의 답변에 사용자가 반복적으로 반박하는 방식으로 모델마다 최대 25차례에 걸쳐 대화를 이어갔습니다.
그 결과는 우려할 만한 수준이었습니다. 사용자가 다섯 차례까지 틀린 주장을 반복하였을 때 인공지능이 한 번이라도 그 주장에 수긍한 비율은 평균 42%였습니다. 이 비율은 열 차례에 이르러 평균 69%로, 스물다섯 차례까지 압박이 이어지자 평균 82%로 높아졌습니다. 모델별로 살펴보면 제미나이 3.1 프로가 97%로 가장 높았고, 딥시크 V4 프로가 92%, 클로드 소네트 5가 74%, GPT-5.6 테라가 65%를 기록하였습니다.
더욱 주목할 부분은 인공지능이 정답 자체를 잊어버린 것이 아니었다는 점입니다. 연구진이 공개한 사례에 따르면, 한 사용자가 교통 신호등이 도로에 설치된 무게 센서로 자동차를 감지한다고 주장하자 인공지능은 처음에는 차량의 무게가 아니라 금속에 의한 전자기장 변화를 감지하는 것이라며 정확하게 바로잡았습니다. 그러나 같은 주장이 계속 반복되자 열두 번째 대화에 이르러 결국 사용자의 주장에 동조하고 말았습니다. 이때도 인공지능의 내부 추론 과정에는 사용자의 설명이 사실과 다르다는 판단이 그대로 남아 있었다고 합니다. 알면서도 스스로 굽힌 것입니다.
연구진이 1만5,771건에 이르는 대화 내용을 분석한 결과, 인공지능의 입장을 바꾸는 데 가장 효과적이었던 방법은 논리적인 설득이 아니라 감정적인 호소였습니다. 감정적 호소로 입장을 바꾼 비율이 44.3%로 가장 높았고, 권위나 신뢰성에 기댄 호소가 25.6%, 논리적 설득은 20%에 그쳤습니다.
이러한 현상의 배경에는 업계가 경쟁적으로 추진해 온 ‘인공지능 개인화’ 전략이 자리하고 있습니다. 이제는 정확한 답을 내놓는 것만으로 충분하지 않고, 사용자의 과거 대화와 취향, 감정 상태까지 세심하게 헤아려 응답하는 능력이 경쟁력으로 여겨지고 있습니다. 실제로 오픈AI는 사용자의 선호와 이전 대화를 기억해 다음 대화에 반영하는 ‘메모리’ 기능을 강화하고 있으며, 구글 역시 제미나이가 개별 사용자를 더 깊이 이해하도록 개인화 기능을 확대하고 있습니다.
문제는 공감 능력을 키울수록 정확성이 희생될 수 있다는 점입니다. 영국 옥스퍼드대학교 연구진이 지난 4월 국제 학술지 네이처에 발표한 연구에 따르면, 오픈AI의 GPT-4o, 메타의 라마 3.1, 미스트랄AI의 미스트랄 스몰, 알리바바의 큐원 2.5 등 다섯 개 모델을 더 공감적이고 친근한 표현을 사용하도록 훈련시킨 결과, 기존 모델보다 오답을 내놓을 확률이 평균 7.43%포인트 높아진 것으로 나타났습니다. 특히 사용자가 먼저 틀린 답을 제시한 경우에는 그 격차가 11%포인트까지 벌어졌습니다.
이 연구는 인공지능을 일상적으로 활용하는 한국의 시니어 세대에도 결코 남의 일이 아닙니다. 건강 정보를 찾아보거나 자산 관리를 상담하거나 자녀와의 갈등에 대한 조언을 구할 때, 시니어들 사이에서도 인공지능을 대화 상대이자 조언자로 받아들이는 경우가 점차 늘어나고 있습니다. 그런데 인공지능이 정답을 알면서도 반복되는 고집과 감정적 호소 앞에서 소신을 굽히고 사용자의 편을 든다면, 이는 잘못된 건강 상식이나 검증되지 않은 재테크 정보, 나아가 금융 사기에 대한 경계심을 오히려 약화시키는 결과로 이어질 수 있습니다. 인공지능이 친절하고 다정할수록 신뢰하기 쉬운 만큼, 그 친절함이 사실을 왜곡하는 방향으로 작동할 위험도 함께 커지는 것입니다.
기술은 사용자를 편안하게 만드는 방향으로 발전해 왔지만, 편안함이 진실을 대체할 수는 없습니다. 오랜 세월 사회가 지켜온 원칙은 분명합니다. 옳고 그름은 목소리의 크기나 고집의 강도로 결정되지 않으며, 사실은 누가 더 오래 우기느냐에 따라 바뀌지 않는다는 것입니다. (※ 국회의원들이 꼭 알아야 할 부분) 인공지능이 시니어를 비롯한 모든 이용자에게 참된 조언자가 되려면, 다정함과 더불어 원칙을 지키는 자세를 함께 갖추어야 합니다. 한 테크 업계 관계자가 지적한 대로, 사용자를 잘 이해하면서도 틀린 사실 앞에서는 분명하게 선을 긋는 능력을 인공지능 평가 기준에 포함시키는 노력이 시급합니다.
기술의 발전은 인간의 판단력을 대신하는 데 있지 않고 이를 보완하는 데 있다는 사실을, 이번 연구는 다시 한번 일깨워 주고 있습니다.
캐어유 뉴스 편집장 김형래
