인공지능(AI) 기술이 여론 조작의 도구로 악용되는 사례가 늘고 있다. AI가 만든 글을 탐지하는 기술도 개발되고 있지만 대부분 영어로 된 장문의 정형화된 글을 기반으로 한다. 한국에서 문제가 되는 뉴스 플랫폼의 AI 댓글을 찾아내는 데는 한계가 있다는 뜻이다.
한국과학기술원(KAIST)과 국가보안기술연구소는 AI가 만든 한국어 댓글을 탐지하는 기술을 세계 최초로 개발했다고 23일 밝혔다. AI가 만드는 댓글과 사람이 쓴 댓글의 미세한 차이를 분석해 AI 생성 댓글 탐지율을 높였다.
최근 생성형 AI 기술은 뉴스 플랫폼 댓글 조작에 동원되고 있다. 뉴스 기사의 맥락에 맞춰서 감정과 논조까지 AI가 조절할 수 있다. KAIST 연구팀이 AI 생성 댓글과 사람이 작성한 댓글을 사람이 구별할 수 있는지 비교한 결과, AI가 만든 댓글의 67%를 사람이 작성한 것으로 착각했다.
더 큰 문제는 저렴한 비용이다. 오픈AI의 생성형 AI인 GPT-4o API를 기준으로 댓글 1개를 만드는 데 드는 비용은 1원 정도다. 국내 주요 뉴스 플랫폼에 달리는 댓글ㅇ은 하루 평균 20만개다. 20만원이면 국내 뉴스 플랫폼의 댓글 전체를 조작할 수도 있다는 말이다. 자체 그래픽처리장치(GPU) 인프라만 갖추면 사실상 무상으로 대량의 댓글을 쓰는 것도 가능하다.
AI 생성 글을 탐지하는 기술이 없는 건 아니다. 하지만 지금까지 나온 기술들은 영어로 작성된 장문의 글을 기반으로 개발돼 한국어의 짧은 댓글에는 적용이 어려웠다. 또 짧은 댓글은 통계적 특징이 불충분하고, 그림문자인 이모지나 비속어, 반복 문자 같은 비정형 구어 표현이 많아 기존의 탐지 모델이 제대로 작동하기 힘들다. AI가 한국어로 만든 댓글 데이터가 부족한 문제가 컸다.
연구팀은 방대한 텍스트 정보를 학습해 개발된 AI인 거대언어모델(LLM) 14종을 활용해 데이터를 모았다. 이를 바탕으로 실제 이용자 스타일을 모방한 한국어 댓글 데이터집단을 구축했다. 분석 결과, AI가 만든 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 ‘것 같다’ ‘에 대해’ 등 형식적 표현과 높은 접속어 사용률을 보였다. 반면 사람은 줄바꿈이나 여러 칸 띄어쓰기 같은 서식 문자를 많이 썼다. 사람이 작성한 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만이 사용했다. 반복 문자(ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
KAIST가 개발한 ‘XDAC’는 이런 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 각 LLM의 고유 말투 특성을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 했다.
이렇게 최적화를 한 덕분에 XDAC는 AI 생성 댓글을 F1 점수를 기준으로 98.5%의 확률로 찾아냈다. 댓글 생성 LLM을 식별하는 확률도 84.3%였다. F1 점수는 정확도와 재현율을 함께 고려한 종합적인 성능 지표로 AI 모델 평가에 쓰인다.
연구팀은 XDAC 탐지 기술이 AI 기반 여론 조작에 대응할 수 있게 해줄 것으로 기대하고 있다. 고우영 KAIST 선임연구원은 “이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술”이라며 “AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다”고 강조했다.
이번 연구 결과는 인공지능 자연어처리 분야 최고 권위 학술대회인 ‘ACL 2025’ 메인 콘퍼런스에 채택됐다. ACL 2025는 오는 7월 27일 열린다.
