뉴욕주립대 빙엄턴 캠퍼스 아메드 아브딘 하메드 박사팀은 4일 과학 저널 사이언티픽 리포트(Scientific Reports)에서 챗GPT가 의학 논문을 생성하는 방식의 특징을 분석, 가짜 논문을 판별하는 머신러닝 알고리즘 ‘엑스페이크사이'(xFakeSci)를 개발했다고 밝혔다.
하메드 박사는 코로나19 대유행 동안 생의학 관련 가짜 논문이 확산해 큰 타격을 줬다며 “의학 출판물, 임상시험, 소셜미디어 마이닝 등을 다루는 연구자로서 누군가 전파하는 지식의 진위에 대해 항상 우려하고 있다”고 연구 배경을 설명했다.
연구팀은 먼저 의학·생명과학 분야 논문 데이터베이스(PubMed)에서 논문을 추출할 때 사용하는 키워드를 이용해 챗GPT로 알츠하이머병과 암, 우울증에 대해 각각 50편의 가짜 논문을 생성하고 이를 같은 주제의 실제 연구 논문 50편과 비교했다.
그런 다음 논문에서 기후 변화(climate change), 임상 시험(clinical trial), 생의학 문헌(biomedical literature)처럼 두 단어가 함께 등장하는 바이그램(bigram) 사용 특징을 분석하도록 xFakeSci 알고리즘을 프로그래밍했다.
xFakeSci로 바이그램 수와 바이그램이 다른 단어 및 개념과 어떻게 연결되는지 비교한 결과 가짜 논문에는 진짜 논문보다 바이그림 수는 훨씬 적지만, 사용된 바이그램은 다른 모든 내용과 매우 밀접하게 연결된 것으로 나타났다.
하메드 박사는 연구자와 AI는 글쓰기 방식에 분명한 차이가 있다고 말했다.
챗GPT는 아직 지식이 제한돼 있어 가장 중요한 단어들을 사용해 사람들을 설득하려고 하지만, 과학자들은 설득력 있는 주장을 하는 게 아니라 실제 실험 중에 일어난 일과 사용된 방법을 정직하게 기술한다는 것이다.
학습 과정을 거친 xFakeSci는 적용 분야에 따라 80~94%의 정확도로 챗GPT가 생성한 연구논문을 판별할 수 있는 것으로 나타났다. 이는 일반적인 데이터 마이닝(data mining)의 정확도 38~52%보다 배 가까이 우수한 것이라고 연구팀은 밝혔다.
하메드 박사는 “AI가 더 정교해짐에 따라 진짜와 가짜를 판단하기가 점점 더 어려워질 것”이라며 “xFakeSci를 더 발전시키기 위해 의학 분야를 넘어 공학과 다른 과학 주제, 인문학 등에도 이런 단어 패턴이 적용되는지 연구할 계획”이라고 말했다.
