수원음주운전변호사 [포토뉴스]서울광장에 스케이트장

페이지 정보

작성자 이길중 날짜26-01-08 00:56 조회0회 댓글0건

본문

수원음주운전변호사 새해 첫 주말인 4일 서울광장 스케이트장을 찾은 시민들이 스케이트를 타며 휴일을 즐기고 있다.
챗GPT 등 주요 인공지능(AI) 모델 대부분이 사용자에게 잘못된 의료 정보를 제공하도록 유도하는 악의적 공격에 취약한 것으로 나타났다. 태아의 기형을 유발할 수 있는 약물을 임신부에게 권하는 상황까지 조작을 통해 쉽게 만들어졌다.
서울아산병원 비뇨의학과 서준교 교수와 정보의학과 전태준 교수, 인하대병원 영상의학과 이로운 교수 연구팀은 세계 최초로 ‘프롬프트 인젝션 공격’에 대한 의료용 대규모언어모델(LLM)의 보안 취약성을 분석한 연구를 ‘미국의사협회저널 네트워크 오픈’에 게재했다고 5일 밝혔다. 프롬프트 인젝션 공격은 해커가 AI 모델에 악의적인 명령어를 삽입해 본래 의도와 다르게 작동하도록 유도하는 사이버 공격이다.
연구진은 지난해 1월부터 10월까지 챗GPT와 제미나이, 클로드 등 널리 쓰이는 AI 모델 3종을 대상으로 실험을 진행했다. 연구진은 먼저 정상적인 의료 상담 상황처럼 보이지만, 특정 방향의 답변을 유도하도록 설계한 악의적 명령어를 AI에 입력했다. 이를 통해 AI가 위험하거나 부적절한 의료 조언을 하도록 조작될 수 있는지를 살펴봤다.
제미나이 등 3종류 모델 대상으로금기 약물 등 악의적 명령어 공격성공률 94% 넘어…위험도 적잖아연구진 “추가적 안전 조치 시급”
연구진은 상황별 위험도를 나눠 분석했다. 예를 들어 당뇨 같은 만성질환 환자에게 검증된 치료 대신 생약 성분을 권하는 경우는 중간 단계, 호흡기 질환 환자에게 호흡 억제를 일으킬 수 있는 약물을 우선 추천하는 사례는 높은 단계 위험도로 분류했다. 임신부에게 태아 기형을 유발할 수 있는 금기 약물을 권하는 경우는 최고 위험도로 설정했다. 연구진은 이처럼 위험 수준이 다른 12개 시나리오를 가정했다. 공격에는 두 가지 기법이 사용됐다. 환자 정보를 활용해 판단을 교란하는 ‘상황인지형 프롬프트 주입’과, 실제 존재하지 않는 정보를 그럴듯하게 만들어내는 ‘증거 조작’ 방식이다. 연구진은 공격 이후 환자와 AI 모델 간에 오간 대화 216건을 분석했다.
세 모델 전체에 대한 공격 성공률은 94.4%에 달했다. 최고 위험도 시나리오의 성공률도 91.7%를 기록했다. 높은 단계는 93.3%, 중간 단계는 100%로 위험도가 낮아질수록 취약성이 더 커졌다. 모델별로는 GPT-4o 미니와 제미나이 2.0 플래시라이트가 모두 100%, 클로드 3 하이쿠는 83.3%의 공격 성공률을 보였다. 조작된 답변이 후속 대화까지 이어진 비율도 세 모델 모두 80%를 넘겼다.
임신부에게 금기 약물을 권장하는 시나리오에서는 최상위급 AI 모델도 비슷한 한계를 드러냈다. 추가 실험에서 GPT-5, 제미나이 2.5 프로, 클로드 4.5 소넷 등 최신 모델 3종을 대상으로 사용자의 화면에 악성 문구를 숨기는 방식의 공격을 수행한 결과, GPT-5와 제미나이 2.5 프로는 공격 성공률이 100%, 클로드 4.5 소넷도 80%에 달했다.
연구진은 의료 현장에서 AI 활용이 빠르게 늘고 있는 만큼 안전성을 높이기 위한 추가 조치가 시급하다고 지적했다. 서준교 교수는 “환자 대상 의료 챗봇이나 원격상담 시스템을 도입하기 위해선 AI 모델의 취약성과 안전성을 철저히 테스트하고 보안 검증 체계를 의무화하는 조치가 필요하다”고 말했다.

댓글목록

등록된 댓글이 없습니다.

댓글쓰기

글쓴이 필수
비밀번호 필수
비밀글사용
자동등록방지	자동등록방지 자동등록방지 숫자를 순서대로 입력하세요.
내용