국내 첫 '생성형 AI 레드팀 챌린지' 개최…1084명 참가

[프라임경제] 과학기술정보통신부(이하 과기정통부)와 한국정보통신기술협회(TTA)는 '생성형 인공지능(AI) 레드팀 챌린지' 행사를 11일부터 이틀 간 서울 코엑스에서 개최한다고 밝혔다.

'생성형 AI 레드팀 챌린지' 행사 포스터 이미지. ⓒ 과학기술정보통신부

레드팀 챌린지는 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험이나 부정확·유해정보 등 취약점을 찾는 행사다. 레드팀 챌린지 행사가 국내에서 열리는 건 이번이 처음이다. 

이번 행사는 네이버(035420)·SKT(017670)·업스테이지·포티투마루가 참여한 가운데 총 1084명이 참가했다. 

참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다. 챌린지 주제는 △탈옥 △편견 및 차별 △인권침해 △사이버 공격 △불법 콘텐츠 △잘못된 정보 △일관성 등이다. 

전문적인 평가를 위해 챌린지 평가단도 구성했다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가와 의료·금융·법률 전문가 등 120여명으로 구성된 평가단은 세부 평가 기준에 기초해 참가자의 프롬프트 공격을 객관적으로 평가한다.

과기정통부는 이번 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출하고, '생성형 AI 레드팀 가이드라인'을 마련하는 등 표준화된 위험 발굴·대응 체계를 구축해 나갈 계획이다.

한편 행사 2일차인 오는 12일에는 '글로벌 AI 안전 컨퍼런스'가 열린다. 국내외를 대표하는 AI 업계·학계 전문가가 참여해 생성형 AI 시장의 기술 동향과 생성형 AI 안전·신뢰성 확보 방안에 대한 발표와 토론을 진행한다.

강도현 과기정통부 2차관은 "대통령이 밝힌 'AI-반도체 이니셔티브'를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것"이라며 "특히 올해 5월 열리는 'AI 서울 정상회'를 통해 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다"고 말했다.