[한스경제=박정현 기자] 과학기술정보통신부와 한국정보통신기술협회(TTA)가 11~12일 '생성형 인공지능(AI) 레드팀 챌린지' 행사를 개최한다. AI에 관심 있는 국민 누구나 참여해 국내 생성형 AI모델(LLM)을 대상으로 잠재적 위험·취약점을 찾도록 한 행사다.  

레드팀은 악성 유저(또는 해커)의 행동을 최대한 표방해 시스템의 취약점을 찾아내는 사이버 보안 기법이다. 미리 악용 사례를 모방해 최대한 오류를 잡아낼 수 있도록 하는 취지를 갖는다. 레드팀은 최근 생성형 AI 분야에서 AI 신뢰·안전성을 확보할 수 있는 핵심적인 방법으로 활용되고 있다. 오픈AI, 구글, 네이버클라우드 등 국내외 대표기업도 내부 AI 레드팀을 운영 중이다.

이번 행사에는 AI 분야 종사자만이 아니라 제조·금융·의료분야 종사자, 대학생 등 1000여명이 참석한다.

이들은 국내 AI 기업 네이버·SK텔레콤·업스테이지·포티투마루의 거대언어모델(LLM)을 차례로 배정받아 잠재적 취약점을 찾는다.

평가는 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료·금융·법률 전문가 120여명이 프롬프트 공격을 분석한다.

과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출하고 업계에서 활용할 수 있는 가이드라인을 마련한다.

강도현 과기정통부 2차관은 "AI 혁신의 전제이자 기본은 안전과 신뢰"라며 "올해 5월에 개최되는 'AI 서울 정상회의'를 통해 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고, AI G3(주요 3개국) 강국 도약의 발판으로 삼겠다"고 말했다.

박정현 기자 awldp219@sporbiz.co.kr