'생성형 인공지능 레드팀 챌린지' 개최

제목

과학기술정보통신부와 한국정보통신기술협회는「생성형 인공지능 레드팀 챌린지(이하 ‘레드팀 챌린지’)」행사를 4월11일(목)부터 이틀간 코엑스 B2홀에서 개최하고, AI 윤리와 안전에 관심이 있는 국민을 대상으로 행사 참가자 1,000명을 모집한다.

 

'레드팀 챌린지’ 행사 개요

‘인공지능(이하 ‘AI’) 레드팀’은 통제된 환경에서 적대적 방법을 사용하여 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등 결함‧취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다.

 

오픈AI, 구글, 네이버클라우드 등 국내‧외 AI 기업도 자체 AI 레드팀을 구성‧운영하는 등 AI 기업이 AI 안전‧신뢰성을 확보할 수 있는 핵심적인 방법으로 주목받고 있다.

 

최근 생성형 AI 기술이 고도화‧확산됨에 따라 다양한 윤리적 이슈에 대한 우려가 확대되고 있는 상황이다.

 

이에 과기정통부는 챌린지 참가자가 대규모로 참여하여 국내 AI 기업의 대형언어모델(LLM)을 집중적으로 점검할 수 있는 장을 마련함으로써 민간이 자율적으로 AI 안전‧신뢰성을 확보할 수 있도록 지원하기 위해 ‘레드팀 챌린지’ 행사를 기획하였다.

< ‘레드팀 챌린지’ 행사 개요 >

□ (목적) 국내 생성형 AI 모델(LLM)을 대상으로 국민이 참여하여 잠재적 위험‧취약점(유해정보 생성 등)을 식별하는 공개챌린지 추진 □ (장소/일정) 서울 코엑스 B2홀 / ’24.4.11.(목)~12.(금) □ (주최/주관) 과기정통부 / 한국정보통신기술협회(TTA), 초거대 AI 추진협의회 □ (참가기업) 네이버클라우드, SKT, 업스테이지, 포티투마루 등 * 2일차 ‘글로벌 AI 안전컨퍼런스’는 Cohere, Stability AI, xAI, 프론티어모델 포럼 등 글로벌 AI 기업‧단체 참여 □ (참가자) AI 윤리와 신뢰, 안전에 관심이 있는 국민 누구나(1,000명 사전 접수)

 

행사 1일차에 개최되는 ‘레드팀 챌린지’는 네이버클라우드‧SKT‧업스테이지‧포티투마루 등 국내를 대표하는 AI 기업의 모델을 대상으로 1,000명의 참가자가 잠재적 위험‧취약점을 식별하는 공개 챌린지 방식으로 진행된다.

 

이어 행사 2일차에는 Cohere Aidan Gomez 대표, Stability AI Emad Mostaque 대표, 프론티어모델 포럼* Chris Meserole 의장, xAI Dan Hendrycks 안전 담당고문, 네이버 하정우 퓨처 AI 센터장, SKT Eric Davis 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 이사, 카이스트 오혜연 교수 등 국내‧외 대표 AI 기업‧기관‧전문가가 참여하는 ‘글로벌 AI 안전 컨퍼런스’를 개최하고 생성형 AI 안전‧신뢰성 확보방안을 논의한다.

 

* 주요 AI기업 4개社(구글‧오픈AI‧MS‧앤트로픽)가 AI 안전표준 개발을 위한 협의체 구성‧운영(‘23.7.~)

 

이번 ‘레드팀 챌린지’ 행사에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 모델의 잠재적인 위험‧취약점 파악을 통해 안전성‧신뢰성을 제고할 수 있는 계기가 될 것으로 기대된다.

 

과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석하여 생성형 AI 분야의 공통‧포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 수행가이드라인’을 마련하는 등 표준화된 AI 위험 발굴‧대응체계를 구축해 나갈 계획이다.

 

챌린지 참가 희망자는 4월10일(수)까지 행사 홈페이지(www.aiignite.org)를 통해 참가 신청*이 가능하며, AI 모델의 위험‧취약점을 가장 많이 발견한 총 5명의 우수 참가자에게는 과기정통부 장관상 등을 포함하여 총 1,700만원 규모 상금이 제공될 예정이다.

 

* 홈페이지를 통해 챌린지 참가자 1,000명 모집 시 사전마감

(출처:과학기술정보통신부)