TTA, 생성형 AI 위험 발굴·대응 마련 ‘AI 레드팀 챌린지’ 개최

[이뉴스투데이 유은주 기자] 과학기술정보통신부와 한국정보통신기술협회(TTA)는 다음달 11일 ‘생성형 AI 레드팀 챌린지’를 코엑스 B2홀에서 개최한다고 밝혔다. 

생성형 AI의 적용 범위와 기능이 확장되며 환각과 탈옥 등 예상치 못한 위험이 지속 발생하고 있다. 전 세계는 위험을 사전 발견하고 대응하기위해 레드팀 테스팅에 주목하고 있다. 

이번 행사는 전 세계에서도 국가 차원의 대규모로 진행되는 두번째 챌린지라고 볼 수 있다. TTA 연구진은 과거 미국 행사에 참석해 테스팅을 진행했으며 레드팀 테스팅 수행과 챌린지 진행을 위한 방법론을 분석해 왔다.

TTA는 레드팀 챌린지 개최를 통해, 생성형 AI의 잠재 위험·취약점을 식별하고 대응하기 위한 AI 위험관리 방안을 정립하고자 한다. AI 위험관리는 EU AI Act, 美 행정명령, AI 안전정상회의 등 굵직한 글로벌 논의의 기반이 되는 개념이다. 향후, 레드팀 테스팅 기법의 적절한 활용·확산을 위한 지침을 마련하고, 발견된 위험에 대한 데이터베이스 구축·공유를 추진한다.

TTA는 그간 과기정통부와 함께 ‘신뢰할 수 있는 개발 안내서’ 발간·배포, AI 신뢰성 컨설팅 및 자율적인 검인증 모범사례 발굴, 국제협력 및 국제표준화 등 AI 신뢰성·안전성 확보를 위해 전방위적인 정책·기술적 노력을 기울여 왔다. AI의 안전성·신뢰성 확보와 관련된 글로벌 논의를 선도하도록 AI 위험관리 기반의 안전 확보 체계 마련에 지속 노력을 기울이고자 한다.

또 인공지능 안전·신뢰성 분야 국제표준화 활동을 강화하는 한편, IEEE SA 및 NIST 등 글로벌 주요 기관들과의 협력 체계를 구축한다. 이는 AI 안전·신뢰성 확보를 위한 기술 프레임워크 마련을 견인함과 동시에 국제적 공감대를 형성하여 글로벌 주도권을 확보하기 위함이다.

손승현 TTA 회장은 “TTA는 AI 위험관리 마련, 국제협력 표준화 강화 등 기업의 자발적인 안전 신뢰성 확보 노력을 유도하면서도, 이러한 기업의 노력을 객관적으로 확인할 수 있는 공신력 확보유지 노력을 지속해 나갈 것”이라고 말했다.