[이근우 변호사의 기승전IT] AI, 본격적 입법이 시작됐다

[법무법인 화우 이근우 파트너변호사] EU 집행위원회(European Commission)가 지난 2021년 4월 21일 Artificial Intelligence 법률안(‘EU AI 법률안’)을 제안했다.

최초 EU AI 법률안에 대한 각계 이해관계자들의 의견을 수렴하면서 초기 내용이 조금씩 변경됐고, 2022년 12월 6일 EU 이사회(EU Council) 및 2023년 6월 14일 EU 의회(European parliament)가 변경된 내용을 토대로 EU AI 법률안의 절충안을 확정했다.

같은해 12월 9일 유럽연합 이사회 의장국과 유럽 의회 협상단이 EU AI 법률안의 절충안에 잠정적으로 합의하면서, 올해 2월 2일 유럽연합 이사회 상주대표위원회(Committee of the Permanent Representatives, ‘COREPER’)가 위 잠정 합의 사항을 반영하고 법안의 실질적인 내용을 확정한 추가 수정안을 가결 처리했다.

그리고 마침내 유럽의회가 이달 13일 본 회의에서 위 추가 수정안의 실질적인 내용을 그대로 유지한 채 형식적인 사항만 수정한 버전으로 가결 처리하면서 올해 내에 최종 EU AI 법률안이 공표되고 발효될 수 있는 기틀을 마련했다.

입법 과정에서의 가장 큰 변화는 바로 EU집행위원회가 최초 제안할 당시에는 EU AI 법률안에 생성형 AI의 기반이 되는 파운데이션 모델에 대한 내용은 담겨있지 않았으나, 이후 ChatGPT와 같은 생성형 AI가 널리 사용되면서 유럽의회가 가결한 협상안부터는 파운데이션 모델(Foundation model)에 대한 규정이 도입됐고, 이후 이는 범용 인공지능 모델(General-Purpose AI Models)에 대한 규정으로 정리된 점이다.

EU AI 법률안은 기본적으로 위험에 비례한 규율 방식을 취하면서 인공지능 시스템을 △금지되는 인공지능(Chapter II) △고위험 인공지능(Chapter III) △특정 투명성 의무가 부여되는 인공지능(Chapter IV) △범용 인공지능 모델(Chapter V)의 4종류로 나눠 인공지능 시스템 공급자 등의 의무 사항을 규정하고, 그 외 인공지능 시스템에 대해서는 업계 내에서 자율적으로 각자 행동강령을 제정하고 시행할 수 있도록 의무사항을 규정한다(Chapter X).

금지되는 인공지능(Chapter Ⅱ)는 사람의 의식 조작이나 취약계층의 취약점을 이용하여 행동을 왜곡시키고 의사 결정에 악영향을 미치는 인공지능, 사회적 행위에 기반한 사회적 평점 시스템(social scoring)으로 특정 자연인에 대해 불이익한 처분을 유발할 수 있는 인공지능, 프로파일링에만 기반한 범죄 예측에 사용되는 인공지능, 인터넷이나 CCTV로 수집된 얼굴 이미지를 무작위로 스크랩해 얼굴 인식 데이터 베이스를 구축하는데 사용되는 인공지능, 직장 및 교육현장 내 자연인의 감정 추론에 사용되는 인공지능, 공개된 장소에서 법 집행을 위해 사용되는 실시간 원격 생체 시스템으로서, 일부 예외적인 상황을 제외하고는 EU에서 공급∙서비스∙사용이 금지된다.

EU AI 법률안 중에서 가장 중요하게 생각되는 부분이 바로 고위험 인공지능(Chapter III)에 대한 규율이다. EU AI 법률안은 고위험 인공지능을 열거하고, 그러한 고위험 인공지능 시스템의 제공자, 수입자, 배포자, 사용자에게 EU AI 법률안에 규정된 각 의무를 준수하도록 한다.

고위험 인공지능은 (a) Annex II에 나열된 유럽연합 법률로 규율되는 제품 또는 그 안전요소로서, 제3자 적합성평가를 받아야 하는 제품(기계, 자동차, 전파기기, 의료기기, 승강기, 폭발성 기체 장치 등) 또는 그 안전요소, (b) Annex III에 나열된 바와 같이 기반시설, 교육, 고용, 의료·은행 등 핵심 공공·민간 서비스, 국경통제, 사법절차 등 기본권에 영향을 미칠 수 있는 환경에서 특정 목적으로 활용되는 AI 시스템이다. 이러한 고위험 인공지능의 경우 △리스크 관리 시스템 △데이터와 데이터 거버넌스 △기술문서화 △기록 보존 △설명 가능성 △인간에 의한 감독 △정확성·견고성·사이버 보안 등의 요건을 갖춰야 하고, 해당 요건에 기반해 제공자(provider)에서 사용자(deployer)에 이르는 공급 체인을 따라 각각에게 부여되는 의무 사항을 준수해야 한다.

특정 투명성 의무가 부여된 인공지능(Chapter IV)은 특별유형 AI 시스템의 경우로서 고지 의무를 포함하는 투명성 요건을 충족해야 하는 인공지능에 대해 규율한다. 즉 자연인을 직접 상대하는 인공지능 시스템의 공급자는 해당 자연인이 대하고 있는 상대가 인공지능임을 밝혀야 하며, 생성형 인공지능의 공급자는 그 산출물이 인공지능에 의해 생성된 것임을 표시해야 하고, 감정 인식 시스템 또는 생체 분류 시스템의 활용자는 해당 시스템에 노출되는 자연인에게 시스템의 운용 및 개인 정보 처리 사실을 밝혀야 한다. 요즘 많이 문제가 되고 있는 생성·조작된 이미지나 딥페이크 등의 콘텐츠를 생성하는 인공지능의 활용자는 해당 콘텐츠가 인공지능에 의해 생성된 것임을 공개해야 한다.

범용 인공지능(Chapter V)에 대해서도 특유의 의무사항이 부여된다. 범용 인공지능 모델에 대해서 기본적으로 기술문서화 등의 의무 이외에 학습 데이터의 저작권 보호와 관련된 조치 의무가 부과된다. 또한 범용 인공지능 모델의 경우 그 규모나 학습량을 고려하여 이용자에게 미칠 영향이 상당한 경우 ‘시스템 리스크가 있는 범용 인공지능 모델’로 별도 분류해 적대적 공격 평가 등을 통하여 잠재적인 시스템 리스크를 완화하기 위한 조치를 다하는 등의 추가 의무가 부여된다.

세계 최초로 AI에 대해 체계적이면서 심도 깊은 규율체계가 자리 잡게 된 것인데, 이러한 EU AI 법률안은 유럽연합 외에 미국과 대한민국을 포함해 전세계적으로 상당한 영향력을 미칠 것이 자명하다. 실제 EU AI 법률안이 제안된 이후 미국은 2023년 10월 조 바이든 대통령이 AI 자료에 식별용 워터마크를 부착 의무화하는 등의 내용을 담은 행정명령에 서명한 바 있고, 중국은 2024년 3월 AI+ 행동이란 산업 육성책을 발표하며 대응하고 있다. 우리나라 역시 EU AI 법률안의 내용 등을 참조해 AI와 생성형 AI 개념을 정리하고 고위험 AI를 규율하되, EU AI 법률안과 같이 다양한 의무를 규정하기 보다는 AI 진흥을 위주로 하되 사업자들에게 최소한의 의무사항 정도만 규정하는 등의 여러 법률안이 국회에 계류 중이다.

EU AI 법률안이 향후 AI 규제의 글로벌 표준으로 자리 잡을 수 있는지 확신할 수는 없지만 최소한 막대한 영향을 줄 것은 명확하기에, AI 제공자나 사용자가 되는 사업자는 EU의 규제 방향 및 그 외 주요국의 규제방향성을 확인하고, AI 규제에 대해 적절히 대응하는 것이 필요하다.

즉 AI 시스템을 개발하는 사업자라면 당연히 EU AI 법률안의 내용을 제대로 파악하는 것이 필요하며, AI 시스템을 개발하지 않더라도 AI 시스템을 사용하는 사업자 역시 그 사용이 개인적이면서 비상업적 사용이 아니라면 AI 시스템의 사용자로서 EU AI 법률안에 직·간접의 영향을 받을 AI 규제가 적용될 것이므로 역시 EU AI 법률안의 내용을 파악하고, 해당 법률이 직접적으로 어떻게 영향을 미칠지, 대한민국의 입법에 어떠한 영향을 미칠지 가늠하고 대비하는 것이 필요하다.

이에 본고를 통해 EU AI 법률안의 주요 내용 등을 정리하니, AI 관계자들에게 조금이나 도움이 되길 바란다.

<이근우 변호사 약력>

(현)법무법인(유) 화우 파트너변호사

(현)개인정보보호위원회 자문변호사

(현)대한변호사협회 ESG 특별위원회 위원

(현)산업통상자원부 산업기술분쟁조정위원회 위원

(현)한국정보법학회 회원

(현)산업기술보호협회 영업비밀보호 전문위원(강사)

(현)법무부 해외진출 중소기업 법률자문단 자문위원