인공지능(AI) 기술을 규율하고 산업 진흥의 기준을 담은 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능기본법)’이 지난 1월 22일부터 시행됐다. 

그동안 기술 개발과 서비스 확장에 주력해 온 기업들도 이제는 안전성과 신뢰성 확보를 위한 법적 의무를 본격적으로 부담하게 됐다. 특히 고영향 인공지능과 생성형 인공지능을 다루는 사업자에게는 별도의 책무가 부과돼 사전 점검이 필수라는 지적이 나온다.

법은 AI 사업자를 개발과 이용 주체로 나눠 각각의 책임 범위를 명확히 했다. 자체 모델을 개발·제공하는 사업자는 인공지능개발사업자, 외부 AI를 활용해 제품이나 서비스를 제공하는 주체는 인공지능이용사업자로 분류된다.

예컨대 자체 모델을 개발한 기업뿐 아니라, OpenAI API를 활용해 상담 챗봇을 만든 스타트업이나, 네이버의 하이퍼클로바 기반 서비스를 연동한 플랫폼도 모두 법 적용 대상이 된다. 

Gemini, Claude 등 해외 AI를 활용한 서비스 역시 국내 이용자에게 영향을 미치면 규율 범위에 포함된다. 직접 모델을 개발하지 않았더라도 법적 의무를 피해 갈 수 없다는 의미다.

법에서 말하는 인공지능은 학습, 추론, 지각, 판단, 언어 이해 등 인간의 지적 능력을 전자적 방식으로 구현한 시스템 전반을 뜻한다.

■ 핵심은 ‘투명성’… 사전 고지·생성물 표시 의무

인공지능사업자에게 부과되는 핵심 의무는 투명성 확보다. 법은 크게 세 가지 표시·고지 의무를 규정했다.

우선 고영향 또는 생성형 AI 기반 제품·서비스를 제공할 경우, 사전에 AI가 활용된다는 사실을 이용자에게 알려야 한다. 이용약관 명시, 제품 내 표기, 화면(UI) 안내 등 이용자가 쉽게 인식할 수 있는 방식이어야 한다. 이를 이행하지 않으면 3000만원 이하 과태료가 부과된다.

생성형 AI 결과물에는 AI가 생성했다는 사실을 표시해야 한다. 화면 로고나 문구 같은 가시적 표시뿐 아니라 워터마크·메타데이터 삽입 등 비가시적 방식도 허용된다. 음성·영상 등은 안내 문구나 음성 고지를 최소 한 차례 이상 제공해야 한다.

실제와 구분하기 어려운 가상 음향·이미지·영상, 이른바 딥페이크 형태의 콘텐츠를 제공할 때도 이용자가 명확히 인식할 수 있도록 별도 고지 또는 표시가 의무화됐다.

■ 의료·에너지 등 ‘고영향 AI’는 별도 규제

사람의 생명과 신체 안전, 기본권에 중대한 영향을 미칠 수 있는 분야에 쓰이는 시스템은 ‘고영향 인공지능’으로 분류된다. 의료기기, 디지털의료, 에너지 공급, 먹는물 생산 공정, 보건의료 체계 운영 등이 대표 사례다.

고영향 AI 사업자에게는 강화된 관리 의무가 부과된다. 위험 식별·분석·평가·처리 체계를 포함한 위험관리 방안을 갖춰야 하고, 이용자가 AI 판단 결과와 주요 기준, 학습 데이터 개요를 알 수 있도록 설명 체계도 마련해야 한다.

데이터 적법 수집과 이용자 보호 절차, 고충 처리 창구 운영도 의무다. 오작동이나 예기치 않은 결과 발생 시 사람이 개입해 중단·수정할 수 있는 비상정지 장치도 요구된다. 관련 조치 사항을 입증하는 문서는 작성해 5년간 보관해야 한다.

해당 여부가 불분명할 경우 사업자는 과학기술정보통신부에 판단을 요청할 수 있다.

■ 초대규모 모델엔 사고 보고 의무까지

학습 연산량이 10의 26제곱 FLOPs 이상인 초대규모 AI 모델 개발 사업자에게는 별도의 안전성 확보 의무가 적용된다. 모델 수명주기 전반의 위험 식별과 완화 조치가 요구되며, 사고 발생 시 24시간 이내 1차 보고, 15일 이내 결과 보고도 의무화됐다. 현재 국내 개발 모델 중 해당 기준을 충족하는 사례는 없는 것으로 알려졌다.

법률 전문가들은 사업자들이 서비스 구조와 적용 기술을 기준으로 법상 지위를 먼저 구분해야 한다고 조언한다. 생성형 AI를 활용한 서비스라면 약관에 관련 고지 문구를 반영하고, 결과물 라벨링과 워터마크 등 표시 체계를 서둘러 갖춰야 한다는 것이다.

헬프미 법률사무소는 “고영향 AI 사업자는 위험관리, 데이터 관리, 사람의 개입 절차를 기록으로 남기는 문서화 체계를 미리 구축해야 한다”며 “이는 향후 과태료 등 제재 리스크를 줄이는 핵심 근거가 된다”고 밝혔다.