Earticle

초록

영어

The rise of artificial intelligence has brought with it a troubling phenomenon: AI hallucinations generating and spreading false information at scale. The problem becomes especially serious when AI produces false or inaccurate information about real, live individuals, which can seriously damage their reputation and undermine their fundamental rights. This paper refers to such information as "AI-generated false personal data" and examines whether existing rights to rectification and erasure under personal data protection law can adequately address this problem, and if not, how the law should be reformed. The paper begins by considering the legal nature of AI-generated false personal data. Such data qualifies as personal information under the Personal Information Protection Act as long as it identifies a specific individual, regardless of whether its content is accurate. Its generation also constitutes the processing of personal information under the Act. That said, AI-generated false personal data differs meaningfully from ordinary inaccurate personal information, which typically results from errors in data collection or input, in both how it is produced and what it means for the law. This distinction justifies treating it as a separate legal category. Data subjects may in principle invoke their rights to rectification and erasure, but applying these rights to AI-generated false personal data proves more complicated than it might appear. Since generative AI produces outputs probabilistically, a single deletion does not prevent the same or similar content from being generated again. Machine unlearning technology, which could theoretically address this issue, remains in its early stages and cannot yet reliably remove specific data from a trained model. The problem is further compounded by the involvement of multiple parties across the AI pipeline, developers, deployers, and users, which makes it far from clear who bears legal responsibility for rectification or erasure. To address these gaps, the paper advances three legislative proposals. First, the right to rectification under Article 36 of the Personal Information Protection Act should be reframed as a preventive right, not merely a remedy for past errors, but a mechanism for preventing the same false information from being generated again. Second, given the practical limits of current technology, the law should provide for alternative means of compliance, including a requirement to deploy Retrieval-Augmented Generation (RAG) systems and an obligation to notify users when previously provided information has since been corrected. Third, AI service providers should be designated as the default personal information controllers, with joint liability extending to AI developers where the necessary technical measures can only be implemented at the development stage. To support this structure, the concept of joint controllers should be explicitly introduced into the Personal Information Protection Act. The legislative proposals put forward in this paper are grounded in what is technically feasible today, while also anticipating challenges that will only grow more pressing as AI becomes further embedded in everyday life. Bridging the gap between law and technology in this area will require not only targeted legislative reform, but also an ongoing commitment to revisiting and refining the legal framework as the technology continues to evolve.

한국어

인공지능 환각 현상에 의한 허위 정보의 생성·유포가 사회 전반에 걸쳐 새로운 위험으로 부상하고 있다. 특히 인공지능이 실존 인물에 관한 허위 또는 부정확한 정보를 생성하면 정보주체의 명예, 인권 등 권익을 침해할 수 있다는 점에서 문제된다. 본 논문은 인공지능이 생존 인물에 관하여 생성한 허위 또는 부정확한 정보를 ‘인공지능 허위개인정보’로 개념화하고, 이에 대한 정보주체의 정정·삭제요구권의 적용 가능성과 그 한계 및 개선 방향을 검토한다. 우선 인공지능 허위개인정보에 개인정보보호법제를 적용하기에 앞서 인공지능 허위개인정보의 법적 성격을 분석한다. 인공지능 허위개인정보는 그 내용이 사실과 다르더라도 특정 개인을 식별할 수 있는 한 개인정보보호법상 개인정보에 해당하며, 그 생성 과정 역시 개인정보의 처리에 포함된다. 하지만 인공지능 허위개인정보는 수집 또는 입력 과정의 오류에서 비롯된 기존의 부정확한 개인정보와 생성 구조 및 규범적 함의에서 구별되므로, 독자적인 개념으로 설정할 실익이 있다. 정보주체는 인공지능 허위개인정보에 대하여 개인정보보호법상 정정·삭제를 요구할 수 있으나 현행 개인정보보호법상 정정·삭제요구권을 인공지능 허위개인정보에 그대로 적용하는 데에는 구조적인 한계가 존재한다. 생성형 인공지능의 확률적 생성 방식으로 인해 일회적인 삭제만으로는 동일하거나 유사한 허위개인정보의 반복 생성을 방지하기 어렵고, 현 단계의 머신 언러닝 기술로는 완전한 정정·삭제의 실질적 구현에도 한계가 있다. 또한 인공지능 허위개인정보의 생성 및 유통 과정에는 개발 단계부터 이용자에 이르기까지 복수의 행위자가 관여하므로, 정정·삭제의무의 귀속 주체가 불명확하다는 문제도 발생한다. 이러한 한계를 극복하기 위해 본 논문은 다음과 같은 입법론을 제시한다. 첫째, 정정요구권을 단순한 사후적 정정에 그치지 않고 동일한 허위정보의 반복 생성을 방지하는 예방적 권리로 재구성하여 개인정보보호법 제36조에 명문화하여야 한다. 둘째, 기술적 이행 가능성을 고려하여 RAG 인프라의 구축 의무 및 정정 사실의 고지 의무 등의 대체적 이행 수단을 법제화하여야 한다. 셋째, 인공지능이용사업자를 원칙적 개인정보처리자로 규정하되, 기술적 조치가 개발 단계에서만 가능한 경우에는 인공지능개발사업자도 공동책임을 부담하도록 공동 개인정보처리자 개념을 개인정보보호법에 명시적으로 도입하여야 한다. 본 논문은 인공지능 허위개인정보에 관한 정보주체의 권익 보호를 위한 입법론적 개선 방향을 제시하였다. 본 논문에서 제안한 입법론은 현행 기술적 한계를 고려하여 현 단계에서 실현 가능한 조치를 반영하는 한편, 인공지능의 확산과 함께 더욱 빈번해질 문제에 선제적으로 대응하기 위한 규범적 토대를 마련하고자 하는 것이다. 인공지능 시대에 부합하는 개인정보 보호 체계를 구현하기 위해서는 법과 기술이 상호 발전하는 가운데 지속적인 입법적 논의가 이루어져야 할 것이다.

목차

Ⅰ. 서론
Ⅱ. 인공지능 허위개인정보에 관한 법적 문제
Ⅲ. 현행법상 대응 체계 및 한계
Ⅳ. 인공지능 환경에 부합하는 입법론적 제언
Ⅴ. 결론
[참고문헌]
[ 국문초록 ]
[ABSTRACT]

키워드

개인정보 개인정보 정정요구권 개인정보 삭제요구권 인공지능 머신 언러닝 개인정보처리자 personal data right to rectification right to erasure artificial intelligence machine unlearning data controller

저자

• 권정 [ Joung Kwon | 연세대학교 언더우드국제대학 강사, 법학박사(AI법), 변호사. ]

참고문헌

발행기관

간행물