Earticle

본 연구는 인공지능(AI) 딥페이크 기술이 게임 광고에 활용되는 현황을 검토하고, 이에 따른 헌법적 쟁점을 분석하는 데 목적을 둔다. 최근 게임 산업은 몰입감과 현실감을 극대화하기 위해 딥페이크 기술을 적극적으로 도입하고 있으며, 이는 광고 효과를 높이는 동시에 허위·과장 표현, 인격권 침해, 소비자 기만 등 다양한 헌법적 문제를 야기한다. 이에 따라 본 논문은 헌법재판소의 광고 사전심의 관련 결정례를 분석하여 상업적 표현의 자유와 소비자 보호 사이의 긴장 관계를 규명하고, 사전검열금지원칙과 광고심의에서의 헌법적 원리가 딥페이크 광고 규제에 어떻게 적용되는지 문제, 초상권과 개인정보자기결정권, 아동·청소년·노인 보호의 원리와 맞물린 헌법상 소비자의 권리 등 AI 딥페이크를 활용한 게임 광고에서 헌법적 쟁점과 그러한 쟁점을 해결하기 위한 실천적 방안에 대해서 논증하였다. 그리고 딥페이크 광고에 대한 현행 규제 체계가 헌법의 원리에 부합하도록 개선 방향을 제시하였다. 알고리즘의 투명성과 설명 가능성을 확보하고, 딥페이크 식별표시 의무화 고려, 온라인 사업자의 책임 강화, 사후적 책임 중심의 규제, 업계의 자율규제와 공적 규제의 병행 등이 그것이다. 본 연구는 AI 딥페이크 기반 게임 광고 규제가 헌법적 가치와 기술 발전 사이의 균형을 모색해야 함을 강조하며, 향후 제도적 정비를 위한 중요한 시사점을 제공한다.

This study aims to examine the current status of Artificial Intelligence (AI) deepfake technology in game advertising and to analyze the resulting constitutional issues. Recently, the game industry has been actively adopting deepfake technology to maximize immersion and realism. While this enhances advertising effectiveness, it simultaneously triggers various constitutional concerns, including false or exaggerated representation, infringement of personality rights, and consumer deception. Accordingly, this paper analyzes the Constitutional Court’s precedents regarding the prior censorship of advertisements to clarify the tension between the freedom of commercial expression and consumer protection. It further demonstrates the constitutional challenges arising from AI deepfake game advertisements—such as the application of the principle of "prohibition of prior censorship" and constitutional doctrines in advertising review, as well as consumers' constitutional rights intertwined with the principles of portrait rights, the right to self-determination of personal information, and the protection of vulnerable groups including children, adolescents, and the elderly. Furthermore, this study proposes directions for improving the current regulatory framework for deepfake advertising to align with constitutional principles. These include ensuring the transparency and explainability of algorithms, mandating deepfake identification labeling, strengthening the liability of online service providers, shifting toward a system centered on ex-post accountability, and implementing a co-regulatory model that combines industry self-regulation with public oversight. This research emphasizes that the regulation of AI deepfake-based game advertising must seek a balance between constitutional values and technological advancement, providing significant implications for future institutional refinement.

This study examines the impact of deepfakes on democracy in public elections, analyzes the content of current government regulations, identifies problems, and proposes improvements. The study identifies three potential impacts of deepfakes on democracy: 1) information manipulation and the publication of disformation, 2) confusion among voters about candidates' identities, and 3) distortion of democratic representation, potentially leading to the replacement of elected officials. To prevent a crisis in democracy, this study examined the current status of deepfake regulations, including detection and administrative measures, and analyzed proposed regulations addressing the harmful effects of deepfake technology. Based on the analysis of the current status and the content of proposed legislation, the following recommendations are made for future improvements to deepfake regulations in public elections: 1) maximizing the effectiveness of mandatory labeling of AI products, 2) strengthening online platform accountability and reinforcing accountability through the introduction of a real-name system, 3) developing deepfake detection tools to determine authenticity, 4) developing government-certified standards and introducing an automatic shutdown system, 5) operation of reporting channels to strengthen citizen surveillance, and 6) intergovernmental collaboration.

인공지능을 이용하여 제작된 딥페이크는 사실적이지만 가짜인 미디어 콘텐츠로, 발전된 방법에 따라 만들어지고 있으며 빈번히 실제 인물과 관련된다. 가짜(위조)가 완전히 새로운 현상은 아니지만, 딥페이크는 유포를 훨씬 수월하게 하고 동시에 실제 콘텐츠와 조작된 콘텐츠의 구별을 현저히 어렵게 한다. 인공지능을 수단으로 하는 딥페이크는 점점 더 용이하게 제작되면서 민주주의를 심각하게 위협하고 있다. 무엇보다도 성인 여성들과 어린 소녀들은 딥페이크의 피해자가 되고 있는데, 특히 문제가 되는 사례는 사진 속에서 옷을 입고 있던 사람들이 (딥페이크)기술로 옷이 벗겨진 형태의 딥페이크인 '딥 누드'이다. 피해자의 명예는 가짜 미디어의 확산과 비방으로 인하여 영구적으로 훼손되는 경우가 많다. 당사자들이 딥페이크에 대항하여 자신을 방어하거나 그것이 가짜임을 대중이 믿을 수 있도록 입증하는 것은 상당히 어렵다. 기술적으로 조작되거나 인위적으로 생성되어 사실인 것처럼 보이는 미디어 콘텐츠의 확산으로부터 당사자의 인격권을 보호하기 위하여, 2024년 8월 21일 독일 연방상원(Bundesrat)은 바이에른 주의 주도로 만들어진 "딥페이크로 인한 인격권의 형사법적 보호를 위한 법률안"을 연방의회(Bundestag)에 제출하였다. 본 논문은 연방상원이 제출한 법률안의 목적에 따라 딥페이크의 위험을 억제하기 위하여 형사법적 통제시스템이 도입되어야 한다는 점을 강조한다. 이에 본 논문에서는 (연방상원이 제출한) 법률안을 분석하고 있는데, 무엇보다도 법률안 제201조의b에 명시된 '디지털 위조에 의한 인격권 침해'라는 새롭게 제안된 범죄구성요건을 상세히 다루고 있다. 본 논문의 목적은 인공지능의 새롭고 특수한 위험을 그것의 불법성에 따라 적절히 규율할 수 있는 새로운 형법 조항을 신설하는데 있어서 균형 잡힌 입법 제안을 하는 데에 있다.

Deepfakes, created using artificial intelligence (AI), are realistic but fake media content generated through advanced techniques that often reference real people. Although falsification is not a completely new phenomenon, deepfakes make it much easier to spread such content, while also making it much more difficult to distinguish between real and manipulated media. Deepfakes are becoming increasingly easy to create due to advancements in AI, which makes them a serious threat to democracy. Personality rights are particularly at risk because of the deceptively realistic appearance of the images. Women and girls, in particular, are frequent victims of deepfakes. One especially problematic example is „Deepnudes“, a specific form of deepfake in which clothed individuals in photos are digitally undressed. The reputations of victims are often permanently damaged by the spread of fake media and defamation. It is also very difficult for those affected to defend themselves or to credibly demonstrate to the public that the images are fake. In order to better protect personality rights of the parties from the dissemination of technically manipulated or artificially generated, realistic-looking media contents, the German Bundesrat, at the initiative of the Free State of Bavaria, proposed the bill <Law on the Criminal Protection of Personality Rights against Deepfakes> to the German Bundestag on August 21, 2024. This article emphasizes the need for a criminal framework to mitigate the risks posed by deepfakes, in line with the aims of the bill proposed by the German Bundesrat. The article provides a detailed analysis of the bill, in particular examining the newly proposed offense of „violation of personality rights through digital falsification“ under Section 201b StGB-E. The aim of this article is to contribute to a balanced legislative proposal for a new criminal law provision that addresses the specific, emerging risks of AI in relation to unlawful content.

Deepfakes, die mithilfe von Künstlicher Intelligenz (KI) erstellt werden, sind realistische, aber gefälschte Medieninhalte, die mithilfe einer fortschrittlichen Methode erstellt werden und oft auch Bezug zu realen Personen haben. Obwohl Fälschungen kein völlig neues Phänomen sind, erleichtern Deepfakes die Verbreitung deutlich und erschweren zugleich die Unterscheidung zwischen realen und manipulierten Inhalten erheblich. Mittels Künstlicher Intelligenz lassen sich Deepfakes zunehmend einfacher erstellen, was sie zu einer ernsthaften Bedrohung für die Demokratie werden lässt. Auch Persönlichkeitsrechte sind durch den täuschend echten Eindruck authentischer Aufnahmen besonders gefährdet. Insbesondere Frauen und Mädchen werden Opfer von Deepfakes. Ein besonders problematisches Beispiel sind „Deepnudes“, eine Sonderform von Deepfakes, bei denen auf Fotos ursprünglich bekleidete Menschen durch Technologie ausgezogen werden. Der Ruf der Opfer wird durch die Verbreitung gefälschter Medien und Verleumdungen oft nachhaltig geschädigt. Für die Betroffenen ist es sehr schwierig, sich dagegen zu wehren oder in der Öffentlichkeit glaubhaft darzulegen, dass es sich um Fälschungen handelt. Um die Persönlichkeitsrechte betroffener Personen besser vor der Verbreitung technisch manipulierter oder künstlich erzeugter, realistisch wirkender Medieninhalte zu schützen, hat nun der Deutsche Bundesrat auf Initiative des Freistaats Bayern den „Entwurf eines Gesetzes zum strafrechtlichen Schutz von Persönlichkeitsrechten vor Deepfakes“ in den Deutschen Bundestag am 21. August 2024 eingebracht. Der Aufsatz unterstreicht, dass die Einführung eines strafrechtlichen Kontrollsystems zur Eindämmung der Risiken von Deepfakes im Einklang mit den Zielen des vom Bundesrat eingebrachten Gesetzentwurfs erforderlich ist. Der Aufsatz analysiert dazu den Gesetzentwurf im Detail, insbesondere den neu vorgeschlagenen Tatbestand „Verletzung von Persönlichkeitsrechten durch digitale Fälschung“ gemäß § 201b StGB-E. Ziel ist es, zu einem ausgewogenen legislativen Vorschlag für eine neue strafrechtliche Bestimmung beizutragen, die die neuartigen, spezifischen Gefahren von Künstlicher Intelligenz ihrem Unrechtsgehalt entsprechend adressiert.

본 논문은 인공지능(AI) 기술, 특히 딥페이크(deepfake)와 같은 생성형 기술이 형 사사법 절차에서 ‘피해자 영향 진술(Victim Impact Statement)’과 결합할 때 발생하는 법적 쟁점을 분석하고, 우리 법제에 대한 시사점을 도출한 것이다. 최근 미국에서 사 망한 피해자가 인공지능(AI)로 생성된 디지털 아바타의 형태로 법정에 등장하여 양 형 단계에서 진술한 Pelkey 사건은, 피해자 보호의 혁신적 수단이라는 평가와 함께, 피고인의 절차적 권리 및 공정한 재판 보장에 대한 중대한 우려를 동시에 촉발하였 다. 우선, 피해자 영향 진술(VIS) 제도는 범죄 피해의 실질을 재판부에 전달하고 피해 자와 유족의 참여와 치유를 도모한다는 점에서 정당성을 갖지만, 그 내용과 표현 방 식이 과도하게 감정에 호소할 경우 판단자의 중립성과 형벌의 객관성을 훼손할 위험 이 있다. 미국 연방대법원 판례의 전개는 이러한 긴장을 잘 보여준다. 즉 Booth 판 결의 금지 입장, Payne 판결의 원칙적 허용 및 근본적 불공정에 이르면 적법절차 위 반이 될 수 있다는 한계 언급, 그리고 Kelly 사건을 계기로 드러난 ‘영상·음악 등으 로 강화된 추모 비디오’의 편견 유발 위험 논쟁은 피해자 영향 진술(VIS)이 본질적 으로 피해자와 피고인의 권리 사이의 세심한 조정이 필요함을 시사한다. 이러한 맥락에서 AI 기반 피해자 영향 진술(VIS)은 사망 피해자의 관점과 목소리 를 절차에 표상하게 하여 피해자 진술권을 실질화하고, 판결자에게 피해자의 인간적 면모와 피해의 구체성을 보다 생생하게 전달하는 긍정적 기능을 갖는다. 그러나 동 시에 딥페이크 진술은 ‘실제 당사자의 진술’이 아니라 제3자에 의해 구성된 허구적 산물일 수 있고, 반대신문 등 진술 검증의 구조가 작동하기 어렵다는 점에서 신뢰성 과 절차적 정당성에 취약하다. 더 나아가 시청각적 사실감이 감정적 설득력을 증폭 시켜 편견(undue prejudice)을 강화하고, 제작 비용·기술 격차로 인해 불평등을 초래 할 수 있으며, ‘가짜를 진짜로, 진짜를 가짜로’ 주장하는 딥페이크 시대의 진위 혼란 을 통해 사법 신뢰를 약화시킬 위험도 내포한다. 따라서 AI 딥페이크 기술 등 첨단 기술을 활용한 피해자의 재판진술권 행사에는 신중한 규범의 마련이 필요하다. 우리 헌법 제27조 제5항은 범죄피해자의 재판절차진술권을 보장하고, 형사소송법 제294조의2는 피해자 또는 유족을 증인으로 신문하는 방식으로 그 권리를 구체화하 고 있다. 그러나 AI 매개 진술, 즉 딥페이크 영상·음성합성 등을 이용한 진술은 현행 ‘증인신문’ 구조와 충돌할 소지가 있고, 우리 재판은 유·무죄와 양형 판단이 분리되 지 않는 측면이 있어 감정적 자료가 심증 형성에 부당한 영향을 미칠 위험도 고려되 어야 한다. 따라서 이러한 기술 활용을 배제하지 않으면서도, 사전 통지·사전 심사, 당사자 간 사전 공유와 이의신청 절차, 영상 합성물의 검증·인증 기준 정립, 제출 시 기·표현 방식에 대한 가이드라인 마련 등 절차적 안전장치를 구축함으로써 피해자 진술권의 실질화와 피고인의 공정한 재판권을 조화시키는 방향의 입법정책이 타당하다고 판단된다.

This article examines the legal and constitutional issues that arise when artificial intelligence (AI) - especially generative technologies such as deepfakes - is used to deliver Victim Impact Statements (VIS) in criminal proceedings, and it draws implications for the Korean legal system. A recent U.S. sentencing case (the Pelkey case), in which a deceased victim “appeared” in court through an AI-generated digital avatar to address the offender, triggered both acclaim as a victim-centered innovation and serious concerns about procedural fairness and defendants’ rights. VIS can serve legitimate aims by informing decision-makers of the concrete impact of crime and by supporting victims’ participation and emotional closure. Yet, because VIS may influence sentencing through emotional appeal, it has long developed within a tension between victims’ interests and defendants’ constitutional protections. The trajectory of U.S. Supreme Court jurisprudence illustrates this structural conflict: the initial restriction in Booth, the shift toward general admissibility in Payne coupled with an acknowledgment that excessively prejudicial statements may render a proceeding fundamentally unfair, and the controversy surrounding highly emotional memorial videos highlighted by Kelly. Against this background, AI-based VIS has notable benefits: it can “represent” the perspective and voice of a deceased victim, enhance the meaningfulness of the right to be heard, and convey the victim’s individuality and the gravity of harm with heightened vividness. At the same time, however, it raises distinct risks. A deepfake VIS may amount to a constructed narrative rather than an authentic statement by the person concerned; it is difficult to subject an AI avatar to traditional modes of verification such as cross-examination; and its audiovisual realism may amplify undue prejudice. Additional concerns include inequality of arms due to the costs and expertise required to produce sophisticated AI media, and broader authenticity crises in the deepfake era - where parties may exploit uncertainty about what is real and what is fabricated (the “liar’s dividend”), undermining public trust in adjudication. The article then evaluates the Korean framework. Korea’s Constitution guarantees a victim’s right to make statements in criminal proceedings, and the Criminal Procedure Act operationalizes this right largely through the structure of witness examination. Yet AI-mediated statements (deepfake videos, synthetic voice, and related digital media) do not fit neatly within that procedural model, and Korea’s adjudicatory practice - where fact-finding and sentencing are not always sharply separated - may increase the risk that emotionally powerful materials distort judicial conviction formation. The article concludes that rather than adopting a blanket ban, Korea should build procedural “guardrails”: advance notice and pre-screening, full disclosure to the defense with opportunities for objections and rebuttal, clear authentication/verification standards for AI-generated media, and guidance on timing and permissible modes of presentation. Such safeguards are necessary to harmonize the meaningful realization of victims’ participatory rights with the defendant’s right to a fair trial.

이 연구에서는 아동·청소년들이 ‘디지털 네이티브’(Digital Native) 세대로서 AI 디지털교과서 및 개인정보의 안전한 활용을 위해 우리 사회의 불안전함을 인지하고 적절한 개인정보보호를 위한 지식을 확보할 수 있도록, 실제 개인정보 침해 사례를 기반으로 한 개인정보보호 교육콘텐츠의 개선 방향을 제시하고자 하였다. 아동·청소년의 개인정보보호 교육의 공공성은 지역, 학교 규모, 인원에 차별받지 않고 개인정보보호 대면 교육을 받을 수 있음을 의미하며, 또 보이스피싱과 딥페이크 등 사회적 현안에 대해 실효성 있는 교육을 통해 인식을 제고할 수 있음도 의미한다. 이 연구에서는 현재 활동하고 있는 개인정보보호 분야 전문 강사를 대상으로 한 설문조사 결과, 보이스피싱(스미싱, 큐싱 등) 및 딥페이크 관련 내용이 개인정보 교육에 포함 개선되어야 함을 확인하였다. 그리고 문헌연구에서는 개인정보보호 교육 시 한국인터넷진흥원(KISA) 등 외부 공식 교육을 받은 집단과 내부 자체 교육을 받은 집단으로 나누어 비교한 결과, 교육 효과에 대해 유의미한 차이가 있음을 입증하였다. 이에 이 연구에서는 초·중·고 학생들의 개인정보보호교육의 공공성을 위해서 개인정보위 전문 강사의 방문 교육이 필요하며 몰입도 있는 강의를 위한 콘텐츠를 개인정보 정책에 반영되도록 개선해야 한다는 정책적 시사점을 제시하였다.

In this study, we aimed to improve the privacy education content based on real cases of privacy breaches so that children and adolescents, as a generation of “digital natives,” can recognize the insecurity of our society and acquire the knowledge to properly protect their personal information for the safe use of AI digital textbooks and personal information. The openness of privacy education for children and adolescents means that they can receive face-to-face privacy education without being discriminated against by region, school size, or number of people, and it also means that they can raise awareness of social issues such as voice phishing and deep fakes through effective and immersive education. In this study, a survey of active privacy instructors confirmed that the content related to voice phishing (Smishing, Qshing, etc.) and deep fakes should be improved in privacy education. In addition, a literature study showed that there is a significant difference in the effectiveness of personal information protection education between those who received external formal education such as KISA and those who received internal self-education. Therefore, the study suggested policy implications that visiting lecturers specialized in personal information protection are necessary for public education of elementary, middle, and high school students, and that the content for immersive lectures should be improved to reflect personal information policies.

생성형 AI가 대중적으로 활용되면서 제기되는 AI 윤리 문제 가운데 최근에 딥페이크 문제가 주목받고 있다. 딥페이크 음란물이 일반인들에 의해 유명인뿐만 아니라 일반인인 지인들을 대상으로 제작되어 유포되고 있을 뿐만 아니라, 딥페이크가 문화 영역을 넘어 정치 영역뿐만 아니라 경제 영역 등 전방위로 확장되어 사회 문제를 야기하고 있기 때문이다. 이에 대해 한국 사회에서는 법을 통해 대응하려는 분위기가 강하지만, 딥페이크가 초래하는 다양한 문제가 법만으로 해결이 가능한 것인지 의문이다. 딥페이크 문제에 대응하기 위해서는 법이 필요한 것은 분명하지만, 윤리 또한 필요하기 때문이다. 본 논문은 딥페이크 문제에 효과적으로 대응하기 위한 윤리 방안을 모색하고자 한다. AI 윤리 실현을 위해서는 서로 다르지만 밀접하게 연관된 윤리의 세 층위, 즉 이론 윤리 층위, 제도 윤리 층위, 개인 윤리 층위의 협업이 필요하다. 딥페이크 문제는 약한 AI 단계에서 제시되는 윤리 문제이기에 이론 윤리 층위에서 다양한 도덕 논의들이 중첩적으로 합의된 공통 도덕 논의가 적합해 보이며, 제도 윤리 층위에서는 AI 지침을 통해 딥페이크의 사회적 활용을 지도할 뿐만 아니라 소위 ‘딥페이크 윤리 위원회’를 통한 활용 계획에 대한 사회적 승인 과정을 거칠 필요가 있다. 개인 윤리 층위에서는 딥페이크가 대중화되었다는 점에서 사용자의 윤리가 필수적인데, 1인칭 관점의 규범성에 효과적인 ‘덕성 중심의 AI 사용자 윤리’가 필요하다. 이러한 세 층위의 윤리가 협업할 때, 딥페이크가 초래하는 윤리 문제를 피하면서도 사회 번영과 발전에 도모하는 윤리 실현을 이룰 수 있을 것이다.

Among the AI ethics issues that have emerged as generative AI has become more widely used, the issue of deepfakes has recently gained attention. This is because deepfake pornography is being produced and distributed not only to celebrities but also to the general public, and deepfakes are expanding into various areas of life, including politics and business. Although Korean society has a strong tendency to respond with laws, it is questionable whether the various problems caused by deepfakes can be solved by laws alone. Under the premise that law is necessary to respond to the problem of deepfakes, but ethics is also necessary, this paper aims to explore ethical measures to effectively respond to the problem of deepfakes. The ‘ethics realizing’ of AI requires the cooperation of three different but closely related tiers of ethics: the theoretical tier of ethics, the institutional tier of ethics, and the individual tier of ethics. Since the deepfake problem is an ethical issue that arises at the level of weak AI, a theory of common morality seems appropriate at the theoretical tier of ethics, while at the institutional tier of ethics it is necessary to promote the social use of deepfakes not only through AI guidelines, but also through a so-called “deepfake ethics committee” that aims to examine whether a deepfake use plan is ethical. At the individual ethics tier, a user ethics is essential given the popularity of deepfakes, and I propose a “virtue-based AI user ethics” that is effective for normativity from a first-person perspective. If these three tiers of ethics work together, we can avoid the ethical problems caused by deepfakes and realize an ethics that contributes to social prosperity and development.

딥러닝(Deep Learning) 기반의 생성형 인공지능은 외견상 실제와 잘 구별되지 않는 수많은 영상, 이미지, 오디오, 소위 딥페이크를 만들어내고 있다. 이는 전통적으로 강력한 증명력을 부여받아 온 영상 증거 등에 대한 신뢰를 흔들 수 있다. 판사로서는 딥페이크로 증거를 위작하였다는 주장이 제기되는 이상, 그 증거능력 및 증명력을 판단하기 어려워질 것이고, 영상 증거 등의 진정성을 증명하기 위하여 과도한 시간과 자원이 소요될 수도 있다. 2014년 생성적 적대 신경망(Generative Adversarial Network) 이래로 영상 등을 생성하는 모델은 크게 발전하였다. 얼굴 교체에 있어서 처음에는 교체하려는 사람 한 쌍마다 별도로 모델을 훈련해야 하였으나, 현재 이러한 훈련 없이 소수, 심지어 한 장의 사진만으로 얼굴을 교체할 수 있다. 사실상 육안으로는 진위를 파악하기 상당히 어려운 고화질의 얼굴 교체가 가능해졌고, 심지어 텍스트 프롬프트만으로 영상을 제작하는 Sora 등도 등장하였다. 오픈 소스, 상용 딥페이크 모델도 등장하여 일반인들도 이를 쉽게 접하게 되었다. 그러나 딥페이크 탐지 모델은 ① 전이 가능성(훈련에 사용되지 않은 데이터에 성능을 보이는지), ② 해석 가능성(탐지 모델이 왜 해당 결과를 도출했는지를 설명할 수 있는지), ③ 강건성(실제 환경에서 볼 수 있는 압축, 사후 처리, 변형 등이 부가되어도 일관된 탐지 능력을 유지하는지) 등에서 높은 성과를 보이지 못하였다. 인간은 탐지 정확도가 높아야 70%대에 머물 뿐인데도 실제보다 자신이 딥페이크를 잘 탐지한다고 생각한다. 이러한 편견으로 사법에서 딥페이크를 실제로 오인하여 유죄판결을 할 때 발생할 위험성은 대단히 크다. 이미 미국 법원은 특정 증거가 딥페이크로 위작되었다는 주장을 심리한 바 있다. 미국 법원은 증거가 딥페이크 기술로 조작된 것일 수 있다고 주장한 사례에서 ‘구체적인 근거를 제시하지 않고 단순히 딥페이크로 조작되었을 가능성을 제기하는 것만으로는 증거능력을 배척할 수 없다.’는 입장을 견지하였다. 연방증거규칙의 개정도 논의되어, 딥페이크 위작 주장이 제기된 경우 판사가 이를 판단하게 하거나 증명력이 예단보다 우위에 있어야 증거로 채택하는 방안 등이 논의되고 있다. 이는 배심원을 딥페이크로 제작되었을 가능성이 있는 영상 증거 등의 무분별한 노출로부터 방어하면서도, 무분별하게 딥페이크 위작 주장이라고 주장함으로써 야기되는 증거의 상실 사이에서 균형을 찾으려는 것이다. 우리 법정에서도 곧 딥페이크로 위작되었다는 주장이 제기될 것으로 예상된다. 기존의 관념, 즉 원본 동일성, 무결성 및 신뢰성이 확인되는 경우 그러한 증거를 통하여 인식할 수 있는 내용이 그대로 객관적 사실로 받아들여진다는 것은 통용되기 어렵다. 고성능의 딥페이크 탐지는 보통 작동 원리를 알 수 없는 딥러닝 모델이어서 엄밀한 의미에서의 과학적 증거로서 인정되기도 어렵다. 증거가 딥페이크로 조작되었다는 주장이 있다고 무조건 사전심리절차 또는 감정 절차를 개시할 필요는 없으나, 딥페이크 위작 주장이 제기된 영상 증거 등에 대해서는 사전심리절차 또는 감정 절차를 개시할 수 있다. 감정에서 딥페이크 여부가 분명히 드러나기도 하나, 그렇지 않은 경우 판사는 단순히 기술에만 의존하지 않고 여러 사정을 종합적으로 고려함으로써 증거의 진정성을 다면적으로 평가하여야 한다....

Deep generative artificial intelligence models produce countless deepfake videos, images, and audio, which are indistinguishable from reality. This technological development can undermine the probative force of video evidence. Once defense is made that evidence has been forged using deepfake, assessing its admissibility and probative value becomes difficult and proving the authenticity of video evidence may consume excessive time and resources. Since the introduction of the Generative Adversarial Network in 2014, generation models have advanced significantly. Early face-swap systems required training a separate model for each pair of individuals, but now one can perform a face-swap with minimal data, even a single photograph pair. High-quality face replacement now so closely mimics reality that its detection is extremely challenging with bare human eyes, and modern tools such as Sora can generate videos purely from text prompts. Open-source and commercial deepfake applications are now readily available to the general public. Yet deepfake detectors have not delivered strong performance in (i) transferability(applying to unseen data), (ii) interpretability(explaining why they reached a given conclusion), and (iii) robustness(maintaining consistent detection under compression, post?processing, or other real-world distortions). Humans achieve around 70% accuracy in detecting deepfakes, yet they tend to overestimate their ability to identify deepfakes. This bias poses a grave risk of mistakenly convicting defendants in judicial proceedings based on misidentified deepfakes. In those cases, U.S. courts held that simply raising the possibility of deepfake manipulation??without concrete proof??does not preclude admissibility of the alleged deepfake evidence. U.S. courts have already examined some deepfake defenses. In those cases, U.S. courts held that where there is “mere speculation that contamination or tampering could have occurred, it is not an abuse of discretion to admit the evidence.” Amendments to the Federal Rules of Evidence have been proposed, including requiring a judge’s gatekeeping role, placing the burden of proof on the challenger before admitting potentially deepfake-generated evidence, and requiring that the probative force of evidence must outweigh its potential prejudicial impact. This is to strike a balance between the prevention of deceptive defenses aimed at excluding valid evidence, and the protection of jurors from prejudicial deepfake material. We can expect similar deepfake defenses on trial. The traditional tests of identity, chain of custody and reliability do not guarantee the validity of evidence. Deepfake detection models often rely on ‘blackbox’ deep learning architectures, making them difficult to accept as scientific evidence in the strict sense. Courts may order either pretrial hearings or expert examination procedures for contested video evidence. While expert evaluations sometimes uncover deepfake manipulation, in other cases judges must assess authenticity based on corroborating evidence, rather than relying solely on technical or scientific method. Judges must not decide on the video’s authenticity based solely on their impression. When video evidence can be viewed as a statement, the court should first adjudicate deepfake defense. If the grounds for the deepfake defense are prima facie persuasive, the court will have to consider ruling out the participatory trial to mitigate the risk of prejudgment. Adjudicating deepfake defense is a dynamic assessment of deepfake and its detection technology, as of the time of submission. While courts face new challenges with the advent of deepfake, they can uphold the principle of evidence while pursuing the substantive truth.

한 사람이 쓰는 컴퓨터가 한 공간에 남아 있었다. 그 사람이 쓰는 컴퓨터는 다른 사람이나 다른 사람이 쓰는 컴퓨터와 연결되지 않았다. 시간이 흘러서 인터넷이 도입되었다. 전화선, 케이블선, 랜선을 통해서 인터넷으로 여러 컴퓨터와 연결되었다. 많은 사람 사이에 많은 정보가 오고 갔다. 인터넷 이전의 세상과 인터넷 이후의 세상이 많이 달라 보였다. 또한 시간이 흘러서 인공지능이 나타났다. 많은 사람은 인공지능이 새로운 산업혁명을 일으킬 것으로 여기고 열광하기도, 두려워하기도 했다. 또한 다른 시간이 흘러서 생성형 인공지능이 등장했다. 많은 사람은 생성형 인공지능의 똑똑함에 놀랐다. 많은 사람은 생성형 인공지능을 신기한 것으로 여겼다. 또한 생성형 인공지능이 만들어 내는 그림자에 대해서도 고민하기 시작했다. 생성형 인공지능이 만드는 어두운 그림자 가운데 한 영역이 딥페이크이다. 현실에서 딥페이크가 문제를 일으키는 영역은 크게 둘이다. 첫째는 ‘선거’와 관련된 영역이다. 둘째는 ‘음란물’이다. 딥페이크가 우리 사회에 부작용을 일으키는 두 영역의 공통점은 사람의 동일성(identity)을 침해한다는 점이다. 다른 사람이 나쁜 의도로 어떤 사람의 이미지에 대한 동일성을 깨뜨린다. 딥페이크 기술로 만든 나쁜 이미지가 그 사람의 진실한 이미지를 왜곡한다. 그러면서 그 사람에 대한 나쁜 이미지로 그 사람의 진실한 이미지를 대체한다. 따라서 대중은 딥페이크 기술로 만들어진 나쁜 이미지를 그 사람에 관한 참된 정보로 인식한다. 그런 면에서 딥페이크는 그 사람에 대한 동일성을 왜곡하고, 그 사람에 대한 자아상(self-image)을 허문다. 딥페이크가 일으키는 측면을 다루는 논문은 두 방향성으로 접근한다. 첫째는 딥페이크에 대한 기술적 측면을 고찰하는 논문이다. 둘째는 딥페이크를 형사법적으로 규율하려고 탐구하는 논문이다. 그런 측면에서 아직 딥페이크에 대한 민사법적 접근의 논문은 시작 단계이다. 딥페이크를 법으로 규율하는 영역을 모두 망라하면, 이는 ① 플랫폼 책임, 잠재적 인공지능 개발자의 책임을 규율하는 행정법 영역, ② 형사법 영역, ③ 명예훼손과 사생활 침해를 규율하는 민사법 영역이다. 이 논문에서는 딥페이크에 대한 민사법적 접근으로, 딥페이크와 관련한 사생활 보호에 초점을 둔다. 글쓴이는 이 논문을 다음과 같이 구성한다. 먼저 II에서 딥페이크가 일으켰던 사례와 딥페이크 기술을 설명한다. 그 뒤에 III에서 딥페이크에 대한 법적 규율로 사생활 보호를 고찰한다. 마지막으로 IV에서 딥페이크가 일으키는 사생활 문제를 어떤 측면에서 규율하고 보호할 것인지에 대해서 제언한다.

A person uses their computer in their space. Their computer is not connected to other computers. As time passed, the Internet was introduced. Many computers became connected to the Internet through telephone, cable, and LAN lines. A wealth of information was exchanged among many people. The world before and after the Internet was different. Additionally, as time progressed, artificial intelligence emerged. Many were excited or afraid that artificial intelligence would bring about a new industrial revolution. Moreover, as time continued, generative artificial intelligence arrived. Many people were astonished by the capabilities of generative artificial intelligence. Many thought generative artificial intelligence was incredible. However, they also began to worry about the shadows that generative artificial intelligence makes. One aspect of the dark shadow that generative artificial intelligence casts is “deepfakes.”In reality, there are two significant areas where deepfakes cause problems. The first is related to “elections.” The second is “pornography.” The commonality between the two regions is that deepfakes adversely affect our society because the new technology violates human identity. Tortfeasors intend to undermine a person’s image and identity. Deepfakes create harmful images and distort a person’s actual representation. Subsequently, these distorted images replace the authentic representation. As a result, the public perceives the harmful images created using deepfake technology as accurate information about the person. In this sense, deepfakes distort a person’s identity and damage their self-image. Thus, various academic journals have addressed deepfakes using two main approaches. One focuses on the technical aspects of deepfakes, while the other examines their regulation under criminal law. In this context, academic articles discussing civil responsibility related to deepfakes are still in the early stages. When considering all areas that legislate deepfakes, there are (1) administrative law regulating the responsibilities of platform providers and potential AI developers, (2) criminal law, and (3) civil law governing defamation and invasion of privacy. In this article, the author concentrates on privacy protection concerning deepfakes, based on civil responsibility. This article is organized as follows: First, in section II, the author explains the cases arising from deepfakes and deepfake technology. Then, in section III, the author examines privacy protection as a legal regulation for deepfakes. Finally, in section IV, the author proposes measures to protect privacy from deepfakes.

본 연구는 인공지능 기술로 생성된 Deepfake 영상과 실제 영상에 대한 사용자 반응을 분석함으로써, Deepfake 탐지를 단순한 기술적 검출이 아닌 사회적 담론 형성과 정보 신뢰 회복의 과정으로 재개념화하고자 한다. 이를 위해 Entman의 프레이밍 이론(Framing Theory)을 확장하여, 신뢰성, 현실감, 기술 판단, 상호작용의 네 가지 메타프레임(meta-frame)을 도출하고, 이를 기반으로 사용자 댓글 데이터를 분류하고 분석하였다. 연구 데이터는 YouTube에서 수집한 Deepfake 영상 10건과 실제 영상 10건의 댓글로 구성되며, 감성 분석(VADER), 워드 임베딩(Word2Vec, FastText), 심층 학습 모델(LSTM, BiLSTM)을 통해 정량적·의미적 특성을 도출하였다. 메타프레임을 기준으로 생성한 정답 데이터셋을 바탕으로 Few-Shot Learning 모델을 학습하였고, Zero-Shot Learning 모델(BART-MNLI)과 비교하여 성능을 평가하였다. 분석 결과, Deepfake 영상은 실제 영상에 비해 부정적인 감정과 낮은 신뢰 반응을 유발하는 경향이 있으며, 메타프레임 기반 라벨링은 탐지 정확도 향상에 효과적인 것으로 나타났다. 본 연구는 Deepfake 탐지를 담론적 탐지(detection-as-discourse)의 관점에서 재구성함으로써, 정보의 진위 판단을 기술적 문제가 아닌 디지털 신뢰성과 리터러시의 회복이라는 사회적 과제로 제시한다. 이를 통해 알고리즘 기반 미디어 환경에서의 정보 신뢰성 강화 전략 수립에 기초 자료를 제공하고자 한다.

This study explores a novel approach to Deepfake detection by analyzing user responses and reframing detection as a socio-discursive process rather than a purely technical task. Drawing on Entman’s Framing Theory, the study introduces a meta-frame taxonomy consisting of four key dimensions?trustworthiness, realism, technical judgment, and user interaction?and applies this framework to classify and interpret user comments on both Deepfake and authentic videos. Using data from 10 Deepfake and 10 real YouTube videos, we conducted sentiment analysis (VADER), semantic modeling with Word2Vec and FastText embeddings, and deep learning?based classification using LSTM and BiLSTM. A labeled dataset based on the meta-frames was constructed and used to train a Few-Shot Learning model, which was compared with a Zero-Shot Learning approach using BART-MNLI. The results reveal significant affective and trust-based differences in user responses, with Deepfake videos eliciting more negative sentiment and lower perceived credibility. The meta-frame?based labeling framework enhanced model performance and interpretability. By conceptualizing detection as discourse, this study positions Deepfake detection as part of a broader strategy to reinforce digital trust and media literacy in algorithmically mediated environments. The findings contribute to both theoretical discourse and practical strategies for combating visual misinformation.

본 연구는 딥페이크(Deepfake) 기술에 대한 법적 규제의 필요성 주장 및 해당 규제의 추구 방향 모색을 목적으로 한다. 기술 혁신과 법적 대응 간의 조화로운 균형점을 도출하기 위해, 딥페이크 기술의 개념 및 발전 양상을 상세히 고찰한 후 해당 기술이 야기할 수 있는 법적 쟁점들을 체계적으로 분석하고자 한다. 구체적으로는 개인정보 침해, 명예훼손, 선거 공정성 침해, 사기 범죄 등과 같은 법적 문제들을 유형별로 세분하여 검토할 것이다. 미국 딥페이크 규제의 주요 방향은 크게 선거 개입 방지, 아동 보호 강화, 딥페이크 콘텐츠 표시 의무화 등으로 구분된다. 본 연구는 이러한 미국 내 규제 방식이 형성된 법적･사회적 배경을 탐색함으로써 거시적이고 체계적인 이해를 도모하고자 한다. 또한 한국과 미국의 딥페이크 규제 방식을 비교 분석함으로써, ‘표현의 자유 보호’와 ‘표현에 대한 규제’ 사이에서 각국이 취하고 있는 법리적 균형의 추구 방향을 고찰하고자 한다. 이와 동시에, 기술적 대응과 법적 대응 간의 상호작용이 어떻게 조정되고 있는지도 알아보고자 한다. 더 나아가 양국의 법적･문화적 특성이 규제의 방향성에 미칠 수 있는 영향을 심층 분석함으로써, 규제를 둘러싼 광범위한 상관관계를 논리적으로 파악할 것이다. 한편, 딥페이크와 관련된 주요 판례와 사건들을 집중 분석하며 구체적이고 실무적인 법률 관련 문제점들을 정리하고, 현존하는 AI 탐지 기술의 한계로 인해 필연적으로 발생할 수밖에 없는 법적 대응의 실효성 문제도 비판적으로 검토하고자 한다. 글로벌 기업들의 AI 영상물에 대한 워터마크(watermark) 도입 시도는 기술적 대응책이 가능함을 암시적으로 제시하고 있으며, 이러한 기술적 수단과 관련하여서는 법적･교육적 대응과 결합할 때 더욱 효과적인 결과를 기대할 수 있다. 본 연구는 기술적, 법적, 정책적인 면 등을 반영하여 통합적으로 대응하는 전략이 딥페이크 문제에 효과적이라는 점을 바탕으로 하여, 딥페이크 기술의 건설적 활용을 촉진하면서도 악용을 방지할 수 있을 균형 잡힌 법제 개선 방안을 제안하고자 한다.

This study examines the legal regulation of deepfake technology, beginning with its definition and current development. It categorizes key legal issues, including privacy violations, defamation, election manipulation, and fraud, to provide a structured analysis. In the United States, deepfake regulation falls into three main areas: election-related content, child protection, and mandatory labeling. By exploring the legal and social contexts shaping these regulations, the study provides a broad perspective on the U.S. approach. A comparative legal analysis further examines how different countries balance freedom of expression with regulatory measures and integrate technical and legal responses. Understanding these regulatory differences highlights the role of legal and cultural contexts in shaping deepfake governance. The study also analyzes major cases, emphasizing the challenges of preventing deepfake-related crimes given AI’s rapid evolution. The dual nature of AI?both beneficial and harmful?calls for a nuanced discussion on ethical use and technological safeguards. Given that many deepfake perpetrators and victims are minors, digital ethics education is crucial. Additionally, recent efforts to introduce AI-generated content watermarks point to the need for technical solutions. Addressing deepfake challenges requires a holistic approach that integrates technology, law, and ethics, alongside cooperation among governments, industry, academia, and civil society. This study seeks balanced regulatory measures that curb misuse while fostering innovation. It proposes legal reforms, international cooperation, and practical policy recommendations to ensure effective oversight without stifling technological progress.

딥페이크는 단순한 사진의 편집이나 음성을 모방하는 것이 아니다. 시각과 청각 형식의 새로운 데이터를 생성하기 위하여 방대한 양의 데이터를 분석하고 합성하는 고도의 AI 알고리즘의 산물이다. 이러한 알고리즘은 비디오의 경우에 조작된 요소와 실제 영상을 매끄럽게 혼합하여 시청자가 보고 듣는 것이 진짜인지 여부를 분간하지 못하도록 만든다. 딥페이크가 끼치는 부정적인 영향으로 부각되는 것은 허위 정보 유포, 리벤지 포르노, 사기 광고 등 사회적으로 해악을 끼치는 면이다. 국민들에게 심리적, 재정적, 사회적 피해가 유발되면서 국경을 넘어서 인권 침해에 심대한 영향을 주고, 국가적으로는 기본권에 위해를 가져온다는 점 때문에 각국에서는 인공지능 딥페이크 기술을 매개하는 온라인 플랫폼에 대한 규제, 개인정보와 명예훼손에 대한 법률 등을 통하여 기본권 보호를 강화하고 있다. 딥페이크 기술의 오용이 헌법적으로 검토해보면, 인간의 존엄과 가치, 표현의 자유와 개인 정보 보호, 개인의 사생활과 명예, 공정한 재판을 받을 권리, 평등권 및 차별 금지, 소비자의 권리 등 기본권에 심각한 위협이 될 수 있다. 이러한 문제를 해결하기 위해서는 딥페이크의 오용을 탐지하고 대응하는 기술적 발전, 인공지능 딥페이크 기술과 관련한 헌법적 권리를 인식하고 이를 수호하는 기반 위에서 적절한 법적 규제 체계 마련, 유해 콘텐츠의 유통을 차단하고 디지털 안전을 지키는 게이트 키퍼로서 온라인 플랫폼 사업자의 책무와 법적 책임 강화, 국제 파트너십 구축 및 일반 국민을 상대로 하는 공공 교육을 통합하는 총체적인 접근 방식이 필요하다. 딥페이크 기술의 오용에 적극적으로 대처함으로써 우리 사회가 인공지능 시대에 인권 원칙을 수호하고 민주적 가치를 보존할 수 있도록 하여야 한다.

Deepfakes are not simply editing photos or imitating voices. They are the product of advanced AI algorithms that analyze and synthesize massive amounts of data to create new data in visual and auditory formats. In the case of videos, these algorithms seamlessly blend manipulated elements with real footage, making it difficult for viewers to tell whether what they see and hear is real. The negative effects of deepfake are highlighted in terms of social harm, such as the spread of false and manipulated information, revenge porn, and fraudulent advertising. Because they cause psychological, financial, and social damage to citizens, have a profound impact on human rights violations across borders, and cause harm to basic rights at the national level, each country is strengthening the protection of basic rights through regulations on online platforms that mediate AI deepfake technology, laws on personal information and defamation, etc. The misuse of deepfake technology from a constitutional perspective, can pose a serious threat to basic rights such as human dignity and value, freedom of expression and protection of personal information, personal privacy and honor, the right to a fair trial, equality and prohibition of discrimination, and consumer rights. To address these issues, a holistic approach is needed that integrates technological advancements to detect and respond to the misuse of deepfake, the establishment of an appropriate legal regulatory framework based on recognizing and protecting constitutional rights related to AI deepfake technology, strengthening the responsibilities and legal liability of online platform operators as gatekeepers to block the distribution of harmful content and protect digital safety, building international partnerships, and public education for the general public. By actively responding to the misuse of deepfake technology, we must ensure that our society upholds human rights principles and preserves democratic values ??in the age of AI.

딥페이크를 악용한 성범죄 착취물, 사기와 기망, 그리고 허위조작정보의 시도가 수년 전부터 심각한 범죄의 위협으로 인식되고 있다. 이는 딥페이크를 활용한 허위조작정보가 가지는 인간의 뇌의 인지체계와 판단, 행동 등에 미치는 장기적인 악영향에 기인한다. 이에 대해 서구의 주요 선진국들은 허위조작정보와 인간의 뇌에 대한 영향의 학문적ㆍ과학적 연구에 기반하여 딥페이크와 같은 허위조작정보에 대한 대응에 박차를 가하고 있다. 이에 본 연구는 딥페이크 허위조작정보가 장기적으로 인간의 인지편향, 착각진실, 오정보 등에 영향을 미치는 작동 기제를 최근의 경험적 연구결과들에 기반하여 심층분석한다. 이를 통해 이 연구는 국내의 형사사법적 대응의 학술적 논의의 기반을 마련하고자 한다. 이를 위해 체계적 문헌고찰을 통한 연구표본추출 절차를 준용해 총 40편의 최근 해외 주요 연구논문들을 문헌분석 하였다. 분석 결과와 연구 함의, 향후 연구에 대한 제안 등이 결론과 논의 부분에 제시되었다.

There is a growing consensus that the exploitation of deepfakes?ranging from digital sexual crimes and fraud to organized disinformation?poses a formidable threat to contemporary society. These concerns are rooted in robust empirical evidence demonstrating the enduring detrimental effects of synthetic media on human cognitive systems, judgment, and behavior. While many Western nations have already initiated proactive measures informed by neuroscientific and psychological research on disinformation, the academic discourse and criminal justice framework in South Korea remain nascent. To bridge this gap, the present study establishes an evidence-based foundation for criminal justice responses by conducting a systematic thematic analysis of 40 recent empirical studies. The analysis identifies four critical themes that elucidate the underlying mechanisms of deepfake influence: cognitive bias, the illusory truth effect, the continued influence of misinformation, and source monitoring errors. The results of the analysis, along with their theoretical and practical implications, are discussed, followed by recommendations for future research.

딥페이크란 인공지능 기술에 의해 합성된 이미지, 비디오, 오디오 등의 미디어로서 실제 존재하지 않거나 발생하지 않은 사건 등을 묘사한 것을 뜻하며, 창의적인 콘텐츠 문화를 만들어 낼 수 있다는 긍정적인 측면과 함께, 여론조작을 통한 민주주의에 대한 위협, 범죄에의 활용 등 여러 사회적 위험성 또한 내포하고 있다. 이 글에서는 딥페이크 기술의 악의적 활용의 위험성에 기초하여 딥페이크 기술 이용에 대한 규제방안을 검토함으로써, 우리 사회에서 이 인공지능 기술을 안전하게 이용할 수 있는 방법을 모색해 본다. 이를 위하여 딥페이크 기술을 악용하는 행위의 위험에 대하여 살펴보고, 이에 관련된 국내외 입법동향 및 딥페이크 기술 일반에 관련된 전반적인 대응 방향성을 검토하였다. 딥페이크의 일반 규제를 위해서는 딥페이크에 대한 규제내용을 담은 기본법이 필요하며, 딥페이크의 특징인 허위성, 미디어의 파급력, 디지털 형식의 빠른 유포를 고려한 고려한 규제방식이 필요하다. 이를 위하여 딥페이크 생성물에 대한 표시강제제도 도입, 악의적 딥페이크의 유통 금지, 그 외 온라인 서비스 제공자의 의무로서 사전 모니터링 및 자율규제, 피해자 지원을 위한 신속 삭제 등이 요구된다. 이에 대한 입법 및 개발자와 온라인 플랫폼 업체의 적극적인 대응이 동시에 요구되고 있다.

The term "deepfake" refers to synthetic media, such as images, videos, and audio, generated using artificial intelligence (AI) technology. This technology depicts events that either do not exist or have not occurred. While deepfakes have the potential to contribute to a new content culture, they also present various social risks, such as the manipulation of public opinion, leading to threats to democratic processes and potential misuse in criminal activities. This article provides an overview of the issues associated with deepfake abuse and discusses potential regulatory measures for safely integrating deepfake technology into society. To address these concerns, it suggests the need for a fundamental law to regulate deepfakes. The proposed regulations include introducing a mandatory labeling system for deepfake media, prohibiting and penalizing the malicious use of deepfakes, proactive monitoring and self-regulation as mandatory requirements for online service providers, and the prompt removal of deepfake content to support affected individuals. Both legislative actions and proactive measures by developers and online platform companies are essential to combat the social risks of deepfake technology.

본 논문은 과학기술정보통신부의 '사람중심 AI 윤리 원칙'을 출발점으로, 딥페이크에 특화된 'CITRA; Consent & Dignity(동의 및 존엄성), Integrity(정직성/맥락보존), Traceability(추적 가능성), Risk & Proportionality(위험 및 비례성), Accountability & Remedy(책임 및 구제책)'디자인 가이드라인을 제안한다. 미국 유럽 일본의 규범·표준·자율 가이드를 비교 참조하고, EU의 AI Act/DSA, 미국의 NIST AI 위험관리 프레임워크 및 생성형 AI 프로파일, 일본 정부 지침, C2PA(Content Credentials), PAI 권고를 근거로 동의, 라벨링/경고, 출처성, 위험등급, 책임/구제 요구를 교차 분석하였다. 그 결과, 제작-유통-표시 단계의 위험을 CITRA 축으로 재구성하고, 라벨의 가시성·지속성·기계가독성, C2PA 기반 프로비넌스, 고위험 맥락의 비례 통제, 신고-삭제-복구-지원(SLA) 등 실천적 최소 준수선을 도출하였다. 본 연구는 교육·산업·공공 현장에서 즉시 적용 가능한 핵심 체크포인트와 단계적 도입 청사진을 제시한다.

This paper proposes CITRA (Consent & Dignity, Integrity, Traceability, Risk & Proportionality, Accountability & Remedy) design guidelines specialized for deepfakes, starting with the Ministry of Science and ICT's "Human-Centered AI Ethics Principles." By comparing and referencing norms, standards, and voluntary guidelines from the US, Europe, and Japan, and cross-analyzing consent, labeling/warnings, provenance, risk ratings, and accountability/remedy requirements based on the EU AI Act/DSA, NIST AI RMF and Generative AI Profile, Japanese government guidelines, C2PA (Content Credentials), and PAI recommendations, we reframe risks across the production-distribution-labeling stages along the CITRA axes and derive practical minimum compliance standards, including label visibility, persistence, and machine-readability; C2PA-based provenance; proportional controls in high-risk contexts; and service-level agreements (SLAs) for reporting, deletion, restoration, and support. This study presents key checkpoints and a blueprint for phased implementation that can be immediately applied in education, industry, and the public sector.

최근 동의 없이 제작된 성적 딥페이크가 배포되고 이로 인한 사회적 폐해가 급증하면서, 성적 딥페이크에 대한 엄중한 형법적 규제를 요구하는 목소리가 높아지고 있으며, 이러한 요구에 상응하여 국회는 반포와 무관한 단순한 성적 딥페이크 제작을 형사처벌할 수 있도록 성폭력처벌법을 개정하였다. 그런데 이전까지는 단순한 성적 딥페이크 제작 그 자체는 제작자의 상상과 다를 바 없으며 별다른 법익침해를 야기하지 않아서 형사처벌의 대상으로 하는 것은 적합하지 않다고 보아왔으며, 이러한 평가를 변경해야만 하는 규범적 판단기준의 변화는 발견되지 않는다. 그렇다면 공개 내지 반포와 관련없는 단순한 성적 딥페이크 제작을 범죄행위로 규정하는 이론적 근거 내지 그것을 정당화할 수 있는 근거가 무엇인지에 대한 질문이 제기될 수 있다. 물론 최근 성적 딥페이크로 인한 사회문제가 급증하고 있으나, 그와 같은 범죄의 양적 증가가 그 행위에 대한 규범적 평가를 변경시켜야 하는 이론적 근거가 될 수는 없다. 이 글에서는 유사한 입법을 추진한 바 있는 영국의 논의, 특히 페미니스트 학자들의 관련 주장을 대상으로 반포 내지 공개와 관계없는 단순한 성적 딥페이크 제작을 범죄로 규정하고 형사처벌의 대상으로 하는 것이 정당한가의 여부를 검토해 보았다. 이 글에서는 동의 없는 단순한 성적 딥페이크 제작 그 자체만으로는 피해자는 물론 사회적으로도 별다른 해악을 야기하지도 않으며, 오히려 제작자의 사적 영역에서 이루어지는 행위를 형사처벌하는 것은 프라이버시에 대한 중대한 침해에 해당할 수 있다는 점을 논증하였다.

The Korean National Assembly recently amended the 「Sexual Violence Prevention and Victims Protection act」 to criminalize the creation of non-consensual sexual deepfakes in an effort to address the harms associated with such acts. Generally, the creation of non-consensual sexual deepfakes that are not intended for distribution is viewed as no different from the creator's imagination or fantasy; therefore, it has been deemed inappropriate to impose penalties for such creation. The mere fact that significant social and legal issues arise from sexual deepfakes does not, on its own, justify a reassessment of the normative status of creating non-consensual sexual deepfakes. The exercise of penal power solely for the purpose of negative general prevention, without grounding in substantive harm, cannot be justified. Consequently, a critical question arises: is it justifiable to criminalize the mere creation of non-consensual sexual deepfakes? Within the legislative process in Korea, there has been a lack of theoretical justification for categorizing the creation of sexual deepfakes without distribution as an offense. This article examines the justifiability of criminalizing the creation of non-consensual sexual deepfakes, drawing on the example of the UK, which has pursued similar legislative measures, as well as the arguments presented by feminist scholars advocating for such changes. In conclusion, this article contends that the mere creation of non-consensual sexual deepfakes, absent any distribution, does not result in significant harm to either victims or society at large. Furthermore, criminalizing the creation of sexual deepfakes that occur within the private realm of the creator could be viewed as a serious infringement on privacy rights.

본 연구는 생성형 인공지능(Generative AI) 기술의 비약적 발전이 엔터테인먼트 산업의 지형을 근본적으로 변화시키는 과정에서 발생하는 헌법적 난제들을 고찰하고, 특히 대중문화예술인의 인격권과 성적 자기결정권을 실효적으로 수호하기 위한 법제도적 조화 방안을 모색하는 데 목적이 있다. 인공지능에 의한 시청각적 형상화 기술인 딥페이크(Deepfake)는 창작의 지평을 확장하는 예술적 도구로서 헌법 제21조의 표현의 자유와 제22조의 예술의 자유라는 보호 영역에 놓여 있으나, 그 내면에 잠재된 압도적인 시각적 기망성과 무한 복제성은 타인의 인격을 도구화하는 파괴적인 권리 침해 수단으로 변모할 위험성을 동시에 안고 있다. 연구 결과, 대중문화예술인은 그 식별의 용이성과 대중적 영향력으로 인해 비동의 성적 합성물 및 악의적 허위 정보 유포의 주된 표적이 되고 있으며, 이는 단순한 초상권 침해를 넘어 성적 자기결정권의 본질적 파괴와 영구적인 인격적 낙인이라는 회복 불가능한 피해로 귀결되고 있음을 실증적 데이터를 통해 확인하였다. 특히 현행 사법 체계는 '반포 목적' 입증의 곤란함과 관대한 처벌 관행으로 인해 기술 발전 속도에 상응하는 범죄 억제력을 확보하지 못하고 있는 실정이다. 이에 본 연구는 헌법상 기본권 제한의 원칙인 과잉금지원칙을 준수하면서도 실효성 있는 보호 체계를 구축하기 위해 다음과 같은 다각적인 개선 방안을 제언하였다. 첫째, 법적 측면에서 ｢성폭력처벌법｣의 구성요건을 정밀화하여 제작 단계의 처벌 공백을 해소하고, ｢정보통신망법｣상 기술적 조작에 의한 명예훼손 가중 처벌 조항을 신설해야 한다. 둘째, 기술적 측면에서 EU의 AI Act를 참조하여 디지털 워터마크 부착 및 가상 정보 표시 의무화를 입법화함으로써 콘텐츠의 투명성을 확보하고 수용자의 알 권리를 보장해야 한다. 셋째, 플랫폼 사업자에게 EU의 DSA 모델에 기초한 위험 관리 및 '선(先)차단 후(後)조사' 의무를 부과하여 유통 단계에서의 확산을 선제적으로 억제하는 거버넌스를 구축해야 한다. 마지막으로, 엔터테인먼트 산업 내 자율 윤리 가이드라인 수립과 보편적인 디지털 리터러시 교육을 통해 기술과 인간의 존엄성이 공존할 수 있는 문화적 토대를 마련해야 함을 강조하였다. 본 연구가 제시한 법리적 논거와 정책적 대안들이 향후 대중문화예술인의 권익 보호와 건전한 미디어 생태계 조성을 위한 입법적 초석이 되기를 기대한다.

This study examines the constitutional challenges arising from the rapid advancement of Generative AI, specifically Deepfake technology, within the entertainment industry and explores legal and institutional measures to effectively protect the personality rights and sexual self-determination of pop culture artists. While Deepfake technology, as an artistic tool for visual manifestation, falls under the protection of freedom of expression (Article 21) and freedom of the arts (Article 22) of the Constitution, its inherent visual deceptiveness and infinite replicability pose a simultaneous risk of transforming into a destructive means of infringing upon human dignity. The research findings, supported by empirical data, reveal that pop culture artists are primary targets of non-consensual sexual synthetic materials and malicious misinformation due to their recognizability and public influence. These infringements go beyond simple image rights violations, resulting in the fundamental destruction of sexual self-determination and irreparable social stigmatization. Furthermore, the current judicial system fails to secure sufficient deterrence commensurate with technological progress due to difficulties in proving the 'intent to distribute' and lenient sentencing practices. To establish an effective protection system while adhering to the constitutional principle of proportionality, this study proposes multifaceted improvement measures. First, from a legal perspective, the “Sexual Violence Punishment Act” should be refined to close loopholes in the production stage, and aggravated punishment clauses for defamation involving technological manipulation should be established under the “Information and Communications Network Act.” Second, from a technical standpoint, transparency must be secured by legislating mandatory digital watermarking and virtual information labeling, referencing the EU AI Act. Third, a governance system should be established to preemptively suppress distribution by imposing risk management and ‘take-down’ obligations on platform operators based on the EU Digital Services Act (DSA) model. Finally, the study emphasizes the need for establishing autonomous ethical guidelines within the entertainment industry and universal digital literacy education to foster a cultural foundation where technology and human dignity can coexist. The legal arguments and policy alternatives presented in this study are expected to serve as a cornerstone for protecting the rights of artists and creating a healthy digital media ecosystem.

부경법 타목은 국내에서 인식표지를 보호할 수 있는 유일한 규범으로서 딥페이크를이용한 유명인 사칭에 대응할 수 있는 가장 효율적이고 적절한 법적 수단이지만, 현행규정은 금지 행위를 경제적 이익 침해로 한정하고 있고, 민사적 구제만 가능하게 되어있어 그 대응에 충분하지 않다. 따라서 다음과 같은 부경법 타목의 개정이 필요해 보인다. 첫째, 부경법 타목의 금지 행위를 유명인의 활동에 대한 오인·혼동 유발행위 및 식별력·명성 손상행위까지 포함하는 방향으로 그 대상을 확장해야 한다. 둘째, 딥페이크사칭의 심각성과 해외 입법례, 그리고 다른 부정경쟁행위와의 형평성을 고려할 때 벌칙규정, 징벌적 손해배상 그리고 법정손해배상과 전보배상 등의 강력한 제재의 도입이 필요하다. 셋째, 딥페이크를 이용한 유명인 사칭이 대부분 온라인 플랫폼에서 이루어지는점을 고려할 때, 온라인서비스제공자에게 간접책임을 부과할 수 있도록 한다. 다만, 그책임의 범위가 합리적으로 제한되어야 한다. 이러한 개선 방안들은 유명인의 인식표지를실효적으로 보호하고 디지털 환경에서의 공정한 경쟁질서를 확립하는 데 중요한 역할을할 것으로 기대된다.

Subparagraph 1(l) of Article 2 of the Unfair Competition Prevention Act is the sole domestic legal norm capable of protecting personal identifiers, making it the most efficient and appropriate legal means to counter deepfake impersonation of celebrities. However, current provisions limit prohibited acts to infringement of economic interests and only permit civil remedies, rendering them insufficient for effective countermeasures. Therefore, revision of subparagraph 1(l) of Article 2 is necessary. First, the scope of prohibited acts under subparagraph 1(l) of Article 2 should be expanded to include the acts causing misunderstanding or confusion regarding a celebrity’s activities, as well as the acts damaging their distinctiveness or reputation. Second, considering the severity of deepfake impersonation, overseas legislative precedents, and the need for equity with other unfair competition acts, strong sanctions must be introduced, including penalty provisions, punitive damages, and statutory damages alongside compensatory damages. Third, considering that deepfake impersonation of celebrities mostly occurs on online platforms, online service providers should be made indirectly liable. However, the scope of the liability must be reasonably limited. These improvement measures are expected to play a crucial role in effectively protecting celebrities’ personal identifiers and establishing fair competition order in the digital environment.

본 연구는 생성형 AI(Generative AI) 시스템의 확산과 함께 증가하는 보안 취약점과 규제적 대응의 필요성을 종합적으로 고찰한다. 대규모 언어모델(LLM), 검색증강생성(RAG), 딥페이크 기술을 중심으로 주요 보안 위협을 유형화하고, 이러한 취약점이 기술적⋅사회적 차원에서 초래하는 복합적 위험을 분석하였다. 분석 결과, 프롬프트 인젝션, 학습데이터 오염, 모델 추출, 개인정보 노출, 벡터 임베딩 역공격 등은 생성형 AI 생태계 전반에서 반복적으로 발생하는 핵심 위험이며, 특히 RAG 구조에서는 외부 데이터베이스의 취약성이 연쇄적 정보 노출로 이어질 가능성이 크게 나타났다. 딥페이크 기술은 금융사기⋅여론 조작⋅선거 개입 등 사회적 신뢰를 훼손할 수 있는 고위험 영역으로 평가되었다. 규제 분석에서는 미국⋅EU⋅한국의 정책체계를 비교해 AI 콘텐츠 표시, 딥페이크 규제, 위험기반 접근 등 규율 방식의 차이를 확인하였다. EU는 AI Act를 통해 포괄적 규율 체계를 마련한 반면, 미국은 문제별 분산형 법제, 한국은 AI 기본법 기반의 초기 단계 규제 체계를 갖추고 있는 것으로 나타났다. 이를 바탕으로 본 연구는 기술적 보호조치(데이터 최소화, 출력 검증, 동형암호 기반 개인정보 보호 등)와 법⋅제도적 조치(표시 의무화, 플랫폼 책임 강화, 국제 공조)의 통합적 보안 거버넌스를 제안한다. 본 연구는 생성형 AI 보안 위협을 단일 기능적 결함이 아닌 다층적 공격 벡터로 이해하고, 기술적 방어와 규제적 대응을 결합한 정책 방향을 제시함으로써 안전하고 책임 있는 AI 생태계 구축을 위한 분석틀을 제공한다.

This study provides an integrated analysis of the security vulnerabilities inherent in generative AI systems and the regulatory measures required to mitigate such risks. Focusing on Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) systems, and deepfake technologies, the research categorizes major technical threats and examines their broader societal implications. The findings reveal recurring vulnerabilities, including prompt injection, data poisoning, model extraction, sensitive information leakage, and embedding inversion attacks-risks that extend across the entire generative AI ecosystem. In particular, RAG systems exhibit compounded exposure due to their reliance on external knowledge bases, which can result in cascading privacy breaches. Deepfake technologies further amplify societal risks by enabling financial fraud, disinformation campaigns, and political manipulation. A comparative review of regulatory approaches in the United States, the European Union, and South Korea highlights substantial differences in governance models: the EU’s comprehensive AI Act, the U.S. decentralized issue-specific legislation, and Korea’s emerging risk-based regulatory framework. Drawing on these insights, this study proposes an integrated governance model that combines technical safeguards-such as data minimization, robust output validation, supply-chain security, and homomorphic encryption-with legal and institutional mechanisms, including mandatory AI-generated content labeling, strengthened platform accountability, and enhanced international cooperation. By conceptualizing generative AI threats as multilayered and systemic rather than isolated technical flaws, this research offers a holistic framework to support the safe, reliable, and responsible deployment of generative AI technologies. The study aims to contribute foundational knowledge for future policy formulation and advanced security strategies addressing the evolving risk landscape of AI.