As generative AI has become more capable and widely used, people increasingly use AI not merely as a tool for obtaining information but also as a counterpart in emotional and relational interactions. Harms arising from such use may be associated not only with individual instances of misinformation or dangerous responses generated by AI, but also with repeated interactions, service design that may contribute to intimacy or dependence, and responses to warning signs indicating suicide or self-harm. It remains unclear how existing principles of tort law should apply to such harms. Against this background, this paper examines the complaint and judicial decisions in the U.S. case Garcia v. Character Technologies, Inc., considers their implications for Korean law, and analyzes the liability of service providers within the existing framework of Article 750 of the Korean Civil Act. In determining liability, it is first necessary to identify the relevant act or omission among response content, interaction design, and service operation and response. In cases involving tort liability for omissions, the legal basis for a duty to act should be distinguished from the specific duty of care, while foreseeability, preventability, user vulnerability, and the service provider’s ability to control the relevant risk should be assessed in light of the circumstances. Adequate causation should likewise not be determined solely on the basis of a linear causal relationship between an individual AI response and the harm. At the same time, liability cannot be established merely on the abstract ground that the service influenced the victim’s behavior. This paper proposes “structural contribution” as an analytical concept for evaluating the role played by the design and operation chosen and controlled by the service provider in the formation and escalation of risk and in the process through which harm materializes over the course of repeated interactions. Structural contribution is not proposed as a new independent element of liability or as a form of outcome-based liability. Rather, it is a supplementary analytical concept intended to enable a more refined assessment of the causal processes underlying complex AI-related harms within the existing framework of Article 750 of the Korean Civil Act.
한국어
생성형 AI의 성능이 향상되고 그 활용이 확대됨에 따라 사람들은 AI를 단순히 정보를 제공하는 도구를 넘어 정서적·관계적 상호작용의 상대방으로 이용하고 있다. 이러한 이용에서는 AI가 생성하는 개별적인 오정보나 위험한 응답뿐 아니라 반복적인 상호작용, 친밀감이나 의존에 영향을 미칠 수 있는 서비스의 설계, 자살이나 자해 등을 암시하는 위험신호가 나타난 이후의 대응도 손해발생과 관련될 수 있다. 특히 동반자형 생성형 AI에서는 이용자가 AI라는 사실을 알고 있더라도 지속적인 대화와 개인화된 상호작용을 통하여 정서적 친밀감이나 의존이 형성될 수 있으므로, 개별 응답만을 분리하여 책임을 평가하는 데에는 한계가 있다. 이에 본고는 미국의 Garcia v. Character Technologies, Inc. 사건의 소장과 법원의 결정을 참고하여 그 한국법상 시사점을 살펴보고, 민법 제750조의 기존 법리 안에서 서비스 제공자의 불법행위책임을 검토한다. 다만 Garcia 결정은 각하신청 단계에서 이루어진 것으로 서비스 제공자의 설계결함이나 주의의무 위반 및 인과관계를 본안에서 인정한 판결은 아니므로, 한국 민법상 책임의 직접적인 근거가 아니라 비교법적 자료로 활용한다. 책임판단에서는 먼저 응답 내용·상호작용 설계·운영 및 대응 가운데 문제되는 서비스 제공자의 행위 또는 부작위를 구체적으로 특정해야 한다. 부작위로 인한 불법행위에서는 작위의무의 발생근거와 구체적으로 요구되는 주의의무의 내용을 구별하고, 위험의 예견가능성과 회피가능성, 이용자의 연령과 취약성 및 서비스 제공자의 통제가능성 등을 구체적인 사안에 따라 판단할 필요가 있다. 상당인과관계 역시 AI의 개별적인 응답과 손해 사이의 단선적인 관계만으로 판단해서는 안 되지만, 반대로 서비스가 피해자의 행동에 영향을 미쳤다는 추상적인 이유만으로 책임을 인정할 수도 없다. 본고는 반복적인 상호작용 속에서 서비스 제공자가 선택하고 통제한 설계와 운영이 위험의 형성·증대와 손해의 현실화 과정에서 수행한 역할을 평가하기 위하여 ‘구조적 기여’라는 분석개념을 제시하고 그 법적 위치를 검토한다. 구조적 기여는 새로운 독립적인 책임요건이나 기존의 상당인과관계를 대체하는 새로운 인과관계 기준이 아니며, 그 인정만으로 과실이나 인과관계를 추정하거나 피해자의 증명책임을 완화하는 것도 아니다. 이는 기존 민법 제750조의 기본 틀을 유지하면서도 시간적으로 분산된 복수의 설계·운영 요소가 하나의 손해발생 과정에서 수행한 인과적 역할을 지나치게 분절하지 않고 평가하기 위한 보조적 분석개념이다.
목차
국문초록 Ⅰ. 서론 Ⅱ. 동반자형 생성형 AI의 위험구조 Ⅲ. 미국의 설계책임 논의: Garcia 사건 Ⅳ. 한국 민법상 불법행위책임 Ⅴ. 결론 참고문헌 ABSTRACT