Earticle

초록

영어

The phenomenon of AI sycophancy—where generative AI based on large language models unconditionally seeks approval from users by agreeing with them, even at the expense of the accuracy, truthfulness, and safety of its responses—is not only a structural issue that inevitably arises during the training process of large language models but also a fundamental problem stemming from universal human cognitive biases. This is exacerbated by the commercial incentives of AI companies, which stand to gain more profit from the reactions of users who prefer AI sycophancy. Although South Korea and the EU have recently enacted general laws on AI and begun implementing cautious regulations, these measures are insufficient to resolve the sycophancy issue. While there are exceptional cases where regulations can be applied in South Korea, relying solely on requiring AI operators to implement technical measures is insufficient to address the structural nature of AI sycophancy. This is because the phenomenon of AI sycophancy is not a problem that AI operators can control through technical measures alone. In the EU, regulation ranges from outright bans on AI activities that are highly influential or pose significant risks if they cause serious physical harm or violations of fundamental rights, to transparency obligations requiring the disclosure of information regarding the design and operation of AI models—or declarations of AI literacy obligations— in cases where the risks are not as severe. This approach results in regulation that is either excessive or insufficient. Ultimately, the phenomenon of AI sycophancy reflects the fundamental limitations of the current AI alignment paradigm. Since we cannot simply wait idly while technological innovations to address these limitations remain insufficient, we need to devise a reasonable regulatory approach to protect our society and its members immediately. First, users must cultivate AI literacy including the capability of critical thinking to the greatest extent possible so that they can understand the potential biases and limitations of the answers provided by AI models and protect themselves from AI sycophancy. For the legal reality that users employ AI models at their own risk to hold legitimacy, sufficient information must be provided to assist users in making accurate judgments. As a concrete measure to fulfill this duty of active disclosure, AI service providers must regularly provide users with detailed, specific usage guidelines. This should involve providing data verified through various AI tests on the AI sycophancy phenomenon—specifying in which areas and in what ways such sycophancy may occur—and notifying users of the risks of potential harm they may face as a result. Regulatory authorities should oversee whether AI service providers are adequately fulfilling this proactive duty to explain, and provide relevant guidelines to them.

한국어

대규모 언어모델에 기반한 생성형 인공지능이 답변의 정확성, 진실성, 안전성 등을 희생하면서까지 무조건 사용자에게 동조하면서 승인을 구하는 AI 아첨 현상은 대규모 언어모델의 훈련 과정에서 필연적으로 발생하는 구조적 문제일 뿐만 아니라 보편적인 인간의 인지적 편향으로부터 비롯하는 근본적 문제에 해당한다. 이는 AI 아첨을 선호하는 사용자들의 반응에 의하여 더 많은 이익을 얻을 수 있는 AI 기업들의 상업적 유인에 의해 강화된다. 최근 우리나라와 EU에서는 인공지능에 관한 일반법을 제정하여 신중한 규제를 시작하였지만 아첨 문제를 해결하기에 충분치 않다. 우리나라에서 규제가 적용될 수 있는 예외적 경우가 있기는 하지만 그럼에도 불구하고 인공지능사업자에게 기술적 조치를 요구하는 방식만으로는 AI 아첨이 발생하는 구조적 양상을 해소하기에 부족하다. AI 아첨 현상은 인공지능사업자가 기술적 조치에 의하여 제어할 수 있는 문제가 아니기 때문이다. EU에서는 영향력이 크거나 위험성이 높은 AI 행위가 상당히 심각한 신체적 또는 기본권 침해적 피해를 야기한다면 아예 금지하는 방식으로 규제하거나, 그 정도에 이르지 않는 상태에서는 투명성 의무에 의하여 AI 모델의 설계 및 작동 방식에 관한 정보를 제공하게 한다거나 AI 리터러시 의무를 선언하는 정도여서 규제가 과중하거나 과소하다. AI 아첨 현상은 궁극적으로 현재 AI 정렬 패러다임의 근본적인 한계를 반영한다. 이러한 한계를 해결하기 위한 기술적 혁신이 미흡한 상황에서 만연히 기다릴 수는 없으므로 당장 우리 사회와 구성원들을 보호할 수 있도록 합리적 규제방식을 고안할 필요가 있다. 일단 사용자가 AI 모델이 제공하는 답변의 편향 가능성과 효용의 한계를 이해하고 AI 아첨으로부터 스스로를 보호할 수 있도록 최대한 AI 리터러시 및 비판적 사고력을 함양할 수 있어야 한다. 사용자가 자신의 위험 부담 하에 AI 모델을 사용한다는 법적 현실이 정당성을 가지려면 사용자의 정확한 판단을 도울 수 있을 정도의 충분한 정보가 제공되어야 한다. 이러한 적극적 설명의무의 구체적 이행 방안으로서 인공지능 사업자는 AI 아첨 현상에 대하여 다양한 AI 테스팅을 통하여 어떤 분야에서 어떤 식의 아첨 현상이 이루어질 수 있는지 분석한 자료를 제공하고, 그 결과 사용자가 어떠한 피해를 입을 수 있는지에 대한 위험을 고지하는 방식으로 사용자에게 세분화된 구체적 사용 지침을 정기적으로 제공해야 할 것이며, 규제당국은 인공지능사업자의 이러한 적극적 설명의무가 적절히 이루어지는지 감독하고 가이드라인을 제시해야 할 것이다.

목차

≪요 약≫
Ⅰ. 들어가며
Ⅱ. 생성형 인공지능 서비스의 아첨 문제
Ⅲ. AI 아첨 현상의 원인 분석
Ⅳ. 우리나라의 인공지능기본법상 규제 및 한계
Ⅴ. 유럽연합의 인공지능법상 규제 및 한계
Ⅵ. 제안 및 결론
≪참고 문헌≫

키워드

저자

• 신현탁 [ Shin, Hyeon Tak | 교수(법학박사, 변호사), 고려대학교 법학전문대학원 ] 제1저자

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  법과인권교육연구 [Journal of Human Rights & Law-related Education Researches]

• 간기

  계간

• pISSN

  2005-9000

• 수록기간

  2009~2026

• 등재여부

  KCI 등재

• 십진분류

  KDC 370 DDC 370