Earticle

초록

영어

Command execution does not necessarily mean that an AI agent has completed a user request. This study implemented and evaluated a procedure separating actual task outcomes, completion reports, and evidence obtained before reporting. In an Ubuntu host-Docker environment, we compared an unmodified agent (A), and agent given additional verification instructions (B), and an agent with a separate pre-report checking program (C). Four tasks - program execution, statistical calculation, opening a blank text editor, and opening the PuTTY configuration window – were tested under normal and constrained conditions, with three repetitions per method, yielding 72 runs. Outcomes comprised 44 successes, 27 failures, and one unresolved case. No false completion reports were observed among 44 completion claims with assessable outcomes. Additional checking did not change the outcome category in any of C’s 24 runs. The checking stage required a mean of 3.266 seconds and two additional calls per run. These findings document an evaluation procedure and its checking costs under limited conditions, rather than demonstrating general superiority or universal prevention of false completion.

한국어

AI 에이전트가 명령을 실행했다고 해서 사용자의 요청이 완료된 것은 아니다. 본 연구는 화면 접근이 제한된 컴퓨터 환경에서 실제작업 결과, 에이전트의 완료 보고, 보고 전에 확보한 확인 자료를 구분하는 평가 절차를 구현하고 적용하였다. Ubuntu 호스트와 Docker 환경에서 기존 에이전트(A), 결과 확인 지시를 추가한 방법(B), 최종 보고 전 별도 프로그램으로 결과를 재확인하는 방법(C)을 비교하였다. 프로그램 실행, 통계 계산, 빈 편집기 창 열기, PuTTY 설정 창 열기의 정상·제약 조건에 세 가지 방법을 각각 3회 적용하여 총 72회 수행하였다. 실제 결과는 성공 44건, 실패 27건, 미판정 1건이었다. 실제 결과를 판정할 수 있는 완료 보고 44건에서는 오보고가 관찰되지 않았고, C의 24회 실행에서도 추가 확인 전후의 판단 범주는 같았다. C의 확인 단계는 실행 당 평균 3.266초와 조회 2회를 사용하였다. 이 결과는 제한된 조건에서 평가 절차의 작동과 확인 비용을 보여주지만, 일반적인 오보고 방지 효과나 방법 간 우위를 입증하지는 않는다.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 도구 활용과 작업 결과 평가
2.2 잘못된 완료 보고와 판단 보류
3. 연구 문제와 확인 기준
3.1 실행 위치와 작업 안내서
3.2 작업 결과와 완료 보고의 평가 기준
4. 작업 완료 확인 절차
4.1 시스템 구성과 실행 환경
4.2 실행 기록 수집과 작업 결과 확인
4.3 완료 여부 판단과 결과 보고
5. 실험 및 평가방법
5.1 실험 환경과 작업 구성
5.2 비교 방법과 반복 실험
5.3 결과 평가와 실행 기록
5.4 평가 지표와 분석 방법
6. 실험 결과 및 논의
6.1 완료 보고의 정확성과 처리 비용
6.2 주요 사례 분석과 연구의 한계
7. 결론
REFERENCES

키워드

저자

• 박기곤 [ Kigon Park | 남서울대학교 AI메타융합학과 교수 ] Corresponding Author

참고문헌

발행기관

간행물

표지보기 관심저널 등록

• 간행물명

  미래기술융합논문지

• 간기

  격월간

• eISSN

  2951-2468

• 수록기간

  2022~2026

• 등재여부

  KCI 등재후보

• 십진분류

  KDC 530 DDC 620