Earticle

End-to-end (E2E) testing of web user interfaces is a crucial but resource-intensive endeavor, often complicated by intricate user workflows, fragile scripts, and significant maintenance costs. Traditional UI testing frameworks, such as Playwright, offer precise control but demand substantial manual effort and are sensitive to changes in the user interface. To address these challenges, this paper introduces an approach that utilizes Large Language Models (LLMs) for the automated generation and execution of E2E tests. We present two complementary paradigms: (1) a JSON-based domain-specific language (DSL) that facilitates declarative test specification and deterministic execution through the Playwright Model Context Protocol (MCP), and (2) an agent-based testing framework in which an LLM dynamically plans and executes actions based on high-level objectives, progress state, and evolving UI snapshots. As a case study, we employ the Vendure e-commerce framework, which offers a representative testing environment featuring functionalities like product search, shopping cart management, payment workflows, and administrative tasks. The JSON-based DSL approach is evaluated for its effectiveness in enhancing test script readability, reusability, and maintainability. In parallel, the agent-based model showcases adaptability and self-healing capabilities. Experimental results indicate that LLM-driven test automation alleviates the burden of manual script creation, improves test coverage across user and administrative scenarios, and provides resilience against changes in application interfaces. By integrating structured JSON-based methods with adaptive agent-based reasoning, this work lays the groundwork for more robust, flexible, and scalable AI-driven test automation frameworks.

According to the generalization of mobile device use in our life, the complexity and diversity of mobile applications are increased, and thus the importance of application test to find faults and errors quickly and easily before release grows. This paper reviews the current automatic testing methodologies for mobile device applications and their element technologies. Also, well-known commercial tools for automatic testing are surveyed and case studies of their recent industry applications in domestic and foreign countries are performed.

Pre and Post silicon validation automation is used for testing graphics in the computers, tablets and smart phones. A graphics driver is software that allows operating system and programs to use computer graphics hardware. To test the performance of this display system pre and post silicon automation is used such that end users get the best high definition experience. Pre silicon automation is based on emulation of graphics hardware and testing on it before it is actually build. Post silicon automation is testing of actual graphics hardware after it has been manufacture. Post silicon automation works to detect and fix bugs in graphics hardware of the system after it has been manufacture. Due to complex design of the hardware it is impossible to fix all bugs before it is manufacture. Pre silicon automation is an attempt to rectify any bug that can occur before the manufacture of graphics hardware such that it is way to reduces number of cases of bugs in graphics hardware that can occur after it is produce. Graphic Behavior in which each section is to assigned team of architects and micro-architects whose expertise targets a particular functional area for both hardware and software. It is record of all information that is kept for registers used in any sequences such that all information generated after running from driver is used to cross verify.

사람이 만드는 소프트웨어는 개발을 시작함과 동시에 오류를 만들어내기 시작한다. 간단히 생각해보면 소프트웨어를 개발하는 사람이 이러한 오류를 잘 알 수 있을 것이라고 생각하지만 개발자 스스로가 자신의 소프트웨어의 오류를 찾아 판단하는 것은 매우 어려운 일이다. 그렇기에 소프트웨어의 테스터가 따로 존재하게 되는데 소프트웨어 테스트의 방법은 크게 화이트박스 테스트와 블랙박스 테스트로 나누어 볼 수 있다. 호환성 도구는 블랙박스 테스트를 기반으로 호환성 테스트를 수행하며 자동화를 결합시켜 사람이 호환성 테스트를 수행할 때의 물리적인 시간의 한계를 극복하는데 목적을 갖고 있다. 목적에 따라 호환성 테스트를 위한 적절한 테스트 샘플을 제작한 후 다양한 테스트 케이스를 통해 호환성 테스트를 수행한 뒤 수행한 결과를 바탕으로 사람이 호환성 테스트를 진행할 때와 비교하여 시간적 효율성과 오차 범위를 줄임으로써 신뢰도를 증가시키고 이를 통해 호환성 도구의 유용함을 밝히고자 한다.

사람이 만드는 소프트웨어는 개발을 시작함과 동시에 오류를 만들어내기 시작한다. 간단히 생각해보면 소프트웨어를 개발하는 사람이 이러한 오류를 잘 알 수 있을 것이라고 생각하지만 개발자 스스로가 자신의 소프트웨어의 오류를 찾아 판단하는 것은 매우 어려운 일이다. 그렇기에 소프트웨어의 테스터가 따로 존재하게 되는데 소프트웨어 테스트의 방법은 크게 화이트박스 테스트와 블랙박스 테스트로 나누어 볼 수 있다. 호환성 도구는 블랙박스 테스트를 기반으로 호환성 테스트를 수행하며 자동화를 결합시켜 사람이 호환성 테스트를 수행할 때의 물리적인 시간의 한계를 극복하는데 목적을 갖고 있다. 목적에 따라 호환성 테스트를 위한 적절한 테스트 샘플을 제작한 후 다양한 테스트 케이스를 통해 호환성 테스트를 수행한 뒤 수행한 결과를 바탕으로 사람이 호환성 테스트를 진행할 때와 비교하여 시간적 효율성과 오차 범위를 줄임으로써 신뢰도를 증가시키고 이를 통해 호환성 도구의 유용함을 밝히고자 한다.

인터넷 사용자와 데이터의 폭발적인 증가에 비례하여 네트워크 장비도 점차 대용량화 및 고도화되고 있으며, 이에 따라 장비개발 단계에서부터의 시험 요구사항 분석, 시험항목, 시험절차에 따른 반복시험을 수행하게 된다. 기존의 시험 패턴을 살펴보면 개발된 기본 패키지에 문제점 수정 또는 기능 추가 시 수동으로 모든 시험항목에 대해 시험을 수행해야 된다. 이러한 방식은 상당히 비효율적인 문제점을 안고 있으며, 개발 기간 단축과 비용절감을 위해서도 자동화 시험은 필수적이다. 공공기관 또는 기타 정부기관에 네트워크 장비를 납품하기 위해서는 BMT 또는 공인시험성적서가 점차 필수적으로 요구되고 있다. 본고에서는 네트워크 자동화 시험 현황과, 공인시험기관 인정 동향에 관하여 기술하고자 한다.

국내 모바일 게임 시장 규모 증가와 사용자들이 지속적으로 증가되고 있으며, 스마트폰을 이용하여 게임을 즐기는 시간도 계속 늘어나고 있다. 최근 스마트폰의 성능이 대폭 향상되면서, 모바일 기기에서 구현되는 게임의 품질 또한 크게 향상 되었으며, 멀티 플랫폼으로 게임이 제작되면서 게임의 구성적인 측면에서도 플랫폼 간의 격차가 현저히 줄어들고 있다. 본 논문에서는 모바일게임의 질적 향상과 테스트 효율화를 위하여 모바일 게임 테스트 자동화 프레임워크를 연계한 환경 구축과 확장을 제안한다.

소프트웨어 테스팅 도구를 이용하여 테스팅 프로세스의 전체 또는 일부를 자동처리 함으로써 테스팅 시간의 단축과 비용을 줄일 수 있다. 현재 상용화된 테스팅 자동화 도구들은 상호 호환성을 고려하지 않고 개발되었기 때문에 특히, 테스트 설계 단계에서 생성되는 테스트 케이스(테스트 프로시저, 테스트 데이터 및 테스트 수행 결과의 예측 등)의 정보 공유와 재사용이 불가능하다. 본 논문에서는 테스트 케이스의 정보 공유와 재사용을 위하여 테스팅 자동화 도구들의 통합화 대신에 테스팅 수행과정에서 생성된 테스트 케이스 정보를 다른 테스팅 도구들에서도 접근, 공유할 수 있는 테스팅 자동화 프레임워크를 제안하였다. 제안한 통합 환경 테스팅 자동화 프레임워크의 유효성과 효과성, 그리고 시스템 성능과 테스트 케이스의 재사용성을 입증하기 위하여 기존 3개의 테스팅 도구들을 테스트 시나리오에 따라 실험하였다. 실험한 결과 통합 환경 테스팅 자동화 프레임워크 상에서 테스트 케이스의 재사용을 통해 테스팅 시간의 단축과 비용을 감소시킬 수 있었다.

The testing time and cost of developed software can be reduced by automation of the whole or part of testing process. Since the testing automation tools to be used currently have been developed without their interoperability, test case information such as test procedures, test data, and expectation of test results generated at the stage of test execution cannot be shared and reused in other testing automation tools, In order to reduce testing time and cost, in this thesis, we have proposed a software testing automation framework which makes it possible to share and reuse the test case information generated in testing process. To prove the availability and effectiveness of proposed testing automation framework, three testing automation tools that are available in current market were experimented by the test scenario. As a result of experiment, the testing time and cost could be reduced by sharing and reusing the test case information in software testing automation framework.

본 연구에서는 비교적 데이터 처리속도가 빠른 80286계의 CPU를 사용한 16bit 퍼스널 컴퓨터를 이용하는 경우보다, 가격면에서는 훨씬 유리하면서도, 성능은 거의 뒤지지 않는 피로시험 자동화 및 피로거동 고정밀 측정을 위한 시스템을 완성하였다. 본 연구에서 사용한 방법 및 작성한 소프트웨어등은 사용시험기, 피로연구 대상등에 거의 관계없이 이용이 가능하나, 여기서는 편의상, 시험기로서는 폐루우프(closed-loop)유압서어보 피로시험기를 사용하였으며, 피로거동의 측정에 대해서는 주로 피로균열지전을 대상으로 하였다.

Two kinds of 16bit-personal computer-based fatigue testing automation and monitoring system were constructed; one is Single-System utilizing a personal computer, the other si Dual-System consisting of two personal computers. The system developed in this study permits to perform multi-step programmed loading and pseudo-random loading fatigue tests, three parameters such as load, total displacement and subtracted displacement can be measured simultaneously. For improvements in measurements of fatigue behavior, two kinds of signal noise reduction software was developed. In addition, a software was also designed to automatically measure the crack opening point and crack length using the unloading elastic compliance technique.

인터넷의 폭발적인 성장은 웹 어플리케이션의 증가에 영향을 주었다. 웹 관련 기술의 발전과 다양한 비즈니스 요구사항은 웹 어플리케이션을 점점 더 복잡하게 했고, 따라서 품질과 신뢰성이 중요해졌다. 이 논문에서는 웹 사용자 인터페이스의 테스팅 자동화에 대한 방법을 제시한다. HTML페이지의 객체와 자바스크립트의 객체를 매핑시켜, 사용자 입력 폼에 대한 테스트 케이스를 자동으로 생성해서 UI 테스팅을 자동화하는 방법을 보여준다. 또한 제안된 방법으로 테스팅 자동화 사례를 보여준다.

임베디드 소프트웨어는 다른 일반 시스템과는 여러 가지 다른 특성을 가지고 있다. 우선 프로세서 자원과 메모리 자원을 적게 사용해야 하며, 소프트웨어의 오류에 대해 데스크 탑 또는 기타 서버환경에 비해 확실한 소프트웨어의 검증을 요구한다. 이러한 소프트웨어의 검증은 임베디드 소프트웨어의 오류허용이 다른 환경에 비해서 매우 다르기 때문에 고난도의 임베디드 소프트웨어의 응용을 빠르고 안정되게 개발하기 위해서는 사용자가 쉽게 사용할 수 있는 기술이 절실히 필요한 실정이다. 본 논문에서는 기존의 테스팅 자동화도구의 핵심 이슈인 테스트 데이터 제너레이터와 테스트 스크립트의 기능을 포함한 모듈인 테스트슈트 제너레이터의 성능향상 위한 방법을 제시한다. 제시된 테스트슈트 제너레이터 모듈은 임베디드 소프트웨어 테스팅 자동화도구의 개발 시 활용하여 개발한다면 임베디드 소프트웨어를 보다 효과적으로 테스팅 할 수 있을 것으로 예상된다.

임베디드 소프트웨어는 다른 일반 시스템과는 여러 가지 다른 특성을 가지고 있다. 우선 프로세서 자원과 메모리 자원을 적게 사용해야 하며, 소프트웨어의 오류에 대해 데스크 탑 또는 기타 서버환경에 비해 확실한 소프트웨어의 검증을 요구한다. 이러한 소프트웨어의 검증은 임베디드 소프트웨어의 오류허용이 다른 환경에 비해서 매우 다르기 때문에 고난도의 임베디드 소프트웨어의 응용을 빠르고 안정되게 개발하기 위해서는 사용자가 쉽게 사용할 수 있는 기술이 절실히 필요한 실정이다. 본 논문에서는 기존의 테스팅 자동화도구의 핵심 이슈인 테스트 데이터 제너레이터와 테스트 스크립트의 기능을 포함한 모듈인 테스트슈트 제너레이터의 성능향상 위한 방법을 제시한다. 제시된 테스트슈트 제너레이터 모듈은 임베디드 소프트웨어 테스팅 자동화도구의 개발 시 활용하여 개발한다면 임베디드 소프트웨어를 보다 효과적으로 테스팅 할 수 있을 것으로 예상된다.

We have developed the testing software for KEPCO operators to maintain the small-scale distribution automation system effectively. The testing software is used to monitor the present status, to measure the analog value(voltage, amperage) and to control the switch and FRTU(Feeder Remote Terminal Unit) in order to find out a disabled part of the system. And at the stage of inspection of the switch and FRTU, it can screen the inferior one.

PICOM (Piece of Information for COMmunication)은 논리노드 간에 교환되는 정보를 기술하기 위하여 정의되어 있다. 변전소의 기능은 여러 논리노드로 분할되어 서로 상호작용하며 동작한다. 변전소 자동화 시스템 검사는 단일 IED만의 기능 시험이 아니며 IED들간에 메시지를 교환을 통하여 변전소 기능을 정의된 성능을 만족하며 수행하는지 검사하는 것이다.

A S/W testing for vital railway signaling system have been important because of the increase of software usage for signaling. And also the safety of vital signaling system is required by int'l std. such as IEC 61508. While much efforts have been reported to improve electronic hardware's safety, not so much systematic approaches to assessment software's safety. In this paper, we propose a automation schemen of software testing tool for railway signaling system. From that, we show the functional architecture and internal components of the tool.

IEC 61850 기반의 변전소 자동화 시스템 구축을 위하여 현재 여러 제조업체에서 IED 개발이 이루어지고 있다. IEC 61850-10에서는 개발된 IED가 IEC 61850 국제표준을 만족하는지 검증하고자 하는 적합성 검사(Conformance Testing)에 대하여 기술한다. 본 논문은 IEC 61850-10에서 제시하는 적합성 검사에 대하여 기술하며 이를 보완하기 위한 UCA IUG(International Users Group)의 역할에 대하여 언급한다.

소프트웨어의 본질인 변경 문제로 인해 상용 테스트 도구의 단순 적용만으로는 자동 테스트의 실질적인 효과를 기대하기 어려운 것이 현실이다. 이러한 문제를 해결하기 위해 변경에 영향 받지 않는 다양한 자도 테스트 기법이 시도되어 오고 있다. 그 중에서 가장 주목받는 것으로 키워드 기반 자동 테스트(Keyword Driven Automated Test)를 들 수 있으며 이 방법의 궁극적인 목적은 대상 소프트웨어의 변경에 따른 테스트 자원의 유지보수를 쉽게 하기 위한 것이라 할 수 있다. 테스트 자원의 구축, 실행 및 발생하는 변경으로 인한 유지보수까지의 전 과정에서 키워드 기반 자동 테스트가 보다 효율적이며 다른 프로젝트, 제품 테스트에서도 일부 함수 추가, 재정의만으로 재사용 가능한 장점을 가지고 있다. 키워드 기반 자동 테스트를 위해서는 기존의 테스트 도구를 사용하여 대상 소프트웨어에 맞게 테스트 도구가 제공하는 자체 프로그래밍 언어를 사용하여 개발해야 한다.

최근 IT 기기는 GUI를 지원하여 사용자들에게 편의성을 제공하였지만, 개발자들에게는 테스팅에 어려움을 겪게 만들었다. 기존의 GUI 자동화 테스트기법인 Record Play-back 기법과 새로운 GUI 테스트 도구인 Sikuli가 등장 하였지만 기능이 추가되고 변경되는 소프트웨어를 테스팅하기 부족하다. 본 논문에서는 GUI 어플리케이션에서 점진적인 테스팅을 위해 단위 테스트인 각 테스트 케이스를 만들고 연결하는 시나리오 편집기와 시나리오 수행과 테스트 케이스 결과를 검증하는 수행 및 검증기로 구성된 자동화 테스트 도구를 설계한다.