Earticle

고품질 소프트웨어의 요구 증가로 국제표준, 산업 기능안전(IEC 61508), 자동차(ISO 26262), 무기체계 내장형 소프트웨어 지침 등 품질 인증 요구가 많다. 스타트 업, 벤처, 중소 업체들은 비용 및 인력 측면에서 체계적인 품질 획득이 어려움이 있다. 그들 업체에게 자동 테스트 케이스 생성은 비용, 시간, 인력 문제에도 소프트웨어 품질을 향상할 수 있는 해법으로 제시 될 수 있다. 이를 위해, 시스템 및 소프트웨어 설계 검증이 가능한 "의사 결정표" 기반 테스트 케이스 자동화를 제안한다. 이는 OMG의 표준 기법인 메타모델과 모델 변환 기법을 사용해 각각 의사 결정표(Model)와 테스트 케이스(Text)의 메타모델 설계 및 모델변환을 정의한다. 즉 의사 결정표 입력으로 테스트 케이스 발생 자동화이다. 이를 통해 MC/DC 커버리지등도 쉽게 적용 가능하다.

As the increasing demand for high-quality software, there is huge requiring for quality certification of international standards, industrial functional safety (IEC 61508), automotive (ISO 26262), embedded software guidelines for weapon systems, etc., in the industry. Software companies are very difficult to systematically acquire the quality certification in terms of cost and manpower of Startup, venture small-sized companies. For their companies one test case automatic generation is considered as a core technique to evaluate or improve software quality. This paper proposes a test case automatic generation method based on the design decision table for system and software design verification. We apply the proposed method with OMG's standard techniques of metamodel and model transformation for automatically generating test cases. To do this, we design the metamodels of design decision table (Model) and test case document (Text) and define model transformation to automatically generate test cases, which will expect to easily work MC/DC coverage.

A challenging part of Software Testing entails the generation of test cases, whose costs can be reduced by means of the use of techniques for automating this task. On the other hand, the nature of Software Engineering problems is ideal for the application of metaheuristic techniques. In this paper we present an approach based on the metaheuristic technique Scatter Search for the automatic test case generation of BPEL business processes using a transition-pair coverage criterion. The test case generator is called TCSS-LS-for-BPEL and it combines a diversity property with a local search. The diversity property is used to extend the search of test cases in order to reach different transitions of the business process. The local search is used to intensify the search when the diversification has problems to find test cases that cover transitions that have not been covered yet. We present the results obtained by our test case generator using two sample compositions and carry out a comparison with a random generator. The results indicate that TCSS-LS-for-BPEL can be used in the generation of test cases for BPEL business processes.

Combinatorial testing has been proved to be an efficient strategy in software testing. The research on automatic test case generation for system level based on components with constraints is a challenging but significant problem by using combinatorial testing. This paper focuses on the test case generation for system level based on components with sequential constraints. There are three main contributions: 1) the new test case generation strategy for system level is proposed based on IPOG (In-Parameter-Order-General) algorithm; 2) a filling strategy for don’t care positions is given to enhance the higher strength coverage for system level, which can improve the quality of the generated test suite; 3) a randomized post-optimization algorithm is applied to reduce the size of the test suite for system level. Experimental results show that the proposed filling strategy can improve the quality of the covering array, the post-optimization algorithm has a good optimization effect on reducing the size of the array, and trades off better between the size of the covering array and computational time than simulated annealing (SA).

To generate test cases for the unit testing of business process written in BPEL, developers have to prepare input data for the BPEL process under test (PUT) and verification conditions for output data from the PUT. It could be a tedious task due to the complexity of the PUT which describes the web flow of a distributed collaboration of individual service providers executing concurrently. This paper shows how Stream X-machine (SXM) based testing techniques could be applied to automatically generate test cases for BPEL process. The SXM describes a system as a finite set of states, an internal memory and a number of transitions between the states. One of the strengths of using a SXM to specify a system is that, under certain well defined conditions, it is possible to produce a test suite that is guaranteed to determine the correctness of the implementation under test.

A challenging part of software testing entails the generation of test cases. A good test case should have the quality to cover more features of test objective. The techniques for automatic generation of test cases try to efficiently find a small set of cases that allow an adequacy criterion to be fulfilled, thus reducing the cost of software testing and resulting in more efficient testing of software products. In this paper we introduce an all-around classification framework for automatic test case generation approaches in terms of test type and Algorithm, and represent some test case evaluation approaches. Finally we illustrate a comparison between different existing techniques.

오늘날 GUI가 소프트웨어의 성공에 중요한 영향을 미침으로써 GUI에 대한 테스트가 요구된다. 반면에 소프트웨어의 GUI 테스트는 많은 노력과 시간이 소비된다. 이러한 자원의 소비를 줄이기 위해 GUI 테스트를 자동으로 수행하는 것이 필요하다. 본 논문에서는 GUI 자동 테스트를 수행하기 위해 극복해야 할 문제와 GUI 자동 테스트에 적용되는 기술에 대해 논하고, Record-Playback 기술을 이용하여 GUI 테스트 케이스 자동 생성 방법을 제시한다.

본 논문에서는 임베디드 시스템 테스트에 많이 사용되는 테스트 항목이 기술된 체크리스트를 기반으로 테스트 케이스를 자동으로 생성하기 위한 방법을 제안한다. 일반적으로 체크리스트에는 테스트하고자 하는 항목이 정의되어 있다. 하지만 대부분의 테스트 케이스 생성 전략에서는 테스트 하고자하는 항목뿐만 아니라 다양한 변이 조건에서도 테스트하기를 권하고 있다. 제안하는 방법은 한글로 기술된 체크리스트를 분석하여 시스템 입출력과 연산 정보를 찾아낸다. 그리고 찾아낸 정보와 설정하는 테스트 케이스 생성 전략에 따라 테스트 케이스를 자동으로 생성한다. 이 방법은 테스트 케이스를 수동으로 생성할 때, 일으킬 수 있는 오류를 줄일 수 있을 뿐만 아니라, 체크리스트에는 기술되지 않는 다양한 변이 테스트 케이스도 생성할 수 있다. 제안된 방법은 구현되고, 실제 의료기기용 임베디드 시스템의 체크리스트를 사용하여 실험을 진행한다. 실험에서는 체크리스트로부터 여러 커버리지에 적절한 테스트 케이스가 오류 없이 통계적으로 정확히 생성되었음을 확인할 수 있어서 제안된 방법의 유용성을 보여준다.

This paper proposes a method to generate test cases in an automatic manner, based on checklist containing test cases used for testing embedded systems. In general, the items to be tested are defined in a checklist. However, most test case generation strategies recommend to test a system with not only the defined test items but also various mutated test conditions. The proposed method parses checklist in Korean file and figures out the system inputs and outputs, and operation information. With the found information and the user defined test case generation strategy, the test cases are automatically generated. With the proposed method, the errors introduced during manual test case generation may be reduced and various test cases not defined in checklist can be generated. The proposed method is implemented and the experiment is performed with the checklist for an medical embedded system. The feasibility of the proposed method is shown through the test cases generated from the checklist. The test cases are adequate to the coverages and their statistics are correct.

오늘날 소프트웨어가 가지는 규모와 복잡성은 날로 심화되고 있으며, 소프트웨어 개발 시 결함을 찾아 내기 위한 테스트에 많은 시간이 소모되고 있는 실정이다. 이러한 문제점을 해결하기 위해 중요한 기술 중 하나가 결함 위치 추적(Fault Localization)이다. 이 기법을 이용하여 결함을 추적하기 위해서는 다량의 테스트 케이스를 필요로 하며, 추가로 테스트 케이스를 작성하는 것은 또 다른 개발 부하이다. 본 논문에서는 이를 해결하기 위해서 분기별 입력 조합 기반 테스트 케이스 생성방법과 시드 결과 기반 테스트 케이스 생성방법을 제안하였다. 개발자는 본 생성방법을 통해 테스트 케이스 생성에 대한 비용 절감을 기대 할 수 있다. 제안하는 내용의 효용성을 검증하기 위해 실제 예제 코드에 적용하여 평가하였다. 두 가지 방법 모두 무작위 생성한 테스트 케이스에 비해 개발자가 직접 생성하는 것과 유사한 테스트 케이스를 생성하고, 제안 방법으로 생성한 테스트 케이스의 신뢰성을 확인하였다.

본 논문에서는 소프트웨어 개발 과정에서 소프트웨어의 품질향상에 필요한 소스코드의 API를 기반으로 테스트 케이스를 자동으로 생성할 수 있는 기법을 제안한다. 제안된 기법은 Doxygen 오픈소스 툴을 이용한 소스코드 분석 과정, 분석된 결과를 이용한 API 사양 정의 과정, 테스트 디자인 생성 과정, Pairwise Test 기법을 적용한 테스트 케이스 생성 과정 등의 4가지 과정으로 구성된다. Doxygen 오픈소스 툴을 이용한 소스코드 분석 과정은 소스코드의 API 정보인 API 명, 입력 파라미터, 리턴 파라미터 정보 등을 추출하는 단계이다. 분석된 결과를 이용한 API 사양 정의 과정은 추출한 API 정보를 바탕으로 SQLite 데이터베이스를 이용하여 테스트 케이스 생성에 필요한 API 정보들을 데이터베이스화하여 정의하는 단계이다. 테스트 디자인 생성 과정은 정의된 API를 기반으로 입력 파라미터, 리턴 파라미터의 임계치 설정, 제약사항 설정 등을 통해 시나리오를 디자인하여 데이터베이스로 구성하는 단계이다. Pairwise Test 기법을 적용한 테스트 케이스 생성 과정은 테스트 디자인 정보를 바탕으로 Pairwise 조합 기법을 적용하여 실제 테스트 케이스를 생성하여 데이터베이스로 구성하는 단계이다. 제안된 기법의 효율성을 평가하기 위하여 기존의 명세서 기반의 테스트 케이스 생성 방법과 비교한 결과 비슷한 시간 내에 훨씬 더 많은 테스트 케이스가 생성되며, 명세 기반 기법으로는 불가능한 소스코드에 대한 기능 검증도 가능하여 소스코드내 결함 위치도 확인할 수 있다. 따라서 사람의 인력을 통한 수작업에 의존적으로 진행하였던 소프트웨어 개발 품질 향상 과정을 소스코드의 API를 기반으로 자동으로 테스트 케이스를 생성함으로써, 노동력 절감 및 제품 개발 시간 등을 단축 할 수 있으리라 기대된다.

This paper proposes an automatic generation technology of test case based on API in source code for software's quality improvement. The proposed technology is comprised of four processes which are analyzing source code by using the Doxygen open source tool, defining API specification by using analyzed results, creating test design, generating a test case by adapting Pairwise test technology. Analyzing source code by using the Doxygen open source tool is the phase in which API information in source code such as the API name, input parameter and return parameter are extracted. Defined API specification by using analyzed results is the phase where API informations, which is needed to generate test case, are defined as a form of database by SQLite database on the basis of extracted API information. Creating test design is the phase in which the scenario is designed in order to be composed as database by defining threshold of input and return parameters and setting limitations based on the defined API. Generating a test case by adapting Pairwise test technique is the phase where real test cases are created and changed into database by adapting Pairwise technique on the base of test design information. To evaluate the efficiency of proposed technology, the research was conducted by begin compared to specification based test case creation. The result shows wider test coverage which means the more cases were created in the similar duration of time. The reduction of manpower and time for developing products is expected by changing the process of quality improving in software developing from man-powered handwork system into automatic test case generation based on API of source code.