Earticle

This study investigates a teacher"s practice regarding how Dynamic Assessment (Dixon-Krauss, 1996) is realized in his evaluative activities in a language classroom. First of all, the study pinpoints eight properties of dynamic assessment, and operationally defines and classifies the teacher"s evaluative activities into 6 categories: prior knowledge check, assignment review, task comprehension check, task customization, instance quiz, and achievement check. Furthermore, the study examines how the teacher"s evaluative activities are worked out for a small group of children who are learning their heritage language (Korean). The effectiveness and potentiality of dynamic assessment for a language classroom organized by special purposes are also discussed.

심리검사의 품질문제를 풀어가는데 있어서 표준화된 정도를 중심으로 접근하고자 한다. 표준화의 의미는 단순히 도구의 표준화가 아니라 제작, 실시, 채점, 해석, 및 의사결정에 사용하기까지의 전과정에서 표준화된 관행이 있을 때를 표준화검사(standardized testing)로 부르기로 한다. 이들 전과성에 대한 표준이 국내에서는 아직 구비되어 있지 않으므로 미국의 표준서(1985년 발행)를 참고하여 국내의 검사도구들을 기술적 품질의 측면에서 검토하고자 하였다. 검사의 기술적 품질에서 가장 많이 언급되는 부분이 타당도와 신뢰도라고 할 때, 신뢰도에 대한 개념은 비교적 보편화되어 있으나 타당도에 대해서는 그렇지 못하다. 검사에 종사하는 연구자 및 응용·사용자로서는 보다 적극적 접근을 통해서 지속적으로 타당화 과정을 추구해야 할 것이다.

The quality of psychological testing is defined as the degree to which the testing is standardized. It is emphasized that what is to be standardized is not just the test instrument but the totality that covers logical reasoning of test structure, design, production, administration of instruments, scoring, interpretation of test results, and application for decision making. The whole gamut is called testing. Standards for Educational and Psychological Testing supported by APA, AERA, and MCME(1985) connote that the testing should be standardized. Based on the standards, some test instruments are examined mainly on the degree to which the technical standards are satisfied. If the two major concepts in technical standards are reliability and validity, the former is relatively well understood. However, the latter is not well understood. Especially the active approach of validation and the thought that validation is a continuous process are needed.

이 연구는 평생교육 프로그램 평가를 위해 활용되고 있거나 연구물에서 제안되고 있는 기존 접근방식들의 한계와 문제점을 살펴보고 대안으로 활용될 수 있는 평가방식을 탐색함으로써 평생교육 프로그램 평가에 접근하는 바람직한 방법을 제안하는데 목적을 두고 수행되었다. 먼저, 기존의 접근방법인 표준화된 기준 위주의 평가방식과 결과중심의 성과모니터링뿐 아니라 진화된 평가방식으로 제안되고 있는 학습자 만족도 중심의 평가방식이나 전문가 중심의 평가방식들은 프로그램의 개선에 큰 도움을 주지 못함을 알 수 있었다. 다음으로, 기존의 접근방식의 한계를 보완할 수 있는 대안적 접근방식을 살펴보았다. 과정모니터링과 의사결정 지향적 접근방식은 프로그램 개선에 필요한 자료를 제공할 수 있고, 참여적 평가는 평가과정을 통해 평생교육기관의 자기주도적 학습을 유도할 수 있으며, 반응적 평가는 양적 자료와 질적 자료의 혼합 활용을 통해 프로그램 및 프로그램의 개선에 대한 보다 깊은 이해를 할 수 있다는 장점이 있었다. 마지막으로 이들 대안적 방법조차도 장점과 함께 동시에 한계점도 지니고 있으므로 주어진 상황과 평가의 목적에 타당한 그리고 최선인 접근법을 비판적으로 선택하거나 여러 접근법을 절충하여 활용할 것을 제안하였다.

The aim of this study was to inquiry alternative approaches that make up for the weak points and limit of traditional approaches have used as for evaluation of lifelong education program or assertions have proposed by researches. First, I prove claim that have weak points that students satisfaction analysis and expert-oriented evaluation lately proposed as advanced methods as well as traditional approaches as standardized testing and performance monitoring can’t help the improve of program. Second, I demonstrate the necessity for the adoption of alternative approaches that make up for the weak points and limit of traditional approaches. Process monitoring and decision-based approach can provide data and information help the improve of program. Participant-oriented approach can lead to self-directed learning of lifelong education institute through process on evaluation. Responsive evaluation can promote better understanding about program and improve of program through mixed collect and analysis of quantitative and qualitative data. Finally, because so much as these alternative approach even have limit not only advantage, I propose that critically choice a valid and best method of evaluation condition and purpose, or attempt integrated evaluation in at least two ways.

표준시험편이란 재질, 형상, 치수 및 성능이 권위 있는 기관에 위해 검정된 국제적인 시험편을 말하며 이것은 탐상기의 특성시험 또는 감도조정, 시간축의 측정범위 조정에 사용된다. 그런데 이 표준시험편은 초음파탐상 결과에 아주 크게 영향을 미치는 하나의 변수로 ASTM 이나 JIS에서는 이들 표준시험편의 규격, 재질 및 성분 등을 엄격하게 규격화하고 있다. 그 이유는 이들 성질들이 감도와 분해능 및 재현성에 아주 큰 영향을 미치기 때문이다. 따라서 결함의 크기 및 치수를 정량화하고 재현성 있는 결과를 얻기 위해서는 엄격한 품질의 표준시험편이 요구되고 있다. 그러나 ASTM 또는 JIS등의 규격품들은 상당히 고가이며 시중에는 품질이 검증되지 않은 표준시험편들이 일부 사용되고 있는 실정에 있고 이들 시험편의 품질 및 사용 적합성을 재고하기 위하여 각종 규격에 비추어 보고, 규격품들과 비규격품의 각종 성질들을 비교하여 그 사용 안정성을 고찰하고자 하였다. 그 결과 비규격품들은 치수 및 성분에서 많은 문제점을 안고있으며 비규격품들을 검증없이 사용할 경우 피검물내의 결함의 위치나 크기 측정에 오차를 유발할 가능성을 확인하였다.

Standard Test Block(STB) for UT(Ultrasonic Testing) is a block approved by authoritative for material, shape and quality. STB is used for characteristic tests, sensitivity calibration and control of the time base range of UT inspection devices. The material, size and chemical components of STB should be strictly controled to meet the related standards such as ASTM and JIS because it has an effect upon sensitivity, resolution and reproductivity of UT. The STBs which are not approved are sometimes used because the qualified STBs are very expensive. So, the purpose of this study is to survey the characteristics, quality and usability of Non-Standardized Test Blocks. Non-Standardized Test Blocks did not meet the standard requirements in size or chemical components, and ultrasonic characteristics. Therefore if the Non-Standardized Test Blocks are used without being tested, it's likely to cause errors in detecting the location and measuring the size of the defects.

본 연구는 1) 표준화된 평가시험의 변별도에 영향을 주는 요인과 2) 고전문항분석과 문항반응이론에 근거한 문항분석에 따른 변별도 결과의 상관관계를 파악하는 것에 있다. 분석 자료는 FLEX(Foreign Language EXamination)라는 표준화된 영어 시험에 참여한 총 790명의 수험자 자료를 토대로 하였다. 분석결과 매력적인 오답, 수험생에게 익숙하지 않은 어휘, 예외적인 규칙을 포함한 문항 등이 변별도에 영향을 주는 것으로 드러났다. 두 가지 분석 결과에 따른 변별도 상관관계 평균은 상당히 높은 수치인 .59로 산출되었다. 그러나 몇몇 개별문항에 있어서는 변별도 결과의 차이가 있었다. 연구결과에 따라 선택지는 논리적이며 배치되어야 하며 오답은 적절한 구성이 되어야 함을 제언하였다. 그리고 FLEX에 대한 보다 많은 연구가 필요함을 제언하였다.

The present study aims to 1) identify the variables that may effect the level of discrimination on the items of a standardized test and 2) check the correlations in levels of discrimination between the results from classical item analysis and those from analysis based on IRT (item response theory). The data from a total of 790 test takers of FLEX (Foreign Language EXamination) English were utilized for the analysis. The results reveal that attractive distracters, unfamiliar words to the test-takers, and grammar with exceptional rules were noticeable variables that may influence the level of discrimination. The average correlations of the results between the two analyses were estimated as .59, indicating a high level of correlation. However, in case of some test items, there were discrepancies. On the basis of the results, it is suggested that to enhance the level of discrimination the options should be logically placed and distracters should be well organized. More studies on FLEX are also suggested.