년 - 년
자기 평가를 통한 과정 중심 평가가 수학 학업 성취도와 정의적 영역에 미치는 영향 KCI 등재
한국초등수학교육학회 한국초등수학교육학회지 제24권 3호 2020.08 pp.279-297
※ 기관로그인 시 무료 이용이 가능합니다.
5,400원
본 연구는 2015 개정 교육과정으로 과정 중심 평가가 대두됨에 따라 교실에서 과 정 중심 평가의 정착 및 운영을 위한 방안을 모색하고자 하였다. 그 방안으로 자기 평가를 통한 과정 중심 평가를 제안하였고 이를 적용한 수업이 초등학교 5학년 학 생들의 수학 학업 성취도와 정의적 영역에 미치는 영향을 알아보았다. 연구를 위해 동질성이 검증된 5학년 2개 학급을 선정한 후 실험집단에는 자기 평가를 통한 과 정 중심 평가를, 비교집단에는 교사 주도의 과정 중심 평가를 적용한 수업을 실시 하였다. 그 결과, 자기 평가를 통한 과정 중심 평가를 적용한 수업은 초등학교 5학 년 학생들의 수학 학업 성취도를 유의미하게 향상시켰다. 실험집단의 정의적 영역 은 유의미하게 변화하지는 않았으나 학생들의 소감문과 면담 자료를 분석한 결과 본 수업을 통해 수학에 대한 흥미와 자신감을 더 갖게 되었음을 알 수 있었다.
The purpose of this study is to find ways to establish and operate Process-focused Assessment in the classroom as the 2015 revised curriculum has emerged. As a way of doing so, we proposed a Process-focused Assessment through self-assessment and looked at the impact of the applied classes on the mathematical academic performance and affective domain of fifth-grade elementary school students. After selecting two classes of fifth grade with proven homogeneity for research, the experimental group applied Process-focused Assessment through self-assessment and the teacher-led Process-focused Assessment to the comparative group. As a result, it was confirmed that the classes applying Process-focused Assessment through self-assessment significantly improved the math and academic performance of fifth-grade elementary school students. The affective domain of the experimental group did not change significantly, but the analysis of the students' comments and interview data showed that they had more interest and confidence in mathematics.
과정 중심 평가가 반영된 백워드 설계가 초등학생의 과학 학업성취도와 과학학습 동기에 미치는 효과 KCI 등재
대한지구과학교육학회 대한지구과학교육학회지 제11권 제2호 2018.08 pp.90-106
※ 기관로그인 시 무료 이용이 가능합니다.
5,100원
이 연구에서는 초등 과학과 수업에서 과정 중심 평가가 반영된 백워드 설계가 과학 학업성취도 및 과학학습 동기에 미치는 효과를 확인하고자 하였다. 학습자의 성장과 발달을 지원하는 과정 중심 평가와 학습자의 온전한 이해를 추구하는 백워드 설계는 과학 학습에 큰 도움을 줄 수 있다. 연구 결과는 다음과 같다. 첫째, ‘지구와 달의 운동’ 단원을 중심으로 과정 중심 평가가 반영된 백워드 설계를 실시하였고, 성취기준 도달에 도움이 되는 다양한 과정 중심 평가를 반영하였다. 둘째, 실험집단 학생들은 과학학업 성취도 검사와 과학학습 동기 검사에서 통계적으로 유의미한 차이를 나타냈다. 과학 교과의 특성을 반영한 과정 중심 평가가 백워드 설계와 연계되어 학교 현장에서 의미 있게 활용되길 기대한다.
The purpose of this study is to examine the effect of the backward design reflecting the process-focused assessment on science learning achievement and science learning motivation in elementary science class. The process-focused assessment to support the growth and development of learners and the backward design that seeks a learner's complete understanding can be of great help to science learning. The results of study are as follows. First, we conducted the backward design reflecting the process-focused assessment centering on 'Earth and Moon’s movement' unit, and reflecting various process-focused assessment to help achieve achievement standards. Second, as a result of science learning achievement test and science learning motivation test, there were statistically significant differences in the experimental group. It is expected that the process-focused assessment reflecting the characteristics of science subject will be utilized in the school field in conjunction with the backward design.
교사의 과정 중심 평가 역량(T-PEC) 진단도구 개발 및 타당화 KCI 등재
한국교원교육학회 한국교원교육연구 제36권 제3호 2019.09 pp.99-121
※ 기관로그인 시 무료 이용이 가능합니다.
6,000원
본 연구는 교사가 과정 중심 평가에 대한 스스로의 이해와 실천을 도모할 수 있도록 돕는 과정 중심 평가 역량 진단도구를 개발하고자 하였다. 연구자는 과정 중심 평가 관련 문헌을 체계적으로 분석하고, 연구자 3인, 과정 중심 평가 수석 교사 1인, 교사 3인, 교수자 3인의 검토 과정을 거쳐 내용 타당도를 확보한 진단도구 초안을 개발한 후, 교사 130명의 설문조사 결과를 토대로 탐색적 요인분석, 확인적 요인분석을 거쳐 모델 적합도, 판별타당도와 집중타 당도, 신뢰도를 확보한 과정 중심 평가 역량 진단도구 20문항을 최종적으로 개발하였다. 개발된 과정 중심 평가 진단도구는 과정 중심 평가의 추상성을 구체화하고, 과정 중심 평가에 대한 교사의 이해도와 적용력을 높여 과정 중심 평가가 현실화 되는 데 도움을 줄 수 있을 것이다. 또한 교사 스스로 과정 중심 평가 역량을 진단하고 분석할 수 있게 하여 학생 평가 역량을 환류하는 데 기여할 수 있을 것으로 판단된다. 개발된 진단도구는 지역·학교 급· 교과목·경력·성 별 과정 중심 평가 역량의 차이를 확인하는 연구, 교사의 과정 중심 평가 역량을 향상시킬 수 있도록 돕는 연수 프로그램 개발 등에 활용될 수 있음을 제언한다.
This study is to develop a measurement tool named T-PEC(Teacher’s Process-centered Evaluation Competency) which helps teachers understand and practice process-centered evaluation. Researchers analyzed literatures related to process-centered evaluation, and developed a draft version of a measurement tool that secured content validity after discussing with three researchers, one principle teacher of process-centered evaluation, three teachers and three professors, and then executed Exploratory Factor Analysis(EFA)/confirmative Factor Analysis(CFA) based on the survey result of 130 teachers, and finally developed a measurement tool which consists of 20 questions with securing model fit, convergent validity, discriminant validity, and reliability. The measurement tool may help process-centered evaluation become a reality by making the abstractness of process-centered evaluation more concrete and by increasing teacher’s understanding and application of process-centered evaluation. In addition, it is expecting that teachers can diagnose and analyze the competency of process-centered evaluation by themselves, thus contributing to feedback of teacher’s evaluation ability. This study suggests that developed measurement tool can be used to check differences in the competency of process-centered evaluation by region, school-level, specific subject, teacher’s career, gender, and can be used to develop training programs to help teachers improve their ability to conduct process-centered evaluation.
온라인 수학 수업의 과정 중심 평가에 대한 초등교사 인식 실태 조사 KCI 등재
한국초등수학교육학회 한국초등수학교육학회지 제26권 1호 2022.02 pp.1-19
※ 기관로그인 시 무료 이용이 가능합니다.
5,400원
본 연구는 온라인 수학 수업의 과정 중심 평가에 대한 초등학교 교사들의 인식 실 태를 통해 온라인 수학 수업에서의 과정 중심 평가 방향에 대한 시사점을 찾는 것 이다. 이를 위해 온라인 수업 경험이 있는 40명의 3~6학년 초등교사가 응답한 설문 지를 분석하였다. 연구 결과는 다음과 같다. 첫째, 초등교사들은 온라인 수학 수업 의 과정 중심 평가를 위한 과제 개발 및 채점에 대한 필요성을 인식하고 있었다. 둘째, 교사들은 과정 중심 평가를 위한 온라인 플랫폼 구축의 미흡, 에듀테크 기능 의 미흡 때문에 통일된 플랫폼의 구축이 필요하다고 하였다. 셋째, 온라인 수학 수 업에서 과정 중심 평가의 구현이 비교적 쉬운 내용 영역으로는 수와 연산, 도형의 비중이 많았다. 넷째, 초등교사들은 모둠이나 협력형 과제보다 개인별 과제 중심 평가를 선호하였고, 피드백의 필요성과 정의적 영역의 평가도 필요함을 인식하였 다. 다섯째, 온라인 수업의 평가유형 중에서는 유형 Ⅰ과 유형 Ⅳ를 같은 비율로 선호하고 있었다. 끝으로 온라인 수학 수업에서 과정 중심 평가를 위한 다양한 평 가 자료와 콘텐츠의 보급이 필요함을 알 수 있었다.
The purpose of this study is to find implications for the process-centered assessment direction in online mathematics classes through the perceptions of elementary school teachers on the process-centered assessment of online mathematics classes. For this purpose, we analyzed questionnaires answered by 40 elementary school teachers in grades 3 to 6 who had online teaching experience. The study results are as follows. First, elementary school teachers recognized the necessity of developing and grading tasks for process-centered assessment of online mathematics classes. Second, teachers said that it was necessary to build a unified platform because of the lack of an online platform and the lack of EduTech functions for process-centered assessment. Third, in the online mathematics classes, the proportion of ‘number & operations’and ‘figures’ was large in the content areas where process-centered assessment was relatively easy to implement. Fourth, elementary school teachers preferred individual task-oriented assessment over group or cooperative tasks, and recognized the need for feedback and assessment in the affective domain. Fifth, among the assessment types of online class, Type I and Type IV were preferred at the same rate. Finally, it was found that it is necessary to disseminate various assessment materials and contents for process-centered assessment in online mathematics classes.
과정 중심 말하기 수행평가가 고등학생 영어 학습에 미치는 효과 KCI 등재
한국언어과학회 언어과학 제27권 4호 2020.11 pp.25-48
※ 기관로그인 시 무료 이용이 가능합니다.
6,100원
This study is to apply a process-oriented speaking performance assessment into high school English classes and to verify the impact of the performance assessment on students’ affective domain of English learning and English language proficiency. Based on the 2015-revised national curriculum, process-oriented speaking performance assessments are conducted for six periods of English classes for one hundred second year students in J high school in Chungbuk province. Findings are: process-oriented speaking performance tests cause students to improve their language proficiency and accuracy on segmental and suprasegmental, semantic group clustering via constant feedbacks from teacher and peers, and in turn the feedbacks contributes to students’ enhancement of their speaking performance. They also help improve students’ affective attitudes toward English learning by being more aware of the self-learning processes, more involved and in charge of their own learning and alleviates the psychological burden of work by working together in small groups.
AI 기반 영상 제작 교육을 위한 직무 역량 모델링 및 평가방법 개발 연구 - 공통・직무・창의 역량 모델의 재구조화를 중심으로 - KCI 등재
한국연기예술학회 연기예술연구 제41권 2026.02 pp.103-121
※ 기관로그인 시 무료 이용이 가능합니다.
5,400원
본 연구는 생성형 인공지능(Generative AI) 기술의 급격한 발전으로 인한 영상 제작 패러다임의 변화에 주목하여, 미래 영상 산업 인재 양성을 위한 ‘AI 기반 영상 제작 교육 직무 역량 모델’을 재구조화하고 구체적 인 평가지표를 개발하는 것을 목적으로 했다. 최근 생성형 AI의 등장은 영상 제작의 기술적 장벽을 낮추는 동시에, 창작자에게 단순 숙련도를 넘어선 고차원적인 조율 역량을 요구하고 있다. 이에 본 연구는 기존의 영상 교육 체계를 분석하여 공통 역량, 직무 역량, 창의 역량의 세 가지 차원에서 모델을 재설계하였다. 첫째, 직무 역량 측면에서는 개별 숏(shot) 생성 단계를 넘어 영상 문법에 기초한 시각적 연속성(Continuity) 확보와 멀티모달 도구의 통합적 제어 능력을 핵심 지표로 설정하였다. 둘째, 창의 역량 측면에서는 AI 산출물 의 우연성을 비판적으로 수용하고 자신의 예술적 의도에 맞게 재구성하는 ‘큐레이션 적 창의성’과 TMSI(탐 색·제작·공유·상호작용) 모형에 기반한 협업 역량을 강조하였다. 셋째, 개발된 모델의 타당성을 검증하기 위해 실제 대학 교육 현장의 영상 제작 사례에 적용하고 전문가 조사를 통해 평가지표를 정교화하였다. 연구 결과, AI 기반 영상 교육은 결과물 중심 평가에서 벗어나 프롬프트 설계 로그(Prompt Log)와 성찰 저널(Reflection Journal)을 활용한 ‘과정 중심 평가’가 이루어질 때 학습자의 실질적인 직무 역량 향상을 확인할 수 있었다. 특히 AI 기술의 한계를 인간의 연출력으로 보완하는 지점에서 산업적 효용성이 극대화됨을 입증하였다. 하지만 AI 기술의 빠른 발전에 따른 평가지표의 유효성에 대한 문제는 여전히 연구의 한계로 남는다. 본 연구에서 제안한 역량 모델과 루브릭은 급변하는 AI 미디어 환경에 대응하는 대학 영상 교육의 표준 가이드라인으로 활용될 수 있을 것이며, 향후 AI 윤리와 저작권 인식을 포함한 적응형(adaptive) 교육 체계 구축의 기초 자료를 제공한다는 점에서 학술적, 실무적 의의를 지닌다.
This study aimed to restructure the 'AI-based video production education competency model' and to develop specific evaluation indicators for nurturing future talents in the video industry, focusing on the paradigm shift in video production that was caused by the rapid advancement of Generative AI technology. First, in terms of job competency, the core indicators were established as the ability to ensure visual continuity based on cinematography grammar—moving beyond individual shot generation—and the integrated control of multimodal tools. Second, regarding creative competency, the study emphasized ‘curatorial creativity,’ the ability to critically accept the randomness of AI outputs and reconstruct them according to artistic intent, and collaborative competency based on the TMSI (Thinking, Making, Sharing, Interaction) model. Third, to verify the model’s validity, it was applied to video production cases in university settings, and evaluation indicators were refined through expert surveys. The results indicate that AI-based video education is most effective in improving practical job competencies when transitioning from outcome-oriented evaluation to ‘process-oriented evaluation’ using prompt design logs and reflection journals. In particular, the study demonstrated that industrial utility is maximized when human directing skills compensate for the limitations of AI technology. The competency model and rubrics proposed in this study can serve as standard guidelines for university video education in the rapidly changing AI media environment. Furthermore, this research holds academic and practical significance by providing foundational data for establishing adaptive educational systems that include AI ethics and copyright awareness.
핵심역량 기반 교육과정에서의 음악과 평가에 관한 연구 KCI 등재
한국국악교육연구학회 국악교육연구 제10권 제2호 2016.08 pp.57-84
※ 기관로그인 시 무료 이용이 가능합니다.
6,700원
핵심역량을 기반으로 한 음악 교육과정의 개정 배경과 취지에 따라 바르게 적용하고 실현하기 위해서는 교수․학습과 평가라는 실제적인 학습과정에서 역량을 바탕으로 한 구체적인 실천 방안이 마련되어야 할 것이다. 먼저, 2015 개정 교육과정의 문서체계를 핵심역량을 중심으로 고찰하고, 음악과의 교육과정이 핵심역량을 어떻게 반영하고 있는지를 살펴보았다. 또 교실 수준에서 핵심역량이 발현될 수 있도록 이를 평가할 수 있는 음악과의 평가 방법으로 과정 중심 평가를 제안하였다. 과정 중심 평가는 평가를 수업이 진행되는 과정의 일부로 인식하여 교수․학습의 개선을 위한 수단으로 활용할 수 있는 평가이다. 이를 위해서는 수업의 설계에서부터 교수․학습과정과 평가가 연계 되도록 설계해야 하는데, 핵심역량, 교과 역량, 영역, 핵심개념, 성취기준, 내용 요소, 기능, 학습목표, 학습내용, 학습방법 등을 핵심역량을 기반으로 재구성할 수 있어야 하며 전체적인 학습과 평가가 일관성 있게 이루어지도록 계획해야 할 것이다. 본 연구에서 고찰한 핵심역량을 기반으로 한 음악과 교과 역량에 따른 내용 체계를 바탕으로 과정 중심 평가 도구에 대한 논의는 후속 연구를 통해 계속 보완되고 수정되어야 할 것이다.
To correctly apply and fulfil for purposes and background of the revised music curriculum based on the Key-Competencies, a specific action plan must be prepared based on the learning in real-life such as teaching, learning and evaluation. First, we studied the documentation system of the 2015 revised curriculum revolved around the Key-Competencies and examined how the music curriculum reflects these Key-Competencies. We have also proposed a process-focused evaluation in a music assessment method which could manifest the Key-Competencies in classrooms. The process-focused evaluation sees evaluation as part of the lesson and can be utilized as a method to improve teaching and learning. In order to do this, a plan to connect teaching and learning with evaluation must be designed from the lesson planning stage. Therefore we must be able to restructure Key-Competencies, subject-competencies, core-concepts, achievement standards, content elements, skills, learning goals, learning content and learning method based on Key-Competencies and plan so that the overall learning and evaluation can be consistent. The discussion of process-focused evaluation tools based on the system of contents on subject-competencies of music that are centered on core competencies as studied in this research must be revised and edited through further research on this topic.
수행평가를 통한 학습부진아의 학업성취수준 평가 전략 탐구 KCI 등재후보
한국홀리스틱융합교육학회 홀리스틱융합교육연구 제13권 제2호 2009.08 pp.41-60
※ 기관로그인 시 무료 이용이 가능합니다.
5,500원
우리나라 초․중등학교의 학습부진아에 대한 평가는 대체로 선발, 진단 및 배치와 지도, 그리고 지도 후 학업성취수준에 대한 평가로 구성된다. 그러나 학습부진아 판별검사, 진단 및 배치검사와 지도, 지도 후 검사 등의 평가가 대체로 결과 중심 평가로 나타났다. 이러한 결과 중심 평가는 학습부진아들의 인지구조나 정보처리과정 등을 파악하기 힘들어 학습의 과정에 대한 평가가 어렵다. 이를 개선하기 위한 평가 전략으로 수행평가의 도입 가능성을 연구하게 되었다. 즉 이 연구는 학습부진아의 결과 중심 평가 방법을 과정 중심 평가 방법으로 개선할 수 있는 적절한 전략으로 수행평가를 고찰하였다. 연구의 목적을 달성하기 위해 다음과 같은 논의를 전개하였다. 첫째, 학습부진아 학업성취수준 평가의 실태를 분석하였다. 둘째, 분석된 실태를 중심으로 학습부진아 학업성취수준 평가의 문제점을 정리하였다. 셋째, 수행평가가 가지는 특성을 학습부진아 학업성취수준 평가 전략 수립에 도입함으로써, 결과 중심 평가의 문제점을 해소할 수 있는 전략을 모색하였다. 끝으로 학습부진아에 대한 개선된 학업성취수준 평가 전략을 제시하였다. 이 연구는 문헌연구로 수행되었고 연구의 결과는 수행평가 방법을 학습부진아의 학업성취수준 평가에 도입함으로써 단위 학교의 학습부진아에 대한 정확한 평가를 통한 학생의 발달 및 교수․학습 개선에 기여할 것으로 본다.
The problem of underachievers of elementary & secondary school who are short of minimal achievement level per subject or 3R’s become serious in educational field daily. Generally, evaluation for underachievers consists of selection, diagnosis, allocation, instruction, and after-instruction achievement level evaluation. When we think of underachievers’ evaluation which began actively from in nineteen nineties in Korea, the development and implementation of the test instrument on selection, diagnosis, allocation and instruction are driven systematically. But evaluation which is related on the after-instruction achievement level of the underachievers are analyzed poor. Because probably the after-instruction achievement level evaluation of the underachievers is related to discrimination test partially. By the way, evaluation for underachievers includes many difficult problems in these days. These phenomena are seemed to be caused by the problem of the product centered evaluation method on underachievers mainly. Therefore, to improve this condition, we studied the possibility introducing the performance assessment as an achievement level evaluation method of underachievers. To achieve the purpose of the study, this study has focused on the followings: First, we analyzed the actual condition of the achievement level evaluation of underachievers in elementary & secondary school. Second, we confirmed the problems of the academic achievement level & 3R’s evaluation based on the analyzed actual condition. Third, we introduced performance assessment in order to solve the problems of product centered evaluation method. Fourth, we present improved academic achievement level evaluation strategy on underachievers. The results of this study are to be expected to contribute to the improvement of teaching and learning in elementary & secondary school & the growth of underachievers by introducing performance assessment on the achievement level evaluation of underachievers.
과정중심평가에서 자기평가, 동료평가, 교수자평가가 학생들의 영어수업실연 능력에 미치는 영향 KCI 등재
21세기영어영문학회 영어영문학21 제35권 4호 2022.12 pp.471-493
The purpose of this study is to find out the effects of self-evaluation, peer-evaluation and teacher-evaluation on students’ English microteaching competence and investigate students’ perception of those evaluations in the process-focused assessment. The participants of the study were 20 students in their senior year. The findings are as follows: the 19 students report that the self-evaluation, peer-evaluation and teacher-evaluation helped to enhance their abilities in English microteaching. The students considered the teacher-evaluation as the most helpful and they chose the teacher-evaluation to get themselves assessed for their English microteaching among those 3 evaluations. The reasons of their choice were that teacher-evaluation is expert and objective assessment. Although self-evaluation and peer evaluation were big helps for the students to improve their English microteaching competence in the process-focused assessment, it was found out that the students rely on teacher-evaluation more than the other evaluations for their study. If right perception of self-evaluation and peer-evaluation as formative assessments were established, process-focused assessment by driven students would be performed on the right track.
초등학교의 과정중심평가 정책 집행 과정 분석 : Lipsky의 일선관료모형을 중심으로 KCI 등재
한국교원교육학회 한국교원교육연구 제37권 제3호 2020.09 pp.135-159
※ 기관로그인 시 무료 이용이 가능합니다.
6,300원
본 연구는 단위학교의 과정중심평가 정책집행 과정에서 나타나는 교사의 직무환경과 대응 방식을 분석하여 정책의 의도와 목표대로 과정중심평가 정책이 집행되고 있는지를 살펴보고 자 한다. 이를 위해 Lipsky의 일선관료 모형을 분석 틀로 설정하여 D광역시 7개 초등학교의 교사 7명을 대상으로 심층면담한 후 코딩 방식으로 내용을 정리하였다. 분석 결과, 교사들은 과정중심평가의 각 단계에서 나타난 직무환경의 어려움을 극복하고자 단순화, 정형화, 회피의 부정적인 대응방식을 보이기도 하였지만, 정책목표를 학교 현장에 구현하고자 노력하는 현실 화라는 새로운 대응방식 또한 확인할 수 있었다. 이를 바탕으로 실무에 적용 가능한 사례 중 심의 정보 제공, 과정중심평가 전문가의 학교별 컨설팅 지원 강화, 평가 개념의 재정립, 결과 기록에 관한 규정 보완, 학교와 교육청 차원의 정책적 배려, 과정중심평가 정책에 대한 각 교 육 주체의 인식 개선 및 홍보 등을 제시하였다. 나아가, 한국의 학교 조직 특성을 고려한 우 리나라 교사들의 고유한 대응방식에 대한 연구 및 모형개발 연구의 필요성을 제안하였다.
The purpose of this study is to analyze the process of implementing policy in each school using Lipsky's street-level bureaucracy model to examine if 'process-focused assessment' policy is being implemented as intended in the course of the formation of policy. In order to achieve this objective, this study analyzed conditions of work and patterns of practice of teachers(street-level bureaucrats) in the process of implementing process-focused assessment policy to figure out the characteristics and implications of the policy implementation process in schools. The results were analyzed and arranged through coding methods after having in-depth interviews with seven elementary school teachers working in D metropolitan city. As a result of the analysis, teachers showed negative coping behaviors called simplifications, routinization, and evasion in each step of implementing process-focused assessment, but this study was also able to confirm the new pattern of practice called 'Actualization' which means that teachers try to actualize the intention and goal of the process-focused assessment policy on the school field. The suggestions to the policy related to process-focused assessment drawn from this study are as follows: providing case-oriented exemplars and training programs that can be directly referred to the planning stage, supporting each school for consultation by experts of assessment, modifying rules on recording results by re-establishing the concepts of assessment, making a policy at school and regional level to support teachers, improving awareness of individual educators and promoting about process-focused assessment. In conclusion, this study presented the needs of the further research on the unique patterns of practice of Korean teachers considering characteristics of Korean school organizations and in-depth study to develop the model based on them.
학교의 전문적 학습공동체가 역량함양 교육활동에 미치는 영향 - 과정중심평가 연수의 조절효과를 중심으로 - KCI 등재
한국교원교육학회 한국교원교육연구 제37권 제4호 2020.12 pp.435-455
※ 기관로그인 시 무료 이용이 가능합니다.
5,700원
본 연구는 학교의 전문적 학습공동체와 학교의 역량함양 교육활동 간의 영향관계 및 이 두 변수 간의 관계에 있어서 과정중심평가 연수가 갖는 조절효과를 분석하는 데 목적이 있다. 이 를 위해 한국교육종단연구 2013의 5차년도(2017년) 학교 조사 결과 가운데 결측치를 제외한 1,045개 학교의 응답 자료를 토대로 기술통계, 상관관계분석, 단순 선형 회귀분석, 위계적 회귀 분석을 실시하고, SPSS PROCESS macro 3.5를 이용하여 조절효과를 검증하였다. 연구 결과, 학교 구성원 모두가 학생의 학습에 초점을 맞춘 전문적 학습공동체의 일원으로 적극 협력할 경우 역량함양 교육활동은 더욱 활발해지는 영향관계가 있고, 교내에서 실시되는 과정중심평가 연수는 학교의 전문적 학습공동체가 역량함양 교육활동에 미치는 영향을 조절하는 효과가 있 음을 확인하였다. 이러한 연구 결과를 바탕으로 2015 개정교육과정이 지향하는 역량함양 교육 의 활성화를 이해하고 실천하는 데 필요한 학문적, 정책적 시사점을 도출하여 제시하였다. 특 히, 교사 중심 협의의 전문적 학습공동체 개념이 교장, 교감, 교사, 교직원 모두를 포괄하는 넓 은 의미의 전문적 학습공동체로 확장될 필요가 있으며, 교육 실천의 관점에서 학교 구성원의 인식 전환을 위한 학교경영 리더십과 전략, 연수기회 제공 등의 필요성을 강조하였다.
This study seeks to analyze the relationship of influence of a professional learning community of school and a competency development activity in school, and the moderating effect of process-focused assessment teacher training between the two variables. Out of 「KELS 2013」, the 5th(2017) data set, the responses of 1,045 school data were analyzed excluding outliers. Descriptive statistics, correlation, simple regresssion, and hierarchical regression analysis were used to answer these questions, and SPSS Process Macro 3.5 was used to verify the moderating effect. According to the results, when all of the school members eagerly cooperated as a member of professional learning community of school focusing on students’ learning, competency development activities had more impact actively. It was confirmed that the moderating effect of process-focused assessment teacher training conducted in school adjusted the influence of professional learning community of school upon competency development activity. Based on the result, we suggested that the academic and policy implication were presented to understand and to practice vitalization of competency development in the pursuit of the 2015 revised curriculum. In particular, the concept of a professional learning community oriented to teachers needed to be extended to a professional learning community including principals, vice principals, teachers, and the teaching staff in a broad sense, and we emphasized the necessity of school management leadership, strategy, and teacher training to change the perception of school members in the perspective of practice in education.
수학과 과정중심평가에 대한 교사학습공동체의 동료코칭 실행연구 KCI 등재
한국교원교육학회 한국교원교육연구 제36권 제1호 2019.03 pp.19-49
※ 기관로그인 시 무료 이용이 가능합니다.
7,200원
본 연구는 수학교육에 관심 있는 교사들을 대상으로 평가코치와 평가자의 역할을 순환적으 로 경험한 교사들의 수학과 과정중심평가에 대한 동료코칭 경험의 인식을 살펴보고 수학교육 에 대한 수업능력과 학생평가 전문성 신장방안을 모색하고자 하였다. 이를 위하여 2015 개정 수학과 교육과정에 제시된 교육과정 성취기준을 근거로 평가기준이 수학과 교과서 수준에서 어떻게 반영되었는지 분석하였고, 교실수업 수준의 과정중심평가를 수학과 ‘수와 연산’과 ‘도 형’ 영역에 걸쳐서 실행하였다. 또한 3개월에 걸쳐 주2회의 동료코칭 활동을 한 뒤 참여교사 들의 동료코칭 일지와 과정중심평가 실행보고서 그리고 연구참여자가 작성한 관찰일지와 포 커스그룹 및 개별 면담자료 등을 통해 생성된 연구자료들을 심층 분석하였다. 분석결과에 따르면, 평가성찰 측면에서 교사들은 과정중심평가의 방법선정과 도구개발, 과 정중심평가 실시 후 채점 및 성적부여 과정에서 동료코칭을 경험하였고, 평가협력 측면에서 교사들은 과정중심평가의 결과분석 및 해석을 위한 의사결정과정, 과정중심평가의 성취수준 결정과정에 대한 의미와 한계를 논의하였다. 이상의 실행연구결과 교수·학습 상황에서 수학과 과정중심평가를 실행할 때 동료코칭 활동이 교사들의 수학교육에 대한 수업능력과 학생평가 전문성 향상에 의미 있게 기여하는 것을 알 수 있었다. 또한 수학과 과정중심평가에 대한 동 료코칭 활동은 학생들의 수학교과 역량향상 측면에서 교수·학습 상황을 전개하는데 실질적인 도움을 주고 있음을 알 수 있었다.
This study comprised of teachers with interest in math education, examine their perceptions of colleague coaching experiences regarding process-focused assessment in math among those who experienced coaching by an evaluator and his or her roles in a cyclical manner, and search for plans to increase their instructional abilities for math education and their professionalism in student evaluation. For these purposes, the investigator analyzed the ways that evaluation criteria were reflected at the level of math textbooks based on the achievement criteria in the Revised Math Curriculum of 2015 and carried out process-focused assessment at the level of classroom lessons in “Numbers and Operations” and “Figures” areas in math. The participating teachers engaged in colleague coaching activities twice per week over three months. The research materials were then put to in-depth analysis including their colleague coaching logs, reports on process-focused assessment, observation logs, focus group reports, and individual interviews. The analysis results show that the teachers experienced colleague coaching in the aspect on reflection on evaluation in the process of selecting a method for process-focused assessment, developing a tool for the assessment, and marking and grading the students after process-focused assessment. In the aspect of collaboration on assessment, the teachers discussed a decision-making process to analyze and interpret outcomes in process-focused assessment and the meanings and limitations of the determination process for the achievement level in process-focused assessment. The action research findings demonstrate that colleague coaching activities made a meaningful contribution to the teachers’ improved instructional abilities and professionalism in student evaluation in math education when carrying out process-focused assessment in math under teaching and learning circumstances. In addition, the colleague coaching activities for process-focused evaluation in math provided practical assistance in the development of teaching and learning situations in the aspect of students’ enhanced capabilities in the math subject.
예비교사의 도덕과 과정중심평가 역량 배양을 위한 초등학교 교사와의 연계강의 연구 KCI 등재
한국윤리교육학회 윤리교육연구 제66집 2022.10 pp.157-181
※ 기관로그인 시 무료 이용이 가능합니다.
6,300원
예비교사의 초등 도덕과 과정중심평가역량을 배양하기 위해 초등학 교 교사와 연계하여 강의를 진행하는 계획을 수립하여 추진했다. 초등 학교 교사의 도덕과 과정중심평가역량 강화를 위해 협의회를 가졌고, 이때 교수는 이론적 뒷받침을 제공하면서 교수-학습 활동과 과정중심 평가가 연계되도록 안내하고, 과정중심평가도구 개발 과정에서 아이디 어를 제공했다. 교사는 평가계획에 따라 학교에서 실제로 과정중심평 가를 시행했다. 이어 그동안 이루어진 과정중심평가의 절차와 시행, 평 가 결과의 기록과 학생들에 대한 피드백 등을 예비교사들에게 생생하 게 전달하는 연계 강의를 했다. 대다수의 학생들이 초등학교 교사의 연계 강의에 만족을 표했고, 초등교사로서 도덕과 과정중심평가 수행 에 자신감을 갖게 되었다고 반응했다. 끝으로 연구자는 이러한 도덕과 연계강의가 제도화 될 것 등을 제언했다.
In order to strengthen the process-based evaluation competencies of pre-service teachers, we made a plan to conduct lectures in connection with elementary school teacher. First we have meetings regularly to strengthen the rocess-based evaluation competencies of field teachers. At this time, the professor provided theoretical support, guided teaching-learning activities and process-based evaluation to be linked, and provided ideas in the process of developing process-based evaluation tools. Teacher actually conducted a process-based evaluation at school according to the evaluation plan. Then he gave a linked lecture that vividly delivered the procedures and implementations of the process-based evaluation, records of evaluation results, and feedback on students to pre-service teachers. The majority of pre-service teachers, expressed satisfaction with the linked lectures of elementary school teachers, and responded that they became confident in conducting moral and process-oriented evaluations as elementary school teachers. Finally, the researcher suggested that such moral and linked lectures will be institutionalized.
협업과 탐구가 있는 과정중심평가 프로젝트 실행기 - 구글 프레젠테이션 주제탐구 프로젝트 - KCI 등재
역사와 교육학회 역사와 교육 제32집 2021.05 pp.211-228
※ 기관로그인 시 무료 이용이 가능합니다.
5,200원
체육교과 안전영역 수업의 과정중심평가 운영에 대한 사례 연구 KCI 등재
한국국제문화교류학회 문화교류와 다문화교육(구 문화교류연구) 제12권 제3호 2023.05 pp.475-494
※ 기관로그인 시 무료 이용이 가능합니다.
5,500원
본 연구의 목적은 체육교과 안전영역 수업의 과정중심평가 운영에 대한 사례를 제시 함으로써 안전에 관한 더 나은 체육수업을 만들어 가는데 필요한 이론적 토대와 기초 자료를 제공하는 것이다. 이를 위해 질적 사례 연구 방법을 활용하였으며, 4명의 연구 참여자를 선정하여 심층면담, 관찰을 통해 안전영역 체육수업 내 과정중심평가 사례를 수집하였다. 수집된 자료는 패턴과 줄거리, 주제를 찾아낸 후 연구 텍스트로 재구성 및 범주화하였으며, 질적 연구 전문가 및 동료 연구자 간 협의와 검토를 통해 진실성을 확 보하였다. 본 연구의 결과인 안전영역 체육수업 과정중심평가 사례는 첫째, 서술형 평 가, 둘째, 구술평가, 셋째, 토론 및 토의 평가, 넷째, 실기평가, 다섯째, 관찰평가, 여섯째, 포트폴리오 평가, 일곱째, 프로젝트 평가를 운영한 것으로 나타났다. 이는 학습자 로 하여금 지식과 가치, 기능을 발현시키는데 도움을 주는 수업활동이자 평가 자체를 교수학습 과정의 하나로 보는데 중점을 두고 있었다. 향후 개정될 교육과정에서도 교 사는 모든 체육교과 활동 간 안전에 대한 요소를 고려해야 하며, 이를 적절한 과정중심 평가로 연결하여 학습의 효과를 이끌어가야 할 것이다. 본 연구의 제언으로는 과정중 심평가 정책에 대한 교사의 명확한 인지, 교사의 평가권 개선과 교육적 환경 마련, 교사 와 관리자, 장학사 간 협력체계 마련, 안전과 과정중심평가 관련 다양한 연수 프로그램 과 피드백 시스템이 마련되어야 할 것을 제시하였다.
The purpose of this study is to provide the theoretical foundation and basic data necessary to operate good physical education classes on safety by presenting examples of process-based evaluation of physical education subject safety classes. Using the qualitative case study method was used, and four participants were selected to conduct interviews and observations, and process-oriented evaluation cases were collected in physical education classes in the safety area. The collected data were reconstructed and categorized as research text after finding patterns, plots, and topics, and authenticity was secured through consultation and review between qualitative research experts and fellow researchers. The results of this study are as follows. First, descriptive evaluation, second, oral evaluation, third, discussion and discussion evaluation, fourth, practical evaluation, fifth, observation evaluation, sixth, portfolio evaluation, seventh, the project evaluation was operated. This is a physical education class activity that helps learners express their knowledge, values, and functions, and focused on viewing the evaluation itself as one of the teaching and learning processes. Even in the curriculum to be revised, teachers should consider the factors of safety between all physical education curriculum activities, and lead the effect of learning by connecting them to appropriate process-based evaluation. This study suggested that teachers’ understanding of course-based evaluation policies, improving teacher evaluation rights, establishing an educational environment, establishing a cooperative system between teachers, managers, and scholarships, and training programs and feedback systems related to safety and process-based evaluation should be prepared.
체육교과 안전영역 수업의 과정중심평가 운영에 대한 사례 연구 KCI 등재
인하대학교 다문화융합연구소 문화교류와 다문화교육 제12권 제3호 2023.05 pp.475-494
※ 기관로그인 시 무료 이용이 가능합니다.
5,500원
본 연구의 목적은 체육교과 안전영역 수업의 과정중심평가 운영에 대한 사례를 제시 함으로써 안전에 관한 더 나은 체육수업을 만들어 가는데 필요한 이론적 토대와 기초 자료를 제공하는 것이다. 이를 위해 질적 사례 연구 방법을 활용하였으며, 4명의 연구 참여자를 선정하여 심층면담, 관찰을 통해 안전영역 체육수업 내 과정중심평가 사례를 수집하였다. 수집된 자료는 패턴과 줄거리, 주제를 찾아낸 후 연구 텍스트로 재구성 및 범주화하였으며, 질적 연구 전문가 및 동료 연구자 간 협의와 검토를 통해 진실성을 확 보하였다. 본 연구의 결과인 안전영역 체육수업 과정중심평가 사례는 첫째, 서술형 평 가, 둘째, 구술평가, 셋째, 토론 및 토의 평가, 넷째, 실기평가, 다섯째, 관찰평가, 여섯째, 포트폴리오 평가, 일곱째, 프로젝트 평가를 운영한 것으로 나타났다. 이는 학습자 로 하여금 지식과 가치, 기능을 발현시키는데 도움을 주는 수업활동이자 평가 자체를 교수학습 과정의 하나로 보는데 중점을 두고 있었다. 향후 개정될 교육과정에서도 교 사는 모든 체육교과 활동 간 안전에 대한 요소를 고려해야 하며, 이를 적절한 과정중심 평가로 연결하여 학습의 효과를 이끌어가야 할 것이다. 본 연구의 제언으로는 과정중 심평가 정책에 대한 교사의 명확한 인지, 교사의 평가권 개선과 교육적 환경 마련, 교사 와 관리자, 장학사 간 협력체계 마련, 안전과 과정중심평가 관련 다양한 연수 프로그램 과 피드백 시스템이 마련되어야 할 것을 제시하였다.
The purpose of this study is to provide the theoretical foundation and basic data necessary to operate good physical education classes on safety by presenting examples of process-based evaluation of physical education subject safety classes. Using the qualitative case study method was used, and four participants were selected to conduct interviews and observations, and process-oriented evaluation cases were collected in physical education classes in the safety area. The collected data were reconstructed and categorized as research text after finding patterns, plots, and topics, and authenticity was secured through consultation and review between qualitative research experts and fellow researchers. The results of this study are as follows. First, descriptive evaluation, second, oral evaluation, third, discussion and discussion evaluation, fourth, practical evaluation, fifth, observation evaluation, sixth, portfolio evaluation, seventh, the project evaluation was operated. This is a physical education class activity that helps learners express their knowledge, values, and functions, and focused on viewing the evaluation itself as one of the teaching and learning processes. Even in the curriculum to be revised, teachers should consider the factors of safety between all physical education curriculum activities, and lead the effect of learning by connecting them to appropriate process-based evaluation. This study suggested that teachers’ understanding of course-based evaluation policies, improving teacher evaluation rights, establishing an educational environment, establishing a cooperative system between teachers, managers, and scholarships, and training programs and feedback systems related to safety and process-based evaluation should be prepared.
연구학교 보고서에 나타난 중학교 과학과 과정중심평가의 특징 KCI 등재
대한지구과학교육학회 대한지구과학교육학회지 제16권 제2호 2023.08 pp.182-195
※ 기관로그인 시 무료 이용이 가능합니다.
4,600원
이 연구에서는 과정중심평가의 특징이 중학교 과학 교육 현장에서는 어떻게 구현되고 있는지를 살펴보기 위해 연구학교 보고서를 분석하였다. 과정중심평가 운 영 지표 또는 진단 도구를 제시한 6개의 선행연구 분 석을 통해서 과정중심평가의 특징에 대한 분석 관점 (수업과 평가의 통합, 평가 요소와 평가 방법, 피드백 내용과 시기, 학습자의 성장 관리)을 추출하였다. 그 분석틀을 이용하여 교육부 및 시·도 교육청 주관으로 운영한 7개 중학교의 과정중심평가 연구학교 결과 보 고서를 분석하였다. 연구 결과, 수업과 평가의 통합 측 면에서는 과정중심평가를 운영할 때 교육과정의 성취 기준에 기반하여 수업과 평가 계획이 잘 구현되고 있 었으며, 모든 보고서에서는 과정중심평가를 수행평가 로 인식하고 있었다. 평가 요소와 평가 방법 측면에서 는 지식에 대한 평가 요소가 주를 이루고 있고, 역량을 계획 단계에서는 제시하고 있으나 수업 실행에서는 다 루지 않는 경우가 많았다. 그리고 평가 방법은 교사 중 심의 관찰 평가와 보고서 평가에 치우쳐져 있고, 각 평 가 요소에 대해 채점 기준의 설정이 미흡했다. 피드백 내용과 시기 측면에서 피드백은 주로 성취도 확인 측 면에서 제공하였으며 학습과정에서 부족한 부분에 대 한 비계를 적절한 시기에 제공한 사례는 찾지 못하였 다. 학습자의 성장 관리 측면에서 과학 수업을 통해 함 양된 역량은 생활기록부의 과목별 세부 특기사항에 기 재하는 형태로 관리하고 있었으며, 학습자의 역량 성 장 과정을 체계적으로 관리하고 평가의 결과를 교사의 수업 개선에 반영하는 내용은 보고서에 거의 나타나지 않았다.
The purpose of this study was to analyze reports from research middle schools based on the criteria for process-focused assessment to find out how the characteristics of process-focused assessment were being implemented in middle school science classes. The analysis criteria for the characteristics of process-focused assessment (integration of lessons and assessments, evaluation elements and methods, content and timing of feedback, and learner growth management) were extracted. Using the analysis framework, the result reports of seven research middle schools for process-focused assessment were analyzed. In terms of integration of lessons and assessments, when the process-focused assessment was operated, the class and evaluation plan were well implemented based on the curriculum achievement standards, but the process-focused assessment was recognized as a performance evaluation. In terms of evaluation elements and methods, the evaluation element for knowledge was the main component, and competency was presented in the planning stage, but competency was not dealt with in class execution. The evaluation method was biased toward teacher-centered observation evaluation and written test, and the setting of scoring criteria for each evaluation element was insufficient. In terms of the content and timing of feedback, feedback was mainly provided based on achievement confirmation, but no case was found in which scaffolding was provided at an appropriate time for insufficient parts in the learning process. In terms of the learner's growth management, the competencies cultivated through science classes were included in the detailed subject specialties of the school record. However, little was shown in the report on how to systematically manage the process of developing learners' competencies and reflect the evaluation results to teachers' class improvement.
예비초등 교사들을 대상으로 과학수업에서 운영한 ‘과정중심평가’ 실효성 연구 KCI 등재
대한지구과학교육학회 대한지구과학교육학회지 제12권 제3호 2019.12 pp.239-251
※ 기관로그인 시 무료 이용이 가능합니다.
4,500원
이 연구는 예비초등학교 교사들을 대상으로 한 과 학 수업에서 과정 중심 평가를 운영하고 그 효과를 알 아내는 것을 목표로 한다. 본 연구에서 수행한 과정 중 심 평가는 단위 수업 중에 실시되었으며, 학생의 학습 행동에서 유의성이 인정될 때 점수가 매겨졌다. 연구 결과에 근거한 결론은 다음과 같다. 첫째, 수업시간에 실시한 과정정중심평가가 평가로서 적절한지에 대해 학생들의 평가는 평균 3.6점이었다. 둘째, 학생들이 제 시한 평가 근거에서, 긍정적인 주요내용은 “결과가 아 닌 과정을 평가”, “수업 참여에 긍정적으로 기여함”, “사고 활동의 촉진”이다. 셋째, 학생이 제시한 평가근거 에서 부정적 내용은 ‘평가방법과 결과의 객관성 결여’, ‘학생들의 개별 성향이 평가결과에 관여함’, ‘교과 지식 의 학습효과 미흡’ 등이 주요 내용이다.
The study aims to run a 'Process-based Evaluation' and find out its effectiveness in science classes for prospective elementary school teachers. The Process-based Evaluation performed in this study was performed during unit classes and scored when significance was recognized in the student's learning behavior. The conclusions based on the results of the study are as follows. First, students scored an average of 3.6 points on whether the process-oriented assessment conducted during class was appropriate as an assessment. Second, on the basis of the assessment presented by the students, the main positive content is “assessing the process, not the outcome”, “contributing positively to class participation” and “promoting accident activities”. Third, the negative contents of the assessment grounds presented by the students include ‘lack of objectivity in evaluation methods and results’, ‘the individual tendencies of students are involved in evaluation results’ and ‘poor learning effects of the textbook knowledge’.
4,000원
소프트웨어 교육은 4차 산업혁명을 이끌 미래인재 양성을 위한 교육으로 주목받고 있다. 유아부터 성인까지 모두를 위한 소프트웨어 교육의 목적은 단순히 프로그래밍 능력을 기르는 것이 아닌, 컴퓨팅을 기반으로 현실 세계의 문제를 효과적으로 해결해 나가는 문제 해결 능력인 ‘컴퓨팅 사고력’을 기르는 것이다. 따라서 어떻게 컴퓨팅 사고력을 함양하고 평가할 것인가는 매우 중요한 사안이다. 본 논문은 학습자가 문제를 해결하는 과정에서 과정중심 수행평가 방식을 적용하여 컴퓨팅 사고력을 평가하는 방식을 제안하였다. 개발된 내용은 컴퓨터과학·컴퓨터교육 전공의 대학 교 수 5인, 컴퓨터과학·컴퓨터교육 전공 현직 정보교사 5인으로 구성된 전문가 집단의 2차에 걸친 델파이 조사를 통해 수정·보완하여 최종 모델의 타당성을 검증하였다. 본 논문이 문제 해결 관점에서 컴퓨팅 사고력을 평가하기 위한 연구에 기여할 수 있기를 기대한다.
Software education is drawing attention as an education for fostering future talents who will lead the 4th industrial revolution. The purpose of software education for everyone from kinder to adults is not simply to develop programming skills, but to develop "Computational Thinking," a problem-solving ability that effectively solves real-world problems based on computing. Therefore, how to cultivate and evaluate computational thinking is a very important issue. This paper proposed a method of applying a process-based performance evaluation method to evaluate computational thinking ability in the process of solving learners' problems. The developed contents were revised and supplemented through two Delphi surveys by a group of experts consisting of five university professors and five incumbent information teachers majoring in computer science and computer education to verify the effectiveness of the final model. I hope This paper can contribute to the study of evaluating computer thinking ability from the perspective of problem solving.
공공 부문 장애인 고용 정책의 평가 : 임용과 적응과정을 중심으로
[NRF 연계] 한국장애인고용공단 고용개발원 장애와 고용 Vol.19 No.3 2009.11 pp.5-26
※ 협약을 통해 무료로 제공되는 자료로, 원문이용 방식은 연계기관의 정책을 따르고 있습니다.
장애인의 공직 임용뿐만 아니라 공직 적응을 통한 직업 안정과 행정 성과 달성을 위해서는 배치, 전환, 보직, 승진, 이동, 교육훈련 등에서 차별을 받지 않도록 합리적이고 체계적인 인사행정상의 배려가 필요하다. 이 연구는 정부 부문의 장애인 공무원인사행정과정 실태를 파악하여 장애인고용 정책의 향후 방향에 의미 있는 평가와 시사점을 제공하는 것을 목적으로 하고 있다. 조사 결과를 종합해 보면, 장애인공무원에 대한 정부의 인사행정은 상당히 긍정적인 평가를 받을만하다. 장애인공무원에 대한 인사지침 내용, 채용과정, 채용직종, 승진, 교육훈련, 보직배치 등과 같은 다면적 차원에서 볼 때, 장애인공무원 관련 인사행정은 해당 장애공무원으로부터 상당히 긍정적인 평가를 받고 있었으며, 채용목표계획은 물론 이들에 대한 인사관리지침도 잘 정비되어 있었다. 그러나 장애인공무원들은 보직과 관련된 직무 배치와 직장생활 내 편의시설 등에 대해서는 상대적으로 강한 불만을 표시하고 있었다.
This article deals with the issue of personnel adminstration process for the disabled public officials in Korea. Doing assessment of the relevant factual data, the author reviews theoretical arguments, statistical trends, public personnel adminstration process composed of selection, training, promotion in Korean Government during the past decade. The overall finding is that the personnel administration for the disabled official was successful in terms of the institutional supporting system and satisfaction level of the officials. The officials expressed that they seldom found the discrimination practices in personnel administration process of government, But they showed relatively strong dissatisfaction about the job positioning which is, however, always the main concern and controversial subject of the government officials in general.
0개의 논문이 장바구니에 담겼습니다.
선택하신 파일을 압축중입니다.
잠시만 기다려 주십시오.