Earticle

재활과학분야에서 메타분석을 이용한 연구가 증가하는 추세이지만 모든 메타분석 논문의 질적 수준이 동일한 것은 아니다. 특히, 메타분석이 가장 상위의 근거수준을 가진 연구방법임에도 불구하고, 개별 연구들 간의 이질성을 고 려하지 않고 단순히 대푯값만을 통합할 경우 결과를 왜곡시킬 뿐만 아니라 잘못된 대안을 도출할 가능성이 높다. 본 연구는 2010년 1월부터 2019년 6월까지 우리나라에서 출판된 언어중재를 주제로 한 메타분석 논문을 대상으로 현황 을 파악하고, A Measurement Tool to Assess the Methodological Quality of Systematic Review(AMSTAR)를 이용하여 방법론적 질을 평가하였다. 검색된 논문 98편 중 최종 5편 논문의 방법론적 질을 평가한 결과 총점 11점 중에 서 평균 7.4점이 산출되어 보통 이상의 수준으로 확인되었다. 향후 언어병리학 메타연구의 질적 수준을 높이기 위해서 는 출판편향에 대한 검증과 이해상충에 대한 명시를 포함해야 할 것으로 사료된다.

Although research using meta-analysis is increasing in the field of rehabilitation science, not all meta-analytical papers are of the same quality. In particular, although meta-analysis is a research method with the highest level of evidence, it may be possible to derive distorted conclusions or alternatives by simply integrating representative values without considering heterogeneity among individual studies. This study analyzed the current status of meta-analysis papers on the subject of language arbitration published in Korea from January 2010 to June 2019, and used A Measurement Tool to Assess the Methodological Quality of Systematic Review (AMSTAR). As a result of evaluating the methodological quality of the final five papers, the average of 7.4 points out of 11 points was found above average. In order to raise the qualitative level of Meta-analysis in speech-language pathology in the future, it is necessary to include verification of publication bias and specification of conflicts of interest.

이 연구는 Assessment of Multiple Systematic Reviews (AMSTAR) 도구를 활용하여 국내 노인운동 관련 메타분석 연구의 방법론적 질 평가를 수행하고자 한다. ‘노인’과 ‘운동’, ‘메타분석’을 주요 키워드(주제어)로 하여 국내 검색 4개의 데이터베이스(KCI : Korea Citation Index)와 KISS(Korean studies Information Service System), (RISS : Research Information Sharing Service), 국회도서관을 이용하여 학술지 자료를 검색하고 수집하였다. 연구물 검색기간은 2019년 10월을 시점으로 하여 중복되는 연구(DB간 중복된 연구물)를 제외, 연구주제 선정에 부합하지 못하 는 연구를 제외하고 2007년부터 2018년도까지 총 14편이 최종연구물로 산출되었다. 수집된 자료는 빈도와 기술통계를 활용하였다. 14편 논문의 분석결과 평균 AMSTAR 질 평가점수는 낮은 수준의 연구가 6편, 보통수준의 연구가 6편 이였 고, 높은 수준의 연구가 2편으로 나타났다. 이 연구는 국내 노인 운동 관련 메타분석 연구의 방법론적 질 향상을 위한 가이 드라인을 제시하고, 문헌선택과 자료추출 과정에서의 신뢰성 확보를 위하여 근거기반의 메타분석 연구를 제안하고 있다. 이 연구 결과를 근거로 하여 국내 노인 운동 관련 메타분석 연구의 체계적 접근을 위한 노력과 후속연구를 위한 유용한 정보로 활용 될 수 있을 것이다.

This study aims to conduct a methodological quality assessment of meta-analysis studies related to the elderly movement in Korea by using the Assessment of Multiple Systematic Reviews (AMSTAR) tool. Korean journals were searched and collected using four databases (KCI: Korea Citation Index), KISS (Korean studies Information Service System), (RISS: Research Information Sharing Service), and (National Assembly Library). As of October 2019, 14 journal articles were calculated from 2007 to 2018, except for duplicate studies (overlapping studies between databases), except for studies that did not meet the research topic selection. Collected data was based on frequency and descriptive statistics. As a result of analyzing 14 papers, the average AMSTAR quality score was 6 for low level research, 6 for normal level, and 2 for high level. This study presents guidelines for improving the methodological quality of meta-analysis studies related to the elderly exercise in Korea, and proposes evidence-based meta-analysis studies to secure the reliability of the literature selection and data extraction process. Based on the results of this study, it can be used as a useful information for efforts to systematically approach the meta-analysis studies related to the elderly exercise in Korea and for further studies.

본 연구는 뇌졸중 환자의 재활 중재에 대한 국내 메타분석 논문의 질을 평가하기 위하여 방법론적 질 평가도구인 AMSTAR-2의 적용하여 분석하였다. 분석된 연구의 질적 수준을 검증하고 근거 중심 실무의 질적 향상과 메타분석 연구를 위한 지침을 제공하고자 한다. 문헌검색은 학술연구정보서비스(Research Information Sharing Service, RISS), 한국 의학 논문 데이터베이스(Korean Medical database, KM base), 한국학술정보(Korean studies Information Service System, KISS)를 이용하였다. 검색을 위해서 주요 핵심어로 '뇌졸중' AND '메타분석'을 주제어로 하여 검색하였다. 최종 18편의 연구 중 AMSTAR-2 질 평가 결과 'Moderate'에 해당하는 연구는 3편(16.67%), 'Low'에 해당하는 연구는 8편(44.44%), 'Critically Low'에 해당하는 연구는 7편(38.89%)으로 나타났다. 향후 연구에서는 과학적이고 객관적인 데이터 선택 및 추출 과정을 수행하고, 문헌의 질적 향상을 위한 방안으로 본 연구에서 분석한 내용을 참고하여 메타분석 연구의 질적 향상을 위한 관심과 노력이 지속되기를 기대한다.

This study was analyzed by applying AMSTAR-2, a methodological quality evaluation tool, to evaluate the quality of domestic meta-analysis papers on rehabilitation interventions for stroke patients. The purpose of this study is to provide guidelines for qualitative improvement of evidence-based practice and meta-analysis research by analyzing the qualitative level of the analyzed research. The literature search was conducted using the Research Information Sharing Service, Korean Medical database, and Korean studies Information Service System. Two authors searched, extracted, and reviewed literature using the keywords 'stroke' and 'meta-analysis'. As a result of the AMSTAR-2 quality evaluation of the final 18 studies, 3 studies (16.67%) were 'Moderate', 8 studies (44.44%) were 'Low', and 7 studies (38.89%) were 'Critically Low'. In future research, scientific and objective data selection and extraction process should be performed. It is expected that interest and efforts to improve the quality of meta-analysis research will continue by referring to the contents analyzed in this study as a way to improve the quality of literature.

본 연구는 치매 재활 연구의 방법론적 중요성을 제기하고자 국내 치매재활에 대한 메타분석 및 체계적 고찰문헌들의 방법론적 수준을 AMSTAR-2를 사용하여 평가하였다. 체계적 고찰에 경험이 있는 연구자 2인이 검 색, 교차 검토 후 최종 13편의 문헌을 선정하였고 AMSTAR-2를 사용하여 평가, 분석하였다. AMSTAR-2 점수 를 기반 Cohen's kappa 계수 분석을 통해 일치도 확인 결과 0.829의 일치도를 보였으며, 문헌 간 특성 차이는 연 구비 지원 여부에서 통계적으로 유의한 차이가 있었다. AMSTAR-2 평가결과 13편의 문헌 중 3편(23.1%)이 우 수한(High) 수준이었고, 1편(7.7%)이 낮은(Low) 수준, 9편(69.2%)이 매우 낮은(Critically Low)수준에 해당하였 다. 본 연구를 통해 도출된 제안 및 제한점들은 향후 재활연구에 대한 체계적 고찰 연구 및 메타분석 시 반영되어 야 할 것으로 기대하며, 국내 뿐만 아니라 국외 문헌을 대상으로 한 방법론적 질 평가 및 국내외 문헌간 비교연구 의 진행 또한 필요할 것으로 보인다.

This study aimed to suggest ,methodological importances in reporting systematic reviews and meta-analysis on rehabilitation interventions for dementia. Two experienced researchers selected 13 research papers and analysed those papers by using AMSTAR-2. Cohen’s kappa coefficient analysis showed a concordance of 0.829.. There was statistically different in the item of funded research (Yes/No). According to the AMSTAR-2 quality evaluation, only 3 studies (23.1%) were ’High’, 1 study (7.7%) was ’Low’ and 9 studies (69.2%) were ’Critically Low’. The suggestions and limitations described in this study need to be applied to the future research of systematic reviews and meta-analysis. Moreover, international research papers are expected to be evaluated in the future and a comparative study between domestic and overseas studies would also be desirable.

이 연구는 AMSTAR 2 평가도구를 활용하여 국내 운동선수 관련 메타분석연구에 대한 방법론적 질 평가를 수행하 는 데 목적이 있었다. 이를 위해 국내 운동선수와 관련된 메타분석 연구물 총 20편을 수집하여 방법론적 질 평가를 수행하 였으며, 분석은 통계프로그램 SPSS 22 등을 활용하여 실시하였다. 구체적으로 AMSTAR 2를 활용한 독립적 질 평가, 전문가 협의회를 통한 합의된 질 평가, 빈도분석, 기술통계, t-검증을 실시하였으며, 도출된 결과는 다음과 같다. 첫째, 국내 선수 관련 메타분석 연구의 주요특성은 2015년부터 2022년까지 총 20편 수행되었으며, 1~2인 저자의 연구가 대부 분인 것으로 확인된다. 또 자연과학 13편, 사회과학 7편이 수행되었으며, 분석방법에는 CMA 9편, R-meta 4편, RevMan과 Excel 각 2편, SPSS Macro 1편인 것으로 확인된다. 둘째, 국내 선수 관련 메타분석 연구의 방법론적 질 평가 점수는 16점 만점에서 4~13.5점이며, 수준은 ‘매우 낮음’ 14편, ‘낮음’ 2편, ‘중등도’ 4편, ‘높음’ 없는 것으로 나타났다. 셋째, 연구특성에 따른 질 평가 점수의 차이를 분석한 결과, 20년 이상 기간 설정 연구가 20년 미만 기간 설정 연구보다 더 높은 질을 보이는 것으로 나타났다.

The purpose of this study was to evaluate the methodological quality of meta-analysis studies on domestic athletes using the assessment tool, AMSTAR 2. To this end, a total of 20 meta-analysis studies related to domestic athletes were collected and a methodological quality assessment was performed. Specifically, independent quality evaluation using AMSTAR 2, consensus quality assessment through expert council, frequency analysis, descriptive statistics, and t-test were conducted, and the results obtained were as follows. First, as for the main characteristics of meta-analysis studies, a total of 20 studies were conducted from 2015 to 2022, and most of the studies were by one or two authors. In addition, 13 pieces of natural science and 7 pieces of social science were conducted, and the analysis methods were 9 pieces of CMA, 4 of R-meta, 2 of each of RevMan and Excel, and 1 of SPSS Macro. Second, the methodological quality assessment score ranged from 4 to 13.5 out of 16, and the score level was found to be 'very low' for 14 pieces, 'low' for 2, 'moderate' for 4, and 'high' for none. Third, as a result of analyzing the difference in quality assessment scores according to research characteristics, it was found that studies with a duration of 20 years or longer showed higher quality than studies with a duration of fewer than 20 years.

이 연구는 국내 한의학 분야에서 발표된 체계적 문헌고찰 논문의 질을 AMSTAR 도구를 이용하여 평가해 봄으로써 최근 한의학계에서도 그 중요성이 강조되고 있는 근거중심대체의학(ECAM; Evidence-Based Complementary and Alternative Medicine) 연구의 문제점을 확인하고 향후 발전 방향을 모색해 보고자 하였다. DBPIA, OASIS, KISS 데이터베이스를 통해 검색한 한의학 분야의 체계적 문헌고찰 논문(26편)을 두 명의 연구자가 AMSTAR 평가기준에 따라 평가하여 분석하였다. 국내 한의학 관련 체계적 문헌고찰 논문의 질 평가 결과 평균 6.0점이었으며, 전체 26편의 논문 중 높은 수준의 체계적 문헌고찰 논문은 2편(7.7%), 보통수준 21편(80.8%), 낮은 수준은 3편(11.5%)인 것으로 나타났다. 또한 체계적 문헌고찰 연구의 질 평가 점수는 출판연도와의 관련성이 없는 것으로 나타났다. 이러한 결과를 근거로 향후 한의학 분야의 체계적 문헌고찰 논문의 질적 수준이 꾸준히 개선되어야 할 것으로 사료된다. 나아가, 한의학분야의 근거기반실무를 활성화하기 위한 꾸준한 노력은 보건의료분야의 융복합적 접근을 위한 발판 마련에 도움이 될 것이다.

This study aimed to find the problems of evidence-based complementary and alternative medicine and seek the future development direction by evaluating the quality of oriental medicine related systematic review(SR) studies using AMSTAR tool. The 26 SR studies related to oriental medicine were searched from the database of DBPIA, OASIS, and KISS, and they were evaluated on the basis of AMSTAR. The average of AMSTAR for the quality assessment of SR studies was 6.0 point, and the 26 studies included 2 high quality studies (7.7 %), 21 normal quality studies (80.8 %), and 3 low quality studies (11.5 %). The quality of studies was not correlated with the publication years. The quality of oriental medicine related SR studies need to be improved steadily. Furthermore, continued efforts to promote the evidence-based practice in the field of Oriental Medicine will help to establish foundation for the convergence approach in the healthcare sector.

메타 분석은 특정 연구 분야에서 진행되어 온 서로 다른 다수의 연구들이 제시한 축적된 결과를통합적으로 분석하여 제시한다는 점에서 근래 들어 다양한 분야에서 시도되고 있다. 국내 광고학 및 홍보학 영역과 관련 분야도 예외가 아니며, 최근 주요 주제 및 핵심 연구 변인들에 대한 메타 분석이 수행되고 있다. 본 연구는 해당 분야에서 메타 분석을 적용한 연구들의 질적 평가를 실시하여, 그 결과들에 대하여 어느 정도의 신뢰성 및 타당성을 부여할 수 있을지에 대해 알아보고자 하였다. 광고학, 홍보학, 커뮤니케이션학, 마케팅학 등 관련 분야에서 최근까지 수행된 23편의 논문들을 대상으로 AMSTAR 가이드라인을 적용하여 질적 평가를 실시하였으며, 평가 항목11개에 대하여 구체적인 결과를 제시하였다.

Meta-analysis has recently been popularized in various fields since it enables researchers to integrated the results from previous studies in a systematic way. Advertising and Publication Relations research fields also have yielded meta-analysis works to investigate critical topics and variables. The current study tries to evaluate qualitatively previous meta-analysis research works in the fields. Meta-analysis research works in the fields of Advertising, public relations, communication, and marketing are sampled, and a total of 23 studies were analyzed with AMSTAR guideline. Individual 11 items of the guideline were applied and specific recommendations for future research are provided.

본 연구의 목적은 국내 특수교육 분야 단일대상연구 메타분석 논문의 동향을 알아보고, AMSTAR(Assessment of Multiple Systematic Reviews) 가이드라인을 적용하여 방법론적질을 평가하는 것이다. 이를 위하여 선정 기준에 따라 2011～2021년까지 27종의 특수교육 관련 전문 학술지에 게재된 단일대상연구 메타분석 논문 42편을 수집하였다. 수집된 논문은 발행연도에 따른 동향과 논문의 일반적인 특징을 분석하고, AMSTAR 가이드라인의 11개 평가문항에 기초하여 메타분석 논문의 질을 평가하였다. 연구결과 첫째, 국내 특수교육 분야 단일대상연구 메타분석 논문은 행동 지원, 언어 및 의사소통, 학습, 자기교수/자기관리, 사회성 등다양한 주제로 수행되었으며, 지적장애, 자폐성장애, 학습장애 영역을 중심으로 연구가 이루어졌다. 둘째, 단일대상연구 메타분석 논문의 방법론적 질은 ‘보통 수준(M=5.50, SD=.94)’이었으며, ‘낮은 수준’ 5편(11.9%), ‘보통 수준’ 37편(88.1%), 높은 수준 0편(0%)으로 나타났다. 이러한 연구 결과는 향후 보다 타당성과 신뢰성이 확보된 단일대상연구 메타분석 연구 수행을위한 유의미한 자료로 활용될 것이다.

The purpose of this study is to examine the trends of meta-analysis papers on single subject researches in special education, and to assess methodological quality by applying the AMSTAR(Assessment of Multiple Systematic Reviews) guideline. For this purpose, 42 meta-analysis papers published in 27 special education journals were collected from 2011 to 2021 according to the selection criteria. The collected papers were analyzed trends according to the year of publication and general characteristics of the papers, and assessed the quality of meta-analysis papers based on 11 evaluation items in the AMSTAR guideline. As a result of the study, first, the meta-analysis studies in the field of special education were conducted on various topics such as behavior support, language and communication, learning, self-teaching/self-management, and sociality, and research was conducted focusing on intellectual disabilities, autistic disabilities, and learning disabilities. Second, the methodological quality of meta-analysis papers was 'moderate level(M=5.50, SD=.94)'. and 5 articles(11.9%) of 'low level', 37 articles(88.1%) of 'moderate level', 0 articles(0%) of 'high level' were found. The trend of qualitative level was found to remain at the 'moderate level'. The results of this study will be used as meaningful data for performing meta-analysis studies of single-subject design with more validity and reliability in the future.

본 연구는 마음챙김 기반 프로그램 효과에 대한 메타분석과 체계적 문헌고찰 연구를 대상으로 Assessment of Multiple Systematic Review(AMSTAR) 2 도구를 이용하여 방법론적 질 평가하는 것이 목적이다. RISS, KISS, DBpia, 스콜라, 국회도서관, 대학 도서관 데이터베이스를 이용하여 2022년 4월까지 ‘마음챙김’, ‘메타분석’, ‘체계적 문헌고찰’을 검색하였다. AMSTAR 2의 16개 항목별로평가하였고, 수집된 자료는 빈도분석, χ² 검증으로 분석하였다. 10개의 연구를 분석한 결과, 출판연도는 2010년~2021년이었고 AMSTAR 2를 통해 높은 수준 1편(10%), 낮은 수준 6편(60%), 매우 낮은 수준 3편(30%)으로 평가되었다. 항목별로는 메타분석 방법의 적절성과 출판 비뚤림 평가 수행 비율이 높았으며 포괄적 문헌검색과 개별 연구의 비뚤림위험 평가 수행, 2인 이상의 연구 선택, 이해 상충 보고의 누락율이 높게 나타났다. 검색 DB 수, 개별 연구의 비뚤림위험 평가 시행 여부, 출판 비뚤림 평가 여부에 따른 질 평가에서 유의한 차이를 보였다(p<0.05). 양질의 메타분석과 체계적 문헌고찰을 위해서는 포괄적 문헌검색, 개별 연구의 비뚤림위험 평가와 이해 상충을 보고하는 것이 필요하며 연구의 질 향상을 위해 체계적인 교육이 요구된다.

The aim of this paper was to evaluate the methodological quality of meta-analyses or systematic reviews of the effect of mindfulness-based programs in South Korea using Assessment of Multiple Systematic Review(AMSTAR) 2. Electronic databases including RISS, KISS, DBpia, Scholar, the National Assembly Library and university central library were searched for the terms ‘mindfulness,’ ‘meta-analysis’ and ‘systematic review’ up to April 2022. The 16-item Assessment of Multiple Systematic Reviews (AMSTAR2) scale was used to assess the methodological quality of the studies. Data were analyzed using frequency analysis and χ² test. A total of 10 systematic reviews and meta-analyses were evaluated; the studies were reported between 2010 and 2021. Results obtained from AMSTAR2 showed that 1 (10%), 60 (60%) and 3 (30%) of the included studies had high, low and very low quality, respectively. All of the studies had a little information about ‘comprehensive literature search strategy,’ ‘assessing of RoB,’ ‘duplicate study selection,’ ‘assessing of RoB’ and ‘conflicts of interest.’ The χ² test revealed that the quality assessment showed a significant difference according to the number of databases, assessment of the risk of bias, and investigation of publication bias(p<0.05). For a high-quality study, it is necessary to use a comprehensive literature search strategy, assess the risk of bias in the included studies and report the conflicts of interest.