메타분석에 대한 연구들이 기하급수적으로 증가하기 시작하였으나 방법론적인 고찰은 제대로 이루어지지 않았다. 본 연구의 목적은 국내에서 실시된 메타분석들을 토대로 연구방법론 측면에서 검증하고, 질적인 평가를 하려는 것이다. 이를 위해 64편의 메타분석 논문을 ...

메타분석에 대한 연구들이 기하급수적으로 증가하기 시작하였으나 방법론적인 고찰은 제대로 이루어지지 않았다. 본 연구의 목적은 국내에서 실시된 메타분석들을 토대로 연구방법론 측면에서 검증하고, 질적인 평가를 하려는 것이다. 이를 위해 64편의 메타분석 논문을 대상으로 문제준거, 설계준거, 결과준거, 해석준거의 4가지 항목별로 연구방법론적인 평가를 실시하였다. 본 연구결과는 다음과 같다. 첫째, 문제 준거 항목에서는 대부분의 연구들이 양호한 평가를 받았다. 그러나 설계준거 항목에서 타당도와 신뢰도에 문제점이 있었다. 예를 들면, 메타분석을 실시하기 전에 구체적인 기준을 설정한 논문들이 많지 않았고, 또한 2인 이상의 연구자에 의해 수행된 연구들도 많지 않았다. 둘째, 자료수집 과정에서 출판되지 않은 석, 박사학위논문에만 의존된 편파성 문제가 제기 되었다. 앞으로 편파성을 보완하기 위해서 학술지와 학위논문을 골고루 포함하는 것이 바람직 할 것 같다. 셋째, 결과 준거영역에서 동질성 검증은 미흡한 평가를 받았으며, 고정모형 혹은 랜덤효과 모형을 간과하는 연구자들이 많았다. 국내 연구자들은 CMA보다 SPSS와 엑셀 프로그램을 더 많이 사용하였다. 또한 결과를 설명할 때, 그림이나 그래프가 보편적으로 활용되지 않았다. 반면에 해석준거에서는 대부분의 연구들이 양호한 평가를 받았다.

The studies about meta-analysis began to grow exponentially, but their methodological review was not done properly. Focused on domestic studies about meta-analysis, the purpose of this study was to investigate research methodology and was to evaluate ...

The studies about meta-analysis began to grow exponentially, but their methodological review was not done properly. Focused on domestic studies about meta-analysis, the purpose of this study was to investigate research methodology and was to evaluate the quality of research methods. The 64 papers about meta-analysis were evaluated by four kinds of criteria such as problem criteria, design criteria, resulting criteria, and interpretation criteria. The results of this study were as follows. First, most of the studies received a appropriate evaluation in problem criteria. But there were problems with validity and reliability in design criteria. For example, before meta-analysis was conducted the specific criteria needed to be set, however most of studies did not. At the same time this research should be accomplished by 2 or more researchers, but there were a few papers. Second, the data collection process were dependent on the unpublished paper as master and doctoral dissertation, so bias issues were raised. The studies including fail-safe N were only a few. Prejudicial to the future complements, including journals and dissertations are equally likely to be desirable, also fail-safe N should be mentioned. Third, evaluation of the homogeneity test was inadequate in result criteria, and Fixed or Random effects model to choose the model that was overlooked by researchers. The SPSS and Excel was used more than CMA in Korea, and it was not founded that pictures and graphs were used universally in results. On other hand most of the studies received a positive evaluation in interpretation criteria.

메타분석에 대한 연구들이 기하급수적으로 증가하기 시작하였으나 방법론적인 고찰은 제대로 이루어지지 않았다. 본 연구의 목적은 국내에서 실시된 메타분석들을 토대로 연구방법론 측면에서 검증하고, 질적인 평가를 하려는 것이다. 이를 위해 64편의 메타분석 논문을 ...

메타분석에 대한 연구들이 기하급수적으로 증가하기 시작하였으나 방법론적인 고찰은 제대로 이루어지지 않았다. 본 연구의 목적은 국내에서 실시된 메타분석들을 토대로 연구방법론 측면에서 검증하고, 질적인 평가를 하려는 것이다. 이를 위해 64편의 메타분석 논문을 대상으로 문제준거, 설계준거, 결과준거, 해석준거의 4가지 항목별로 연구방법론적인 평가를 실시하였다. 본 연구결과는 다음과 같다. 첫째, 문제 준거 항목에서는 대부분의 연구들이 양호한 평가를 받았다. 그러나 설계준거 항목에서 타당도와 신뢰도에 문제점이 있었다. 예를 들면, 메타분석을 실시하기 전에 구체적인 기준을 설정한 논문들이 많지 않았고, 또한 2인 이상의 연구자에 의해 수행된 연구들도 많지 않았다. 둘째, 자료수집 과정에서 출판되지 않은 석, 박사학위논문에만 의존된 편파성 문제가 제기 되었다. 앞으로 편파성을 보완하기 위해서 학술지와 학위논문을 골고루 포함하는 것이 바람직 할 것 같다. 셋째, 결과 준거영역에서 동질성 검증은 미흡한 평가를 받았으며, 고정모형 혹은 랜덤효과 모형을 간과하는 연구자들이 많았다. 국내 연구자들은 CMA보다 SPSS와 엑셀 프로그램을 더 많이 사용하였다. 또한 결과를 설명할 때, 그림이나 그래프가 보편적으로 활용되지 않았다. 반면에 해석준거에서는 대부분의 연구들이 양호한 평가를 받았다.

연구결과를 요약하면, 64편의 메타분석 연구에서 어떤 논문은 23개 항목에서 1∼2개 항목을 제외하고 모든 기준을 충족시켰지만, 일부 논문은 기본적인 준거마저 충족되지 않은 미흡함을 보여주었다. 많은 이들이 메타분석에서 효과크기를 추정하는 능력이 핵심이라고 생각 ...

연구결과를 요약하면, 64편의 메타분석 연구에서 어떤 논문은 23개 항목에서 1∼2개 항목을 제외하고 모든 기준을 충족시켰지만, 일부 논문은 기본적인 준거마저 충족되지 않은 미흡함을 보여주었다. 많은 이들이 메타분석에서 효과크기를 추정하는 능력이 핵심이라고 생각하지만, 메타분석의 질은 여러 가지 편향(bias)들을 어떻게 다루냐에 달려있다. 연구자들이 흔히 범하는 편향은 다음과 같은 4가지이다. 관련된 연구를 배제하기, 적절하지 않은 연구결과를 포함하기, 부적절한 통계 모델을 적용하기, 불충분한 통계로 분석하기 등이다(Rothstein, Suttion, & Borenstein, 1995). 본 결과를 통해서도 연구자가 이와 같은 편향에 주의를 기울이지 않으면 1종 오류와 2종 오류를 증가시키고, 잘못된 보고를 양산함을 알 수 있었다. 즉 메타분석에서 편향을 배제하려는 노력이 바로 메타분석의 질을 향상시키는 것이다.
후속연구를 위해 다음을 제안하고자 한다. 연구통합법은 지난 20년 동안 급속도로 발전하고 있다. 양적연구를 이용한 메타분석은 활발히 진행되고 있지만, 체계적 리뷰와 질적 메타통합법에 대한 연구들은 미흡한 실정이다. 앞으로 양적연구 이외에 질적 연구까지 통합하는 연구가 진행되었으면 한다.