Earticle

Variational Bayesian (VB) inference is the latest iterative method for prediction of data in machine learning. It provides the solution for intractable integration in Bayesian methodology. In this paper, a simple VB linear regression is applied for prediction of the damaged pixels in an image. Bayesian linear regression model is used for prediction of the pixels. For this neighbor pixels are used as training data to generate the parameters of the prediction function. Now using this prediction function, damaged pixels are predicted and incorporated into the image. Proposed method is linear while image is a non-linear object, generally. Hence, for linearity, a small image window size is used to avoid the nonlinearities in image.

본 논문은 최근 널리 적용되고 있는 비정규 오차항을 가진 선형 회귀 모형에서 준 모수적 베이지안 방법을 적용하여 분석하는 방법을 소개한다. 즉, 오차항에 Sahu, Dey와 Branco(2001)가 제시한 비대칭 분포를 가정하고 회귀 계수에 Ferguson(1973)의 디리슈레 과정 사전분포(Dirichlet process prior)를 사용하여 회귀계수를 추정한다. 또한, 최적의 모형을 선택하기 위해서 Green (1995)이 소개한 역 점프 마코프 체인 몬테칼로(reversible jump MCMC) 방법을 이용한다. 이에 따라 독립 변수가 각각 3,4,5개인 모의 실험 자료를 이용한 회귀 계수를 추정하고 최적의 모형을 선택한 결과 우리가 제안한 모형선택 기준이 잘 적합이 됨을 제한된 경험으로 확인할 수 있었다.주요용어 : 디리슈레 과정 사전분포, 비대칭 분포, 역 점프 마코프 체인 몬테칼로 방법.

Generally, we suppose that the error term is the normal distribution in linear regression model but in many practical studies, non-normal error type is more useful. Lately there has been much theoretical and applied interest in linear regression models with non-normal distribution as several authors have explored the consequences of non-normality and heavy-tailed error distributions. We consider linear regression models under skewed heavy tailed error distribution proposed by Sahu, Dey and Branco(2001). The Dirichlet process prior(Ferguson, 1973) is used the prior distribution for regression coefficient. Also, we apply the reversible jump MCMC(Green, 1995) for optimal model selection. The methods are illustrated using simulated example.

본 연구에서는, 고차원상황(p ≫ n)에서의 회귀분석 모형을 고려하여 다양한 베이지안 회귀분석 방법들을 비교하였다. Spike and slab 사전분포는 고차원 베이지안 회귀분석에서 가장 많이 사용되는 사전분포 중 하나이지만, 탐험해야 하는 모형 공간이 너무 크기 때문에 유한 표본에서 좋지 않은 성능을 보일 수 있다는 문제가 있다. 이에 대한 대안으로, horseshoe 사전분포를 비롯한 다양한 연속 수축사전분포들이 제안되어 사용되고 있다. 비록 위 사전분포들 각각에 대해서는 많은 연구들이 진행되고 있지만, 이들에 대한 포괄적인 비교연구는 매우 드물게 진행되고 있다. 따라서 본 연구에서는, spike and slab 사전분포와 다양한 연속수축사 전분포들을 다양한 상황에서 비교하는 연구를 진행 하였다. 각 방법의 성능은 회귀계수 추정 측면과 변수선택 측면을 나누어 비교하였다. 최종적으로, 본 연구에서 진행된 시뮬레이션 연구에 기반하여, 사용시 몇 가지 주의점과 제안들을 제시하였다.

We consider linear regression models in high-dimensional settings (p ≫ n) and compare various classes of priors. The spike and slab prior is one of the most widely used priors for Bayesian regression models, but its model space is vast, resulting in a bad performance in finite samples. As an alternative, various continuous shrinkage priors, including the horseshoe prior and its variants, have been proposed. Although each of the above priors has been investigated separately, exhaustive comparative studies of their performance have been conducted very rarely. In this study, we compare the spike and slab prior, the horseshoe prior and its variants in various simulation settings. The performance of each method is demonstrated in terms of the regression coefficient estimation and variable selection. Finally, some remarks and suggestions are given based on comprehensive simulation studies.