Earticle

고해상도 심층신경망을 이용하여 기상데이터를 초해상화하면 보다 더 정밀한 연구와 실생활에 유용한 서비스를 제공 할 수 있다. 본 논문에서는 고해상도 심층신경망 학습에 사용하기 위한 개선된 훈련자료 생산기술을 최초로 제안한다. 기상 전문 지식으로 고해상도 기상 자료를 생성하기 위해, 전문 기관의 관측자료와 ERA5 재분석장 자료를 바탕으로 람베르트 정각원추도법과 객관분석을 적용했다. 그 결과, 기상 전문 지식 기반의 기온 및 습도 분석자료는 기존 배경장 대비 RMSE 값이 각각 최대 42%, 46% 개선되었다. 다음으로, 기상 전문 기술을 이용한 수동적인 데이터 생성 기법을 자동화하기 위해 인공지능 기술 중 하나인 SRGAN을 이용했고, 10 km 해상도를 가지는 전지구모델자료로부터 1 km 해상도를 가지는 고해 상도 자료를 생성하는 실험을 진행했다. 최종적으로, SRGAN으로 생성한 결과는 전지구모델입력자료에 비해 높은 해상도를 가지며 수동으로 생성한 고해상도 분석자료와 유사한 분석 패턴을 보이면서도 부드러운 경계를 보였다.

Generating a super-resolution meteological data by using a high-resolution deep neural network can provide precise research and useful real-life services. We propose a new technique of generating improved training data for super-resolution deep neural networks. To generate high-resolution meteorological data with domain specific knowledge, Lambert conformal conic projection and objective analysis were applied based on observation data and ERA5 reanalysis field data of specialized institutions. As a result, temperature and humidity analysis data based on domain specific knowledge showed improved RMSE by up to 42% and 46%, respectively. Next, a super-resolution generative adversarial network (SRGAN) which is one of the aritifial intelligence techniques was used to automate the manual data generation technique using damain specific techniques as described above. Experiments were conducted to generate high-resolution data with 1 km resolution from global model data with 10 km resolution. Finally, the results generated with SRGAN have a higher resoltuion than the global model input data, and showed a similar analysis pattern to the manually generated high-resolution analysis data, but also showed a smooth boundary.

이 연구는 정확도 높은 유·가스 저류층 특성화를 위하여 원시 물리검층 자료로부터 암석 코어자료와 부합하는 고해상도의 합성 물리검층 자료를 생성하는 딥러닝 기반 방법을 제안한다. 제안한 방법의 신뢰도는 노르웨이 Volve 유전을 대상으로 세 가지 유형의 딥러닝 알고리듬(심층신경망, 합성곱신경망, 장단기메모리)을 적용하여 평가하였다. 위 알고리듬들은 타 물리검층 자료로부터 음파 검층 자료를 고해상도로 추정하였다. 전반적으로 각 딥러닝 알고리듬의 성능이 우수하였다. 특히, 장단기메모리 알고리듬의 예측 성능은 원시해상도 대비 2배, 5배, 10배의 고해상도 자료를 생성한 경우에 대해 결정계수가 0.9 이상으로 우수하게 나타났다. 제안한 모델은 향후 코어 기반 저류층인자와 부합하는 물리검층 기반 저류층 인자의 도출에 활용할 수 있을 것으로 기대한다.

This study proposed a deep-learning-based approach that generates synthetic high-resolution log data from original-resolution log data for accurate reservoir characterization, where the resolution of the synthetic data is comparable to that of core data. The reliability of the proposed approach was tested with application to the Volve oil field in Norway using three deep-learning algorithms (i.e., deep neural network, convolutional neural network, and long short-term memory). These deep-learning algorithms were employed to generate high-resolution sonic log data from other log-type data. The overall performance of each algorithm was acceptable. In particular, the long short-term memory algorithm yields a coefficient of determination greater than 0.9 when the high-to-original-resolution ratios are two, five, and ten. We anticipate that the proposed model can be used to derive logging-based reservoir parameters with a resolution that is comparable to that of core-based reservoir parameters.

As the COVID-19 pandemic has decreased face-to-face communication in everyday life, our interest in cultural communication via virtual world has grown significantly. In particular, the demand for applications that use three-dimensional (3D) data generation technology such as virtual reality, augmented reality, virtual performances, and realistic content is rapidly increasing in the entertainment and gaming industries. Additionally, improved computing capacity has increased the demand for high-resolution data. This study investigates the trends in 3D scanning and photogrammetry technologies that can support high-quality 3D data generation and introduces the high-resolution 3D data generation technology developed and reported in ETRI.

고해상도 위성영상 간 End-to-end 방식으로 정합점을 추출하는 자기지도학습 매칭 네트워크를 학습하기 위해 본 연구에서는 훈련자료 자동 생성 방법을 제안한다. 단일 고해상도 원격탐사 영상에 스케일, 회전, 변위를 변환하는 homography matrix를 적용하여 기준 영상 패치(reference image patch)와 입력 영상 패치(sensed image patch)를 생성한다. 입력 영상 패치의 대비 및 밝기를 조정한 후 가우시안 및 스펙클 노이즈를 생성하고 셰이딩(shading) 및 모션 블러(motion blur) 효과를 적용하여 기준 영상 패치와 상이한 특성을 갖도록 한다. 이어서, 다양한 특징점 검출기(feature point extractor)와 homographic adaptation 기법을 함께 이용하여 서로 다른 검출기가 다양한 기하 왜곡에서 공통적으로 탐지하는 특징점을 각 영상 패치에서 추출한다. 그리고 non-maximum suppression (NMS) 기법을 활용하여 추출된 특징점을 최적화하는 과정을 수행한다. 앞서 생성된 homography matrix를 활용하여 영상 패치 간 위치 오차가 1 화소 이내 인 특징점 쌍을 정합점으로 선정하고, 정합점의 좌표와 homography matrix를 pseudo-label로 이용한다. 다양한 경로에서 수집된 고해상도 원격탐사 데이터베이스에 본 연구에서 제안하는 자동화된 방법을 적용하여 추출된 정합점의 개수가 20개 이상인 경우에만 훈련자료로 생성하였다. 그 결과, 총 341,820장의 학습 데이터와 44,389장의 검증 데이터를 구축하였다. 본 연구에서 구축한 훈련자료를 통해 학습된 End-to-end 정합점 추출 딥러닝 네트워크는 다른 알고리즘 및 딥러닝 네트워크보다 위치 정확도가 높은 정합점을 효과적으로 추출하였다. 이를 통해, 제안기법은 고해상도 위성영상의 특성을 반영할 수 있는 고품질의 pseudo-label을 자동으로 생성하여 딥러닝 네트워크 학습 효율성을 개선할 수 있다.

In this study, we propose an automatic training dataset generation method to build a self-supervised matching network, using an End-to-end approach, to extract matching points between very high-resolution (VHR) satellite images. A homography matrix that transforms the scale, rotation, and translation of a single VHR remote-sensing image is applied to generate reference and sensed image patches. After adjusting the contrast and brightness of the sensed image patch, Gaussian and speckle noise are added, and shading and motion blur effects are applied to give it different characteristics from the reference image patch. Subsequently, multiple feature point extractors are combined with homographic adaptation to extract robustly detected feature points by different detectors under various geometric conditions from each image patch. The extracted feature points are optimized using the non-maximum suppression (NMS) technique. Feature point pairs with distance errors within 1 pixel between image patches are identified as matching points using the inverse homography matrix. The coordinates of these matching points, along with the homography matrix, are then employed as pseudo-labels. Training data was generated only when the automated method, applied to the VHR remote sensing database collected from various sources, extracted more than 20 matching points. As a result, training and validation datasets were generated, comprising a total of 341,820 and 44,389 image patches, respectively. The End-to-end matching network trained with the proposed dataset extracted matching points more accurately compared to other matching methods and deep learning networks. Therefore, the proposed method can automatically generate high-quality pseudo-labels that reflect the characteristics of VHR satellite images, thereby improving the training efficiency of deep learning networks.

국립기상과학원은 국가 물관리를 효율적으로 지원하기 위하여 TOPLATS(TOPmodel based Land-Atmosphere Transfer Scheme) 지면모델 기반을 활용한 전국 수문기상 분석 및 예측정보 생산체계를 구축하였다. TOPLATS 지면모델에서는 토양, 식생 등을 표현하기 위한 다양한 매개변수들이 사용되고 있으며, 그 중에서도 토양 속성과 관련 매개변수들은 토양수분, 증발산 등의 수문기상요소 생산에 큰 영향을 미치고 있어 현실적인 토양 특성에 대한 고려가 요구된다. 본 연구는 국립농업과학원의 토양도 정보를 이용하여 TOPLATS 지면모델에서 요구되는 토양 속성 및 관련 매개변수를 산정하고 이를 모델에 적용하고자 하였다. TOPLATS 모델에 사용되는 토양 매개변수는 총 22개 이며, 본 연구에서는 국립농업과학원에서 제공한 총 405개의 토양통에 대한 매개변수를 각각 산정하였다. TOPLATS 모델을 강제하기 위한 기상자료는 동네예보 분석자료, KLAPS(Korea Local Analysis and Prediction System) 분석자료, 입사 단 장파 복사량은 ASOS 관측자료를 기반으로 한 5km 해상도의 남한 격자자료이며, 2010~2013년 기간의 토양수분, 증발산량에 대한 검증 연구를 수행하였다. 본 연구의 결과는 기존의 11개 토양속성정보로 산출된 결과와 비교 분석하여 추후 제시할 예정이며, 본 연구에서 산출된 국내 토양 특성을 반영한 고해상도 수문기상정보는 향후 홍수 예측 및 가뭄 평가에 활용 할 수 있을 것으로 기대된다.

스테레오 영상으로부터 수치표고모델을 생성하기 위해서는 일반적으로 두 영상 간의 정합을 수행한다. 정합은 초기 정합 후보점으로부터 시작되며, 두 영상 간의 접합점(Tie-points)이 이러한 초기 후보점 역할을 하게 된다. 이 초기 정합 후보점의 개수와 영상 내에서의 분포는 정합결과에 영향을 준다. 정합결과를 바탕으로 생성되는 수치표고모델에는 에러가 포함된다. 이러한 에러를 제거하는 가장 보편적인 방법은 주변값으로 보간하는 것이다. 본 논문에서는 신뢰성 있는 수치표고모델을 자동으로 생성하기 위해서 기존 수치표고모델을 이용하여 자동으로 추출한 접합점(Tie-points)과 영상 피라미드 그리고 정합 결과에서 발생한 이상값(Outlier)을 기존 수치표고모델로 보정하는 방법을 제안한다. 본 논문에서는 IKONOS, QuickBird, SPOTS 스테레오 영상과 DTED level 2 데이터를 이용하여 실험을 수행했으며, 실험결과를 통해서 제안된 방법으로 생성한 수치표고모델에서는 에러가 모두 제거되었음을 보여준다. 또한 기존 DTED level 2를 참값으로 하여 산출된 높이값에 대한 RMSE는 15m 미만으로, 비교적 정확한 수치표고모델을 생성하였음을 보여준다.

If stereo images is used for Digital Elevation Model (DEM) generation, a DEM is generally made by matching left image against right image from stereo images. In stereo matching, tie-points are used as initial match candidate points. The number and distribution of tie-points influence the matching result. DEM made from matching result has errors such as holes, peaks, etc. These errors are usually interpolated by neighbored pixel values. In this paper, we propose the DEM generation method combined with automatic tie-points extraction using existing DEM, image pyramid, and interpolating new DEM using existing DEM for more reliable DEM. For test, we used IKONOS, QuickBird, SPOT5 stereo images and a DTED level 2 data. The test results show that the proposed method automatically makes reliable DEMs. For DEM validation, we compared heights of DEM by proposed method with height of existing DTED level 2 data. In comparison result, RMSE was under than 15 m.

위성기반 해수면온도는 광역 모니터링이 가능한 장점이 있지만, 다양한 환경적 그리고 기계적 이유로 인한 시공간적 자료공백이 발생한다. 자료공백으로 인한 활용성의 한계가 있으므로, 공백이 없는 자료 생산이 필수적이다. 따라서 본 연구에서는 한반도 주변 해역에 대해 극궤도와 정지궤도 위성에서 생산되는 해수면온도 자료를 두 단계의 기계학습을 통해 융합하여 4 km의 공간해상도를 가지는 일별 해수면온도 합성장을 만들었다. 첫번째 복원 단계에서는 Data INterpolate Convolutional AutoEncoder (DINCAE) 모델을 이용하여 다종 위성기반 해수면온도 자료를 합성하여 복원하였고, 두번째 보정 단계에서는 복원된 해수면온도 자료를 현장관측자료에 맞춰 Light Gradient Boosting Machine (LGBM) 모델로 학습시켜 최종적인 일별 해수면온도 합성장을 만들었다. 개발된 모델의 검증을 위해 복원 단계에서 무작위 50일의 자료 중 일부분을 제거하여 복원한 뒤 제거된 영역에 대해 검증하였으며, 보정 단계에서는 Leave One Year Out Cross Validation (LOYOCV) 기법을 이용하여 현장자료와의 정확도를 검증하였다. DINCAE 모델의 해수면온도 복원 결과는 상당히 높은 정확도(R²=0.98, bias=0.27℃, RMSE=0.97℃, MAE=0.73℃)를 보였다. 두번째 단계의 LGBM 보정 모델의 정확도 개선은 표층 뜰개 부이와 계류형 부이 현장자료와의 비교에서 모두 상당한 향상(RMSE=∆0.21-0.29℃, rRMSE=∆0.91-1.65%, MAE=∆0.17-0.24℃)을 보여주었다. 특히, 모든 현장 자료를 이용한 보정 모델의 표층 뜰개 부이와의 정확도는 동일한 현장 자료가 동화된 기존 해수면온도 합성장보다 나은 정확도를 보였다. 또한 LGBM 보정 모델은 랜덤포레스트(random forest)를 사용한 선행연구에서 보고된 과적합의 문제를 상당부분 해결하였다. 보정된 해수면온도는 기존의 초고해상도 해수면온도 합성장들과 유사한 수준으로 수온 전선과 와동 등의 중규모 해양현상을 뚜렷하게 모의하였다. 본 연구는 다종위성 자료와 기계학습 기법을 사용해 시공간적 공백 없는 고해상도 해수면온도 합성장 제작 방법을 제시하였다는 점에서 가치가 있다.

Although satellite-based sea surface temperature (SST) is advantageous for monitoring large areas, spatiotemporal data gaps frequently occur due to various environmental or mechanical causes. Thus, it is crucial to fill in the gaps to maximize its usability. In this study, daily SST composite fields with a resolution of 4 km were produced through a two-step machine learning approach using polar-orbiting and geostationary satellite SST data. The first step was SST reconstruction based on Data Interpolate Convolutional AutoEncoder (DINCAE) using multi-satellite-derived SST data. The second step improved the reconstructed SST targeting in situ measurements based on light gradient boosting machine (LGBM) to finally produce daily SST composite fields. The DINCAE model was validated using random masks for 50 days, whereas the LGBM model was evaluated using leave-one-year-out cross-validation (LOYOCV). The SST reconstruction accuracy was high, resulting in R² of 0.98, and a root-mean-square-error (RMSE) of 0.97℃. The accuracy increase by the second step was also high when compared to in situ measurements, resulting in an RMSE decrease of 0.21-0.29℃ and an MAE decrease of 0.17-0.24℃. The SST composite fields generated using all in situ data in this study were comparable with the existing data assimilated SST composite fields. In addition, the LGBM model in the second step greatly reduced the overfitting, which was reported as a limitation in the previous study that used random forest. The spatial distribution of the corrected SST was similar to those of existing high resolution SST composite fields, revealing that spatial details of oceanic phenomena such as fronts, eddies and SST gradients were well simulated. This research demonstrated the potential to produce high resolution seamless SST composite fields using multi-satellite data and artificial intelligence.