Earticle

최근 인공지능을 이용한 이미지 혹은 영상 분석을 위해 컴퓨터 비전 분야에 관한 연구가 폭발적인 관심을 받고 있 다. 컴퓨터의 사용이 많아지면서 이미지 파일로 존재하는 문자를 수정 가능한 텍스트 형태로 바꾸기 위한 인공지능 기 반 시스템의 개발 필요성이 대두되었는데, 특히 종이 문서를 디지털 문서로 변환하는 작업을 무인화할 수 있는 시스템 의 핵심적인 기술인 광학 문자 인식 기술(Optical Character Recognition, OCR)은 높은 인식률과 성능으로 차량 번호 판 인식, 신분증 인식, 신용카드 인식 등 다양한 플랫폼에서 활용되고 있다. 인쇄체에 대한 OCR 기술은 많은 연구가 이루어지고 있으나 최근 코로나로 인해 시장 규모가 폭발적으로 성장한 물류 운송 플랫폼에서 주로 사용되는 필기체 의 문자 인식 기술은 그렇지 못하다. 영문 필기체 인식률이 높은 정확도를 보인다는 것에 비해 한글 필기체 인식률은 더 낮은 정확도를 보였는데, 한글 데이터의 가짓수가 적고, 한글 구조의 복잡성으로 인해 한글 필기체의 학습이 더욱 어렵기 때문이다. 영문은 대, 소문자를 합쳐 총 52개의 문자를 분류하면 되지만, 한글의 경우 자음과 모음으로 음절이 구성되어 총 분류가 필요한 문자의 수가 11,172개로 분류 난이도가 매우 높다는 단점이 있고 이 때문에 학습이 어렵 다. 이러한 단점을 해결하기 위해 분류할 문자의 수를 줄여 학습의 난이도를 낮추는 것이 필수적이다. 따라서 한글의 구조적 특성을 이용하여 인식 단위를 자음, 모음 단위로 한정하여 분류하는 모델을 구성한다면 분류해야 할 문자의 수 가 초성 19개, 중성 21개, 종성 20개로 총 60개로 줄일 수 있어 학습의 난이도를 낮추고 정확도를 높일 수 있을 것이 다. 그러나 자음, 모음 인식 모델에 적용할 오픈된 한글의 자음, 모음 데이터세트는 없었으며, 비슷한 문제를 해결하기 위한 데이터세트도 존재하지 않았다. 또한, 오픈된 많은 한글 음절 단위의 데이터세트조차 본 연구에서 해결하려 하는 수기 운송장 인식 문제와 관련성이 없는 특징들이 내재 되어있는 경우들이 빈번했다. 따라서 현재 해결하려고 하는 문 제에 맞춰 직접 원하는 방법으로 데이터세트를 구축하여 수기 운송장 인식 문제를 해결하고자 한다. 본 연구에서는 수기 운송장 내 문자들을 인식하기 위한 학습용 데이터세트 구축 방법을 제안한다. 제안하는 데이터 세트의 구성은 기존의 한글 OCR 데이터세트처럼 음절 단위로만 구성된 것이 아닌, 자음, 모음 단위의 데이터로 이루 어진다. 이는 분류하여야 할 문자의 수를 60개까지 획기적으로 줄임으로써 학습모델의 정확도를 높일 수 있을 것이다. 또한, 딥러닝 기반 CNN(Convolutional Neural Networks)로 구성된 기존 OCR 모델에 제안하는 샘플 데이터세트를 적 용하여 적절성 여부를 판단하였다. 추후 연구인 한글의 자음, 모음 단위 인식 모델과 기존 한글 OCR 모델을 결합하여 한글 필기체 인식률을 향상시키는 알고리즘에 관한 연구에 기반이 되는 데이터세트로 활용할 가능성을 확인하였다.

최근 카메라를 이용한 감시시스템이 보편화됨에 따라 이를 무인화하는 연구가 활발히 이루어지고 있다. 기존의 감 시시스템은 다수의 영상을 사람이 직접 보고 판단하기 때문에 인적, 시간적 자원이 많이 소요되어 효율적인 시스템 운 용에 한계가 존재한다. 따라서 본 논문에서는 효율적인 실시간 무인 감시시스템 운용을 위한 Dense Image captioning 기반 실시간 객체 행동 인식 시스템을 제안한다. 제안하는 시스템은 이미지에 포함된 다수의 객체들에 대한 정보를 문 장으로 표현하는 Dense image captioning모델과 주어진 문장의 문법구조를 분석하고 동사를 추출하여 대상 객체의 행 동 정보를 파악하는 POS(Part of speech)분석 모델로 구성된다. 또한 이러한 시스템을 임베디드 보드에 적용시켜 독 자적으로 운용 가능한 실시간 행동인식이 가능한 무인 감시시스템을 가능하게 한다.

이미지 캡셔닝 분야는 컴퓨터가 이미지의 내용을 자연어 문장으로 서술하는 기술이다. 이미지 캡셔닝은 영상 데이 터를 다른 범주의 데이터인 자연어로 변환한다는 점에서, 영상과 자연어 두 데이터에 대한 높은 이해도가 필수적인 도 전적인 기술이다. 따라서 이미지 캡셔닝 기술을 잘 활용하면 영상 감시, 추적, 상황 판단 등과 같은 영상 데이터를 사 용해 상황을 판단하는 분야에서 기여할 수 있다. 딥러닝의 발전 이후 자연어처리와 컴퓨터 비전 모델의 성능이 크게 향상되면서 이미지 캡셔닝의 성능 또한 비약적 으로 높아졌다. 특히, 인코더로 이미지 정보를 추출하고, 자연어 정보와 결합하여 문장을 생성하는 디코더를 사용하는 인코더-디코더 구조의 접근법을 사용하고 있다. 인코더-디코더 구조는 이미지와 문장 정보를 결합해 정확한 캡션을 생성할 수 있고 End-To-End로 학습이 가능하다는 장점이 있지만 디코더를 통해 캡션을 생성할 때 캡션 데이터의 정 보 손실이 크다는 단점이 있다. 이는 디코더로 사용하는 Recurrent Neural Network(RNN) 모델의 한계로, 단어를 예 측하는 각 시점의 정보를 입력으로 하는데 생성되는 캡션의 길이가 길어질수록 이전 시점들의 예측 단어에 대한 정보 가 감소하게 되어 소실될 수 있다는 것이다. 이러한 문제를 해결하기 위해 자연어처리 분야에서 활발히 연구되고 있는 어텐션(Attention) 메커니즘 기반의 방법들을 적용한 이미지 캡셔닝 방법들이 제안되었다. 어텐션 메커니즘은 디코더에 서 캡션 단어를 예측하는 매 시점에서 다른 시점들의 중요한 특징 정보에 집중할 수 있게 한다. 따라서, 최근의 이미 지 캡셔닝은 캡션 예측 시 특정 이미지 영역에 집중하거나 이전 캡션들의 정보에 집중하여 정확한 캡션을 생성하는 방법에 대한 연구가 꾸준히 진행되고 있다. 하지만, 이미지 캡셔닝의 주된 목적인 정확한 캡션 생성은 정확한 내용을 서술되면서 또한 사용자가 읽기 쉬운 단어 배치로 캡션이 생성되어야 한다. 따라서, 단어의 배치나 문장 구조와 같은 문법적인 특성을 고려한 연구가 필요하다. 단어의 품사는 단어가 문장에서 가지는 문법적인 역할을 표현한 정보로, 단어의 배치와 문장 구조에 대한 특징들을 가지고 있다. 예를 들어, 관사는 명사 앞에 배치되어 명사와 함께 쓰이는 품사이며, 형용사는 명사를 수식하는 역할로 명사의 전후에 배치된다. 즉, 품사의 배치는 다른 품사와 연결되어 있다. 또한, 명사와 동사와 같은 품사의 단어는 이 미지의 내용을 직접적으로 나타내는 정보일 것이다. 즉, 명사나 동사 같은 품사는 이미지의 내용에서 주체가 될 수 있 는 객체의 상태, 종류를 설명한다는 것이다. 이를 이미지 캡셔닝에서 이미지, 문장과 함께 메타데이터로써 사용하면 문 법적인 구조를 유지하는 정확한 캡션을 생성할 수 있다. 본 연구에서는 품사를 어텐션 요소로 사용하는 이미지 캡셔닝 모델을 제안한다. 제안하는 이미지 캡셔닝 모델은 이 미지의 특징을 추출하는 인코더, 이미지 특징 벡터와 문장 정보 간의 어텐션 정도를 계산하고 이미지 특징 벡터와 품 사 간 어텐션 정도를 계산해 같이 결합하는 어텐션 레이어와 문장 정보와 품사 정보를 함께 결합하여 캡션을 생성하 는 레이어가 포함된 디코더로 구성되어 있다. 이미지와 문장 간 어텐션 정도는 문장에 따라 집중될 이미지 정보를 파 악할 수 있고 이미지와 품사 간 어텐션 정도는 품사에 따라 집중될 이미지 정보를 파악할 수 있다. 그리고 문장 정보 와 품사 정보를 결합한 캡션 정보와 어텐션 정보를 결합함으로써 품사와 이미지에 집중된 정확하고 문장 구조를 준수 한 캡션을 생성할 수 있다.

최근 스마트팩토리와 같은 자동화 기술이 발전함에 따라 24시간 운용 가능한 물류 시스템에 대한 요구가 늘어나고 있다. 기존의 인력에 의존한 적재방식과 달리 로봇 기반의 적재 시스템은 화물의 크기나 형태에 따라 유동적인 배치가 어렵기 때문에 적재 공간의 효율적 이용에 한계가 존재한다. 따라서 본 논문에서는 향후 보편화될 로봇 기반의 적재 시스템에 적합한 화물 관리 방식 및 최적화 알고리즘을 제안한다. 제안하는 시스템은 고속 검색 및 효율적 관리를 위 한 Heap 구조기반 화물 관리 방식과 공간 효율을 극대화하기 위한 그리드기반 적재 최적화 알고리즘을 포함한다. 일 반적으로 택배화물은 우선순위 큐와 같이 선입선출 구조를 가지며 동시에 화물의 입출고로 인해 화물 데이터베이스의 가변성이 높다. 따라서 Heap 구조를 통해 화물 데이터베이스를 구축하여 효율성을 높인다.