Earticle

초록

한국어

비디오에서 행동의 위치를 추정하기 위해 행동의 시작과 끝에 모두 주석을 다는 것은 많은 비용을 요구한다. 따라서 주석 생성 비용을 줄이기 위해 비디오 단위의 행동 카테고리만 존재하는 약지도 학습이 활발히 진행되고 있지만 약 지도 학습은 행동단위 주석의 부재에 따른 많은 한계가 존재한다. 최근에는 주석의 생성 비용은 줄이면서 약지도 학 습에 비해 훨씬 개선된 성능을 낼 수 있는 포인트 주석 기반 약지도 학습에 대한 연구가 진행되고 있다. 하지만 이는 행동구간 내의 포인트가 존재하는 위치에 많이 의존한다는 한계가 있다. 본 연구진은 이런 점을 보완하고자, 행동구 간을 나타낼 수 있는 확률분포를 설계하고 포인트 주석을 샘플링하여 학습이 진행됨에 따라 점차 포인트 주석을 행 동구간의 가운데 방향으로 움직일 수 있게끔 하는 포인트 업데이트 방식을 제안한다. 실험은 제안하는 방법이 기존 의 포인트 주석 기반 학습에서 치우친 포인트가 주어진 경우 성능의 한계를 개선함을 보여준다.

영어

Labeling the starting and ending points of interesting actions in a video is labor-intensive and expensive. To reduce the labeling costs, many studies have been conducted on weakly supervised learning, where only video-level action labels exist, but it has limitations due to the absence of frame-level annotations. Recently, research has been conducted on point annotation-based learning, which can achieve much improved performance while reducing labeling costs. However, this has a limitation in that the performance depends the location of annotated points in the action interval. To compensate for this, we design a probability distribution that can represent action intervals, which allows us to sample point annotations and update them to gradually move point annotations toward the center of action intervals as learning progresses. Experiments show that the proposed method improves the performance limitation given biased points in a point annotation-based learning scheme.

목차

요약
Abstract
1. 서론
2. 관련 연구
2.1 약지도 기반의 행동구간 위치추정
2.2 포인트 기반의 행동구간 위치추정
2.3 포인트 기반 비디오 행동 클래스 인식
3. 제안하는 방식
3.1 비디오 위치추정 방식의 기본 동작원리
3.2. Completeness Learning 리뷰 및 한계점분석
3.3. Point update module
3.4. 전체 동작 방식
4. 실험
4.1 구현 세부사항
4.2 기존 알고리즘에 대한 평가와 제안하는 방법의 개선 평가
4.3 Ablation study: 포인트 주석의 업데이트 시기에 따른 평가
4.4 제안한 알고리즘의 한계점 및 개선 방향 논의
5. 결론
Acknowledgement
참고문헌

저자

• 김진아 [ Jinah Kim | 가천대학교 AI소프트웨어학부 ]
• 조정찬 [ Jungchan Cho | 가천대학교 AI소프트웨어학부 ] 교신저자

참고문헌