Earticle

현재 위치 Home

Oral Session B-1: Vision Applications

Reference-Guided Automatic Mask Generation with SAM and CLIP for Metaverse Content Editing

첫 페이지 보기
  • 발행기관
    한국차세대컴퓨팅학회 바로가기
  • 간행물
    한국차세대컴퓨팅학회 학술대회 바로가기
  • 통권
    ICNGC 2025 The 11th International Conference on Next Generation Computing 2025 (2025.12)바로가기
  • 페이지
    pp.35-38
  • 저자
    Xingshi Gan, Wenqi Zhang, L. Minh Dang, Yue Zhang, Yanan Wang, Seongwook Lee, Hyeonjoon Moon
  • 언어
    영어(ENG)
  • URL
    https://www.earticle.net/Article/A478454

원문정보

초록

영어
We introduce a reference-guided, fully automatic mask generation framework that does not rely on textual prompts or manual annotations. The approach first uses Segment Anything Model (SAM) with automatic mask generation (AMG) to produce multiple mask candidates. Each candidate is then scored against the reference image in the CLIP semantic space. A robust Top-K selection with prior reweighting favors plausible regions and suppresses small, off-center, or abnormal aspect-ratio masks. Finally, morphological closing and Gaussian feathering yield refined hard/soft masks that can be directly consumed by inpainting or blending modules. Experiments on a COCO subset and our in-house images show strong performance on segmentation metrics (IoU, Dice) and perceptual measures (FID, LPIPS, CLIP-Score), while avoiding the cost of manual masks. This enables streamlined asset preparation for metaverse content creation, immersive AR/VR scenes, and large-scale digital twins where zero-interaction mask generation is crucial

목차

Abstract
I. INTRODUCTION
II. RELATED WORK
III. METHODOLOGIES
A. Overall Framework
B. Candidate Mask Generation (SAM-AMG)
C. Mask–Reference Similarity (CLIP Matching)
D. Top-K Robust Selection and Union
E. Prior Reweighting
F. Methodologies
G. Extensions and Robustness
IV. EXPERIMENTS
A. Evaluation Setup
B. Quantitative Results
C. Qualitative Results
V. CONCLUSION
Acknowledgment
REFERENCES

키워드

Segment Anything CLIP Reference-guided editing Automatic mask Image inpainting Metaverse

저자

  • Xingshi Gan [ Department of Computer Science & Engineering Sejong University Seoul, Republic of Korea ]
  • Wenqi Zhang [ Department of Computer Science & Engineering Sejong University Seoul, Republic of Korea ]
  • L. Minh Dang [ Department of Computer Science & Engineering Sejong University Seoul, Republic of Korea ]
  • Yue Zhang [ Department of Computer Science & Engineering Sejong University Seoul, Republic of Korea ]
  • Yanan Wang [ Department of Computer Science & Engineering Sejong University Seoul, Republic of Korea ]
  • Seongwook Lee [ Department of Artificial Intelligence Data Science Sejong University Seoul, Republic of Korea ]
  • Hyeonjoon Moon [ Department of Computer Science & Engineering Sejong University Seoul, Republic of Korea ]

참고문헌

자료제공 : 네이버학술정보

간행물 정보

발행기관

  • 발행기관명
    한국차세대컴퓨팅학회 [Korean Institute of Next Generation Computing]
  • 설립연도
    2005
  • 분야
    공학>컴퓨터학
  • 소개
    본 학회는 차세대 PC 및 그 관련분야의 학술활동을 통하여 차세대 PC의 학문 및 기술발전을 도모하고 산업발전 및 국제협력 증진을 목적으로 한다.

간행물

  • 간행물명
    한국차세대컴퓨팅학회 학술대회
  • 간기
    반년간
  • 수록기간
    2021~2025
  • 십진분류
    KDC 566 DDC 004

이 권호 내 다른 논문 / 한국차세대컴퓨팅학회 학술대회 ICNGC 2025 The 11th International Conference on Next Generation Computing 2025

    피인용수 : 0건 (자료제공 : 네이버학술정보)

    함께 이용한 논문 이 논문을 다운로드한 분들이 이용한 다른 논문입니다.

      출처 : 네이버학술정보

        0개의 논문이 장바구니에 담겼습니다.

        페이지 저장
        소속기관 조회
        이용자님의 소속기관(단체)이 서비스에 가입되어 있는지 확인해 보십시오.
        기관회원에 소속되어 있는 이용자는 원문을 무료로 이용할 수 있습니다.