메이아이의 컴퓨터 비전 글로벌 AI 학회 'CVPR 2023' 논문 채택을 축하합니다!

메이아이의 논문이 세계 최대의 컴퓨터 비전 학회 'CVPR(Computer Vision and Pattern Recognition)'에 채택되었습니다.

논문 주제 소개

Jeeseung Park, Jin-Woo Park, Jong-Seok Lee, "ViPLO: Vision Transformer based Pose-Conditioned Self-Loop Graph for Human-Object Interaction Detection"

- <CVPR 2023>

이번 연구의 주제는 AI를 이용한 사람-사물 인터랙션(Human-Object Interaction, HOI) 인식 기술과 관련된 것입니다. 최근 각광받는 '비전 트랜스포머(Vision Transformer)' 계열의 인공지능 모델 구조를 HOI 분야에 적용할 때 발생하는 문제를 해결하여 더 높은 성능을 내도록 하는 새로운 구조의 모듈을 제안했습니다.

여기서 비전 트랜스포머 모델이란 자연어처리 분야에서 소개된 최고 수준의 결과를 달성한 최신의 어텐션 기반(attention-based) 트랜스포머 모델을 컴퓨터 비전 분야에 적용한 모델입니다.

다만 비전 트랜스포머를 HOI 분야에 직접 적용하게 되면 비전 트랜스포머의 이미지 패치 격자 분할 구조와 사람-사물의 위치 정보 간 정렬의 불일치가 일어나, 이후 연산에 악영향을 미치게 됩니다. 메이아이 연구진은 이 문제를 해결하기 위해 'MOA (Masking with Overlapped Area)'라고 이름 붙인 새로운 구조의 모듈을 제안하고 기존 그래프 뉴럴 네트워크를 개선하여, 세계 최고 수준의 성능을 달성하였습니다.

논문이 채택된 소감은?

이번 연구에는 메이아이의 박지승 연구원 주도로 수행되었습니다. 박지승 연구원과 함께 이번 연구에 참여하며 메이아이에서 인공지능 기반 영상 분석 기술 개발을 이끄끌고 있는 박진우 수석 연구원은 “AI를 활용해 더 다양한 종류의 기능을 고객에게 제공하기 위해 노력한 과정에서 세계적으로 인정받을 수 있는 연구 성과를 내어 기쁘다”라며, “이번 연구를 기반으로 실제 제품에 HOI 기술을 기반으로 한 분석 기능을 탑재하여 고객에게 새로운 가치를 제공할 수 있을 것으로 기대하고 있다”라는 소감을 밝혔습니다.

더불어 박준혁 대표는 “메이아이의 이번 연구 및 논문 발표는 인공지능 기반 오프라인 방문객 분석 솔루션 '매쉬(mAsh)'를 고도화하는 과정에서 발생하는 실질적인 니즈를 해결하기 위해 시작한 연구가 완성된 결과”라며 “인공 지능 컴퓨터 비전 분야에서 R&D 역량을 계속해서 쌓아 세계적인 학회에서 꾸준히 성과를 알리며 당사의 AI 기술 및 솔루션을 지속적으로 고도화 해나갈 것"이라는 포부를 전한 바 있습니다.

마치며

CVPR 학회는 매년 6월 전 세계적으로 유명한 컴퓨터 비전 및 패턴 인식 분야의 연구자들이 참가하는 대규모 학술 대회를 열고 있습니다. 올해의 'CVPR 2023' 국제 학술대회는 6월 18일부터 22일까지 캐나다 밴쿠버 컨벤션 센터에서 개최되며, 메이아이의 연구진도 현장에 방문하여 전 세계 AI 연구자들과 교류할 계획입니다.

메이아이는 이번 호재에 만족하지 않고, 지속적인 기술 개발에 힘을 쓸 계획입니다. 어제보다 오늘 더 성장하는 메이아이가 되겠습니다. 메이아이의 논문 및 코드, 관련 보도자료는 아래 북마크를 통해 자세히 열람하실 수 있습니다.

ViPLO: Vision Transformer based Pose-Conditioned Self-Loop Graph for Human-Object Interaction Detection

Human-Object Interaction (HOI) detection, which localizes and infers relationships between human and objects, plays an important role in scene understanding. Although two-stage HOI detectors have advantages of high efficiency in training and inference, they suffer from lower performance than one-stage methods due to the old backbone networks and the lack of considerations for the HOI perception process of humans in the interaction classifiers. In this paper, we propose Vision Transformer based Pose-Conditioned Self-Loop Graph (ViPLO) to resolve these problems. First, we propose a novel feature extraction method suitable for the Vision Transformer backbone, called masking with overlapped area (MOA) module. The MOA module utilizes the overlapped area between each patch and the given region in the attention function, which addresses the quantization problem when using the Vision Transformer backbone. In addition, we design a graph with a pose-conditioned self-loop structure, which updates the human node encoding with local features of human joints. This allows the classifier to focus on specific human joints to effectively identify the type of interaction, which is motivated by the human perception process for HOI. As a result, ViPLO achieves the state-of-the-art results on two public benchmarks, especially obtaining a +2.07 mAP performance gain on the HICO-DET dataset. The source codes are available at https://github.com/Jeeseung-Park/ViPLO.