Ohyeah at VLSP2022-EVJVQA challenge: a jointly language-image model for multilingual visual question answering
Tác giả: Luan Ngo Dinh, Hieu Le Ngoc, Long Quoc Phan
Số trang:
P. 381-392
Số phát hành:
Tập 39 - Số 4
Kiểu tài liệu:
Tạp chí trong nước
Nơi lưu trữ:
03 Quang Trung
Mã phân loại:
005
Ngôn ngữ:
Tiếng Anh
Từ khóa:
Machine reading comprehension, question answering
Chủ đề:
Computer program language
Tóm tắt:
In this paper, we propose applying a jointly developed model to the task of multilingual visual question answering. Specifically, we conduct experiments on a multimodal sequence-to-sequence transformer model derived from the T5 encoder-decoder architecture. Text tokens and Vision Transformer (ViT) dense image embeddings are inputs to an encoder then we used a decoder to automatically anticipate discrete text tokens. We achieved the F1-score of 0.4349 on the private test set and ranked 2nd in the EVJVQA task at the VLSP shared task 2022. For reproducing the result, the code can be found at https://github.com/DinhLuan14/VLSP2022-VQA-OhYeah.
Tạp chí liên quan
- Chuyển đổi số, khả năng vượt các rào cản xuất khẩu và tác động đến kết quả xuất khẩu của doanh nghiệp
- Nghiên cứu các yếu tố ảnh hưởng đến ý định áp dụng kinh tế tuần hoàn trong nông nghiệp tại Hà Nội
- Thương hiệu nhà tuyển dụng và hoạt động thu hút nhân sự tài năng: Góc nhìn từ thực tiễn doanh nghiệp tư nhân tại Việt Nam
- Các yếu tố ảnh hưởng đến tỷ lệ thu nhập phi lãi trên tổng tài sản của các ngân hàng thương mại cổ phần niêm yết, đăng ký giao dịch trên thị trường chứng khoán Việt Nam
- Nghiên cứu về ảnh hưởng của giá trị cá nhân và giá trị văn hoá đến ý định mua sản phẩm thời trang second-hand của thế hệ Z tại thành phố Hà Nội: Vai trò điều tiết của bản sắc tiết kiệm