Image Cover
Avatar

Viblo AI

@ai

Report

Pinned Posts

Đóng góp của bài báo

Kết quả training có độ chính xác cao là rất tốt tuy nhiên việc tối ưu thời gian, tài nguyên training và inference của model cũng quan trọng không kém 😄 Được giới thiệu lần đầu vào năm 2020, EfficientNet là một họ các mô hình hiệu suất cao được tối ưu hóa cho việc huấn luyện hiệu quả trên các tác vụ liên quan đến hình ảnh. Với việc kết hợp phương pháp scaling và compound s...

299
2
0 0

All posts

Thumbnail Image
85
3
0 0
Avatar Viblo AI Aug 9th, 2023 10:00 a.m.
12 min read

Paper Reading | Hydra Attention: Efficient Attention with Many Heads

Giới thiệu chung Transformer thể hiện được sức mạnh vượt trội trong nhiều tác vụ AI nói chung và Computer Vision nói riêng, nếu đã là một người học tập và nghiên cứu về AI hẳn bạn không thể không biết để mô hình rất mạnh này 😄. Tuy nhiên, việc áp dụng Transformer vào những hình ảnh có kích thước lớn vẫn tồn tại một số khó khăn về mặt tính toán. Một lý do lớn cho điều này là self-attention tỷ l...

Thumbnail Image
172
2
0 0
Avatar Viblo AI Jul 25th, 2023 3:47 a.m.
12 min read

Paper reading | Neural News Recommendation with Long and Short-term User Representations

1. Động lực

Việc cá nhân hóa trong gợi ý tin bài là rất quan trọng với các nền tảng đọc báo online hiện tại, điều này làm tăng trải nghiệm người dùng lên đáng kể. Một vấn đề cốt lõi của gợi ý tin bài là học chính xác biểu diễn của user để nắm bắt được mối quan tâm của họ. Thường người dùng có sở thích ngắn hạn và dài hạn nhưng các hệ thống gợi ý hiện tại chỉ tập trung vào học biểu diễn đơn lẻ...

Thumbnail Image
147
4
0 0
Avatar Viblo AI Jul 20th, 2023 3:18 p.m.
17 min read

Paper Reading | DIT: SELF-SUPERVISED PRE-TRAINING FOR DOCUMENT IMAGE TRANSFORMER

Giới thiệu chung

Các bài toán trích xuất thông tin từ hình ảnh luôn được nhận sự quan tâm vì tính ứng dụng rộng rãi. Đặc biệt trong các bài toán liên quan đến trích xuất thông tin từ ảnh tài liệu. Trong vài năm trở lại đây, Transformer trở thành một game changer, không chỉ đạt những kết quả ấn tượng trong các tác vụ về Natural language processing mà những tác vụ Computer Vision cũng đạt những ...

Thumbnail Image
297
3
1 1
Avatar Viblo AI Jun 29th, 2023 6:19 a.m.
11 min read

Paper Reading | ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

Giới thiệu chung

Các mô hình Vision-and-Language pretraining (VLP) tỏ ra hiệu quả trong việc cải thiện các downstream task liên quan đến sự kết hợp thông tin cả ngôn ngữ và hình ảnh. Để đưa vào mô hình VLP, các pixel ảnh cần được embed cùng với các language token. Với bước embed ảnh thì không còn xa lạ rồi, ta có thể sử dụng những mạng CNN phổ biến 😄

Cho đến nay, hầu hết các nghiên cứu VLP đ...

Thumbnail Image
137
1
0 0
Avatar Viblo AI Jun 7th, 2023 8:41 a.m.
11 min read

Paper reading | MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE, AND MOBILE-FRIENDLY VISION TRANSFORMER

Giới thiệu chung Các mô hình CNN đạt được kết quả SOTA trong các task về mobile vision. Spatial inductive bias cho phép những mô hình này học với ít tham số hơn với các task Computer Vision khác nhau. Tuy nhiên, những mạng CNN có tính cục bộ về mặt không gian. Để có thể học được global representations, self-attention based vision transformer được sử dụng. Tuy đạt được kết quả chính xác cao, như...

Thumbnail Image
136
3
0 0
Avatar Viblo AI May 17th, 2023 7:22 a.m.
9 min read

Paper reading | Neural News Recommendation with Attentive Multi-View Learning

1. Động lực

Việc cá nhân hóa trong gợi ý tin bài là rất quan trọng với các nền tảng đọc báo online hiện tại, điều này làm tăng trải nghiệm người dùng lên đáng kể. Các phương pháp gợi ý hiện tại chỉ dựa vào biểu diễn thông tin đơn lẻ của tin bài (ví dụ: title, body,...) và như thế là chưa đủ. Do vậy, cần một cách tiếp cận khác để tăng độ chính xác trong việc gợi ý tin bài cho người dùng.

2. ...

Thumbnail Image
546
4
0 0
Avatar Viblo AI May 12th, 2023 5:55 a.m.
11 min read

Paper Reading | ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders

1. Động lực

Các bài toán Computer Vision ngày càng đạt hiệu suất cao nhờ sự phát triển về kiến trúc mô hình và các framework hiện đại. Tuy được thiết kế theo hướng supervised learning trên tập ImageNet đã được gán nhãn nhưng các model này vẫn có tiềm năng cải thiện hơn nữa theo cách tiếp cận self-supervised learning ví dụ như Masked autoencoders (MAE). Tuy nhiên, nhóm tác giả nhận thấy là kết...

Mayfest2023 Deep Learning
Viblo
Let's register a Viblo Account to get more interesting posts.