Image Cover
Avatar

Viblo AI

@ai

Báo cáo

Bài viết được ghim

Đóng góp của bài báo

Kết quả training có độ chính xác cao là rất tốt tuy nhiên việc tối ưu thời gian, tài nguyên training và inference của model cũng quan trọng không kém 😄 Được giới thiệu lần đầu vào năm 2020, EfficientNet là một họ các mô hình hiệu suất cao được tối ưu hóa cho việc huấn luyện hiệu quả trên các tác vụ liên quan đến hình ảnh. Với việc kết hợp phương pháp scaling và compound s...

534
2
0 0

Tất cả bài viết

Thumbnail Image
65
1
1 0
Avatar Viblo AI Thứ Sáu, 8:00 SA
17 phút đọc

[LLM 101] Thảo luận các vấn đề về Finetune Large Language Models

Giới thiệu

Như các bạn đã biết, lĩnh vực trí tuệ nhân tạo đang phát triển nhanh chóng và việc sử dụng hiệu quả các mô hình ngôn ngữ lớn (large language models - LLMs) trở nên ngày càng quan trọng. Tuy nhiên, có nhiều cách sử dụng khác nhau đối với LLMs, điều này có thể khiến người mới bắt đầu cảm thấy hơi ngợp 😄

Về cơ bản, có hai cách chính để sử dụng pretraining LLMs cho các tác vụ mới: Học...

Thumbnail Image
84
1
0 0
Avatar Viblo AI Thứ Năm, 8:00 SA
16 phút đọc

[LLM 101 - Paper reading] SaulLM-7B: A pioneering Large Language Model for Law

Đóng góp của bài báo

Việc áp dụng mô hình ngôn ngữ lớn (LLMs) trong nhiều lĩnh vực như dịch thuật, y tế và sinh code đạt được nhiều thành tựu nổi bật. Tuy nhiên, lĩnh vực pháp lý vẫn chưa tận dụng hết tiềm năng của LLMs. Bài báo giới thiệu SaulLM-7B, LLM dành cho pháp lý đầu tiên được thiết kế để giải quyết những thách thức ngôn ngữ đặc trưng trong văn bản pháp lý. Cách tiếp cận của bài báo tậ...

Thumbnail Image
40
0
0 0
Avatar Viblo AI thg 10 30, 8:00 SA
20 phút đọc

[LLM 101] Thử cài đặt Decomposed Low-Rank Adaptation (DoRA)

Giới thiệu

Low-rank adaptation (LoRA) là một phương pháp trong học máy được sử dụng để finetune một mô hình pretrain (ví dụ, một Large Language Model hoặc mô hình Vision Transformer) nhằm align nó với một tập dữ liệu cụ thể, thường là tập dữ liệu nhỏ hơn. Để đạt được này ta chỉ cần điều chỉnh chỉ một phần nhỏ lượng tham số của mô hình. Cách tiếp cận này quan trọng vì nó cho phép finetune hiệu ...

Thumbnail Image
68
2
0 0
Avatar Viblo AI thg 10 29, 8:00 SA
11 phút đọc

[LLM 101 - Paper reading] Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment

Đóng góp của bài báo

Các Mô hình Ngôn ngữ Lớn (LLMs) như GPT-4 thể hiện khả năng đáng kinh ngạc trong việc hiểu ý định (understanding intent), tuân theo hướng dẫn (following instructions), và thực hiện một loạt các nhiệm vụ đa dạng. Mặc dù có những năng lực này, LLMs vẫn thiếu tính chất giống con người trong giao tiếp do không có sự hiểu biết về trải nghiệm và thiếu chiều sâu cảm xúc, dẫn đến ...

Thumbnail Image
98
0
1 0
Avatar Viblo AI thg 10 28, 8:00 SA
16 phút đọc

Paper reading | Tạo âm thanh từ văn bản sử dụng Latent Diffusion Models

Giới thiệu

Tạo hiệu ứng âm thanh, nhạc, hoặc giọng nói theo yêu cầu là 1 ý tưởng hay cho các ứng dụng như thực tế tăng cường, thực tế ảo, phát triển trò chơi và chỉnh sửa video. Trước đây, việc tạo âm thanh thường được thực hiện thông qua các kỹ thuật xử lý tín hiệu. Thời gian gần đây, chúng ta đã có những mô hình Generative AI mạnh mẽ, giúp xử lý các task này 1 cách đơn giản hơn 😄

Các nghiê...

Thumbnail Image
166
2
0 0
Avatar Viblo AI thg 10 24, 3:00 SA
12 phút đọc

[LLM 101 - Paper reading] Tìm hiểu Corrective Retrieval Augmented Generation (CRAG)

Giới thiệu

Hãy tưởng tượng bạn đang trong giờ kiểm tra và thầy của bạn cho mở sách 😄 Chúng ta sẽ có 3 chiến lược để làm bài kiểm tra như sau:

  • Chiến lược 1: Trả lời nhanh các câu mà bạn đã ôn tập. Đối với những câu mà bạn chưa học, mở sách ra và tham khảo thôi 😄. Khi này bạn phải nhanh chóng tìm trong sách các kiến thức liên quan đến câu hỏi, tổ chức lại và tóm tắt chúng trong đầu, sau đó ...
Thumbnail Image
134
2
1 0
Avatar Viblo AI thg 10 22, 3:00 SA
12 phút đọc

Hands on | Thử tạo Machine Learning models với BigQuery ML trên Google Cloud

Giới thiệu

Bên cạnh việc tạo và train model chay thì việc biết sử dụng các dịch vụ Cloud sẽ giúp các bạn tiết kiệm rất nhiều thời gian và công sức. Các dịch vụ này cung cấp những công cụ mạnh mẽ cho việc lưu trữ dữ liệu, xử lý tính toán, và triển khai mô hình. Thay vì phải đầu tư vào cơ sở hạ tầng vật lý, bạn có thể dễ dàng truy cập vào tài nguyên tính toán thông qua các nền tảng như Amazon We...

Thumbnail Image
48
2
0 0
Avatar Viblo AI thg 10 21, 4:00 SA
15 phút đọc

LLM 101 | FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Đóng góp của bài báo

Nếu quen thuộc với Self-attention thì chúng ta đều biết rằng Self-attention có độ phức tạp bậc 2 với độ dài của chuỗi đầu vào. Điều đó có nghĩa là Transformer sẽ chạy rất chậm và tiêu tốn bộ nhớ với các chuỗi dài. Hạn chế lớn này của Transformer sẽ ảnh hưởng đến rất nhiều tới mô hình ngôn ngữ lớn, khi đầu vào là các context, chuỗi văn bản dài. Câu hỏi quan trọng đặt ra là ...

Thumbnail Image
355
3
1 0
Avatar Viblo AI thg 10 4, 10:21 SA
19 phút đọc

[LLM 101] Thảo luận về finetune model LLM sử dụng LoRA (Low-Rank Adaptation)

Giới thiệu về LoRA

Các bạn đều biết rằng các LLM hiện nay đều có kích thước rất lớn và và việc cập nhật tất cả các tham số của mô hình trong quá trình training có thể rất tốn kém do giới hạn bộ nhớ GPU.

Ví dụ, giả sử chúng ta có một LLM với 7 tỷ tham số được biểu diễn trong một ma trận trọng số . (Thực tế, các tham số của mô hình được phân bổ qua nhiều ma trận khác nhau ở nhiều layer, nhưng đ...

Thumbnail Image
325
4
0 0
Avatar Viblo AI thg 9 28, 8:00 SA
19 phút đọc

Tìm hiểu cách training model sử dụng nhiều GPU trong Pytorch

Động lực

Nếu đã là một người học và làm AI thì hẳn chúng ta không còn xa lạ gì với việc train/test model sử dụng GPU. Việc training model sử dụng GPU giúp ta rút ngắn thời gian training đi rất nhiều so với sử dụng CPU. Khi model hoặc dataset trở nên lớn hơn, chỉ sử dụng 1 GPU là không đủ, ví dụ như trong các Large language model hiện nay phải sử dụng rất nhiều GPU khỏe và training trong rất nh...

Thumbnail Image
121
0
0 0
Avatar Viblo AI thg 9 21, 8:00 SA
10 phút đọc

Paper reading | ViViT: A Video Vision Transformer

Đóng góp của bài báo

Bài báo đề xuất một mô hình transformer thuần có tên là ViViT sử dụng cho bài toán video classification. Thao tác chính vẫn là sử dụng self attention cho chuỗi các spatio-temporal (không gian-thời gian) token được trích xuất từ video đầu vào 😀 Để xử lý hiệu quả một lượng lớn các spatio-temporal token có thể gặp trong video, nhóm tác giả đề xuất một số phương pháp phân tích...

Thumbnail Image
258
3
1 0
Avatar Viblo AI thg 9 6, 9:00 SA
10 phút đọc

Paper reading | Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

Đóng góp của bài báo

Các bài toán OCR luôn được sự quan tâm trong giới AI nhờ khả năng ứng dụng rộng rãi 😀 Một thách thức lớn mà các model hiện tại gặp phải khi giải quyết bài toán này đó là các scene image được chụp từ nhiều điều kiện môi trường khác nhau, do đó text có thể bị che khuất, mờ, nhiễu,... điều này rất khó để model có thể nhận biết được nội dung text trong ảnh.

Cũng như con người...

Thumbnail Image
88
2
1 0
Avatar Viblo AI thg 8 30, 9:00 SA
17 phút đọc

Paper reading | DETRs Beat YOLOs on Real-time Object Detection

Động lực và đóng góp

Real-time object detection là một chủ đề nghiên cứu chưa bao giờ là hết hot do tính ứng dụng thực tiễn cao, một số ứng dụng có thể kể đến đó là object tracking, xe tự hành,... Các mô hình real-time detector hiện tại chủ yếu xây dựng từ kiến trúc CNN có tốc độ inference nhanh nhưng lại là một sự đánh đổi giữa tốc độ và chính xác. Đặc biệt, các mô hình real-time detector này...

Thumbnail Image
68
5
1 0
Avatar Viblo AI thg 8 24, 8:00 SA
16 phút đọc

Paper reading | Masked Motion Encoding for Self-Supervised Video Representation Learning

Đóng góp của bài báo

Bài báo đóng góp một phương pháp để có thể học biểu diễn video (Video representation learning) một cách hiệu quả. Do lượng video data được gán nhãn còn hạn chế nên việc có một phương pháp có thể tận dụng nguồn data không gán nhãn này là một điều cần thiết.Những năm gần đây trong các bài toán computer vision, có rất nhiều nghiên cứu ứng dụng self-supervised learning để học ...

Thumbnail Image
181
4
3 0
Avatar Viblo AI thg 8 10, 8:00 SA
8 phút đọc

[Paper reading] Rethinking Table Recognition using Graph Neural Networks

Abstract Thành công gần đây của deep learning trong việc giải quyết các vấn đề về thị giác máy tính và học máy khác nhau không được thể hiện tốt trong phân tích cấu trúc tài liệu vì mạng nơ-ron thông thường không phù hợp với cấu trúc đầu vào của bài toán. Trong bài báo, nhóm tác giả đề xuất một cấu trúc dựa trên mạng đồ thị là một thay thế tốt hơn so với các mạng neural tiêu chuẩn cho table rec...

Thumbnail Image
916
3
1 0
Avatar Viblo AI thg 7 19, 9:00 SA
10 phút đọc

Tất tần tật về Airflow (Phần 1)

Giới thiệu chung

Airflow là gì?

Airflow là một hệ thống mã nguồn mở phát triển bởi Airbnb và sau đó được chuyển giao cho cộng đồng Apache. Được giới thiệu lần đầu vào năm 2014, Airflow trở thành một trong những công cụ quản lý công việc lập lịch và quản lý quy trình hàng đầu trong cộng đồng phân tích dữ liệu và khoa học dữ liệu.

Airflow cho phép người dùng định nghĩa (define), lập lịch (sche...

Thumbnail Image
46
2
0 0
Avatar Viblo AI thg 7 5, 8:03 SA
9 phút đọc

[LLM - Paper reading] Self-Rewarding Language Models - Tìm hiểu cách LLM tự nâng cấp chính nó

Giới thiệu

Các bạn tìm hiểu về LLM chắc không còn lạ gì với RLHF (Reinforcement learning with Human Feedback). Đây là kĩ thuật giúp bạn căn chỉnh (align) LLM sử dụng human preference data, giúp tăng chất lượng của pretrained model. Cách tiếp cận của RLHF khá cơ bản như sau:

  • Train 1 reward model từ human preference. Human preference ở đây các bạn có thể hiểu là nhãn feedback của con người. Ví...
Thumbnail Image
209
2
1 0
Avatar Viblo AI thg 7 5, 7:44 SA
14 phút đọc

[LLM 101 - Paper reading] MemGPT: Towards LLMs as Operating Systems

Đóng góp của bài báo

Hãy tưởng tượng bạn đang cố gắng đọc một cuốn sách rất dài mà chỉ có thể nhớ được một số trang gần nhất bạn vừa đọc. Điều này giống như vấn đề của các mô hình ngôn ngữ lớn (LLM), các mô hình này khó có thể "nhớ" hoặc xử lý thông tin từ những cuộc trò chuyện hoặc tài liệu dài vì chúng chỉ có khả năng xem xét một lượng thông tin giới hạn tại một thời điểm. Đây chính là vấn đ...

Thumbnail Image
362
3
0 2
Avatar Viblo AI thg 7 4, 9:00 SA
10 phút đọc

Tìm hiểu DVC (phần 1): Làm quen với một số concept cơ bản của DVC

Giới thiệu DVC (Data Version Control) là một công cụ quản lý phiên bản cho dữ liệu (Data Version Control) được sử dụng để quản lý các phiên bản của dữ liệu và các tập tin liên quan đến dữ liệu trong các dự án Machine Learning.

Giống như Git, DVC cũng sử dụng hệ thống quản lý phiên bản (version control) để lưu trữ và quản lý các phiên bản của dữ liệu và các tập tin liên quan đến dữ liệu. DVC ch...

Thumbnail Image
297
2
0 0
Avatar Viblo AI thg 6 20, 9:50 SA
6 phút đọc

Paper reading | Fastformer: Additive Attention Can Be All You Need

1. Động lực

Transformer là model nổi tiếng với khả năng xử lý trên dữ liệu dạng văn bản một cách mạnh mẽ. Tuy nhiên, điểm trừ lớn của Transformer là độ phức tạp bậc hai với độ dài của chuỗi đầu vào. Trong bài báo, nhóm tác giả đề xuất model Fastformer với mục tiêu tăng độ hiệu quả của model Transformer dựa trên cơ chế additive attention.

2. Đóng góp

Trong Fastformer thay vì modeling tương ...

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí