Image Cover
Avatar

Viblo AI

@ai

Báo cáo

Bài viết được ghim

Đóng góp của bài báo

Kết quả training có độ chính xác cao là rất tốt tuy nhiên việc tối ưu thời gian, tài nguyên training và inference của model cũng quan trọng không kém 😄 Được giới thiệu lần đầu vào năm 2020, EfficientNet là một họ các mô hình hiệu suất cao được tối ưu hóa cho việc huấn luyện hiệu quả trên các tác vụ liên quan đến hình ảnh. Với việc kết hợp phương pháp scaling và compound s...

549
2
0 0

Tất cả bài viết

Thumbnail Image
15
0
0 0
Avatar Viblo AI khoảng 15 giờ trước
15 phút đọc

Một số khái niệm cơ bản trong bài toán xử lý âm thanh sử dụng Deep learning (Phần 1)

Âm thanh là gì?

Nếu học các kiến thức môn Vật lý cấp 2, cấp 3 hẳn các bạn đều biết rõ bản chất âm thanh là gì 😄 Âm thanh là tín hiệu được tạo ra bởi sự biến đổi của áp suất không khí. Những biến đổi này có thể được đo lường và biểu đồ hóa theo thời gian. Khi chúng ta đo cường độ của các biến đổi áp suất và vẽ các số đo này theo thời gian, chúng ta có thể thấy các tín hiệu âm thanh.

Âm thanh ...

Thumbnail Image
70
2
1 0
Avatar Viblo AI Thứ Hai, 8:00 SA
6 phút đọc

[LLM 101] Thử chạy Llama 3 trên Laptop cá nhân

Giới thiệu

LLama 3 là một mô hình mới được release gần đây bởi Meta gây xôn xao cho cộng đồng làm AI. Trong bài viết này, mình sẽ trình bày cách bạn có thể chạy một mô hình Llama 3 trên ngay chính laptop của mình. Không cần dài dòng nữa, chúng ta bắt đầu thôi 😄

Cài đặt

Chúng ta sẽ cần 2 thư viện sau:

Với CPU: Tạo một thư mục mới tên là TestLlama3 và vào terminal chạy đoạn script sau:

Bây ...

Thumbnail Image
46
2
0 0
Avatar Viblo AI Chủ Nhật, 10:00 SA
8 phút đọc

[LLM 101] Cài đặt kĩ thuật RAG sử dụng Hybrid Search, Embed Caching và Mistral-AI

RAG là gì?

RAG, hay Retrieval Augmented Generation, là một phương pháp kết hợp các yếu tố của truy xuất thông tin và tạo ra ngôn ngữ tự nhiên nhằm cải thiện chất lượng của văn bản được tạo ra, đặc biệt là trong bối cảnh các nhiệm vụ ngôn ngữ phức tạp như trả lời câu hỏi, tóm tắt và hoàn thành văn bản.

Mục tiêu chính của RAG là tăng độ chính xác của quá trình generate bằng cách truy xuất thông...

Thumbnail Image
49
2
0 0
Avatar Viblo AI Thứ Bảy, 10:00 SA
4 phút đọc

[LLM 101] Thử tạo bộ nhớ ngắn hạn cho LLM Agent sử dụng LangChain

Giới thiệu

Trong chatbot, bộ nhớ đóng vai trò không thể phủ nhận trong việc tạo ra các cuộc hội thoại trôi chảy và gần gũi như con người. Nếu như một chatbot mà quên tên của bạn hoặc không nhớ đến các chủ đề đã thảo luận trước đó thì điều này làm mất đi bản chất của một cuộc trò chuyện với một thực thể thông minh 😄

Bộ nhớ đóng một vai trò then chốt trong quá trình phát triển của các hệ thống...

Thumbnail Image
45
2
0 0
Avatar Viblo AI Thứ Sáu, 9:46 SA
13 phút đọc

[LLM] Sử dụng RAGAs và LlamaIndex để đánh giá chất lượng RAG

Giới thiệu

Nếu bạn đã phát triển một ứng dụng Retrieval Augmented Generation (RAG) cho hệ thống kinh doanh thực tế, bạn có thể quan tâm đến hiệu quả của nó. Nói cách khác, bạn muốn đánh giá xem RAG hoạt động tốt như thế nào.

Hơn nữa, nếu bạn nhận thấy rằng RAG hiện tại của mình chưa đủ hiệu quả, bạn có thể cần kiểm tra tính hiệu quả của các phương pháp cải tiến RAG mới. Điều này đồng nghĩa vớ...

Thumbnail Image
270
3
1 1
Avatar Viblo AI thg 11 1, 8:00 SA
17 phút đọc

[LLM 101] Thảo luận các vấn đề về Finetune Large Language Models

Giới thiệu

Như các bạn đã biết, lĩnh vực trí tuệ nhân tạo đang phát triển nhanh chóng và việc sử dụng hiệu quả các mô hình ngôn ngữ lớn (large language models - LLMs) trở nên ngày càng quan trọng. Tuy nhiên, có nhiều cách sử dụng khác nhau đối với LLMs, điều này có thể khiến người mới bắt đầu cảm thấy hơi ngợp 😄

Về cơ bản, có hai cách chính để sử dụng pretraining LLMs cho các tác vụ mới: Học...

Thumbnail Image
135
2
0 0
Avatar Viblo AI thg 10 31, 8:00 SA
16 phút đọc

[LLM 101 - Paper reading] SaulLM-7B: A pioneering Large Language Model for Law

Đóng góp của bài báo

Việc áp dụng mô hình ngôn ngữ lớn (LLMs) trong nhiều lĩnh vực như dịch thuật, y tế và sinh code đạt được nhiều thành tựu nổi bật. Tuy nhiên, lĩnh vực pháp lý vẫn chưa tận dụng hết tiềm năng của LLMs. Bài báo giới thiệu SaulLM-7B, LLM dành cho pháp lý đầu tiên được thiết kế để giải quyết những thách thức ngôn ngữ đặc trưng trong văn bản pháp lý. Cách tiếp cận của bài báo tậ...

Thumbnail Image
78
1
0 0
Avatar Viblo AI thg 10 30, 8:00 SA
20 phút đọc

[LLM 101] Thử cài đặt Decomposed Low-Rank Adaptation (DoRA)

Giới thiệu

Low-rank adaptation (LoRA) là một phương pháp trong học máy được sử dụng để finetune một mô hình pretrain (ví dụ, một Large Language Model hoặc mô hình Vision Transformer) nhằm align nó với một tập dữ liệu cụ thể, thường là tập dữ liệu nhỏ hơn. Để đạt được này ta chỉ cần điều chỉnh chỉ một phần nhỏ lượng tham số của mô hình. Cách tiếp cận này quan trọng vì nó cho phép finetune hiệu ...

Thumbnail Image
82
3
0 0
Avatar Viblo AI thg 10 29, 8:00 SA
11 phút đọc

[LLM 101 - Paper reading] Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment

Đóng góp của bài báo

Các Mô hình Ngôn ngữ Lớn (LLMs) như GPT-4 thể hiện khả năng đáng kinh ngạc trong việc hiểu ý định (understanding intent), tuân theo hướng dẫn (following instructions), và thực hiện một loạt các nhiệm vụ đa dạng. Mặc dù có những năng lực này, LLMs vẫn thiếu tính chất giống con người trong giao tiếp do không có sự hiểu biết về trải nghiệm và thiếu chiều sâu cảm xúc, dẫn đến ...

Thumbnail Image
116
0
1 0
Avatar Viblo AI thg 10 28, 8:00 SA
16 phút đọc

Paper reading | Tạo âm thanh từ văn bản sử dụng Latent Diffusion Models

Giới thiệu

Tạo hiệu ứng âm thanh, nhạc, hoặc giọng nói theo yêu cầu là 1 ý tưởng hay cho các ứng dụng như thực tế tăng cường, thực tế ảo, phát triển trò chơi và chỉnh sửa video. Trước đây, việc tạo âm thanh thường được thực hiện thông qua các kỹ thuật xử lý tín hiệu. Thời gian gần đây, chúng ta đã có những mô hình Generative AI mạnh mẽ, giúp xử lý các task này 1 cách đơn giản hơn 😄

Các nghiê...

Thumbnail Image
193
3
0 0
Avatar Viblo AI thg 10 24, 3:00 SA
12 phút đọc

[LLM 101 - Paper reading] Tìm hiểu Corrective Retrieval Augmented Generation (CRAG)

Giới thiệu

Hãy tưởng tượng bạn đang trong giờ kiểm tra và thầy của bạn cho mở sách 😄 Chúng ta sẽ có 3 chiến lược để làm bài kiểm tra như sau:

  • Chiến lược 1: Trả lời nhanh các câu mà bạn đã ôn tập. Đối với những câu mà bạn chưa học, mở sách ra và tham khảo thôi 😄. Khi này bạn phải nhanh chóng tìm trong sách các kiến thức liên quan đến câu hỏi, tổ chức lại và tóm tắt chúng trong đầu, sau đó ...
Thumbnail Image
148
3
1 0
Avatar Viblo AI thg 10 22, 3:00 SA
12 phút đọc

Hands on | Thử tạo Machine Learning models với BigQuery ML trên Google Cloud

Giới thiệu

Bên cạnh việc tạo và train model chay thì việc biết sử dụng các dịch vụ Cloud sẽ giúp các bạn tiết kiệm rất nhiều thời gian và công sức. Các dịch vụ này cung cấp những công cụ mạnh mẽ cho việc lưu trữ dữ liệu, xử lý tính toán, và triển khai mô hình. Thay vì phải đầu tư vào cơ sở hạ tầng vật lý, bạn có thể dễ dàng truy cập vào tài nguyên tính toán thông qua các nền tảng như Amazon We...

Thumbnail Image
61
2
0 0
Avatar Viblo AI thg 10 21, 4:00 SA
15 phút đọc

LLM 101 | FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Đóng góp của bài báo

Nếu quen thuộc với Self-attention thì chúng ta đều biết rằng Self-attention có độ phức tạp bậc 2 với độ dài của chuỗi đầu vào. Điều đó có nghĩa là Transformer sẽ chạy rất chậm và tiêu tốn bộ nhớ với các chuỗi dài. Hạn chế lớn này của Transformer sẽ ảnh hưởng đến rất nhiều tới mô hình ngôn ngữ lớn, khi đầu vào là các context, chuỗi văn bản dài. Câu hỏi quan trọng đặt ra là ...

Thumbnail Image
385
4
1 0
Avatar Viblo AI thg 10 4, 10:21 SA
19 phút đọc

[LLM 101] Thảo luận về finetune model LLM sử dụng LoRA (Low-Rank Adaptation)

Giới thiệu về LoRA

Các bạn đều biết rằng các LLM hiện nay đều có kích thước rất lớn và và việc cập nhật tất cả các tham số của mô hình trong quá trình training có thể rất tốn kém do giới hạn bộ nhớ GPU.

Ví dụ, giả sử chúng ta có một LLM với 7 tỷ tham số được biểu diễn trong một ma trận trọng số . (Thực tế, các tham số của mô hình được phân bổ qua nhiều ma trận khác nhau ở nhiều layer, nhưng đ...

Thumbnail Image
354
4
0 0
Avatar Viblo AI thg 9 28, 8:00 SA
19 phút đọc

Tìm hiểu cách training model sử dụng nhiều GPU trong Pytorch

Động lực

Nếu đã là một người học và làm AI thì hẳn chúng ta không còn xa lạ gì với việc train/test model sử dụng GPU. Việc training model sử dụng GPU giúp ta rút ngắn thời gian training đi rất nhiều so với sử dụng CPU. Khi model hoặc dataset trở nên lớn hơn, chỉ sử dụng 1 GPU là không đủ, ví dụ như trong các Large language model hiện nay phải sử dụng rất nhiều GPU khỏe và training trong rất nh...

Thumbnail Image
130
0
0 0
Avatar Viblo AI thg 9 21, 8:00 SA
10 phút đọc

Paper reading | ViViT: A Video Vision Transformer

Đóng góp của bài báo

Bài báo đề xuất một mô hình transformer thuần có tên là ViViT sử dụng cho bài toán video classification. Thao tác chính vẫn là sử dụng self attention cho chuỗi các spatio-temporal (không gian-thời gian) token được trích xuất từ video đầu vào 😀 Để xử lý hiệu quả một lượng lớn các spatio-temporal token có thể gặp trong video, nhóm tác giả đề xuất một số phương pháp phân tích...

Thumbnail Image
262
3
1 0
Avatar Viblo AI thg 9 6, 9:00 SA
10 phút đọc

Paper reading | Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

Đóng góp của bài báo

Các bài toán OCR luôn được sự quan tâm trong giới AI nhờ khả năng ứng dụng rộng rãi 😀 Một thách thức lớn mà các model hiện tại gặp phải khi giải quyết bài toán này đó là các scene image được chụp từ nhiều điều kiện môi trường khác nhau, do đó text có thể bị che khuất, mờ, nhiễu,... điều này rất khó để model có thể nhận biết được nội dung text trong ảnh.

Cũng như con người...

Thumbnail Image
90
2
1 0
Avatar Viblo AI thg 8 30, 9:00 SA
17 phút đọc

Paper reading | DETRs Beat YOLOs on Real-time Object Detection

Động lực và đóng góp

Real-time object detection là một chủ đề nghiên cứu chưa bao giờ là hết hot do tính ứng dụng thực tiễn cao, một số ứng dụng có thể kể đến đó là object tracking, xe tự hành,... Các mô hình real-time detector hiện tại chủ yếu xây dựng từ kiến trúc CNN có tốc độ inference nhanh nhưng lại là một sự đánh đổi giữa tốc độ và chính xác. Đặc biệt, các mô hình real-time detector này...

Thumbnail Image
69
5
1 0
Avatar Viblo AI thg 8 24, 8:00 SA
16 phút đọc

Paper reading | Masked Motion Encoding for Self-Supervised Video Representation Learning

Đóng góp của bài báo

Bài báo đóng góp một phương pháp để có thể học biểu diễn video (Video representation learning) một cách hiệu quả. Do lượng video data được gán nhãn còn hạn chế nên việc có một phương pháp có thể tận dụng nguồn data không gán nhãn này là một điều cần thiết.Những năm gần đây trong các bài toán computer vision, có rất nhiều nghiên cứu ứng dụng self-supervised learning để học ...

Thumbnail Image
194
4
3 0
Avatar Viblo AI thg 8 10, 8:00 SA
8 phút đọc

[Paper reading] Rethinking Table Recognition using Graph Neural Networks

Abstract Thành công gần đây của deep learning trong việc giải quyết các vấn đề về thị giác máy tính và học máy khác nhau không được thể hiện tốt trong phân tích cấu trúc tài liệu vì mạng nơ-ron thông thường không phù hợp với cấu trúc đầu vào của bài toán. Trong bài báo, nhóm tác giả đề xuất một cấu trúc dựa trên mạng đồ thị là một thay thế tốt hơn so với các mạng neural tiêu chuẩn cho table rec...

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí