Tensor Core Là Gì? Cơ chế hoạt động của Tensor Core là gì?

Tensor Core là gì? Đây là một câu hỏi mà nhiều người dùng GPU đang quan tâm và tìm kiếm. Tensors Core là một thành phần quan trọng hỗ trợ việc tính toán trên các GPU hiện đại. Tuy nhiên, đối với nhiều người, đây là một khái niệm khá mới mẻ và khó hiểu. Trong bài viết này, chúng ta sẽ đi sâu vào khái niệm Tensor Core, cách nó hoạt động nhé!

Tensor Core là gì

Tensor Core là các nhân chuyên dụng cho phép đào tạo chính xác hỗn hợp. Thế hệ đầu tiên của các nhân chuyên dụng này thực hiện nhiệm vụ trên bằng cách sử dụng phép tính nhân và cộng kết hợp. Điều này cho phép hai ma trận FP16 4 x 4 được nhân và thêm vào một ma trận FP16 hoặc FP32 4 x 4.

Tính toán độ chính xác hỗn hợp được đặt tên như vậy bởi vì mặc dù ma trận đầu vào có thể là FP16 có độ chính xác thấp, nhưng đầu ra cuối cùng sẽ là FP32 mà chỉ mất độ chính xác ở mức tối thiểu ở đầu ra.

Trên thực tế, điều này giúp tăng tốc đáng kể các tính toán trong khi ít ảnh hưởng đến hiệu quả tổng thể của mô hình. Các kiến trúc vi mô sau đã mở rộng khả năng này sang các định dạng số máy tính thậm chí còn kém chính xác hơn.

Tensor Core lần đầu tiên được giới thiệu với vi kiến trúc Volta, bắt đầu với V100. Nhiều định dạng chính xác của số máy tính đã được kích hoạt để tính toán với vi kiến trúc GPU mới với mỗi thế hệ.

>>> Xem thêm: máy chủ Dell r250


Cơ chế hoạt động của Tensor Core là gì?

Mỗi thế hệ vi kiến trúc GPU sẽ giới thiệu một phương pháp mới để cải thiện hiệu suất của Tensor Core. Những sửa đổi này đã tăng khả năng của Tensor Cores để hoạt động trên các định dạng số máy tính khác nhau. Với mỗi thế hệ, điều này sẽ tăng gấp đôi thông lượng GPU một cách hiệu quả.

Thế hệ 1

Thế hệ Tensor Core đầu tiên đi kèm với vi kiến trúc GPU Volta. Các nhân này cho phép đào tạo chính xác hỗn hợp với định dạng số FP16. Điều này đã tăng thông lượng tiềm năng trên các GPU này lên tới 12 lần tính theo teraFLOP. So với GPU Pascal thế hệ trước, 640 nhân của V100 hàng đầu cung cấp tốc độ hiệu suất tăng gấp 5 lần.

Thế hệ 2

Việc phát hành GPU Turing đi kèm sự xuất hiện của thế hệ Tensor Core thứ hai. Độ chính xác của nhân Tensor được hỗ trợ đã được mở rộng từ FP16 để bao gồm Int8, Int4 và Int1. Điều này cho phép các hoạt động huấn luyện độ chính xác kết hợp tăng tốc hiệu suất thông qua GPU lên tới 32 lần so với các GPU Pascal!

Ngoài GPU thế hệ thứ hai, GPU Turing còn bao gồm các nhân Ray Tracing, được sử dụng để tính toán các thuộc tính trực quan hóa đồ họa như âm thanh và ánh sáng trong môi trường 3D. Bạn có thể sử dụng các nhân chuyên dụng này để đưa trò chơi và sáng tạo video của mình lên một tầm cao mới với GPU RTX Quadro trên Paperspace Core.

>>> Xem thêm: server dell r250


Thế hệ 3

Tìm hiểu về Tensor Core là gì ta thấy dòng GPU Ampere đã giới thiệu thế hệ nhân Tensor thứ ba và là thế hệ mạnh nhất từ trước đến nay. Kiến trúc GPU Ampere được xây dựng dựa trên các cải tiến trước đây của vi kiến trúc Volta và Turing bằng cách mở rộng khả năng tính toán cho các độ chính xác FP64, TF32 và bfloat16. Các định dạng chính xác hơn này giúp tăng tốc hơn nữa các nhiệm vụ đào tạo và suy luận deep learning.

Ví dụ, định dạng TF32 hoạt động tương tự như FP32 trong khi cung cấp khả năng tăng tốc lên tới 20 lần mà không yêu cầu bất kỳ thay đổi mã nào. Theo đó, việc triển khai độ chính xác hỗn hợp tự động sẽ tăng tốc quá trình đào tạo lên gấp 2 lần chỉ với một vài dòng mã.

Ngoài ra, vi kiến trúc Ampere bao gồm các tính năng như chuyên môn hóa toán học ma trận thưa thớt, NVLink thế hệ thứ ba cho tương tác đa GPU nhanh như chớp và nhân Ray Tracing thế hệ thứ ba.

Hiểu Tensor Core là gì hãy chú ý GPU Ampere, cụ thể là trung tâm dữ liệu A100, hiện là GPU mạnh nhất trên thị trường nhờ những tiến bộ này. Khi làm việc với ngân sách eo hẹp hơn, các GPU máy trạm như A4000, A5000 và A6000 cung cấp một cách tuyệt vời để tận dụng kiến trúc vi mô Ampere mạnh mẽ và Tensor Core thế hệ thứ ba với mức giá thấp hơn.

Thế hệ 4

H100 đã ra mắt, được công bố vào tháng 3 năm 2022, có các nhân Tensor thế hệ thứ 4 với khả năng mở rộng để xử lý các định dạng chính xác FP8 và NVIDIA tuyên bố sẽ tăng tốc các mô hình ngôn ngữ lớn “gấp 30 lần so với thế hệ trước”.

Hơn nữa, NVIDIA tuyên bố rằng công nghệ NVLink mới của họ sẽ cho phép kết nối tới 256 GPU H100. Đây sẽ là những trợ giúp to lớn trong việc tăng quy mô tính toán mà nhân viên dữ liệu có thể vận hành.

Công ty cổ phần thương mại Máy Chủ Hà Nội

- Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa

Hotline mua hàng Hà Nội: 0979 83 84 84 Điện thoai: 024 6296 6644

- CN Hồ Chí Minh: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10

Hotline mua hàng Hồ Chí Minh: 0945 92 96 96 Điện thoai: 028 2244 9399

- Email: hotro@maychuhanoi.vn

- website: https://maychuhanoi.vn/

- facebook: https://www.facebook.com/maychuhanoi