Trí tuệ nhân tạo và công nghệ học máy đã và đang thúc đẩy sự phát triển của các ứng dụng thông minh. Để đối phó với các ứng dụng ngày càng phức tạp, các bộ vi xử lý và bộ tăng tốc, bao gồm CPU, GPU và TPU không ngừng phát triển. Trong bài viết này, Nexcom.vn thông tin tổng quan về các công nghệ đằng sau CPU, GPU và TPU.

Nếu bạn đang tìm kiếm câu trả lời về sự khác biệt giữa CPU so với GPU và TPU là gì? Hoặc chúng hoạt động như thế nào trong kiến ​​trúc máy tính? Nội dung chia sẻ dưới đây có thể giúp bạn trả lời một số câu hỏi của mình về CPU, GPU và TPU.

CPU so với GPU và TPU

Về cơ bản, điều khác biệt giữa CPU, GPU và TPU là CPU là đơn vị xử lý hoạt động như bộ não của máy tính được thiết kế để lý tưởng cho lập trình mục đích chung. Ngược lại, GPU là bộ tăng tốc hiệu suất giúp nâng cao đồ họa máy tính và khối lượng công việc AI. Trong khi TPU là bộ xử lý được phát triển tùy chỉnh của Google giúp tăng tốc khối lượng công việc học máy bằng TensorFlow (khuôn khổ học máy cụ thể).

CPU là gì?

Bộ xử lý trung tâm (CPU) là bộ xử lý cốt lõi tồn tại trong tất cả các thiết bị thông minh. CPU là bộ xử lý đa năng được thiết kế với một vài lõi mạnh mẽ và bộ nhớ đệm lớn cho phép nó chạy một vài luồng phần mềm cùng một lúc. CPU giống như một nhạc trưởng trong dàn nhạc, nó điều khiển tất cả các thành phần khác từ bộ nhớ đến card đồ họa để thực hiện nhiều chức năng xử lý cho hệ thống.

CPU có ít nhất một lõi xử lý nhưng đã phát triển theo thời gian để ngày càng có nhiều lõi. Việc có nhiều lõi cho phép CPU có khả năng thực hiện đa luồng, một công nghệ cho phép CPU thực hiện hai dòng thực thi (luồng) cùng một lúc trên một lõi duy nhất. Hơn nữa, các CPU hiện đại hiện nay có từ 2 đến 6 lõi và một số thậm chí có từ tám đến 64 lõi đối với các CPU cấp doanh nghiệp thường được dành riêng cho trung tâm dữ liệu.

Tóm tắt các tính năng của CPU:

• Có một số lõi
• Độ trễ thấp
• Chuyên xử lý nối tiếp
• Có khả năng thực hiện một số hoạt động cùng một lúc
• Có mức sử dụng FLOPS cao nhất cho RNN (mạng nơ-ron tái diễn)
• Hỗ trợ mô hình lớn nhất nhờ dung lượng bộ nhớ lớn
• Linh hoạt hơn nhiều và có thể lập trình cho các tính toán không thường xuyên 

GPU là gì?

GPU là một bộ xử lý chuyên dụng hoạt động như một bộ tăng tốc hiệu suất cùng với CPU. So với CPU, GPU có hàng nghìn lõi, có thể chia các vấn đề phức tạp thành hàng nghìn hoặc hàng triệu tác vụ riêng biệt và giải quyết chúng song song. Chính vì vậy, GPU phù hợp cho các ứng dụng xử lý đồ họa, kết xuất video, máy học và thậm chí khai thác cho các loại tiền điện tử như Bitcoin.

Trong thập kỷ qua, GPU đã trở nên thiết yếu để phát triển học sâu. Với khả năng tăng tốc các hoạt động của ma trận lớn và thực hiện các phép tính ma trận, GPU có thể đẩy nhanh quá trình học sâu ở tốc độ cao. Công nghệ điện toán song song này làm cho GPU trở thành một phần quan trọng của siêu máy tính hiện đại, thúc đẩy sự bùng nổ AI trên toàn thế giới.

Tóm tắt các tính năng của GPU:

• Có hàng nghìn lõi
• Thông lượng cao
• Chuyên dùng để xử lý song song
• Có khả năng thực hiện hàng nghìn thao tác cùng một lúc

TPU là gì?

TPU là viết tắt của Tensor Processing Unit, là các mạch tích hợp dành riêng cho ứng dụng (ASIC). TPU được thiết kế từ đầu bởi Google; họ bắt đầu sử dụng TPU vào năm 2015 và công khai vào năm 2018. TPU có sẵn dưới dạng đám mây hoặc phiên bản nhỏ hơn của chip. Các TPU đám mây cực kỳ nhanh trong việc thực hiện các phép tính vectơ và ma trận dày đặc để tăng tốc học máy mạng thần kinh trên phần mềm TensorFlow. TensorFlow là một nền tảng máy học mã nguồn mở do Nhóm Google Brain xây dựng để giúp các nhà phát triển, nhà nghiên cứu và doanh nghiệp chạy và vận hành các mô hình AI trên các API TensorFlow cấp cao. TPU giảm thiểu thời gian chính xác trong việc đào tạo các mô hình mạng nơ-ron lớn và phức tạp. Với TPU, các mô hình học sâu trước đây mất hàng tuần để đào tạo trên GPU giờ chỉ mất hàng giờ đối với TPU.

Tóm tắt các tính năng TPU:

• Phần cứng đặc biệt để xử lý ma trận
• Độ trễ cao (so với CPU)
• Thông lượng rất cao
• Tính toán với cực song song
• Được tối ưu hóa cao cho các lô lớn và CNN (mạng nơ ron phức hợp)

Làm thế nào để CPU, GPU và TPU kết nối với bo mạch chủ?

Bo mạch chủ là một bảng mạch nhựa (PCB) chứa các thành phần máy tính khác nhau như CPU, bộ nhớ và các đầu nối cho các thiết bị ngoại vi khác. Bo mạch chủ là nơi tất cả CPU, GPU và TPU được kết nối để giao tiếp với các thành phần điện tử khác của hệ thống.

1. Với CPU

Có hai loại CPU cơ bản, CPU socket và CPU tích hợp SoC (System-on-chip). Socket CPU được cài đặt trên khe cắm CPU của bo mạch chủ. Các CPU Socket được xây dựng với hàng nghìn điểm tiếp xúc hoặc chân kim loại để truyền nguồn và dữ liệu giữa CPU và các bộ xử lý khác được kết nối trên bo mạch chủ. Các CPU Socket thường được kết nối thông qua một khe cắm CPU PGA hoặc LGA. Mặt khác, SoC là một chipset độc đáo đã đưa CPU với các thiết bị ngoại vi thiết yếu khác như bộ nhớ và bộ tăng tốc đồ họa vào một chip silicon duy nhất. Các SoC thường được hàn ngay trên bo mạch chủ với BGA và cung cấp mức tiêu thụ điện năng tốt hơn cho IoT và các ứng dụng di động.

Mức tiêu thụ điện năng của CPU và giải pháp làm mát của nó

Công suất tiêu thụ của CPU là giá trị lượng điện mà CPU cần để chạy. Giá trị điện năng tiêu thụ có thể là một hướng dẫn hữu ích để bạn chọn giải pháp làm mát phù hợp. Khi lựa chọn giải pháp làm mát, các nhà sản xuất thường sử dụng TDP (công suất thiết kế nhiệt) để mô tả giải pháp làm mát CPU hiệu quả như thế nào. Giá trị TDP xác định mức nhiệt mà bộ xử lý có thể tạo ra trong một khối lượng công việc nặng. Mức tiêu thụ điện năng của CPU và TDP có mối liên hệ chặt chẽ với nhau, trong đó mức tiêu thụ điện năng cao hơn dẫn đến TDP cao hơn. CPU càng mạnh thì càng tiêu tốn nhiều điện năng và khi chạy khối lượng công việc nặng thì nó sẽ sinh ra nhiều nhiệt hơn. Có một loạt các CPU với các giá trị TDP khác nhau có sẵn trên thị trường; TDP của CPU thường dao động từ 10W đến 130W nhiệt được tạo ra. Để chọn giải pháp làm mát phù hợp, giải pháp làm mát và CPU của bạn phải có TDP tương tự. Ví dụ, một CPU có TDP 95W yêu cầu giải pháp làm mát 95W TDP. Trong lĩnh vực công nghiệp, các máy tính chắc chắn không quạt sử dụng các giải pháp làm mát thụ động để làm mát CPU. Giải pháp không quạt có thể làm mát bộ vi xử lý với TDP từ 10W đến 65W. Bất cứ điều gì nhiều hơn thế sẽ yêu cầu một giải pháp làm mát tích cực, thường là với quạt.

2. Với GPU 

GPU là bộ tăng tốc bổ sung hơi khác trong cách chúng kết nối với bo mạch chủ. GPU có hai loại cơ bản: GPU rời và GPU tích hợp. GPU rời là một bộ xử lý đồ họa bên ngoài ngoài bộ xử lý trung tâm. GPU có bộ nhớ chuyên dụng riêng được tách biệt với CPU. Các GPU rời thường được gắn vào khe PCI Express x16 trên bo mạch chủ. Ngược lại, GPU tích hợp được nhúng cùng với CPU trên mạch tích hợp SoC.

Mức tiêu thụ điện năng của GPU và giải pháp làm mát của nó

Các card đồ họa cũng chia sẻ mức tiêu thụ điện năng và giá trị TDP được đo bằng watt (W). Các GPU rời điển hình tiêu thụ công suất khoảng 80W đến 250W và tạo ra nhiệt khoảng 100W đến 300W dựa trên xếp hạng TDP của chúng. GPU rời thường bao gồm các giải pháp làm mát tích hợp sẵn phù hợp với TDP của card đồ họa của chúng. Kiểm tra mức tiêu thụ điện năng của GPU và giá trị TDP giúp quyết định PSU (bộ cấp nguồn) nào sẽ nhận được hoặc bạn có muốn cài đặt thêm các giải pháp làm mát cho các ứng dụng ép xung nặng hay không.

3. Với TPU

Vào đầu năm 2019, Google cuối cùng đã phát hành phần cứng TPU mà bạn có thể mua từ thương hiệu Coral của họ. Thông số kỹ thuật hiện tại cho các đơn vị TPU bạn có thể mua có thể thực hiện 4 nghìn tỷ hoạt động mỗi giây (TOPS), chỉ chạy trên 0,5 watt điện cho mỗi TOPS. Có ba loại phần cứng TPU phổ biến:

• Bộ tăng tốc TPU USB có tính năng Edge TPU thông qua kết nối cáp USB.
• Các TPU kết nối thông qua kết nối mPCIe hoặc M.2 (phím A + E và B + M). Các đầu nối M.2 và mPCIe cho phép các TPU được gắn trực tiếp vào bo mạch chủ.
• Tùy chọn TPU Dev Board là một máy tính một bo mạch với hệ thống trên mô-đun (SoM) có thể tháo rời cho các ứng dụng AI mô-đun.

Mức tiêu thụ điện TPU và giải pháp làm mát của nó

TPU ML của Google có tổng hiệu suất cao nhất là 8 TOPS (nghìn tỷ hoạt động mỗi giây) với mức tiêu thụ điện năng 2 TOPS mỗi watt. Đối với giải pháp làm mát, bạn có thể gắn bộ tản nhiệt hoặc vỏ kim loại thông qua các miếng tản nhiệt riêng lẻ trên M.2 TPU để đảm bảo hoạt động lâu dài thành công. Hơn nữa, TPU cạnh có nhiệt độ tiếp giáp cao Tj, với nhiệt độ tiếp giáp tối đa là Tj: 115 ℃. Nhiệt độ mối nối là nhiệt độ hoạt động cao nhất của chip silicon. Nhiệt độ đường giao nhau của Edge TPU phải ở dưới giới hạn nhiệt độ để hoạt động an toàn. Mỗi TPU bao gồm một cảm biến nhiệt độ để theo dõi nhiệt độ bên trong và chỉ định điểm hành trình để mở rộng tần số động (DFS). Ngày càng có nhiều nhu cầu về TPU cho các ứng dụng công nghiệp do yếu tố hình thức nhỏ gọn, tiêu thụ điện năng thấp, hiệu quả tuyệt vời và các tính năng chịu nhiệt độ cao.

Nó đã được chỉ ra rằng các công nghệ xử lý khác nhau mang lại những lợi thế khác nhau tùy thuộc vào ứng dụng cụ thể. Công nghệ mới nổi đang phát triển nhanh chóng, điều quan trọng là phải cập nhật những cải tiến mới nhất của công nghệ điện toán khi ngành công nghiệp bán dẫn và AI không ngừng phát triển theo cấp số nhân.