Đơn vị xử lý dữ liệu, thường được gọi là DPU, là một loại bộ xử lý hiệu suất cao, có thể lập trình lại mới kết hợp với các giao diện mạng hiệu suất cao được tối ưu hóa để thực hiện và tăng tốc các chức năng mạng và lưu trữ được thực hiện bởi các máy chủ trung tâm dữ liệu.

DPU cắm vào khe PCIe của máy chủ giống như GPU và chúng cho phép máy chủ giảm tải các chức năng mạng và lưu trữ từ CPU sang DPU, cho phép CPU chỉ tập trung vào việc chạy hệ điều hành và ứng dụng hệ thống.

DPU thường sử dụng FPGA có thể lập trình lại kết hợp với thẻ giao diện mạng để tăng tốc lưu lượng mạng giống như cách GPU đang được sử dụng để tăng tốc các ứng dụng trí tuệ nhân tạo (AI) bằng cách giảm tải các phép toán từ CPU sang GPU. Trước đây, GPU được sử dụng để cung cấp đồ họa, thời gian thực, do chúng có thể xử lý song song một lượng lớn dữ liệu như tăng tốc khối lượng công việc của AI, chẳng hạn như học máy và học sâu và các khối lượng công việc trí tuệ nhân tạo khác.

DPU sẽ trở nên cực kỳ phổ biến trong tương lai nhờ khả năng giảm tải các chức năng mạng từ CPU sang DPU, giải phóng sức mạnh xử lý quý giá của CPU, cho phép CPU chạy nhiều ứng dụng hơn và chạy hệ điều hành hiệu quả nhất có thể. Trên thực tế, một số chuyên gia khẳng định rằng 30% sức mạnh xử lý của CPU dành cho việc xử lý các chức năng mạng và lưu trữ. Ngoài ra, DPU có thể được sử dụng để xử lý các chức năng bao gồm bảo mật mạng, tác vụ tường lửa, mã hóa và quản lý cơ sở hạ tầng.

DPU sẽ trở thành thành phần thứ ba trong các máy chủ trung tâm dữ liệu cùng với CPU và GPU vì khả năng tăng tốc và thực hiện các chức năng mạng và lưu trữ của chúng. CPU sẽ được sử dụng cho mục đích tính toán chung. GPU sẽ được sử dụng để tăng tốc các ứng dụng trí tuệ nhân tạo. DPU sẽ được sử dụng để xử lý dữ liệu và di chuyển dữ liệu xung quanh trung tâm dữ liệu.

DPU có thể mang lại sức sống mới cho các máy chủ hiện tại vì chúng có thể giảm mức sử dụng CPU của các máy chủ bằng cách giảm tải các chức năng mạng và lưu trữ cho DPU. Với ước tính 30% việc sử dụng CPU dành cho các chức năng mạng, việc chuyển chúng sang DPU sẽ cung cấp cho bạn thêm sức mạnh xử lý của CPU. Do đó, DPU có thể kéo dài tuổi thọ máy chủ trong nhiều tháng hoặc thậm chí nhiều năm, tùy thuộc vào lượng tài nguyên hệ thống của bạn đang được sử dụng cho các chức năng mạng.

Các tính năng phổ biến nhất của DPU

DPU có rất nhiều tính năng, nhưng đây là những tính năng phổ biến nhất được tìm thấy trên DPU:

• Kết nối tốc độ cao qua một hoặc nhiều giao diện 100 Gigabit đến 200 Gigabit
• Xử lý gói tốc độ cao
• Xử lý đa lõi thông qua CPU dựa trên ARM hoặc MIPS (lõi CPU cánh tay 8x 64-bit)
• Bộ điều khiển bộ nhớ hỗ trợ RAM DDR4 và DDR5
• Máy gia tốc
• Hỗ trợ PCI Express Gen 4
• Các tính năng bảo mật
• Hệ điều hành tùy chỉnh được tách biệt khỏi hệ điều hành của hệ thống máy chủ

Tại sao DPU ngày càng phổ biến?

Chúng ta đang sống trong thời đại thông tin kỹ thuật số, nơi có hàng tấn dữ liệu được tạo ra hàng ngày. Điều này đặc biệt đúng khi số lượng thiết bị IoT, xe tự hành, nhà kết nối và nơi làm việc kết nối trực tuyến, bão hòa các trung tâm dữ liệu bằng dữ liệu. Vì vậy, cần có các giải pháp có thể cho phép các trung tâm dữ liệu đối phó với lượng dữ liệu di chuyển vào / ra trung tâm dữ liệu ngày càng tăng và dữ liệu di chuyển qua trung tâm dữ liệu.

DPU chứa một hệ thống di chuyển dữ liệu giúp tăng tốc quá trình di chuyển và xử lý dữ liệu, giảm tải các chức năng mạng từ bộ xử lý của máy chủ sang DPU. DPU là một cách tuyệt vời để khai thác nhiều sức mạnh xử lý hơn từ máy chủ, đặc biệt khi xem xét rằng Định luật Moore đã chậm lại, thúc đẩy các tổ chức sử dụng bộ tăng tốc phần cứng để đạt được hiệu suất cao hơn từ phần cứng của họ, giảm tổng chi phí sở hữu của tổ chức vì hiệu suất cao hơn có thể được trích xuất từ ​​phần cứng hiện có, cho phép máy chủ thực hiện nhiều khối lượng công việc ứng dụng hơn.

Các đơn vị xử lý dữ liệu và FPGA SmartNIC đang trở nên phổ biến, với Microsoft và Google đang khám phá việc đưa chúng vào trung tâm dữ liệu của họ để tăng tốc xử lý dữ liệu và khối lượng công việc trí tuệ nhân tạo. Hơn nữa, Nvidia đã hợp tác với VMware để giảm tải các tác vụ mạng, bảo mật và lưu trữ cho DPU.

Một số công cụ tăng tốc hiệu suất khác

Bây giờ chúng ta sẽ thảo luận về một số công cụ tăng tốc hiệu suất khác thường được sử dụng trong các trung tâm dữ liệu. Các bộ tăng tốc hiệu suất mà chúng ta sẽ thảo luận bao gồm GPU, lưu trữ tính toán và FPGA.

1. GPU

Các đơn vị xử lý đồ họa thường được triển khai trong các máy chủ hiệu suất cao trong trung tâm dữ liệu để tăng tốc khối lượng công việc. Máy chủ thường sẽ giảm tải các phép tính toán học phức tạp cho GPU vì GPU có thể thực hiện chúng nhanh hơn. Điều này là như vậy bởi vì GPU sử dụng kiến trúc song song, được tạo ra từ nhiều lõi nhỏ hơn CPU, cho phép chúng xử lý nhiều tác vụ song song, cho phép các tổ chức khai thác nhiều hiệu suất hơn từ máy chủ.

Ví dụ: CPU trung bình có từ 4 đến 10 lõi, trong khi GPU có hàng trăm hoặc hàng nghìn lõi nhỏ hơn hoạt động cùng nhau để giải quyết các phép tính phức tạp song song. Do đó, GPU khác với CPU, có ít lõi hơn và phù hợp hơn cho việc xử lý dữ liệu tuần tự. Các máy chủ tăng tốc GPU rất phù hợp để chỉnh sửa video độ phân giải cao, hình ảnh y tế, trí tuệ nhân tạo, đào tạo máy học và đào tạo học sâu.

GPU được cài đặt trên các máy chủ của trung tâm dữ liệu rất tốt để tăng tốc đào tạo học sâu và đào tạo máy học đòi hỏi nhiều sức mạnh tính toán mà các CPU đơn giản không cung cấp. GPU thực hiện các tác vụ trí tuệ nhân tạo nhanh hơn CPU vì chúng được trang bị HBM (bộ nhớ băng thông cao và hàng trăm hoặc hàng nghìn lõi có thể thực hiện số học dấu phẩy động nhanh hơn đáng kể so với CPU truyền thống.

Vì những lý do này, các tổ chức sử dụng GPU để đào tạo mô hình học sâu và học máy. Tập dữ liệu càng lớn và mạng nơ-ron càng lớn thì càng có nhiều khả năng tổ chức sẽ cần GPU để tăng tốc khối lượng công việc. Mặc dù CPU có thể thực hiện đào tạo học sâu và đào tạo máy học, chúng phải mất nhiều thời gian để thực hiện các phép tính phức tạp. Có những tình huống mà đào tạo học sâu mất vài giờ; tuy nhiên, việc thực hiện cùng một tác vụ chỉ bằng CPU có thể mất vài ngày đến vài tuần thay vì chỉ vài giờ.

Hơn nữa, việc thêm GPU vào máy chủ trung tâm dữ liệu cung cấp thông lượng dữ liệu tốt hơn đáng kể và mang lại khả năng xử lý và phân tích dữ liệu với độ trễ ít nhất có thể. Độ trễ đề cập đến lượng thời gian cần thiết để hoàn thành một tác vụ nhất định và thông lượng dữ liệu đề cập đến số tác vụ đã hoàn thành trên một đơn vị thời gian.

2. FPGA

FPGA là một mạch tích hợp được tạo ra từ các khối logic, I/O cell và các tài nguyên khác cho phép người dùng lập trình lại và cấu hình lại chip theo nhiều cách khác nhau tùy theo yêu cầu cụ thể của khối lượng công việc mà bạn muốn nó thực hiện. FPGA đang trở nên phổ biến để thực hiện xử lý suy luận học sâu và suy luận học máy. Ngoài ra, các SmartNIC dựa trên FPGA đang được sử dụng vì khả năng giảm tải các chức năng mạng và lưu trữ từ CPU sang SmartNIC. Các chức năng mạng và lưu trữ có thể đặt gánh nặng đáng kể lên CPU của hệ thống, vì vậy việc giảm tải các chức năng này cho SmartNIC sẽ giải phóng sức mạnh xử lý của CPU để chạy HĐH và các ứng dụng quan trọng khác. Các SmartNIC dựa trên FPGA cho phép các tổ chức tối ưu hóa SmartNIC cho khối lượng công việc cụ thể sẽ được tải xuống SmartNIC, cung cấp khả năng tùy chỉnh mà khó tìm thấy ở nơi khác.

Sự khác biệt giữa CPU, GPU và DPU là gì?

CPU được thiết kế và chế tạo để thực hiện nhiều tác vụ nhanh nhất có thể, khiến chúng trở nên rất linh hoạt. CPU có các tập lệnh lớn, rộng hướng CPU chuyển đổi các bóng bán dẫn có liên quan để nó thực hiện nhiệm vụ mà nó cần hoàn thành. Mặt khác, GPU không có tập lệnh rộng như vậy, nhưng chúng có lợi thế hơn khi nói đến một số ứng dụng hơn CPU. GPU có nhiều lõi hơn đáng kể so với CPU. Ví dụ: bộ xử lý CPU điển hình có 4 đến 10 lõi với một số CPU máy chủ có tới 64 lõi, trong khi GPU điển hình có thể có hàng trăm hoặc hàng nghìn lõi có kích thước nhỏ hơn. Ví dụ, RTX 3080 có hơn 8700 lõi. Vì vậy, mặc dù CPU thông minh hơn GPU, nhưng số lượng lõi GPU tuyệt đối và số lượng song song được cung cấp khiến chúng trở thành một lựa chọn tuyệt vời để thực hiện các ứng dụng đòi hỏi nhiều phép tính toán học