背景技術(shù)：

1、本公開涉及一種存儲器裝置、存儲器系統(tǒng)以及采用存儲器裝置進行數(shù)據(jù)計算的方法。

2、生成式人工智能(ai)推理涉及ai計算。例如，變換器模型通常使用張量處理單元(tpu)和存儲器進行計算。大的變換器模型需要大量的數(shù)據(jù)和計算，這需要高功耗和足夠的內(nèi)存。當內(nèi)存的存取速度滯后于處理器的計算速度時，內(nèi)存瓶頸將阻止高性能處理器有效地工作，并對高性能計算(hpc)形成較大的制約，此問題被稱為內(nèi)存墻。期望打破內(nèi)存墻，以進一步改進ai系統(tǒng)的性能。

技術(shù)實現(xiàn)思路

1、在一個方面中，提供了一種存儲器裝置，該存儲器裝置包括存儲器單元的組以及耦合到存儲器單元的組的外圍電路。外圍電路包括：控制邏輯單元，該控制邏輯單元被配置為將第一數(shù)據(jù)和第二數(shù)據(jù)編程到存儲器單元的組中的不同組中；至少一個處理單元，該至少一個處理單元經(jīng)由外圍電路的數(shù)據(jù)路徑總線耦合到存儲器單元的組，并且被配置為基于第一數(shù)據(jù)和第二數(shù)據(jù)執(zhí)行計算。

2、在一些實施方式中，第一數(shù)據(jù)包括至少一行?？刂七壿媶卧慌渲脼閺臄?shù)據(jù)接口接收第一數(shù)據(jù)，并且基于第一數(shù)據(jù)模式將第一數(shù)據(jù)的每一行編程到存儲器單元的組中的一個組。

3、在一些實施方式中，第一數(shù)據(jù)模式包括具有相等數(shù)據(jù)長度的n個第一數(shù)據(jù)段，其中，n是正整數(shù)，并且n≥2。第一數(shù)據(jù)模式的n個第一數(shù)據(jù)段的序列與第一數(shù)據(jù)的序列相同。

4、在一些實施方式中，每個第一數(shù)據(jù)段的數(shù)據(jù)長度小于或等于數(shù)據(jù)路徑總線的帶寬。

5、在一些實施方式中，第二數(shù)據(jù)包括m列，其中，m是正整數(shù)，并且m≥2?？刂七壿媶卧慌渲脼榛诘诙?shù)據(jù)模式將m列中的每一列編程到存儲器單元的組中的m組存儲器單元中，存儲器單元的組的數(shù)量大于m。

6、在一些實施方式中，第二數(shù)據(jù)模式包括n個數(shù)據(jù)組，該n個數(shù)據(jù)組中的每個數(shù)據(jù)組具有分別來自第二數(shù)據(jù)的m列的具有相等數(shù)據(jù)長度的m個第二數(shù)據(jù)段。第一數(shù)據(jù)段和第二數(shù)據(jù)段被配置為共享相等數(shù)據(jù)長度。

7、在一些實施方式中，第二數(shù)據(jù)的每個數(shù)據(jù)組的m個第二數(shù)據(jù)段中的每個第二數(shù)據(jù)段被分配有錯誤檢查和糾正(ecc)碼。

8、在一些實施方式中，每個第二數(shù)據(jù)段的數(shù)據(jù)長度小于或等于數(shù)據(jù)路徑總線的帶寬。

9、在一些實施方式中，控制邏輯單元被配置為基于第二數(shù)據(jù)模式從存儲器裝置的數(shù)據(jù)接口接收第二數(shù)據(jù)。

10、在一些實施方式中，至少一個處理單元中的每個處理單元包括m個處理元件，被配置為基于n個第一數(shù)據(jù)段中的第i個第一數(shù)據(jù)段以及n個數(shù)據(jù)組中的第i個數(shù)據(jù)組的m個第二數(shù)據(jù)段來執(zhí)行卷積運算，其中，i是正整數(shù)，并且n≥i≥1。

11、在一些實施方式中，控制邏輯單元被配置為控制存儲器單元的組中的一個組將第一數(shù)據(jù)的第i個第一數(shù)據(jù)段發(fā)送給m個處理元件中的每個處理元件。控制邏輯單元還被配置為控制m組存儲器單元將m個第二數(shù)據(jù)段發(fā)送給m個處理元件。

12、在一些實施方式中，至少一個處理單元中的每個處理單元包括控制元件，該控制元件被配置為基于第二數(shù)據(jù)的序列將m個第二數(shù)據(jù)段對應地分配給m個處理元件。

13、在一些實施方式中，控制邏輯單元被配置為將計算結(jié)果輸出到存儲器裝置的外圍電路的數(shù)據(jù)接口。

14、在一些實施方式中，控制邏輯單元被配置為將計算結(jié)果輸出到存儲器單元的組中。

15、在一些實施方式中，至少一個處理單元的數(shù)量等于存儲器單元的組的數(shù)量。每個處理單元分別對應于存儲器單元的組中的對應的組。

16、在一些實施方式中，至少一個處理單元的數(shù)量小于存儲器單元的組的數(shù)量。

17、在一些實施方式中，至少一個處理單元的數(shù)量是存儲器單元的組的數(shù)量的一半，并且一個處理單元分別對應于存儲器單元的兩個組。

18、在一些實施方式中，至少一個處理單元的數(shù)量是存儲器單元的組的數(shù)量的四分之一，并且一個處理單元分別對應于存儲器單元的四個組。

19、在一些實施方式中，至少一個處理單元的數(shù)量是一個，并且一個處理單元對應于存儲器單元的組。

20、在一些實施方式中，存儲器裝置包括動態(tài)隨機存取存儲器(dram)。

21、在另一方面中，提供了一種采用存儲器裝置進行數(shù)據(jù)計算的方法，該存儲器裝置包括存儲器單元的組以及耦合到存儲器單元的組的外圍電路。該方法包括：由外圍電路的控制邏輯單元經(jīng)由外圍電路的數(shù)據(jù)路徑總線從存儲器裝置的數(shù)據(jù)接口獲得第一數(shù)據(jù)和第二數(shù)據(jù)；將第一數(shù)據(jù)和第二數(shù)據(jù)編程到存儲器單元的組中；以及由外圍電路的至少一個處理單元基于第一數(shù)據(jù)和第二數(shù)據(jù)來執(zhí)行計算。

22、在一些實施方式中，第一數(shù)據(jù)包括至少一行。將第一數(shù)據(jù)和第二數(shù)據(jù)編程到存儲器單元的組中包括：基于第一數(shù)據(jù)模式將第一數(shù)據(jù)的每一行編程到存儲器單元的組中的一個存儲器組中。

23、在一些實施方式中，第一數(shù)據(jù)模式包括具有相等數(shù)據(jù)長度的n個第一數(shù)據(jù)段，其中，n是正整數(shù)，并且n≥2。第一數(shù)據(jù)模式的n個第一數(shù)據(jù)段的序列與第一數(shù)據(jù)的序列相同。

24、在一些實施方式中，每個第一數(shù)據(jù)段的數(shù)據(jù)長度小于或等于數(shù)據(jù)路徑總線的帶寬。

25、在一些實施方式中，第二數(shù)據(jù)包括m列，其中，m是正整數(shù)，并且m≥2，并且從存儲器裝置的數(shù)據(jù)接口獲得第二數(shù)據(jù)包括：基于第二數(shù)據(jù)模式將m列中的每一列編程到存儲器單元的組中的m組存儲器單元中，存儲器單元的組的數(shù)量大于m。

26、在一些實施方式中，第二數(shù)據(jù)模式包括n個數(shù)據(jù)組，該n個數(shù)據(jù)組中的每個數(shù)據(jù)組具有分別來自第二數(shù)據(jù)的m列的具有相等數(shù)據(jù)長度的m個第二數(shù)據(jù)段。第一數(shù)據(jù)段和第二數(shù)據(jù)段被配置為共享相等數(shù)據(jù)長度。

27、在一些實施方式中，從存儲器裝置的數(shù)據(jù)接口獲得第二數(shù)據(jù)包括：將錯誤檢查和糾正(ecc)碼分配給第二數(shù)據(jù)的每個數(shù)據(jù)組的m個第二數(shù)據(jù)段中的每個第二數(shù)據(jù)段。

28、在一些實施方式中，每個第二數(shù)據(jù)段的數(shù)據(jù)長度小于或等于數(shù)據(jù)路徑總線的帶寬。

29、在一些實施方式中，基于第一數(shù)據(jù)和第二數(shù)據(jù)執(zhí)行計算包括：由至少一個處理單元的每m個處理元件基于n個第一數(shù)據(jù)段中的第i個第一數(shù)據(jù)段以及n個數(shù)據(jù)組中的第i個數(shù)據(jù)組的m個第二數(shù)據(jù)段來執(zhí)行卷積運算，其中，i是正整數(shù)，并且n≥i≥1。

30、在一些實施方式中，基于第一數(shù)據(jù)和第二數(shù)據(jù)執(zhí)行計算包括：將第一數(shù)據(jù)的第i個第一數(shù)據(jù)段從一個存儲器組發(fā)送給m個處理元件中的每個處理元件；以及將m個第二數(shù)據(jù)段從m組存儲器單元發(fā)送給m個處理元件。

31、在一些實施方式中，該方法還包括：將計算結(jié)果輸出到存儲器裝置的外圍電路的數(shù)據(jù)接口的存儲器單元的組。

32、在又一方面中，提供了一種系統(tǒng)，該系統(tǒng)包括存儲器裝置和控制器。存儲器裝置包括存儲器單元的組以及耦合到存儲器單元的外圍電路。外圍電路包括：控制邏輯單元，該控制邏輯單元被配置為將第一數(shù)據(jù)和第二數(shù)據(jù)編程到存儲器組中；至少一個處理單元，該至少一個處理單元經(jīng)由外圍電路的數(shù)據(jù)路徑總線耦合到存儲器單元的組，并且被配置為基于第一數(shù)據(jù)和第二數(shù)據(jù)執(zhí)行計算。控制器與存儲器裝置耦合，并且被配置為將第一數(shù)據(jù)傳輸?shù)酱鎯ζ餮b置中并從存儲器裝置接收計算的結(jié)果。

33、在一些實施方式中，控制器還被配置為將第二數(shù)據(jù)傳輸?shù)酱鎯ζ餮b置中。

34、在一些實施方式中，存儲器裝置包括動態(tài)隨機存取存儲器(dram)。