台积电提出SRAM存内计算新方法,能效比可达89TOPS/W
wptr33 2025-07-10 21:28 6 浏览
芯东西(公众号:aichip001)
编译 | 高歌
编辑 | 云鹏
芯东西3月16日消息,近期,台积电的研究人员在ISSCC 2021会议上公布了一种改良的SRAM存储器阵列,该SRAM阵列采用22nm工艺,功率效率为89TOPS/W,运算密度为16.3TOPS/mm2。
与传统的冯·诺依曼架构相比,该方法可以提升数据传输效率,降低设备功耗,满足未来AI边缘应用的部分需求。
台积电通过扩展常规SRAM阵列,提供了一种高面积效率的存内计算方法,支持可编程位宽、有符号或无符号以及4种不同位宽权重的输入激活。
论文链接:
https://ieeexplore.ieee.org/document/9365766/authors#authors
一、ReRAM耐用性较差,难以应用于大型神经网络
在最近的2021年国际固态电路会议(ISSCC 2021)上,多个技术会议针对存储器阵列技术展开,以支持机器学习算法的计算需求。
当前,机器学习需要将数据和权重从内存移动到处理单元,然后将中间结果存储回内存。这一方法效率较低,其无谓的信息传输不仅增加了计算延迟,也增加了相应的功耗。
其“无增值”的数据移动是耗散能量的很大一部分,甚至大于“增值”计算的能量消耗,数据和计算单元权重实际只消耗了一小部分能量。
各部分能量损耗(来源:深度神经网络能量估算工具)
对于在边缘应用机器学习的系统来说,提高存内计算效率、降低能量损耗十分重要。如果想要提高机器学习存内计算效率,重点在于优化每个神经网络节点关联的向量乘法累加(MAC)操作。
训练网络节点求和计算方式(来源:IEEE Xplore)
对于一般网络来说,数据和权重通常是多位数。经过训练的边缘AI网络中的权重向量对于可以使用有符号、无符号或二进制补码整数位表示形式,存内计算的MAC输出则是通过添加部分乘法乘积实现的。
每个节点中(数据*权重)的位宽是明确定义的。例如,2n-bit向量覆盖2n-bit无符号整数乘积。如果想要将所有(数据*权重)乘积累加到高度连接的网络中,需要更多bit才能准确表示MAC结果。
当前存内计算研究的一个重点方法是:使用电阻式RAM(ReRAM)实现位线电流检测。活动存储器行字线的数据输入和存储在ReRAM中权重的乘积会产生可区分的位线电流,该电流用于为参考电容充电。
之后模数转换器(ADC)将该电容电压转换为等效的二进制值,进行后续的MAC移位累加。
尽管ReRAM存内计算的面积效率较高,但它也有缺点:
1、由于电压范围、噪声和PVT的变化,模拟位线电流检测和ADC的精度受到限制;
2、ReRAM阵列的写入周期时间长;
3、ReRAM阵列的耐用性较差,限制了通用内存存储阵列的适用性。
因此在推理神经网络较小、数据矢量表示受到限制(8位或更少)时,使用ReRAM阵列可以提升面积效率。
但是当神经网络较大、数据精度要求很高,存储阵列需要更大的网络和重构工作负载的情况下,更新权重经常会阻碍ReRAM对位电流进行检测。
二、改良SRAM阵列支持更大神经网络
在ISSCC上,台积电的研究人员提出了一种替代ReRAM的方法,他们使用改良的SRAM阵列进行(数据*权重)计算,这种方法不需要采用更新的存储技术,因此可以支持更大的神经网络。
台积电的SRAM阵列(来源:IEEE Xplore)
如果层数较大,SRAM阵列可以加载数据输入与权重进行节点计算,可以保存输出值并对后续层进行检索。与ReRAM相比,SRAM阵列减少了数据和权重传递的能耗,解决了ReRAM的耐用性问题。
每个slice具有256个数据输入,它们连接到“X”逻辑电路,数据输入向量的连续字节在时钟周期中被提供给“X”门。一个slice中存储了256个4-bit权重,每个数据输入代表一个权重,每个权重连接到“X”逻辑的另一个输入。
SRAM阵列中的逻辑集成示意图(来源:IEEE Xplore)
“X”是一个双输入或非门(NOR Gate),由一个数据输入和一个权重值作为输入,在面积效率和功率方面都具有一定优势。每个slice之间,集成了加法器树和部分累加逻辑。
加法器树示意图(来源:IEEE Xplore)
加法器树中的权重存储使用了传统的SRAM拓扑结构,其中的权重字线和位线进行正常连接。对于一个6T-bit单元,每个单元的存储值就是或非门的一个输入。
每个slice的输出表示每个权重向量的部分乘积总和。扩展数组之外的其他逻辑电路提供了移位相加计算,以支持更宽的权重表示。例如,一个(有符号或无符号整数)16-bit权重将组合来自4个slice的累加结果。
三、5nm能效比有望提升19倍
台积电基于SRAM的全数字测试器件突出显示了256输入,16个slice(4-bit权重半字节)的宏设计。
台积电基于SRAM的全数字测试器件的显微图(来源:IEEE Xplore)
其基于SRAM的存内计算宏可以在阵列中提升更新权重的效率,而且该阵列基于数字逻辑的MAC操作可在很宽的电源电压范围内使用。
SRAM阵列的电源电压(TOPS)和功率效率(TOPS/W)测试性能(来源:IEEE Xplore)
根据实验结果,采用22nm工艺的SRAM阵列功率效率为89TOPS/W,运算密度为16.3TOPS/mm2。
尽管此存内计算是在较旧的22nm工艺中进行测试,但是台积电的研究人员也提供了5nm节点的面积功率与功率效率估值。
与22nm节点相比,5nm节点的电源电压(TOPS)和功率效率(TOPS/W)将分别提升2.8倍和19倍。
结语:存内计算或解决AI边缘设备能耗问题
从云到边缘设备,人工智能(AI)和机器学习(ML)被广泛用于图像分类、语音识别等任务。近年来,由于AI在边缘的优势,比如隐私、低延迟及对网络带宽的有效利用等,AI边缘设备的研究受到了越来越多的关注。
但是,传统的计算架构,如CPU、GPU、FPGA等因为能耗问题很难满足AI边缘应用的未来需求。本次台积电的这种SRAM阵列通过在内存中进行计算,可以减少内存访问的能量消耗,或许能够解决AI边缘的能耗问题。
来源:SemiWiki、IEEE Xplore
- 上一篇:JS入门基础知识(js基础知识总结笔记)
- 已经是最后一篇了
相关推荐
- 台积电提出SRAM存内计算新方法,能效比可达89TOPS/W
-
芯东西(公众号:aichip001)编译|高歌编辑|云鹏芯东西3月16日消息,近期,台积电的研究人员在ISSCC2021会议上公布了一种改良的SRAM存储器阵列,该SRAM阵列采用22nm工...
- Golang中如何判断两个slice是否相等?
-
在Golang中,要判断两个slice是否相等是不能直接使用==运算符的(==只能说明两个slice是否指向同一个底层数组)。如果两个slice的底层数组相同,但长度或容量不同...
- JS入门基础知识(js基础知识总结笔记)
-
JS对象操作对象增删改查创建对象letobj={}新增属性obj.a=1修改属性obj.a='a'...
- 趣谈JS二进制:File、Blob、FileReader、ArrayBuffer、Base64
-
大家好,我是Echa。好久没跟粉丝们细聊JavaScript那点事了。做一名全栈工程师,JS基础还是要打牢,这样的话不管底层业务逻辑以及第三方框架怎么变化,都离不开基础。本文文章属于基础篇,阅读有点...
- 告别 substr() 和 substring()?更可靠的 JavaScript 字符串截取方法
-
JavaScript提供了三个主要的字符串截取方法:...
- golang第九天,切片(slice)介绍(golang 切片作为参数)
-
什么是切片golang切片是对数组的抽象。go的数组长度不可改变,在特定场景中这样的集合就不太适用,go中提供了一种灵活,功能强悍的内置类型切片(“动态数组”),与数组相比切片的长度是不固定的,可以追...
- Go语言零到一:数组(go struct数组)
-
引言...
- 你说你熟悉Slice,这道slice题你能答对吗?
-
每当你花费大量时间使用某种特定工具时,深入了解它并了解如何高效地使用它是很值得的。...
- Python 3.14七大新特性总结:从t-string模板到GIL并发优化
-
Python3.14已进入测试阶段,根据PEP745发布计划,该版本已停止引入新功能,也就是说新特征就应该已经固定下来了。所以本文基于当前最新的beta2版本,深入分析了Python3.14中...
- Python 幕后:Python导入import的工作原理
-
更多互联网精彩资讯、工作效率提升关注【飞鱼在浪屿】(日更新)Python最容易被误解的方面其中之一是import。...
- Python元类实现自动化编程的正确姿势
-
元类是Python中用于创建类的类。通过元类机制,开发者可在运行时动态创建和修改类,为框架开发、设计模式实现和高级架构设计提供核心支持。在Python语言的高级特性中,元类占据着独特而重要的地位。作...
- Python字符串详解与示例(python字符串类型及操作)
-
艾瑞巴蒂字符串的干货来了,字符串是程序中最常见的数据类型之一,用来表示数据文本,下面就来介绍下字符串的特性,操作和方法,和一些示例来吧道友:1.字符串的创建在python中字符串可以永单引号(...
- 恕我直言!你对Python里的import一无所知
-
文章来源:https://mp.weixin.qq.com/s/4WAOU_Lzy651IE-2zZSFfQ原文作者:写代码的明哥...
- Python基础:字符串操作(python字符串的用法)
-
字符串是Python中最常用的数据类型之一,用于表示文本数据。我们将学习如何对字符串进行常见的操作,包括创建、访问、修改和处理字符串。通过掌握这些技巧,您将能够更好地处理和操作文本数据。让我们开始吧!...
- Python 中 字符串处理的高效方法,不允许你还不知道
-
以下是Python中字符串处理的高效方法...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
-
- 台积电提出SRAM存内计算新方法,能效比可达89TOPS/W
- Golang中如何判断两个slice是否相等?
- JS入门基础知识(js基础知识总结笔记)
- 趣谈JS二进制:File、Blob、FileReader、ArrayBuffer、Base64
- 告别 substr() 和 substring()?更可靠的 JavaScript 字符串截取方法
- golang第九天,切片(slice)介绍(golang 切片作为参数)
- Go语言零到一:数组(go struct数组)
- 你说你熟悉Slice,这道slice题你能答对吗?
- Python 3.14七大新特性总结:从t-string模板到GIL并发优化
- Python 幕后:Python导入import的工作原理
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)