AI运算指以“深度进修”为代表的神经收集算法，须要体系可能高效处置大批非构造化数据（文本、视频、图象、语音等）须要硬件存在高效的线性代数运算才干，盘算义务存在：单元盘算义务简略，逻辑把持难度请求低，但并行运算量大、参数多的特色。
对芯片的多核并行运算、片上存储、带宽、低延时的访存等提出了较高的需要AI利用场景的丰盛谈论浩瀚碎片化的需要，源于此适配各类功效的处置器一直衍生。
CPUCPU即中心处置器（Central Processing Unit），做为盘算机体系的运算和把持中心，主要卖力多义务治理、调理，存在很强的通用性，是盘算机的中心引导部件，比如人的大脑不外其盘算才干其实不强，更善于逻辑把持。
正是因为CPU的并行运算才干不是很强，因此很少有人优先考虑在 CPU 上间接练习模子不外芯片巨子英特尔便抉择了这样一条路像英特尔至强可扩大处置器这类 AI build-in 的 CPU 在支撑模子练习上曾经有了极大地进步，客岁由莱斯大学、蚂蚁团体和英特尔等机构的研究者揭晓的一篇论文中表明，在花费级 CPU 上运转的 AI 软件，其练习深度神经收集的速率是 GPU 的15倍，别的比拟显存 CPU 的内存更容易扩大，良多推举算法、排序模子、图片/ 影象辨认等利用，曾经在大规模应用 CPU 做为基本盘算装备。
比拟价钱昂扬的 GPU，CPU 实际上是一种性价比很高的练习硬件，也非常合适对结果准确度请求高统筹本钱考量的制造业、图象处置与剖析等行业客户的深度进修模子GPUGPU即图形处置器（Graphics Processing Unit），采取数目浩瀚的盘算单元和超长的流水线，善于停止图象处置、并行盘算。
对复杂的单个盘算义务来讲，CPU 的履行效力更高，通用性更强；而对图形图象这类矩阵式多像素点的简略盘算，更合适用 GPU 来处置，也有人称之为人海战术而AI 范畴顶用于图象辨认的深度进修、用于决议和推理的机械进修和超等盘算都须要大规模的并行盘算，因而更合适采取 GPU 构筑。
多核 CPU 与 GPU 的盘算网格（图中绿色方格为盘算单元）CPU和GPU另有一个很大的差别便是：CPU可独自感化，处置复杂的逻辑运算和不同的数据范例，但当须要处置大批范例统一的数据时，则可挪用GPU停止并行盘算。
但GPU无奈独自事情，必需由CPU停止把持挪用才干事情在AI盘算范畴英伟达的GPU简直占到市场的绝大局部，但近几年也有不少国产企业进军高端GPU，比方沐曦首款采取7nm做工的异构GPU产物已流片、壁仞前不久也发布了单芯片峰值算力到达PFLOPS级别的BR100，另有燧原科技、黑芝麻、地平线等公司都在向高端GPU发力。
DPUDPU即数据处置器（Data Processing Unit），用于优化卷积神经收集，广泛利用于加快深度进修推理算法当CPU算力开释遇瓶颈，DPU可能卸载 CPU 的基本层利用（如收集协议处置、加密解密、数据压缩等），然而开释CPU低效利用真个算力，将CPU算力集中在上层利用。
差别于GPU，DPU主要用于对数据剖析与处置，进步数据接发的效力，而GPU则是专注于数据的加快盘算因而，DPU将有望成为开释CPU算力新的要害芯片，并与CPU、GPU构成上风互补，进步算力天花板DPU还存在高机能收集接口，能以线速或收集华厦可用速率剖析、处置数据，并高效地将数据传输到GPU和CPU。
英伟达收买Mellanox后，凭仗原本的ConnectX序列高速网卡技巧，揭晓其 BlueField序列DPU，成为DPU赛道的标杆英伟达首席履行官黄仁勋也曾表现：“ DPU 将成为将来盘算的三大支柱之一，将来的数据中心标配是‘ CPU + DPU + GPU ’。
CPU 用于通用盘算， GPU 用于加快盘算， DPU 则停止数据处置”当下的DPU的市场，曾经成为各个巨子和草创公司的必争之地，除英伟达等企业起始规划DPU工业外，阿里巴巴、华为在内的各大云服务商也逐步跻身DPU行业。
其余另有芯启源、大禹智芯、星云智联、中科驭数、云豹智能等公司TPUTPU即张量处置器（Tensor Processing Unit）是谷歌特地为加快深层神经收集运算才干而研发的ASIC 芯片，公用机械进修的人工智能加快处置器。
AI 体系凡是波及练习和揣度进程简略来讲，练习进程是指在已有数据中进修，取得某些才干的进程；而推理进程则是指对新的数据，应用这些才干实现特定义务（比方分类、辨认等）；推理是将深度进修练习结果投入应用的进程。
有老话言，全能东西的效力永久比不上公用东西TPU与同期的CPU和GPU比拟，能够供给15-30倍的机能进步，和30-80倍的效力（机能/瓦特）进步别的，在 TPU 中采取 GPU 常用的 GDDR5存储器能使机能TPOS目的再高3 倍，并将能效比目的 TOPS/Watt 进步到 GPU 的70倍，CPU 的200倍。
2016年 TPU 新闻刚颁布时，谷歌资深硬件工程师Norman Jouppi 在谷歌Research 博客中特殊提到，TPU 从测试到量产只用了22天，其机能把人工智能技巧往前推动了很接近7 年，相当于摩尔定律3 代的时间。
IPUIPU即图象处置单元（Intelligent Processing Unit），能够从图象传感器到显现装备的数据流供给完全支撑，衔接到相干装备，比方：摄像机、显现器、图形加快器、电视编码器息争码器。
相干图象处置与操纵包含传感器图象旌旗灯号处置、显现处置、图象转换等，和同步和把持功效采取的是大规模并行同构众核构筑，同期将练习和推理合二为一，为AI盘算供给了全新的技巧构筑，兼具处置两者事情的才干IPU是英国AI芯片创业公司Graphcore当先提出的观点，Graphcore的第一代IPU现在已在微软Azure云和Dell-EMC服务器中应用，为AI算法谈论了奔腾性的机能进步，也为开发者谈论更广阔的翻新空间及更多翻新机遇。
今朝，IPU正在成为仅次于GPU和谷歌TPU的第三大安排平台，源于IPU的利用曾经笼罩包含天然言语处置、图象/视频处置、时序剖析、推举/排名及几率模子等机械进修的各个利用场景2021年，英特尔揭晓了IPU技巧，克日又和谷歌独特设想了新型定制基本设施处置单元（IPU）芯片 E2000，代号为“Mount Evans”，以降低数据中心主 CPU 负载，并更有效和安全地处置数据密集型云事情负载。
NPUCPU和GPU的制造本钱较高，功耗也比较大，加上AI场景下须要运算的数据量一劳永逸，一种对于神经收集深度进修的高效智能处置器应运而生，也便是NPUNPU即神经收集处置器（Neural network Processing Unit），它是用电路模仿人类的神经元和突触构造。
用于加快神经收集的运算，处理传统芯片在神经收集运算时效力低下的成绩，特殊善于处置视频、图象类的海量多媒体数据与CPU、GPU处置器运转须要的数千条指令比拟，NPU只须一条或几条就可以实现，且在等同功耗下NPU 的机能能够到达 GPU 的118倍，因而在深度进修的处置效力上面上风显明。
NPU 今朝较多地在端侧利用于 AI 推理盘算，在云端也有大批运用于视频编解码运算、天然言语处置、数据剖析，局部NPU还能运用于 AI 的练习比方在手机SoC中，CPU是卖力盘算和团体和谐的，而GPU是卖力和图象有关的局部，NPU卖力和AI有关的局部，其事情流程则是，任何事情都要先经由过程CPU，CPU再依据这一块事情的性子来决议调配给谁。
如果是图形上面的盘算，就会调配给GPU，如果是AI上面的盘算需要，就调配给NPUNPU具体的利用有：源于人脸辨认的考勤机、源于 DHN（深度哈希收集）的掌纹辨认、源于图象分类的主动垃圾分类、主动驾驶汽车、主动跟焦摄像机、监督体系等。
2014年中科院的陈天石科研集体揭晓了 DianNao 序列论文，随即囊括了体系构造界，开启了公用人工智能芯片设想的先河，厥后中科院旗下的寒武纪科技揭晓了其第一代 NPU 寒武纪1A，并用在了华为麒麟970芯片中，华为也揭晓了自研的源于 DaVince 构筑的 NPU ，阿里则揭晓了“含光”构筑的 NPU 。
跟着芯片构造方法的变化，大批异构处置器计划也一直衍生，每一个芯片都对处置器机能、优化目的、所需的数据吞吐量和数据流做出了不同的抉择在这几大类处置器芯片中，IPU与DPU发展速率当先跟着5G边沿云、主动驾驶和车路协同、金融盘算等谈论越来越多的数据量，各类“X”PU的市场价值都在一直爬升。
