AI芯片从应用领域来分，主要分为云端数据中心和消费终端，而从功能来分主要分为云端训练（Training）和终端推理（Inference）。
云端市场目前基本被NVIDIA和Google两大玩家统治；
终端玩家相对较多，包括Intel、高通、ARM、Imagination、华为、寒武纪等。
从技术层面看，AI芯片分为基于GPU、FPGA、ASIC等。
按使用场景划分，AI芯片主要分为云端和终端芯片。目前主流的深度学习人工神经网络算法包括训练和推断两个环节。由于训练侧需要大量数据去训练人工神经网络，因此训练主要在云端进行。云端追求高性能，开发成本更大，终端更侧重低成本和低功耗，目前中国AI初创企业主要布局在此。
云端芯片方面，寒武纪在2016年推出全球首款商用终端智能处理器IP产品后，于5月3日正式发布了首款云端智能芯片MLU100。
7月，百度在AI开发者大会上正式推出了昆仑，基于百度CPU、GPU、FPGA的AI加速器研发。这是中国首款云端全功能AI芯片。
根据市场研究公司CompassIntelligence发布的全球AI芯片排行榜，除了英伟达、英特尔等传统芯片公司巨头，寒武纪、地平线等AI芯片公司也位居前列。
在AI算法并未成熟固定的当下，FPGA(现场可编辑门阵列)被认为是一种中间方案，其最大的优势在于能够使系统的硬件功能可以像软件一样通过编程修改。与GPU、CPU通用芯片相比，性能更高、能耗更低。深鉴科技开始从赛灵思采购FPGA，将核心算法DPU放到FPGA，然后以模组的方式销售给客户，但FPGA价格相对较贵，而且与专用定制芯片ASIC相比，性能和功耗方面也有不小差距。除了FPGA方案，深鉴科技也在研发AI专用芯片，目前正在流片。
NVIDIA的图灵架构发布以来已经有六款显卡问世了，包括专业级的RTX 8000/6000/5000及消费级的RTX 2080 Ti/2080/2070显卡。
NVIDIA在日本GTC大会上又宣布了一款图灵架构的新卡——Tesla T4，有2560个CUDA核心，集成320个Tensor Core核心，FP32浮点性能8.1TFLOPS，INT4浮点性能最高260TFLOPS，更神奇的是这款显卡只有75W TDP，在规模比RTX 2070显卡还高的情况下TDP功耗低得多。
Tesla T4显卡主要面向AI推理应用，使用了PCIe插槽，被动散热设计，外观风格跟RTX 8000及RTX 2080 Ti显卡又不是一种风格了，看图片更有金属质感。
显存方面，Tesla T4配备了16GB GDDR6显存，但是官方的给出的带宽又只有320GB/s，如果是256bit位宽，那么320GB/s对应的频率就是10Gbps，频率明显比GDDR6显存要低，所以这个卡要么显存位宽有所降低，要么就是使用了低频版GDDR6。
