AVX-512指令的前世今生

AVX指令集介绍
AVX指令集(英语:Advanced Vector Extensions,即高级向量扩展指令集)是x86架构处理器中的指令集,被英特尔和AMD的处理器所支持。AVX指令集由英特尔在2008年3月提出,并在2011年第一季度出品的Sandy Bridge系列处理器首获支持。

AVX-512 是一组新的指令集,和之前的 SSE/AVX-128/AVX-256一样,都属于向量运算指令,支持的数据宽度更大了。更大数据宽度的向量指令一直(在深度学习流行起来以前) 被用于加速各种实际运算,例如多媒体编解码、加密解密和数值运算等。
官方如Intel描述:
Intel® AVX-512 is a set of new instructions that can accelerate performance for workloads and usages such as scientific simulations, financial analytics, artificial intelligence (AI)/deep learning, 3D modeling and analysis, image and audio/video processing, cryptography and data compression.
比较巧的是深度学习也刚好需要这类运算和需求,所以 AVX-512 被冠以深度学习就是水到渠成的事情了。

Intel 在最新的桌面和 Xeon 处理器中也开始支持 AVX-512,但是并不意味可以替代现在的专用加速卡 (如 FPGA 和 GPU) 在深度学习中的地位。毕竟核数太少。针对深度学习Intel将会推出新的指令集AVX512_4VNNIW 和 AVX512_4FMAPS。

  1. AVX架构演进

    架构演进如下图,最早从SSE指令集开始,到现在AVX512指令集,理论上行应该叫AVX3才对,当然INTEL最早也是这么计划的,后来画风变量就直接成AVX-512了。
    1.png
    AVX是X86指令集的SSE延伸架构,类似IA16至IA32演进,AVX把暂存器XMM 128bit提升至YMM 256bit,以增加一倍的运算效率。此架构支持了三运算指令(3-Operand Instructions),减少在编码上需要先复制才能运算的动作。在微码部分使用了LES LDS这两少用的指令作为延伸指令Prefix。
    AVX2指令集将整数操作扩展到了256位,并引入了FMA指令集作为扩充。AVX-512则将指令进一步扩展到了512位。
    详细的如下图,从64位到512位,AMD曾经企图率先发布SSE5来夺权,结果Intel将指令集的名称改成了AVX,而AMD只能宣布支持AVX指令集,夺权失败。:
    2.png

  2. AVX-512特性分析

    AVX-512指令集由独立的指令集组成,他们有唯一的CPUID特性位。各种指令集如下:

  3. F,CD,ER,PF

    F,CD,ER,PF在Xeon Phi x200 (Knights Landing)和Xeon V5中支持,其中ER和PF只有Knights Landing。分别是如下指令集。
    • AVX-512 Foundation (F)
    • AVX-512 Conflict Detection Instructions (CD)
    • AVX-512 Exponential and Reciprocal Instructions (ER)
    • AVX-512 Prefetch Instructions (PF)

  4. BW, DQ, VL

    在Skylake中引入,可见架构演进图。
    • AVX-512 Byte and Word Instructions (BW) 扩展AVX512能覆盖8位和16位整形操作。
    • AVX-512 Doubleword and Quadword Instructions (DQ) – 增加32位和64位AVX-512指令。
    • AVX-512 Vector Length Extensions (VL) – 扩展大部分AVX-512操作同样可以在XMM(128)和YMM(256)寄存器。

  5. IFMA, VBMI,4VNNIW, 4FMAPS

    后续计划的指令集
    • AVX-512 Integer Fused Multiply Add (IFMA)
    • AVX-512 Vector Byte Manipulation Instructions (VBMI)
    • AVX-512 Vector Neural Network Instructions Word variable precision (4VNNIW)
    • AVX-512 Fused Multiply Accumulation Packed Single precision (4FMAPS) -
    其中4VNNIW和4FMAPS是专门用来深度学习的,Intel是不会放弃这块大蛋糕的。

  6. 参考

Intel will add deep-learning instructions to its processors:
https://lemire.me/blog/2016/10/14/intel-will-add-deep-learning-instructions-to-its-processors/
AVX架构研发及支持:
https://llvm.org/devmtg/2014-10/Slides/Nis-AVX-512ArchPoster.pdf
Intel® AVX-512 Instructions and Their Use in the Implementation of Math Functions
http://arith22.gforge.inria.fr/slides/s1-cornea.pdf

标签: none

仅有一条评论

  1. yanyun yanyun

    关于CPU、指令集、架构、芯片的一些科普
    https://zhuanlan.zhihu.com/xpenrynidea/19893066

添加新评论