RISC-V LinuxBetaOPEN SILICON. SHARED KNOWLEDGE.

AdaptViT:在定制RISC-V上部署运行时自适应视觉Transformer

Fig. 1 : MLP Pruning Method.
Source: arxiv.org

技术分析

研究概述

由于计算需求高以及传统剪枝方法的存储开销,在低功耗边缘设备上部署视觉Transformer (ViT) 面临挑战。本文提出了AdaptViT,一个端到端部署流水线,将预训练的ViT转换为一个单一的运行时可配置二进制文件,用于嵌入式RISC-V CPU。该系统通过重构C内核,修改循环边界和二进制掩码控制逻辑,并结合针对多层感知器 (MLP) 层的硬件对齐块剪枝策略,实现了动态计算预算切换。此外,还引入了定制的MAC2 ISA扩展,以利用线性投影内核中的输入复用模式。在Synopsys TRV32P3FX RISC-V处理器上进行评估,AdaptViT将设备上存储减少高达4.86倍,在ViT-Base的65% MLP和50%注意力头剪枝下,实现高达2.8倍的速度提升,并且MAC2 ISA扩展本身提供了1.56倍的速度提升和33%的推理能耗降低。

研究问题与贡献

  • 在RISC-V上通过单一编译二进制文件实现运行时自适应ViT推理。
  • 与多二进制文件部署相比,设备上存储减少高达4.86倍。
  • 通过结合剪枝和ISA扩展,ViT-Base的推理速度提升高达2.8倍。
  • 定制的MAC2 ISA扩展提供1.56倍的速度提升和33%的推理能耗降低。
  • 针对MLP层的硬件对齐块剪枝策略提高了剪枝效率。

方法与证据

  • 部署流水线将预训练的ViT转换为一个单一的运行时可配置二进制文件,用于嵌入式RISC-V CPU。
  • C内核通过修改循环边界和二进制掩码控制逻辑进行重构,通过紧凑的外部配置文件实现离散稀疏度级别的动态切换。
  • 硬件对齐的块剪枝策略应用于多层感知器 (MLP) 层,将神经元分组为八个一组的块,并在块级别进行剪枝。
  • 注意力头按头进行剪枝,并在QKV投影和输出投影中跳过相应的Q/K/V切片。
  • 用于注意力分数计算和值聚合的批矩阵乘法内核通过跳过已剪枝的头并将其输出区域零初始化来利用头级稀疏性。
  • 使用TORCHAO对线性投影层应用部分INT8量化,而非线性操作仍保持浮点格式。
  • RISC-V ISA中添加了一个定制的MAC2指令,执行两个并行MAC操作,共享一个输入激活,将dense_pack内核中最内层循环的指令从16条减少到4条。
  • 评估是使用Synopsys TRV32P3FX RISC-V处理器在Oxford-IIIT Pet数据集上进行的,该处理器是一个32位、3级顺序执行核心,支持单精度浮点运算。
  • 延迟通过在基线和ISA扩展核心上进行指令精确 (IA) 仿真测量,结果与PyTorch量化推理进行了验证。
  • ASIC综合 (台积电28纳米) 显示MAC2扩展带来了24.7%的面积和5.1%的功耗开销,但实现了比基线更低的归一化面积-延迟积 (ADP)。
  • 切换配置的运行时控制开销小于5%,分类器处理开销对于ViT-Small/Base分别约为57K/114K周期,这小于单个推理周期的10^-5倍。

结果的意义

  • 通过减少存储并提高推理速度和能效,使得计算密集型视觉Transformer能够在资源受限的边缘设备上高效部署。
  • 运行时自适应特性允许根据不断变化的环境条件 (例如,电池电量、工作负载、用户需求) 动态调整计算预算,而无需重新加载模型或重新编译。
  • 所提出的结合结构化剪枝、C代码转换和定制ISA扩展的方法,为在嵌入式处理器上优化深度学习模型提供了一种可推广的方法。
  • 设备上存储的显著减少使得ViT在闪存有限的微控制器上部署更具可行性。
  • 多个操作点提供的能耗-精度权衡允许开发人员根据特定的应用需求选择最佳配置。

局限性与待解问题

  • 8个一组的结构化剪枝相比基线FP32逐神经元剪枝,平均引入了2.12%的精度下降。
  • INT8量化相对于FP32进一步导致额外的5.07%精度下降。
  • 当前框架的分类器处理涉及在运行时切换期间复制权重和偏置,虽然可以忽略不计,但被认为是未来优化以完全消除开销的领域。
  • 所提出的MAC2 ISA扩展虽然高效,但专为主要投影内核中的特定输入复用模式定制,可能不像通用向量 (RVV) 或打包SIMD (RVP) 扩展那样广泛地推广到所有类型的操作或模型。
  • 未来工作需要将基于掩码的跳过扩展到非线性层,并探索使用向量或矩阵计算引擎的异构加速,这表明了当前的范围限制。
  • ViT-Small由于冗余度较低,与ViT-Base相比表现出更大的精度下降,这表明剪枝的有效性可能随模型大小而变化。

Read next

Explore all articles →