SPEC CPU2026 微观审视：程序、阶段与采样

技术分析

摘要

核心要点

• 程序级分析显示，整数基准测试通常受前端限制，而浮点基准测试则常受内存限制，不同编译器版本可使单个基准测试的IPC减半或几乎翻倍。
• 阶段级特性分析揭示，超过一半的SPECrate输入表现出时变行为，单个输入运行中的IPC变化幅度超过一个数量级。
• SimPoint作为一种常见的采样模拟工具，对稳定型输入是准确的，但对多阶段型和突发型输入显示出高达43%的误差，且其准确性可能因随机种子变化而波动58个百分点。
• SimPoint不准确的根本原因被确定为代表的选择，而非聚类，因为一种预言机选择方法将所有输入的误差降低到2.6%以内。
• 提供了将SimPoint与CPU2026结合使用的实用建议，包括根据阶段行为预先分类输入，以及对非稳定型工作负载运行多个随机种子。

技术细节

• 该研究在三个平台上对SPEC CPU2026进行了特性分析：Intel Sapphire Rapids (x86)、Graviton4 (Arm) 和 SpacemiT K3 (RISC-V)，使用了GCC 15.2.0和GCC 13.3.1编译器。
• 硬件计数器在全程运行、10毫秒和1亿条指令间隔下进行测量，以捕获不同粒度的程序行为。
• 在程序级分析中，作者报告了所有52个基准测试的全程运行指标，并根据主要的自顶向下瓶颈（前端、错误推测、内存、核心或平衡）对其进行了分类。
• 工作负载扩展分析表明，'train'工作负载虽然较小，但尽管平均IPC相似，却常常不能准确代表'ref'工作负载的缓存和分支行为。
• 跨平台比较显示，对于浮点基准测试，Arm和RISC-V平台平均执行的指令数比x86多25%，使得每指令指标的可比性降低。
• 对x86平台上90个SPECrate输入的阶段级特性分析，根据IPC变化和慢速间隔时间份额，将其分为稳定型（38个输入）、多阶段型（35个输入）或突发型（17个输入）。
• 发现慢速间隔（IPC低于0.3）占用的运行时间显著多于其指令份额，某些输入的比率范围为3.0到59。
• SimPoint 3.2根据每间隔硬件CPI测量结果进行了验证，使用了默认设置（K最多30个簇）并跨越了五个随机种子。
• 一项预言机实验，用最接近簇的周期加权CPI的簇成员替换SimPoint的代表，将最大误差降低到2.6%。

影响与意义

• 计算机体系结构研究人员在仅依赖SPEC CPU2026的全程平均指标时应谨慎，因为这些指标可能掩盖对准确评估至关重要的显著时变行为。
• 在详细模拟研究中，使用较小的'test'或'train'工作负载作为'ref'的替代品，尤其是在内存层次结构或分支预测方面，可能因行为差异而导致不准确的结论。
• 编译器的选择显著影响基准测试性能和指令计数，这意味着使用不同编译器进行研究的IPC值不能直接比较。
• SimPoint对多阶段型和突发型基准测试的不可靠性，要求采用更稳健的采样策略，因为使用默认设置的单次运行可能会产生高度可变和不准确的结果。
• 研究结果强调了在SimPoint等采样模拟工具中改进代表选择机制的必要性，可能通过在聚类时将性能指标与代码签名一同考虑。

局限性

• 指令计数和IPC的跨平台比较未能区分指令集架构（ISA）差异和微架构差异。
• 阶段分类阈值（例如，稳定型IPC比率1.3倍，突发型慢速间隔时间份额2%）是启发式的，尽管敏感性分析表明其稳健性。
• 采样研究仅限于单线程SPECrate基准测试和SimPoint，因此其结论可能不适用于多线程应用程序或其他采样模拟方法。
• SimPoint的验证使用硬件测量作为真实数据，以将采样误差与模拟器建模误差分离，但未涉及完整的周期级模拟。
• 一个基准测试766.femflow_r未能在RISC-V平台上编译成功，导致RISC-V结果覆盖不完整。
• 该研究结果仅限于SPEC CPU2026和所测试的硬件/编译器配置，可能无法推广到其他基准测试套件或系统设置。