大模型基准测试有了 ITU 国际标准，中国信通院牵头制定
本次发布的国际标准基于当前产学研界 500 余项基准测试系统性研究，一方面确立了大模型基准测试的 4 项核心要素，包括测试维度（测试场景、测试能力、测试任务和测试指标）、测试数据集、测试方法和测试工具。另一方面，针对通用场景的基础模型，提供了标准化的测试用例和范例流程，以支持企业规范开展大模型能力评估。
本次发布的国际标准基于当前产学研界 500 余项基准测试系统性研究，一方面确立了大模型基准测试的 4 项核心要素，包括测试维度（测试场景、测试能力、测试任务和测试指标）、测试数据集、测试方法和测试工具。另一方面，针对通用场景的基础模型，提供了标准化的测试用例和范例流程，以支持企业规范开展大模型能力评估。
MLPerf Client 基准测试的诞生是 AMD、英特尔、微软、英伟达、高通和顶级 PC OEM 等利益相关方的合作成果。
该基准测试目前包括 4 种参数规模不一的模型，分别为 Phi-3.5-mini、Mistral-7B、Llama-3.1-8B 和 Llama-2-13B。
