浙江省财政厅行政处理决定书
微信分享
关注项目
标讯收藏
| 项目名称 | 省份 | ||
| 业主单位 |
认领
立即查看
|
业主类型 | |
| 总投资 | 建设年限 | ||
| 建设地点 | |||
| 审批机关 | 审批事项 | ||
| 审批代码 | 批准文号 | ||
| 审批时间 | 审批结果 | ||
| 建设内容 | |||
一、项目编号：BSZB2023-AZZG239
二、项目名称：浙江省电子信息产品检验研究院软件性能测试工具采购项目
三、相关当事人
投 诉 人：上海卫戍信息技术有限公司
地 址：上海市徐汇区钦州北路1122号89幢4楼03室
被投诉人：杭州博实招标代理有限公司
地 址：浙江省杭州市拱墅区登云路518号3幢1708室
四、基本情况
投诉人上海卫戍信息技术有限公司对浙江省电子信息产品检验研究院软件性能测试工具采购项目（编号：BSZB2023-AZZG239，以下简称本项目）采购过程和采购结果质疑答复不满，于2024年1月31日向本机关提起投诉，本机关于2024年1月31日受理。经依法对本次政府采购活动的相关材料进行审查，现本案已审查终结。
投诉人上海卫戍信息技术有限公司诉称：投诉事项1：招标代理最终的《质疑回复》与其组织的现场测试的结果偏差巨大，会严重影响招标结果。此《质疑回复》一旦被采纳会导致招标人采购存在质量问题的产品，甚至还可能导致采购方公信力和关键资质受损。事实依据：本项目专业性强，所以招标代理组织了现场测试。现场测试结束后采购方已经明确表示性能测试工具最重要的目的是得出准确的性能指标。以及出具报告有指标错误会带来的严重影响。（以下摘自招标代理的《质疑回复》第5页）（图略）。我司根据招标代理的《质疑回复》、采购方通过邮件发送给招标代理的《邮件正文》（附件5）、《质疑回复》（附件6）、《现场测试情况记录汇总》（附件7），总结出以下信息：①采购方在招标代理组织的现场测试中确认XRunner性能指标计算混乱。性能测试工具最重要的目的是得出准确的性能指标，如果出具的报告有指标错误会影响浙江省电子信息产品检验研究院的公信力，甚至被取消CNAS、CMA等相关资质(招标代理的《质疑回复》第5页)。②采购方在招标代理组织的现场测试发现XRunner监控结果偏差过大。监控结果中的磁盘使用情况与被测服务器中性能监视器不一致，以磁盘写指标为例，监控结果与真实值相差数千至数万倍(《现场测试情况记录汇总》第21页)。③采购方通过招标代理组织的现场测试发现质疑事项2、3、4、5、6、7、8、9属于功能未正确实现，而非提供虚假材料(采购方发送给招标代理关于质疑回复的邮件)。④采购方通过招标代理组织的现场测试确认质疑事项3、5予以采纳，质疑事项2、4、6、8、9部分采纳(采购方提供给招标代理的《质疑回复》)。⑤采购方在招标代理组织的现场测试中发现广州掌动对招标文件的需求理解与采购单位存在偏差，部分功能未能满足采购单位作为检测机构的特性(招标代理的《质疑回复》第5页)。招标代理在进行质疑回复时未充分考虑采购需求，未合理采纳采购方意见和现场测试结果，坚持所有的质疑事项不成立。法律依据：《政府采购质疑和投诉办法》第五条规定：采购人负责供应商质疑答复。采购人委托采购代理机构采购的，采购代理机构在委托授权范围内作出答复。《政府采购法》第十七条规定“集中采购机构进行政府采购活动，应当符合采购价格低于市场平均价格、采购效率更高、采购质量优良和服务良好的要求”的原则。投诉事项2：招标代理的《质疑回复》内容对质疑方不公正客观。事实依据：以质疑事项3为例，招标代理的回复如下：（图略）。我司在《质疑函》里质疑的是“涉嫌虚假应标”，即用投标时标的产品不具备的功能去应答“完全满足”。针对质疑3，我司质疑事项为XRunner性能指标计算混乱，错误频出。广州掌动回复“可能是因版本问题”来试图规避所质疑的质量问题。招标代理机构于2024年1月16日组织的质疑核查包含了此项功能进行验证，验证结果与我司质疑事项完全吻合，事实清晰，证据充分。我司在此项质疑中未提出广州掌动提供虚假材料，但招标代理的结论是“产品质量问题而非提供虚假材料，质疑事项依据不足”。试图用“非提供虚假材料”来规避所质疑的质量问题。综上所述，我司认为招标代理对此项质疑的回复不公正客观。由此我司也对整个质疑回复的公正性和客观性抱怀疑态度。投诉事项3：招标代理质疑核实过程操作不规范。事实依据：1.招标代理未确保现场验证软件及资料为投标标的版本。本次采购为成熟软件产品采购，我司质疑对象为广州掌动投标标的版本。所以现场验证、质疑答复均应基于标的版本进行。因此招标代理有责任确保广州掌动现场验证中使用的版本不晚于投标日期（2023年12月28日）。但从《现场测试情况记录汇总》可以看到广州掌动的英文和中文繁体文档多创建于2024年1月12—13日，多个程序模块编译于2024年1月14日。（详见《现场测试情况记录汇总》第12页）。临时修改版本的痕迹明显。同时在招标代理的《质疑回复》也试图避开版本问题，而是留待后续去考察未来版本是否满足，这是对其他投标商权益的不公平，也给采购方带来极高的风险（以下摘自招标代理的《质疑回复》第5页）（图略）。2.招标代理申请延长质疑答复时间不合规。根据相关法律，招标代理机构应于2024年01月12日前进行质疑答复，2024年01月12日,就质疑事项发出了申请延长质疑答复时间的邮件，提出“项目专业性强，针对贵公司质疑内容2-9项，我公司需进一步核实，答复时间需适当延长”（见附件3）。《现场测试情况记录汇总》中显示，现场测试时间为2024年1月16-17日，之前没有任何技术核实工作，而且技术核实工作也可以在两天内完成。招标代理在法定质疑答复时间内不组织技术核实工作，而是最后时刻申请延长答复时间，将技术核实工作安排在延长时段。我司认为招标代理申请延长质疑答复时间不合规。法律依据：《政府采购质疑和投诉办法》第十三条规定：采购人、采购代理机构不得拒收质疑供应商在法定质疑期内发出的质疑函，应当在收到质疑函后7个工作日内作出答复，并以书面形式通知质疑供应商和其他有关供应商。《政府采购质疑和投诉办法》第十七条规定：质疑供应商对采购人、采购代理机构的答复不满意，或者采购人、采购代理机构未在规定时间内作出答复的，可以在答复期满后15个工作日内向本办法第六条规定的财政部门提起投诉。根据招标文件要求，并非定制开发产品，因此所投产品应早于开标日期。投诉事项4：采购方出具的意见及报告、招标代理机构出具的《质疑回复》均认为广州掌动产品存在性能指标计算混乱，这已构成不满足招标文件多项要求，而非其应标时所答“完全满足”。事实依据：在采购方出具的《现场测试情况记录汇总》及招标代购机构回复我司的质疑答复里，均明确作为一款性能测试工具，广州掌动智能的产品“性能指标计算混乱、错误频出”。这已实质上不满足招标文件里需求及技术规格如下章节：①2.1核心功能要求第3、测试分析：跟踪业务流程，收集汇总所有测试数据，以图或表形式提供分析数据和报告，进行测试结果分析，进行软件性能问题诊断；②2.4实时监控要求第1、提供被测系统部分的详细指标，包括web服务器、数据库等系统的全面监控（包括cpu使用率、内存占用率、硬盘占用率）；③2.4实时监控要求第3、▲可实时监控系统运行的各种状态图表，支持对脚本中事务的执行和被测系统性能数据的实时监控；④2.4资源监控4、▲能够提供从一台计算机上就能监测到所有服务器和应用程序的性能品质，发生状况立即能接收到警报；⑤2.6分析诊断及报告生成第1、能够收集汇总所有的测试数据，分析测试结果，帮助定位系统性能瓶颈，提出诊断建议；⑥2.7支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。法律依据：详见：浙江省电子信息产品检验研究院软件性能测试工具采购项目，招标文件（电子招投标），编号:BSZB2023-AZZG239。与投诉事项相关的投诉请求：请求：1、我司申请取消广州掌动中标资格，终止采购方与其后续合同签约等相关工作。投诉人上海卫戍信息技术有限公司提供了质疑函、质疑答复函等证据。
被投诉人杭州博实招标代理有限公司辩称：针对投诉事项1答复：质疑事项2-9具体内容：质疑事项2“中标产品XRunner并不支持DevWeb、Gatling。”质疑事项3“XRunner性能指标计算混乱，错误频出。错误的性能指标会使整个性能测试工作成果完全被浪费，甚至造成采购方重大损失。”质疑事项4“根据查看XRunner产品界面和文档，并无英文和繁体中文界面和文档。”质疑事项5“XRunner不支持PPT、Excel、CSV、XML、BMP和JPEG等格式。”质疑事项6“XRunner完全不支持使用C语言进行脚本编写。” 质疑事项7“XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。XRunner无法满足支持环境的要求，例如WebSphere、DB2等。”质疑事项8“XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。质疑事项9“XRunner无法实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统。”综上，质疑事项2、4、5、6、7、8、9，质疑内容均为中标产品XRunner不具备招标文件指标参数要求的功能；质疑事项3，质疑内容为中标产品XRunner性能指标计算混乱、错误频出。《质疑函》指出，质疑事项2、4、5、6、7、8、9不满足招标文件详细指标参数要求为：质疑事项2指标参数要求：支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，2000并发，永久授权；质疑事项4指标参数要求：本地化及多语言支持 软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文、英文、繁体中文；质疑事项5指标参数要求：生成性能报告：能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告。质疑事项6指标参数要求：必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能；质疑事项7指标参数要求：资源监控。必须以无代理方式监控整个被测应用环境；必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server；质疑事项8指标参数要求：采用无代理监控，无需第三方软件直接对CPU使用率，内存占有率及磁盘I/O输出进行监控，减少加压时对被监控系统的无谓资源开销；质疑事项9指标参数要求：实时监控。加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。以上需求指标列明了功能要求，未有明确“功能正确实现”的相关标准。质疑事项3详细指标参数要求为：支持的性能指标 TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。招标文件列明了产品需支持的性能指标，未有性能指标数据准确性的相关标准。中标供应商对质疑事项进行了功能演示。我公司认为：1.演示的目的是为了验证质疑事项是否成立，质疑回复也是针对质疑内容进行答复。质疑事项2、4-9质疑内容是“涉嫌虚假应标”“不具备招标文件指标参数功能”。中标供应商现场针对质疑内容已完成功能校验，在招标文件没有明确标准的前提下且未到产品交付期，即使认为产品部分功能有瑕疵或没有百分百精准，也不能等同于“不具备指标参数功能”，亦不在本次质疑回复的范围。质疑事项3质疑的是“涉嫌虚假应标”“计算混乱、错误频出”，《质疑回复》中也对核查投标文件及现场功能校验情况作了客观答复。招标文件没有明确数据准确性标准，即使认为产品有质量问题，也不能认定其“虚假应标”。（附件材料10、11）2.《质疑回复》需依据招标文件需求标准，未经双方签字确认且记录中文字描述尚存争议的《现场测试情况记录汇总》（投诉材料附件7）不能作为事实依据。3.《质疑回复》是与采购人充分沟通、采购人认可后发出，投诉材料附件5、附件6均为最终版《质疑回复》形成前采购人发给我公司的讨论意见稿。4.我公司已合理采纳了采购人意见，本着实事求是原则，在《质疑回复》中阐述了采购人的观点（《质疑回复》第5页）。目前合同尚未签订，有争议的内容可以通过合同进行约定，或其他的争议解决办法。针对投诉事项2答复：质疑事项3对应的招标文件指标参数2.7“支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。”经核查，中标供应商的商务技术文件P54“应答：完全响应。我司承诺所提供产品性能测试平台支持上述性能指标。”但所附截图指标数据计算错误。根据现场功能校验，中标产品XRunner具备上述性能指标（TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。），但测试数据部分有错误。中标供应商对目前测试数据存在计算错误是认可的，承诺可通过补丁方式优化处理（见附件材料3）。我公司正是基于客观公正、实事求是的原则作出质疑答复，不存在“规避质疑的质量问题”。针对投诉事项3答复：1.投诉人在《质疑函》中未对中标产品的版本提出质疑。根据投标文件，中标供应商本次应标的标的产品为AI性能一体化保障平台3.0版本，投诉人关于“招标代理有责任确保现场验证中使用的版本及后续交付的版本不晚于投标日期（2023年12月28日）”的说法未提供相关法律依据。招标文件亦没有对此项内容有规定。2.我公司于2024年1月3日收到《质疑函》，根据7个工作日的质疑答复期限，我公司本应于2024年1月12日前进行质疑答复。由于该项目专业性强，需依托采购人的专业技术力量且采购人认为中标供应商的质疑澄清函回复内容未能全面、清晰地解释上海卫戍信息技术有限公司提出的相关质疑点，受采购人委托，1月8日我公司正式通知中标供应商针对质疑事项进行实物功能校验，校验时间为2024年1月11日9-12点。后由于采购人与中标供应商将校验方式由远程改为现场演示，时间延期至2024年1月16日。为保障采购人合法权益，也本着公正客观处理质疑的原则，我公司于2024年1月12日政采云在线及邮件形式向质疑人发送通知，申请延长质疑答复期，并明确最终答复时间（见附件材料4）。质疑人于1月12日回复邮件，同意延长答复期，确认无异议（见附件材料6）。既然有异议为何不在当时提出？我公司在1月3日收到《质疑函》后立即对质疑事项及证据、投标文件进行审查，与采购人、质疑人及中标供应商多次沟通（均有微信、通话记录），并于当日通知中标供应商就质疑事项进行澄清说明，中标供应商于1月5日提交了澄清函（见附件材料2），我公司随即转发采购人。投诉人称我公司在现场测试时间前没有任何技术核实工作，而且技术核实工作也可以在两天内完成的说法完全不实。针对投诉事项4答复：投诉人称，中标产品性能指标计算混乱已实质上不满足招标文件里需求及技术规格如下章节：①2.1核心功能要求第3、测试分析：跟踪业务流程，收集汇总所有测试数据，以图或表形式提供分析数据和报告，进行测试结果分析，进行软件性能问题诊断；②2.4实时监控要求第1、提供被测系统部分的详细指标，包括 web 服务器、数据库等系统的全面监控（包括cpu使用率、内存占用率、硬盘占用率）；③2.4实时监控要求第3、▲可实时监控系统运行的各种状态图表，支持对脚本中事务的执行和被测系统性能数据的实时监控；④2.4资源监控4、▲能够提供从一台计算机上就能监测到所有服务器和应用程序的性能品质，发生状况立即能接收到警报；⑤2.6分析诊断及报告生成第1、能够收集汇总所有的测试数据，分析测试结果，帮助定位系统性能瓶颈，提出诊断建议；⑥2.7支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。而《质疑函》中，“产品性能计算指标混乱”为质疑事项3，列举依据为不满足招标文件需求指标参数2.7，即上述内容第⑥点，上述内容①-⑤并未在质疑事项3中列举。我公司认为，中标产品支持上述性能指标的测试数据显示，部分测试数据有误，但招标文件没有规定数据准确性标准，且未到产品交付验收阶段，应标时所答“完全满足”也没有什么错，无法认定其“虚假应标”。综上，我公司认为以上投诉事项不成立，恳请财政厅驳回投诉。被投诉人杭州博实招标代理有限公司提供了招标文件、投标文件（电子版）、评审资料、视频材料等证据。
采购人浙江省电子信息产品检验研究院述称:针对投诉事项1答复：我院已按合规流程，通过查阅应标文件、现场核验等方式，并组织人员对结果进行分析，发现拟中标的产品（AI性能一体化保障平台V3.0（XRunner），以下均简称为XRunner）存在与招标文件中的核心功能和一般功能要求（如2.1章节的第3项要求，2.4章节的第1、3项要求，2.6章节的第1、3项要求，2.7章节要求等）偏离情况——多个性能指标计算结果逻辑混乱、数值错误，也存在部分功能未正确实现等现象，无法满足我院相关部门的业务开展，已清晰、完整、明确地向招标代理杭州博实反馈了我院的意见。但招标代理在质疑回复中未完全采纳该回复意见。作为浙江省首家通过国家实验室认可委认可（CNAS）的省级检验机构，作为同时具备CNAS、CMA、商密、等保、涉密等资质的权威第三方评测机构，我院工作中除需遵守所有企事业单位需要遵守的法规外，还需严格遵守《中华人民共和国产品质量法》、《中华人民共和国计量法》、《中华人民共和国认证认可条例》等法律法规和《CNAS-CI01（ISO/IEC 17020)检查机构认可准则》、《RBT 214-2017 检验检测机构资质认定能力评价检验检测机构通用要求》、《软件过程能力及成熟度评估管理办法》、《实验室能力验证实施办法》等规范性文件。根据《中华人民共和国产品质量法》第五十七条，产品质量检验机构、认证机构出具的检验结果或者证明不实，造成损失的，应当承担相应的赔偿责任；造成重大损失的，撤销其检验资格、认证资格。根据《中华人民共和国认证认可条例》第六十一条，认证机构出具虚假的认证结论，或者出具的认证结论严重失实的，撤销批准文件，并予公布；对直接负责的主管人员和负有直接责任的认证人员，撤销其执业资格；构成犯罪的，依法追究刑事责任；造成损害的，认证机构应当承担相应的赔偿责任。本次采购的性能测试工具最重要的目的是我院开展相关业务时，能够对各种应用场景或类型、采用各种协议的送检软件进行测试并得出准确的性能指标。同时，我院在现场核验过程中确认广州掌动投标文件中出现的XRunner性能指标计算结果逻辑混乱、数值错误的情况，无法满足我院的最基本要求，如果我院出具的报告有严重指标错误会在很大程度上影响我院的公信力，甚至被直接取消CNAS、CMA等资质，直接关系到我院在后续市场竞争中的生存问题。我院已于标书核对和现场核验之后向杭州博实明确回复：依据《政府采购质疑和投诉办法》第十二条相关规定，针对质疑事项3、5，予以采纳；针对质疑事项2、4、6、8、9，予以部分采纳；针对质疑事项1和7，不予以采纳；但对于质疑方主张的广州掌动智能涉嫌虚假应标则认为属于功能未正确实现，而非提供虚假材料（详见附件2、附件3）。但招标代理在质疑回复中未完全采纳该回复意见。事实依据（包含但不限于以下事实）：事实1.关于质疑事项3，我院从以下两个角度均确认XRunner存在性能指标计算结果逻辑混乱、数值错误的情况：1)在现场核验时XRunner的22条性能指标中有10条出现计算错误，分别为：①在线数/秒的平均值计算错误②成功数/秒的平均值计算错误③启动数/秒的的平均值小于最小值④请求数/秒指标的平均值计算错误⑤接收吞吐量指标的平均值计算错误⑥200-299指标的平均值计算错误⑦300-399指标的平均值计算错误⑧登录 成功数/秒指标的平均值小于最小值⑨连接成功数/秒指标的平均值小于最小值⑩TCP三次握手时间指标的平均值小于最小值（图略）。详情见附件4.《现场核验情况记录汇总》第8-12页（注：建议打开对应Word或PDF文档，放大看对应数据更清晰）2)广州掌动标书中第54页出现10处指标计算错误，包括：成功数/秒、在线数/秒、启动数(速率)/秒、响应数/秒、接收吞吐量、发送吞吐量、300-399、首页加载 成功数/秒、查询页面 成功数/秒、连接成功数/秒（图略）。详情见附件5.广州掌动《商务技术响应文件》第54页（注：建议打开对应PDF文档，放大看对应数据更清晰）3)广州掌动标书中第140页出现10处指标计算错误，包括：成功数/秒、失败数/秒、启动数(速率)/秒、400-499、连接成功数/秒、连接失败数/秒、SSL连接成功数/秒、失败数/秒、连接数(速率)/秒、接收吞吐量（图略）详情见附件5.广州掌动《商务技术响应文件》第140页（注：建议打开对应PDF文档，放大看对应数据更清晰） 。事实2.关于质疑事项8，根据现场核验情况，我院发现XRunner无代理监控监控结果偏差过大。以磁盘写指标为例：（表略）。详情见附件4.《现场核验情况记录汇总》第19-20页。基于差异如此巨大的数据进行测试和分析，是《中华人民共和国产品质量法》、《中华人民共和国计量法》、《中华人民共和国认证认可条例》等相关法律法规所不允许的。事实3.关于质疑事项4，现场核验中XRunner单次运行测试任务时只能生成一种对应界面语言的报告，无法同时生成简体中文、英文、繁体中文三种报告，而且在繁体中文及英语的报告中存在部分错误。与此同时，繁体中文和英文文件夹中的文档创建于2024年1月10日至1月13日，晚于投标日期。详情见：附件4.《现场核验情况记录汇总》第12-15页。事实4.关于质疑事项5，现场核验中CSV格式的报告内缺少了需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据。Excel格式的报告内缺少了成功数/秒、启动数(速率)/秒、脚本时间标准差指标的截图，及需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据和截图。详情见：附件4.《现场核验情况记录汇总》第15-16页。事实5.关于质疑事项6，现场核验中XRunner可使用C语言编写脚本，不支持在C语言中调用Windows标准DLL文件，不符合我院业务工作实际。可使用Java语言调用DLL，但未出现Java的保留字class，未出现完整的函数结构，可以使用未声明变量，不符合Java标准结构。详情见：附件4.《现场核验情况记录汇总》第17-18页。事实6.关于质疑事项9，现场核验中结果如下：1）在现场核验环节中，未发现常用的Oracle验证项，如下：①数据库活动：包括事务数，提交和回滚的事务数等。②SQL性能：包括SQL执行次数，解析次数，硬解析次数，排序次数等。③缓冲区缓存：包括缓冲区命中率，字典缓存命中率，库缓存命中率等。④I/O性能：包括物理读写次数，逻辑读写次数，直接读写次数等。⑤等待事件：包括各种等待事件的等待时间，等待次数等。⑥表空间：包括每个表空间的大小，已用空间，剩余空间等。2）在现场核验环节中，未发现常用的SQL Server验证项，如下：①数据库性能：包括数据库大小，活动连接数，空闲连接数，事务数，查询处理速度等。②SQL性能：包括SQL执行次数，解析次数，缓存命中率等。③磁盘I/O：包括物理读写次数，逻辑读写次数，读写延迟等。④锁：包括锁请求，锁等待时间，锁超时，锁冲突等。⑤缓冲区：包括缓冲区大小，缓冲区命中率，页生命周期等。⑥错误和事件：包括错误日志，死锁，阻塞等。3）在现场核验环节中，未发现常用的WebLogic验证项，如下：①线程池：包括线程池大小，活动线程数，空闲线程数，线程池使用率等。②会话：包括活动会话数，过期会话数，拒绝的会话数等。③连接池：包括连接池大小，活动连接数，空闲连接数，等待连接数等。④事务：包括提交的事务数，回滚的事务数，挂起的事务数等。⑤应用程序性能：包括EJB性能，Web服务性能，JMS性能等。详情见：附件4.《现场核验情况记录汇总》第21-23页。事实7.我院根据本次质疑涉及的招标文件要求、广州掌动智能投标文件响应及现场核验情况，于2024年1月23日13：04通过电子邮件方式正式向杭州博实反馈了我院的《质疑回复》稿，并给出具体意见和建议。此邮件正文截图详见附件2.我院于2024年1月23日回复杭州博实的《邮件正文》。此邮件的附件详见附件3.我院于2024年1月23日回复杭州博实的《关于浙江省电子信息产品检验研究院软件性能测试工具采购项目采购结果质疑回复》。上述事实阐明我院以广州掌动应标文件和现场核验情况为依据，通过专业的测试和认证分析做出了质疑回复；同时我院也已经将我院的质疑回复意见正确转达给杭州博实。法律依据：1.《中华人民共和国产品质量法》第五十七条 产品质量检验机构、认证机构出具的检验结果或者证明不实，造成损失的，应当承担相应的赔偿责任；造成重大损失的，撤销其检验资格、认证资格。2.《中华人民共和国认证认可条例》第六十一条认证机构出具虚假的认证结论，或者出具的认证结论严重失实的，撤销批准文件，并予公布；对直接负责的主管人员和负有直接责任的认证人员，撤销其执业资格；构成犯罪的，依法追究刑事责任；造成损害的，认证机构应当承担相应的赔偿责任。3.《检验检测机构资质认定评审准则》第二章 评审内容与要求 第八条 检验检测机构应当是依法成立并能够承担相应法律责任的法人或者其他组织。（三）检验检测机构应当独立于其出具的检验检测数据、结果所涉及的利益相关方，不受任何可能干扰其技术判断的因素影响，保证检验检测数据、结果公正准确、可追溯。第十一条 检验检测机构应当具备从事检验检测活动所必需的检验检测设备设施。（二）检验检测机构应当对检验检测数据、结果的准确性或者有效性有影响的设备（包括用于测量环境条件等辅助测量设备）实施检定、校准或核查，保证数据、结果满足计量溯源性要求。（六）检验检测机构出具的检验检测报告，应当客观真实、方法有效、数据完整、信息齐全、结论明确、表述清晰并使用法定计量单位。4.浙江省电子信息产品检验研究院软件性能测试工具采购项目，招标文件（电子招投标），编号:BSZB2023-AZZG239。针对投诉事项2答复：我院已按合规流程，通过查阅应标文件、现场核验等方式，并组织人员对结果进行分析，发现拟中标的产品（XRunner）存在与招标文件中的核心功能和一般功能要求（如2.1章节的第3项要求，2.4章节的第1、3项要求，2.6章节的第1、3项要求，2.7章节要求等）偏离情况——多个性能指标计算结果逻辑混乱、数值错误，也存在部分功能未正确实现等现象，已根据客观实际情况向招标代理杭州博实反馈了我院的意见（详见事实依据）。但招标代理在质疑回复中未完全采纳该回复意见。事实依据（包含但不限于以下事实）：我院根据本次质疑涉及的招标文件要求、广州掌动智能投标文件响应及现场核验情况，于2024年1月23日13：04通过电子邮件方式正式向杭州博实反馈了我院的《质疑回复》稿，并给出具体意见和建议：依据《政府采购质疑和投诉办法》第十二条相关规定，针对质疑事项3、5，予以采纳；针对质疑事项2、4、6、8、9，予以部分采纳；针对质疑事项1和7，不予以采纳；但对于质疑方主张的广州掌动智能涉嫌虚假应标则认为属于功能未正确实现，而非提供虚假材料。此邮件正文截图详见附件2.我院于2024年1月23日回复杭州博实的《邮件正文》。此邮件的附件详见附件3.我院于2024年1月23日回复杭州博实的《关于浙江省电子信息产品检验研究院软件性能测试工具采购项目采购结果质疑回复》。以质疑事项3为例，我院建议招标代理按以下方式回复：“答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台 V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台 V3.0的最终版本。质疑核查过程中，采购单位在广州掌动智能投标文件章节5.2.1.2.2.7、5.3.2.5.5.4.2中发现指标数值计算的成功数/秒、在线数/秒、启动数(速率)/秒、接受吞吐量、发送吞吐量、首页加载 成功数/秒、查询页面 成功数/秒、连接成功数/秒等指标存在明显错误。鉴于广州掌动智能的回复及采购单位发现的问题，我公司认为，广州掌动智能在投标文件中出现性能指标计算混乱，错误频出的内容为功能未正确实现，属于产品质量问题（测试工具的测量这个核心功能未正确实现），该部分质疑事项符合事实依据，依据《政府采购质疑和投诉办法》第十二条，该部分质疑予以采纳，但认为不构成虚假应标。”。针对投诉事项3答复：本次采购标的为成熟软件产品（非定制开发项目采购），但根据现场核验情况，用于验证的软件产品版本与投标标的版本存在不一致的情况（详见事实依据 - 事实1）。同时，我院已于2024年1月12日14:19以电子邮件方式正式向招标代理机构发送了我院性能测试工具采购质疑的回复及说明，未超出质疑答复时间要求。事实依据（包含但不限于以下事实）：事实1.本次采购为成熟软件产品采购（非定制开发项目采购），我院多次向杭州博实询问，本次现场核验和质疑答复均是否应基于标的版本进行，并在现场核验过程中发现以下情况：1)英文和中文繁体文档创建时间。质疑事项4中提到XRunner不具备的英文和繁体中文文档。我院现场核验中发现广州掌动提供的英文和繁体中文文档多创建于2024年1月10日—13日，晚于投标时间和质疑时间。详情见：附件4.《现场核验情况记录汇总》第12页、附件6.《XRunner安装目录文件信息列表》。2)现场核验使用的XRunner多个class文件编译于2024年1月14日。现场核验使用的XRunner多个class文件编译于2024年1月14日，晚于投标时间和质疑时间。详情见：附件6.《XRunner安装目录文件信息列表》3)广州掌动商务技术响应文件中的产品截图与现场核验软件界面不同，不是同一版本。例如广州掌动商务技术响应文件未发现DevWeb脚本界面，现场核验中名为“devweb脚本”的菜单在商务技术响应文件中原名为“WEB UI/界面脚本”（名为“devweb脚本”菜单位置与广州掌动商务技术响应文件中“WEB UI/界面脚本”菜单位置一致），现场核验软件版本功能多了性能分析、问题管理、测试资产库等模块。商务技术响应文件第91页（注：建议打开对应PDF文档，放大看对应数据更清晰）（图略）。现场核验软件截图（图略）。事实2.我院于2024年1月12日14:19以电子邮件方式正式向招标代理发送了我院关于性能测试工具采购质疑的回复及相关说明。主要回复意见如下：质疑事项1不予采纳、质疑事项2一质疑事项9均予以采纳、被质疑方投标标的产品存在缺陷、被质疑方提供的无代理监控支持列表不足以支撑我院相关工作开展的需求。详情见：附件7.我院于2024年1月12日回复杭州博实的《省电检院关于性能测试工具采购质疑回复》、附件8.我院于2024年1月12日回复杭州博实的《省电检院关于性能测试工具采购质疑回复的说明》。针对投诉事项4答复：我院已按合规流程，通过查阅应标文件、现场核验等方式，并组织人员对结果进行分析，发现拟中标的产品（XRunner）存在与招标文件中的核心功能和一般功能要求偏离情况——多个性能指标计算结果逻辑混乱、数值错误，无法满足我院相关部门的业务开展，对应招标文件多项要求（如招标文件第三部分 - 采购需求 - 二、详细指标参数要求的2.1章节的第3项要求，2.4章节的第1、3项要求，2.6章节的第1、3项要求，2.7章节要求等）。事实依据（包含但不限于以下事实）：事实1.关于质疑事项3，我院从以下两个角度均确定XRunner性能指标计算逻辑混乱，存在多处数值明显错误的情况：1)在现场核验时XRunner的22条性能指标中有10条出现计算错误，分别为：①在线数/秒的平均值计算错误②成功数/秒的平均值计算错误③启动数/秒的的平均值小于最小值④请求数/秒指标的平均值计算错误⑤接收吞吐量指标的平均值计算错误⑥200-299指标的平均值计算错误⑦300-399指标的平均值计算错误⑧登录 成功数/秒指标的平均值小于最小值⑨连接成功数/秒指标的平均值小于最小值。TCP三次握手时间指标的平均值小于最小值（图略）。详情见附件4.《现场核验情况记录汇总》第8-12页（注：建议打开对应Word或PDF文档，放大看对应数据更清晰）2)广州掌动标书中第54页出现10处指标计算错误，包括：成功数/秒、在线数/秒、启动数(速率)/秒、响应数/秒、接收吞吐量、发送吞吐量、300-399、首页加载 成功数/秒、查询页面 成功数/秒、连接成功数/秒（图略）。详情见附件5.广州掌动《商务技术响应文件》第54页（注：建议打开对应PDF文档，放大看对应数据更清晰）3)广州掌动标书中第140页出现10处指标计算错误，包括：成功数/秒、失败数/秒、启动数(速率)/秒、400-499、连接成功数/秒、连接失败数/秒、SSL连接成功数/秒、失败数/秒、连接数(速率)/秒、接收吞吐量（图略）。详情见附件5.广州掌动《商务技术响应文件》第140页（注：建议打开对应PDF文档，放大看对应数据更清晰）事实2.根据现场核验情况，我院发现XRunner无代理监控监控结果偏差过大。以磁盘写指标为例：（表略）。详情见附件4.《现场核验情况记录汇总》第19-20页。事实3.根据现场核验情况，我院发现CSV格式的报告内缺少了需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据。Excel格式的报告内缺少了成功数/秒、启动数(速率)/秒、脚本时间标准差指标的截图，及需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据和截图。详情见：附件4.《现场核验情况记录汇总》第15-16页。后续我院将按合规流程，配合省财监依据相关法律法规的要求，妥善做好后续事宜。
相关供应商广州掌动智能科技有限公司述称：为进一步针对质疑函中的质疑点进行专业技术回复，提供证明材料，我司也做了详细的点对点技术说明并有提供相关截图进行说明。具体证明材料请见我司提供的《附件二：质疑点详细技术证明材料》。针对质疑内容1回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】支持多种协议，包括支持web协议（Web-HTTP/HTML，DevWeb，JMeter，Gatling）；XRunner支持提供短期软件许可license，满足并发数不低于5000。步骤：登录平台；点击【账号管理-License】，可查看当前License支持的并发数以及协议（图略）。针对质疑内容2回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】支持多种协议，包括支持web协议（Web-HTTP/HTML，DevWeb，JMeter，Gatling）Web-HTTP/HTML支持 步骤：登录系统进入【脚本用例-协议/接口脚本】页面。可通过【新建HTTP脚本】或【录制HTTP脚本】进行脚本生成并用于性能测试（图略）。图_协议/接口脚本管理页面（图略）图_脚本编辑页面 DevWeb支持 步骤：登录系统 进入【脚本用例-协议/devweb脚本】页面 点击【新建devweb脚本】，在脚本详情页面可进行脚本编写或录制（图略）图_DevWeb脚本管理页面（图略）图_DevWeb脚本编辑页面 JMeter支持 步骤：将JMeter脚本放到ZIP包中 登录系统 进入【脚本用例-协议/接口脚本】页面 点击【导入测试脚本-导入JMeter脚本】，上传该ZIP包即可。（图略）Gatling支持 步骤：登录系统 进入【测试执行】页面 点击【新建测试计划-Gatling】上传脚本后运行即可（图略）图_【导入Gatling脚本入口】页面 （图略）图_【Gatling脚本内容】页面（图略）图_【运行Gatling脚本步骤】页面（图略）图_【Gatling执行结果】页面。针对质疑内容3回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：使用【AI性能一体化保障平台V3.0】版本进行测试未发现存在该问题。步骤：登录系统 进入【历史报告】页面选择任意报告查看【指标数值】备注：1、平均值统计：所有测试工具在执行测试脚本时，会在触发设定的运行时间时“开始”停止，因此实际结束时间往往会大于设定时间。平均值计算公式使用的是“实际时间”而非“设定时间”（图略）。针对质疑内容4回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：使用【AI性能一体化保障平台V3.0】版本可对页面字体进行切换。步骤：登录系统 通过页面右上角【字体】按钮即可替换切换“简体中文”、“繁体中文”与英文。（图略）图_简体中文（图略）图_繁体中文（图略）图_英文中文。针对质疑内容5回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和 JPEG等多种格式的测试报告 步骤：登录系统 进入【历史报告】页面选择任意报告查看 点击【导出报告】即可选择各种格式内容。（图略）图_报告导出入口（图略）图_html报告导出页面。针对质疑内容6回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够使用C语言编程脚本。步骤：登录系统 进入【脚本用例-新建HTTP脚本】在C语言节点编写C语言逻辑 备注：脚本使用C语言增强，需要遵守.c格式文件的编程规范。Java语言增强脚本节点已经过封装，只需要填写函数逻辑即可（图略）图_C语言编辑页面（图略）图_C语言调试结果页面 【AI性能一体化保障平台V3.0】能够调用DLL文件。步骤：登录系统进入【脚本用例-新建HTTP脚本】在Beanshell节点调用DLL内逻辑：加载DLL文件到内存，DLL存在方法add(int a,int b)，该方法返回值是a+b;声明变量message并获取脚本参数变量“message”的值;声明变量add，调用DLL的add方法并将其值赋给add；将add的值拼接在message值后面；更新脚本参数变量message的值。（图略）图_脚本调用DLL方法（图略）图_脚本调用DLL方法后调试结果。针对质疑内容7回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够使用以无代理的方式支持对如下环境的监控：Unix、Windows、Linux、Network、WebShpere、Weblogic、Oracle DB、DB2、SQLServer。步骤：登录系统 进入【测试执行】页面新建测试计划 添加【监控类型】以及相应的指标（图略）图_所有监控类型页面（图略）图_WebShpere（图略）图_Weblogic（图略）图_Oracle DB（图略）图_DB2（图略）图_SQLServer（图略）图_Linux、Windows、Unix监控。针对质疑内容8回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够使用无需第三方软件直接对CPU使用率，内存点有率及磁盘I/O输出进行监控。步骤：登录系统进入【测试执行】页面 新建测试计划，并配置相关监控 执行测试计划，并实时监控指标（图略）图_Linux与Windows无代理监控配置（图略）图_Linux（图略）图_Windows应用版本截图（图略）图_Oracle_11g（图略）图_Db2_V11（图略）图_SqlServer 2017（图略）图_WebLogin V12（图略）图_WebSphere 8.5（图略）图_Linux 7.9版本（图略）图_Windows 10。针对质疑内容9回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统。步骤：登录系统 进入【测试执行】页面 新建测试计划，并配置相关监控 执行测试计划，并实时监控指标。（图略）图_无代理监控配置页面 数据库：（图略）图_Oracle（图略）图_Tomcat之外的中间件-如weblogic（图略）图_Windows操作系统。
经本机关调查查明：
一、本项目采购方式为公开招标（项目编号：BSZB2023-AZZG239），2023年12月7日发布采购公告，12月28日09:00开标，共有广州掌动智能科技有限公司、上海卫戍信息技术有限公司等5家供应商投标，2024年1月2日发布采购结果公告，广州掌动智能科技有限公司为中标供应商，中标价为登录即可免费查看元，本项目尚未签订采购合同。
二、采购文件 第三部分 采购需求 二、详细指标参数要求
三、广州掌动智能科技有限公司 商务技术响应文件 投标标的清单AI 性能一体化保障平台V3.0（简称：XRunner）V3.0 1套XRunner/广州 质保期1年； 商务技术偏离表显示：投标文件全部条款完全满足招标文件的全部要求。
广州掌动智能科技有限公司 商务技术响应文件 详细指标参数要求显示：（1）产品需求描述：支持 web 协议（Web-HTTP/HTML，DevWeb，JMeter，Gatling)，2000并发，永久授权。应答：完全响应。我司承诺所提供产品支持上述 web 协议，并能提供 2000并发的永久授权。同时提供了产品信息截图；（2）灵活的脚本调试：测试脚本管理：④ 必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如 C语言，方便用户快速学习及掌握，脚本必须支持调用外部 DLL 库，从而最大程度丰富脚本功能。应答：完全响应。我司承诺所提供产品性能测试平台的脚本编辑支持被广泛应用、标准的编程语言如 java 作为测试脚本编程语言，并且脚本支持调用外部 DLL 库。同时提供了产品信息截图。（3）实时监控：采用无代理监控，无需第三方软件直接对 CPU 使用率，内存占有率及磁盘 I/O 输出进行监控，减少加压时对被监控系统的无谓资源开销。应答：完全响应。我司承诺所提供产品性能测试平台的在执行测试时，可以对 web 服务器、数据库等系统进行全面监控（监控内容包括 CPU、内存、磁盘等）。同时提供了产品信息截图。（4）实时监控：实时监控 ③加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。应答：完全响应。我司承诺所提供产品性能测试平台支持一体化配置加压以及监控策略，并且监控方式可以做到不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。同时提供了产品信息截图。（5）实时监控：资源监控① 必须以无代理方式监控整个被测应用环境。应答：完全响应。我司承诺所提供产品性能测试平台支持无代理方式监控整个被测应用系统。同时提供了产品信息截图。② 必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB 服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括 Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server。应答：完全响应。我司承诺所提供产品性能测试平台支持无代理方式监控整个被测应用系统。同时提供了产品信息截图。（6）分析诊断及报告生成：生成性能报告：能够生成基于 HTML、PDF、PPT、Excel、CSV、XML、BMP 和 JPEG 等多种格式的测试报告。应答：完全响应。我司承诺所提供产品性能测试平台在测试执行后，可以能够生成基于 HTML、PDF 等多种格式的测试报告。同时提供了产品信息截图。（7）支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。应答：完全响应。我司承诺所提供产品性能测试平台支持上述性能指标。同时提供了产品信息截图。（8）本地化及多语言支持：软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文。应答：完全响应。我司承诺所提供产品性能测试平台完成支持中文环境。同时提供了产品信息截图。
四、招标文件 第四部分 评标办法 评标办法前附表
评标委员会对广州掌动智能科技有限公司就该评分项的评分为36分。
五、质疑阶段，投诉人称：质疑事项2：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过资格性审查或者打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在详细指标1-1中，标书中要求支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，这是需求及技术规格的基本要求。然而我们通过供应商广州掌动智能科技有限公司官网发布的性能测试平台XRunner（以下均称XRunner）发现并不支持DevWeb、Gatling。事实依据：XRunner软件和产品文档中无任何支持DevWeb、Gatling的功能模块或使用说明（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项3：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书中详细指标2.7支持的性能指标中，我们发现XRunner性能指标计算混乱，错误频出。错误的性能指标会使整个性能测试工作成果完全被浪费，甚至造成采购方重大损失。事实依据：例如下图中有7行数据的平均值小于最小值，有1行数据的平均值大于最大值（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项4：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书详细指标2.8本地化及多语言支持中要求产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文。根据查看XRunner产品界面和文档，并无英文和繁体中文界面和文档。事实依据：XRunner产品安装和使用界面仅有简体中文产品界面和文档，无英语或繁体中文选择，文档中也无英语或繁体中文版本。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项5：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书详细指标2.6—3、生成性能报告中要求能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告。而XRunner不支持PPT、Excel、CSV、XML、BMP和JPEG等格式。事实依据：XRunner生成报告页面如下图所示：（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项6：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过符合性审查。在标书详细指标2.2—▲2、测试脚本管理中要求必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能。XRunner不提供编程语言使用的集成开发环境，我们发现虽然能用python或bean shell等编写节点，但和其它节点之间的互操作复杂度太高，实际使用时不具备可操作性，连程序设计中最基本的条件语句、循环语句和判断语句都难于实现。C语言性能高更适合被性能测试工具采用，而XRunner完全不支持使用C语言进行脚本编写。 事实依据：XRunner文档和XRunner软件相关功能界面（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项7：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过符合性审查。详细指标2.4—▲4、资源监控 要求必须以无代理方式监控整个被测应用环境；要求必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server；XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。XRunner无法满足支持环境的要求，例如WebSphere、DB2等。事实依据：XRunner软件和产品文档（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项8：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书详细指标2.4—2中要求采用无代理监控，无需第三方软件直接对CPU使用率，内存占有率及磁盘I/O输出进行监控，减少加压时对被监控系统的无谓资源开销。XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。事实依据：XRunner软件和产品文档（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项9：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过符合性审查。在标书详细指标2.4—▲3、实时监控中要加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。XRunner无法实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统。事实依据：XRunner软件和产品文档（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。
六、质疑阶段，被投诉人杭州博实招标代理有限公司于2024年1月12日答复（第一次）：“上海卫戍信息技术有限公司:贵公司关于浙江省电子信息产品检验研究院软件性能测试工具采购项目(项目编号:BSZB2023-AZZG239）采购结果质疑函于2024年1月3日收悉。由于该项目专业性强，针对贵公司质疑内容2-9项，我公司需进一步核实，故质疑答复时间需适当延长，预计答复时间为收到质疑函后（2024年1月4日）算起，最迟十五个工作日前。造成不便，敬请谅解！特此通知。”
投诉人上海卫戍信息技术有限公司于2024年1月12日邮件回复：“收到，关于‘答复时间延长，答复时间为收到质疑函后（2024年1月4日）算起，最迟十五个工作日。’无异议。”
被投诉人杭州博实招标代理有限公司于2024年1月23日答复（第二次）：针对质疑事项2答复：广州掌动智能科技有限公司回复，贵公司未有其投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，贵公司出具的信息数据无法证明是广州掌动智能科技有限公司投标产品版本，质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项3答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。质疑核查中，采购单位在广州掌动智能投标文件章节5.2.1.2.2.7中发现指标数值计算的成功数/秒、在线数/秒、启动数(速率)/秒、接受吞吐量、发送吞吐量、首页加载成功数/秒、查询页面成功数/秒、连接成功数/秒等指标存在明显错误。鉴于广州掌动智能的回复及采购单位发现的问题，我公司认为，广州掌动智能在投标文件中出现性能指标计算混乱，错误频出的内容为产品质量问题而非提供虚假材料，质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项4答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，贵公司出具的信息数据无法证明是广州掌动智能投标产品版本，质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项5答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，广州掌动智能科技有限公司投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项6答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，广州掌动智能科技有限公司投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项7答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。经核查投标文件，广州掌动智能投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，也作出了明确的无代理模式的监控能力响应，但在文件的操作手册部分描述内容为支持有代理模式操作，标书存在前后不一致，有一定的瑕疵。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项8答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。经核查投标文件，广州掌动智能投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，也作出了明确的无代理模式的监控能力响应，但在文件的操作手册部分描述内容为支持有代理模式操作，标书存在前后不一致，有一定的瑕疵。质疑核实中，通过现场演示，广州掌动按照应标材料进行了主要功能指标验证。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项9答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。经核查投标文件，广州掌动智能投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，也作出了明确的无代理模式的监控能力响应，但在文件的操作手册部分描述内容为支持有代理模式操作，标书存在前后不一致，有一定的瑕疵。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。综上，我司已对质疑事项——答复，并提供相关法律依据。贵公司提出的九点质疑事项事实证据和法律依据不足，依据《政府采购质疑和投诉办法》第十二条相关规定，我司无法作出广州掌动智能科技有限公司虚假投标的认定和取消其中标资格的诉求。依据《浙江省政府采购合同暂行办法》第二十四条，我司对贵公司要求参加本项目履约验收的诉求予以采纳，如果项目完成，采购单位将邀请贵公司参加项目履约验收。同时，在质疑事项调查过程中，通过中标产品的演示，浙江省电子信息产品检验研究院发现广州掌动智能对招标文件的需求理解与采购单位存在偏差，部分功能未能满足采购单位做为检测机构的特性(但双方存在争议),如：性能指标计算混乱，错误频出。浙江省电子信息产品检验研究院认为：性能测试工具最重要的目的是得出准确的性能指标，作为具有CNAS和CMA等资质的权威第三方评测机构，如果出具的报告有指标错误会严重影响浙江省电子信息产品检验研究院的公信力，甚至被取消CNAS、CMA等相关资质。因此，后续如广州掌动智能提供的产品未能满足采购单位作为检测机构的要求，导致合同无法签订，我公司将上报财政监管部门，申请本项目重新组织采购。根据《中华人民共和国政府采购法》第五十五条规定，如贵单位对本答复不满意，可以在答复期满后十五个工作日内向浙江省财政厅政府采购监管处投诉。
七、质疑阶段，相关供应商广州掌动智能科技有限公司于2024年1月5日出具《澄清函》（第一次）显示：关于上海卫戍信息技术有限公司(以下简称为质疑方)提交的浙江省电子信息产品检验研究院软件性能测试工具采购项目(采购项目编号：BSZB2023-AZZG239)的政府采购质疑函，我司于2024年1月3日星期三下午收悉。针对质疑方提出的质疑，我司进行了认真的核实，现对质疑函作如下回复：我司发现质疑函中的问题分为两类：1、第一类问题属于质疑方对评标规则和招标文件理解不够导致的问题。根据招标法的管理规定及要求，项目评标应以应标单位提供的正式盖章应标文件、材料作为评价依据，未经来源验证及非应标现场的官网宣传、新闻发言稿的等信息或材料均不应作为评价应标方能力的依据和佐证的材料；2、第二类问题属于质疑方获取工具版本和使用不当的问题。质疑的2、3、4、5、6、7、8、9问题均是因质疑方仅从不明来源、不明版本的工具平台上获取到的内容信息，在使用过程中也因对国产化工具平台操作不熟悉而没找到具体的方法和准确的描述位置，而武断的断章取义、以偏概全，我司自研的XRunner产品作为一个科技型产品，随着技术发展的日新月异，拥有多个版本型号(如标准版、旗舰版等等),不同的版本具有不同的功能模块及应用场景能力，质疑方在未做不同版本的差异性比对、未熟练掌握工具平台操作、对技术的更新迭代的速度理解存在误差的前提下，武断的作出错误的结论。以下是对具体质疑内容的具体回复：……质疑内容2答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容2”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容3答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容3”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容4答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容4”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容5答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容5”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容6答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容6”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是AI性能一体化保障平台。质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容7答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容7”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容8答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容8”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容9答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容9”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。总而言之，我们认为质疑方的质疑主要来源于对本项目招标文件理解不够透彻及对现有国产化工具的操作不熟悉，我司研发的自主可控的国产化Al性能保障一体化平台，是完全能替代国外同类产品的工具产品，国产化道路充满艰辛，任重道远，还请同行多给于关怀和帮助。感谢本次招标方及招标代理公司的信任，也感谢质疑方提出的各种问题，虽然因为对工具操作上的不熟悉而带来各种质疑，但也是我司的宝贵经验之一，欢迎各方包括质疑方及其他同行伙伴多从正规渠道了解我司产品，为我国信创事业添砖加瓦。
八、相关供应商广州掌动智能科技有限公司于2024年1月23日向采购代理机构出具《澄清函》（第二次）显示：根据杭州博时招标代理有限公司于2024年1月16日组织的浙江省电子信息产品检验研究院软件性能测试工具采购项目(采购项目编号：BSZB2023-AZZG239)于采购方现场进行的投标标的软件实物功能校验，广州掌动智能科技有限公司(以下简称我司)到场并进行了标的软件的在采购方的独立实验室环境下进行了各种功能的演示讲解和验证，并同采购方进行技术及产品原理的交流，下面我司对现场遗留的几个问题进行澄清：1.在数据展示页面存在部分数据显示有争议的问题解释。根据专家反馈在我司提供的应标文件及标的软件上的实际测试结果中，存在列表展示中的数据显示有争议的问题。经我司技术慎重排查，标的软件的测试执行中数据收集结果准确，但是标的软件的页面展示列表中上没有展示最小值为零的数据，显示的是不为零的最小值。该问题属于标的软件在实际使用中对最小值展示不同的理解，如有争议可通过软件补丁的方法进行优化处理。在性能测试领域的过程中，性能数据采集都是按照一定的时间间隔，间隔时间不同，取到的值也会有一定的差异，单个数值的孤立比较是没有意义的，并且在性能测试执行和报告过程中，平均值才有意义，行业领域内采纳平均值作为衡量系统性能的一个指标，而整体数据的准确性是需要通过测试工具之间的比对才能得出结论。2.本次应标和交付的版本解释。我司本次应标的版本是Al性能一体化保障平台3.0版本，在实际用户交付中，随着操作环境或外部it环境的更新换代，标的软件也会做不断升级和功能优化等补丁，包含对缺陷的修复及新功能的增加，在软件行业领域中，为保障用户的实际权益要求，行业采用的交付方式为最新版本确保满足客户的实际环境需求，并在软件维保期内是可以免费无限次升级，及时享受到软件升级后带来的新技术新能力的权益，这也是在软件领域的软件实体的交付模式。3.应标中有代理和无代理的澄清。我司提供的标的软件在资源监控方式上既支持无代理模式、也支持有代理模式，在应标文件中我司已在技术偏离表中作出了明确的无代理模式的监控能力响应，在标书中提供的操作手册上应答上也明确指出了支持有代理的模式模式操作，在实际使用中客户可以按需选择。通过本次在采购方的实际环境下的软件功能校验过程，我司提供的材料和标的软件的展示能力，明确证明我司在应标过程中没有提供任何虚假材料来误导专家评分的现象，但在现场演示和测试记录过程中，明显感觉到采购方有歧视国产软件的现象，比如：1、质疑事项1中在关于DevWeb的协议验证中，采购方要求我司验证导入竞争对手国外产品LoadRunner的DevWeb脚本的功能的要求；2、质疑事项5中XRunner支持导出的报告，我司已提供导出招标文件中要求响应的各种格式，但采购方在导出之前未提供需要导出指定内容需求的前提下，以我司提供的缺省报告内容与其定制化内容进行对比，并武断下结论认为我司导出报告存在问题；3、质疑事项6中，我司按照质疑内容，在采购方环境下展示了C语言脚本编程能力，并展示了我司采用标的软件的编程语言java调用dIl的情况，采购方现场临时提出要随机在windows操作系统内容选择一个未知功能和调用方法的dIl进行调用验证该能力，在我司进行合理的原理沟通后，采购方仍固执以被质疑方未按采购方要求，对我司现场人员进行施压情绪压力；4、质疑事项7、8、9的无代理监控的能力验证中，我司按照应标材料已经完成主要功能指标验证，并和采购方技术人员介绍监控原理及技术实现，采购方仍临时增加多种指标要求展示，增加的指标列表来源不明，也未说明需要监控该指标的缘由，给被质疑方在现场的技术人员施加情绪压力。介于以上各种不合理的现象，我司提出以下要求，恳请采购方和招标代理公司审核：1、我司要求采购方或招标代理公司，明确以我司未涉嫌虚假应标，未误导评委通过符合性审查的质疑函上作出明确回复，证明我司未涉嫌虚假应标。2、如本次因以上原因影响我司未能中标该项目，那么在采购方后续的相同项目采购活动中，我司要求现场参与验证，验证内容应同本次我司在采购方环境下做的全部内容，2.1验证内容为不同编程语言dll调用功能，包括我司现场随机抽取windows的dll调用验证并在规定时间内完成；2.2验证工具报告导出功能，内容包含导出报告的内容，导出数据的准确性，评估方式同本次现场功能校验一样；2.3验证内容为无代理监控，监控指标内容包含本次现场要求的内容一致。
九、评审报告显示，广州掌动智能科技有限公司商务技术得分61.4分，价格得分30.0分，最终得分为91.4分，排序第一；投诉人上海卫戍信息技术有限公司商务技术得分67.7分，价格得分20.17分，最终得分为87.87分，排序第二；上海塔罗信息技术有限公司商务技术得分57.8分，价格得分20.13分，最终得分为77.93分，排序第三；上海合祺信息科技有限公司商务技术得分54.0分，价格得分20.08分，最终得分为74.08分，排序第四；杭州维服科技有限公司商务技术得分51.3分，价格得分20.02分，最终得分为71.32分，排序第五。综上，现推荐中标候选人：第一中标候选人：广州掌动智能科技有限公司；中标金额：￥120.00万元。
十、采购人浙江省电子信息产品检验研究院在投诉答复材料中提供了《浙江省电子信息产品检验研究院软件性能测试工具采购项目(项目编号:BSZB2023-AZZG239)采购结果质疑的现场演示验证情况记录》，投诉人上海卫戍信息技术有限公司在投诉材料中提供了《现场演示验证情况记录》，被投诉人杭州博实招标代理有限公司提供了视频资料。其中，采购人浙江省电子信息产品检验研究院提供的《浙江省电子信息产品检验研究院软件性能测试工具采购项目(项目编号:BSZB2023-AZZG239)采购结果质疑的现场演示验证情况记录》与投诉人上海卫戍信息技术有限公司提供的《现场演示验证情况记录》记载内容基本一致，均显示：一、验证情况：1、验证内容：依据浙江省电子信息产品检验研究院软件性能测试工具采购项目（项目编号:BSZB2023-AZZG239）（以下简称“采购项目”）招标文件，对上海卫戍信息技术有限公司关于广州掌动智能科技有限公司在参与本次采购项目投标过程中投标内容的9个质疑点进行现场演示验证；2、验证对象：广州掌动智能科技有限公司参与本次采购项目投标标的物《AI 性能一体化保障平台 V3.0（简称：XRunner）》；3、验证地点：浙江省电子信息产品检验研究院；4、验证时间：2024年01月16日 — 2024年01月17日；5、......；6、......。二、验证情况记录：......。《现场演示验证情况记录》未经采购人、采购代理机构和中标供应商三方签字确认。
十一、投诉调查处理阶段，投诉人上海卫戍信息技术有限公司于2024年3月4日出具的《说明函》显示：......投诉书中三份附件为采购方针对我司质疑经过脱敏后的回复。附回复邮件截图：（图略）。
十二、投诉调查处理阶段，本机关于2024年3月7日对投诉人、采购人浙江省电子信息产品检验研究院、被投诉人杭州博实招标代理有限公司、广州掌动智能科技有限公司就投诉事项相关事实进行询问，制作了《浙江省电子信息产品检验研究院软件性能测试工具采购项目（编号：BSZB2023-AZZG239）协调会调查笔录》。
十三、被投诉人杭州博实招标代理有限公司提供了其与投诉人上海卫戍信息技术有限公司电子邮件信息截图（2024年1月12日19:37/2024年1月12日22:55）。其中：2024年1月12日22:55电子邮件信息显示：收到，关于“答复时间延长，答复时间为收到质疑函后（2024年1月4日）算起，最迟十五个工作日。”无异议。张X，上海卫戍信息技术有限公司。
十四、投诉处理阶段，本机关组织专家评审。专家一致认为，现有证据不足以证明中标供应商投标产品技术参数响应不真实。
五、处理依据及结果
1、处理依据：本机关认为：
一、关于投诉事项1、2、4。该三个投诉事项，实质是指广州掌动智能科技有限公司投标产品技术参数是否响应不真实。广州掌动智能科技有限公司投标产品为AI性能一体化保障平台V3.0，其在投标文件中对采购需求“支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，2000并发，永久授权”“灵活的脚本调试/▲2、测试脚本管理/必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能”“实时监控/2、采用无代理监控，无需第三方软件直接对CPU使用率，内存占有率及磁盘I/O输出进行监控，减少加压时对被监控系统的无谓资源开销”“实时监控/▲3、实时监控：加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理”“实时监控/▲4、资源监控：必须以无代理方式监控整个被测应用环境；必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server”“分析诊断及报告生成/3、生成性能报告：能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告”“支持的性能指标/TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数”“本地化及多语言支持/软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文”表示完全满足招标文件的全部要求（或者完全响应）。评标过程中，评标委员会认为符合招标文件要求。投诉人主张前述产品“并不支持DevWeb、Gatling”“性能指标计算混乱，错误频出。错误的性能指标会使整个性能测试工作成果完全被浪费，甚至造成采购方重大损失”“并无英文和繁体中文界面和文档”“不支持PPT、Excel、CSV、XML、BMP和JPEG等格式”“不提供编程语言使用的集成开发环境......完全不支持使用C语言进行脚本编写”“无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理......无法满足支持环境的要求，例如WebSphere、DB2等”“无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理”“无法实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统”，提供了《现场演示验证情况记录》等材料。经审查，本项目于2024年1月2日发布中标结果公告，采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司于2024年1月16日至1月17日对广州掌动智能科技有限公司投标产品组织演示验证，制作了《现场演示验证情况记录》，后采购人浙江省电子信息产品检验研究院向投诉人提供了该《现场演示验证情况记录》，作为投诉人投诉证据材料。采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司的前述演示验证行为，缺乏法律依据，本机关予以指正。故，本机关对采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司基于测试行为而制作的并且未经采购人、采购代理机构和中标供应商三方签字确认的《现场演示验证情况记录》，不予采信。本项目招标文件中未规定投标供应商需对其投标响应情况提供证明材料，且除一份未经采购人、采购代理机构和中标供应商三方签字确认的《现场演示验证情况记录》外，投诉人和采购人浙江省电子信息产品检验研究院均不能提供其他证据证明广州掌动智能科技有限公司投标产品不满足前述采购需求中技术要求。本机关在投诉调查处理过程中亦未发现评标委员会对广州掌动智能科技有限公司投标文件就前述采购需求响应情况的评审存在不当。故，根据现有证据材料和本机关组织的投诉项目专家评审意见，不足以认定广州掌动智能科技有限公司投标产品技术参数响应不真实，对投诉人前述主张均不予支持。据此，投诉事项1、2、4，均不成立。
二、关于投诉事项3。如上所述，采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司的演示验证行为，缺乏法律依据。故，对投诉人基于前述演示验证行为而提出的主张“招标代理未确保现场验证软件及资料为投标的版本”和“技术核实工作安排在法定质疑答复期内”，本机关不予支持。采购人浙江省电子信息产品检验研究院未经中标供应商广州掌动智能科技有限公司同意向投诉人提供可能涉及其商业秘密的现场测试材料，本机关予以指正。被投诉人杭州博实招标代理有限公司未能在收到投诉人质疑函后7个工作日内作出答复，不符合《政府采购质疑和投诉办法》第十三条规定，确有不当，本机关予以指正。被投诉人杭州博实招标代理有限公司延长质疑答复时间缺乏法律依据，投诉事项“招标代理机构延长质疑答复时间不合规”，成立，但不影响采购结果。据此，投诉事项3，部分成立，但不影响采购结果。
2、处理结果：综上，投诉人关于浙江省电子信息产品检验研究院软件性能测试工具采购项目（编号：BSZB2023-AZZG239）采购过程和采购结果违法的投诉，部分成立，但不影响采购结果。根据《中华人民共和国政府采购法》第五十六条、《政府采购质疑和投诉办法》（财政部令第94号）第二十三条、第二十七条、第三十二条第一款规定，本机关决定：继续开展采购活动。
如对本决定不服，可在本决定书送达之日起60日内向浙江省人民政府申请行政复议，也可以在本决定书送达之日起6个月内向杭州市西湖区人民法院提起诉讼。
六、处理日期：2024年07月17日
七、执法机关信息：
1、执法机关：浙江省财政厅
2、联 系 人：吴聪瑜
3、联系电话：0571-87058489
附件信息:
浙江省财政厅行政处理决定书.doc
100.5 KB
二、项目名称：浙江省电子信息产品检验研究院软件性能测试工具采购项目
三、相关当事人
投 诉 人：上海卫戍信息技术有限公司
地 址：上海市徐汇区钦州北路1122号89幢4楼03室
被投诉人：杭州博实招标代理有限公司
地 址：浙江省杭州市拱墅区登云路518号3幢1708室
| 序号 | 相关供应商 | 供应商地址 |
| 1 | 广州掌动智能科技有限公司 | 广东省广州市天河区中山大道西6、8号第14层自编02-05、06B房 |
| 序号 | 当事人 | 当事人地址 |
| 无 | 无 | 无 |
四、基本情况
投诉人上海卫戍信息技术有限公司对浙江省电子信息产品检验研究院软件性能测试工具采购项目（编号：BSZB2023-AZZG239，以下简称本项目）采购过程和采购结果质疑答复不满，于2024年1月31日向本机关提起投诉，本机关于2024年1月31日受理。经依法对本次政府采购活动的相关材料进行审查，现本案已审查终结。
投诉人上海卫戍信息技术有限公司诉称：投诉事项1：招标代理最终的《质疑回复》与其组织的现场测试的结果偏差巨大，会严重影响招标结果。此《质疑回复》一旦被采纳会导致招标人采购存在质量问题的产品，甚至还可能导致采购方公信力和关键资质受损。事实依据：本项目专业性强，所以招标代理组织了现场测试。现场测试结束后采购方已经明确表示性能测试工具最重要的目的是得出准确的性能指标。以及出具报告有指标错误会带来的严重影响。（以下摘自招标代理的《质疑回复》第5页）（图略）。我司根据招标代理的《质疑回复》、采购方通过邮件发送给招标代理的《邮件正文》（附件5）、《质疑回复》（附件6）、《现场测试情况记录汇总》（附件7），总结出以下信息：①采购方在招标代理组织的现场测试中确认XRunner性能指标计算混乱。性能测试工具最重要的目的是得出准确的性能指标，如果出具的报告有指标错误会影响浙江省电子信息产品检验研究院的公信力，甚至被取消CNAS、CMA等相关资质(招标代理的《质疑回复》第5页)。②采购方在招标代理组织的现场测试发现XRunner监控结果偏差过大。监控结果中的磁盘使用情况与被测服务器中性能监视器不一致，以磁盘写指标为例，监控结果与真实值相差数千至数万倍(《现场测试情况记录汇总》第21页)。③采购方通过招标代理组织的现场测试发现质疑事项2、3、4、5、6、7、8、9属于功能未正确实现，而非提供虚假材料(采购方发送给招标代理关于质疑回复的邮件)。④采购方通过招标代理组织的现场测试确认质疑事项3、5予以采纳，质疑事项2、4、6、8、9部分采纳(采购方提供给招标代理的《质疑回复》)。⑤采购方在招标代理组织的现场测试中发现广州掌动对招标文件的需求理解与采购单位存在偏差，部分功能未能满足采购单位作为检测机构的特性(招标代理的《质疑回复》第5页)。招标代理在进行质疑回复时未充分考虑采购需求，未合理采纳采购方意见和现场测试结果，坚持所有的质疑事项不成立。法律依据：《政府采购质疑和投诉办法》第五条规定：采购人负责供应商质疑答复。采购人委托采购代理机构采购的，采购代理机构在委托授权范围内作出答复。《政府采购法》第十七条规定“集中采购机构进行政府采购活动，应当符合采购价格低于市场平均价格、采购效率更高、采购质量优良和服务良好的要求”的原则。投诉事项2：招标代理的《质疑回复》内容对质疑方不公正客观。事实依据：以质疑事项3为例，招标代理的回复如下：（图略）。我司在《质疑函》里质疑的是“涉嫌虚假应标”，即用投标时标的产品不具备的功能去应答“完全满足”。针对质疑3，我司质疑事项为XRunner性能指标计算混乱，错误频出。广州掌动回复“可能是因版本问题”来试图规避所质疑的质量问题。招标代理机构于2024年1月16日组织的质疑核查包含了此项功能进行验证，验证结果与我司质疑事项完全吻合，事实清晰，证据充分。我司在此项质疑中未提出广州掌动提供虚假材料，但招标代理的结论是“产品质量问题而非提供虚假材料，质疑事项依据不足”。试图用“非提供虚假材料”来规避所质疑的质量问题。综上所述，我司认为招标代理对此项质疑的回复不公正客观。由此我司也对整个质疑回复的公正性和客观性抱怀疑态度。投诉事项3：招标代理质疑核实过程操作不规范。事实依据：1.招标代理未确保现场验证软件及资料为投标标的版本。本次采购为成熟软件产品采购，我司质疑对象为广州掌动投标标的版本。所以现场验证、质疑答复均应基于标的版本进行。因此招标代理有责任确保广州掌动现场验证中使用的版本不晚于投标日期（2023年12月28日）。但从《现场测试情况记录汇总》可以看到广州掌动的英文和中文繁体文档多创建于2024年1月12—13日，多个程序模块编译于2024年1月14日。（详见《现场测试情况记录汇总》第12页）。临时修改版本的痕迹明显。同时在招标代理的《质疑回复》也试图避开版本问题，而是留待后续去考察未来版本是否满足，这是对其他投标商权益的不公平，也给采购方带来极高的风险（以下摘自招标代理的《质疑回复》第5页）（图略）。2.招标代理申请延长质疑答复时间不合规。根据相关法律，招标代理机构应于2024年01月12日前进行质疑答复，2024年01月12日,就质疑事项发出了申请延长质疑答复时间的邮件，提出“项目专业性强，针对贵公司质疑内容2-9项，我公司需进一步核实，答复时间需适当延长”（见附件3）。《现场测试情况记录汇总》中显示，现场测试时间为2024年1月16-17日，之前没有任何技术核实工作，而且技术核实工作也可以在两天内完成。招标代理在法定质疑答复时间内不组织技术核实工作，而是最后时刻申请延长答复时间，将技术核实工作安排在延长时段。我司认为招标代理申请延长质疑答复时间不合规。法律依据：《政府采购质疑和投诉办法》第十三条规定：采购人、采购代理机构不得拒收质疑供应商在法定质疑期内发出的质疑函，应当在收到质疑函后7个工作日内作出答复，并以书面形式通知质疑供应商和其他有关供应商。《政府采购质疑和投诉办法》第十七条规定：质疑供应商对采购人、采购代理机构的答复不满意，或者采购人、采购代理机构未在规定时间内作出答复的，可以在答复期满后15个工作日内向本办法第六条规定的财政部门提起投诉。根据招标文件要求，并非定制开发产品，因此所投产品应早于开标日期。投诉事项4：采购方出具的意见及报告、招标代理机构出具的《质疑回复》均认为广州掌动产品存在性能指标计算混乱，这已构成不满足招标文件多项要求，而非其应标时所答“完全满足”。事实依据：在采购方出具的《现场测试情况记录汇总》及招标代购机构回复我司的质疑答复里，均明确作为一款性能测试工具，广州掌动智能的产品“性能指标计算混乱、错误频出”。这已实质上不满足招标文件里需求及技术规格如下章节：①2.1核心功能要求第3、测试分析：跟踪业务流程，收集汇总所有测试数据，以图或表形式提供分析数据和报告，进行测试结果分析，进行软件性能问题诊断；②2.4实时监控要求第1、提供被测系统部分的详细指标，包括web服务器、数据库等系统的全面监控（包括cpu使用率、内存占用率、硬盘占用率）；③2.4实时监控要求第3、▲可实时监控系统运行的各种状态图表，支持对脚本中事务的执行和被测系统性能数据的实时监控；④2.4资源监控4、▲能够提供从一台计算机上就能监测到所有服务器和应用程序的性能品质，发生状况立即能接收到警报；⑤2.6分析诊断及报告生成第1、能够收集汇总所有的测试数据，分析测试结果，帮助定位系统性能瓶颈，提出诊断建议；⑥2.7支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。法律依据：详见：浙江省电子信息产品检验研究院软件性能测试工具采购项目，招标文件（电子招投标），编号:BSZB2023-AZZG239。与投诉事项相关的投诉请求：请求：1、我司申请取消广州掌动中标资格，终止采购方与其后续合同签约等相关工作。投诉人上海卫戍信息技术有限公司提供了质疑函、质疑答复函等证据。
被投诉人杭州博实招标代理有限公司辩称：针对投诉事项1答复：质疑事项2-9具体内容：质疑事项2“中标产品XRunner并不支持DevWeb、Gatling。”质疑事项3“XRunner性能指标计算混乱，错误频出。错误的性能指标会使整个性能测试工作成果完全被浪费，甚至造成采购方重大损失。”质疑事项4“根据查看XRunner产品界面和文档，并无英文和繁体中文界面和文档。”质疑事项5“XRunner不支持PPT、Excel、CSV、XML、BMP和JPEG等格式。”质疑事项6“XRunner完全不支持使用C语言进行脚本编写。” 质疑事项7“XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。XRunner无法满足支持环境的要求，例如WebSphere、DB2等。”质疑事项8“XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。质疑事项9“XRunner无法实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统。”综上，质疑事项2、4、5、6、7、8、9，质疑内容均为中标产品XRunner不具备招标文件指标参数要求的功能；质疑事项3，质疑内容为中标产品XRunner性能指标计算混乱、错误频出。《质疑函》指出，质疑事项2、4、5、6、7、8、9不满足招标文件详细指标参数要求为：质疑事项2指标参数要求：支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，2000并发，永久授权；质疑事项4指标参数要求：本地化及多语言支持 软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文、英文、繁体中文；质疑事项5指标参数要求：生成性能报告：能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告。质疑事项6指标参数要求：必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能；质疑事项7指标参数要求：资源监控。必须以无代理方式监控整个被测应用环境；必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server；质疑事项8指标参数要求：采用无代理监控，无需第三方软件直接对CPU使用率，内存占有率及磁盘I/O输出进行监控，减少加压时对被监控系统的无谓资源开销；质疑事项9指标参数要求：实时监控。加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。以上需求指标列明了功能要求，未有明确“功能正确实现”的相关标准。质疑事项3详细指标参数要求为：支持的性能指标 TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。招标文件列明了产品需支持的性能指标，未有性能指标数据准确性的相关标准。中标供应商对质疑事项进行了功能演示。我公司认为：1.演示的目的是为了验证质疑事项是否成立，质疑回复也是针对质疑内容进行答复。质疑事项2、4-9质疑内容是“涉嫌虚假应标”“不具备招标文件指标参数功能”。中标供应商现场针对质疑内容已完成功能校验，在招标文件没有明确标准的前提下且未到产品交付期，即使认为产品部分功能有瑕疵或没有百分百精准，也不能等同于“不具备指标参数功能”，亦不在本次质疑回复的范围。质疑事项3质疑的是“涉嫌虚假应标”“计算混乱、错误频出”，《质疑回复》中也对核查投标文件及现场功能校验情况作了客观答复。招标文件没有明确数据准确性标准，即使认为产品有质量问题，也不能认定其“虚假应标”。（附件材料10、11）2.《质疑回复》需依据招标文件需求标准，未经双方签字确认且记录中文字描述尚存争议的《现场测试情况记录汇总》（投诉材料附件7）不能作为事实依据。3.《质疑回复》是与采购人充分沟通、采购人认可后发出，投诉材料附件5、附件6均为最终版《质疑回复》形成前采购人发给我公司的讨论意见稿。4.我公司已合理采纳了采购人意见，本着实事求是原则，在《质疑回复》中阐述了采购人的观点（《质疑回复》第5页）。目前合同尚未签订，有争议的内容可以通过合同进行约定，或其他的争议解决办法。针对投诉事项2答复：质疑事项3对应的招标文件指标参数2.7“支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。”经核查，中标供应商的商务技术文件P54“应答：完全响应。我司承诺所提供产品性能测试平台支持上述性能指标。”但所附截图指标数据计算错误。根据现场功能校验，中标产品XRunner具备上述性能指标（TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。），但测试数据部分有错误。中标供应商对目前测试数据存在计算错误是认可的，承诺可通过补丁方式优化处理（见附件材料3）。我公司正是基于客观公正、实事求是的原则作出质疑答复，不存在“规避质疑的质量问题”。针对投诉事项3答复：1.投诉人在《质疑函》中未对中标产品的版本提出质疑。根据投标文件，中标供应商本次应标的标的产品为AI性能一体化保障平台3.0版本，投诉人关于“招标代理有责任确保现场验证中使用的版本及后续交付的版本不晚于投标日期（2023年12月28日）”的说法未提供相关法律依据。招标文件亦没有对此项内容有规定。2.我公司于2024年1月3日收到《质疑函》，根据7个工作日的质疑答复期限，我公司本应于2024年1月12日前进行质疑答复。由于该项目专业性强，需依托采购人的专业技术力量且采购人认为中标供应商的质疑澄清函回复内容未能全面、清晰地解释上海卫戍信息技术有限公司提出的相关质疑点，受采购人委托，1月8日我公司正式通知中标供应商针对质疑事项进行实物功能校验，校验时间为2024年1月11日9-12点。后由于采购人与中标供应商将校验方式由远程改为现场演示，时间延期至2024年1月16日。为保障采购人合法权益，也本着公正客观处理质疑的原则，我公司于2024年1月12日政采云在线及邮件形式向质疑人发送通知，申请延长质疑答复期，并明确最终答复时间（见附件材料4）。质疑人于1月12日回复邮件，同意延长答复期，确认无异议（见附件材料6）。既然有异议为何不在当时提出？我公司在1月3日收到《质疑函》后立即对质疑事项及证据、投标文件进行审查，与采购人、质疑人及中标供应商多次沟通（均有微信、通话记录），并于当日通知中标供应商就质疑事项进行澄清说明，中标供应商于1月5日提交了澄清函（见附件材料2），我公司随即转发采购人。投诉人称我公司在现场测试时间前没有任何技术核实工作，而且技术核实工作也可以在两天内完成的说法完全不实。针对投诉事项4答复：投诉人称，中标产品性能指标计算混乱已实质上不满足招标文件里需求及技术规格如下章节：①2.1核心功能要求第3、测试分析：跟踪业务流程，收集汇总所有测试数据，以图或表形式提供分析数据和报告，进行测试结果分析，进行软件性能问题诊断；②2.4实时监控要求第1、提供被测系统部分的详细指标，包括 web 服务器、数据库等系统的全面监控（包括cpu使用率、内存占用率、硬盘占用率）；③2.4实时监控要求第3、▲可实时监控系统运行的各种状态图表，支持对脚本中事务的执行和被测系统性能数据的实时监控；④2.4资源监控4、▲能够提供从一台计算机上就能监测到所有服务器和应用程序的性能品质，发生状况立即能接收到警报；⑤2.6分析诊断及报告生成第1、能够收集汇总所有的测试数据，分析测试结果，帮助定位系统性能瓶颈，提出诊断建议；⑥2.7支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。而《质疑函》中，“产品性能计算指标混乱”为质疑事项3，列举依据为不满足招标文件需求指标参数2.7，即上述内容第⑥点，上述内容①-⑤并未在质疑事项3中列举。我公司认为，中标产品支持上述性能指标的测试数据显示，部分测试数据有误，但招标文件没有规定数据准确性标准，且未到产品交付验收阶段，应标时所答“完全满足”也没有什么错，无法认定其“虚假应标”。综上，我公司认为以上投诉事项不成立，恳请财政厅驳回投诉。被投诉人杭州博实招标代理有限公司提供了招标文件、投标文件（电子版）、评审资料、视频材料等证据。
采购人浙江省电子信息产品检验研究院述称:针对投诉事项1答复：我院已按合规流程，通过查阅应标文件、现场核验等方式，并组织人员对结果进行分析，发现拟中标的产品（AI性能一体化保障平台V3.0（XRunner），以下均简称为XRunner）存在与招标文件中的核心功能和一般功能要求（如2.1章节的第3项要求，2.4章节的第1、3项要求，2.6章节的第1、3项要求，2.7章节要求等）偏离情况——多个性能指标计算结果逻辑混乱、数值错误，也存在部分功能未正确实现等现象，无法满足我院相关部门的业务开展，已清晰、完整、明确地向招标代理杭州博实反馈了我院的意见。但招标代理在质疑回复中未完全采纳该回复意见。作为浙江省首家通过国家实验室认可委认可（CNAS）的省级检验机构，作为同时具备CNAS、CMA、商密、等保、涉密等资质的权威第三方评测机构，我院工作中除需遵守所有企事业单位需要遵守的法规外，还需严格遵守《中华人民共和国产品质量法》、《中华人民共和国计量法》、《中华人民共和国认证认可条例》等法律法规和《CNAS-CI01（ISO/IEC 17020)检查机构认可准则》、《RBT 214-2017 检验检测机构资质认定能力评价检验检测机构通用要求》、《软件过程能力及成熟度评估管理办法》、《实验室能力验证实施办法》等规范性文件。根据《中华人民共和国产品质量法》第五十七条，产品质量检验机构、认证机构出具的检验结果或者证明不实，造成损失的，应当承担相应的赔偿责任；造成重大损失的，撤销其检验资格、认证资格。根据《中华人民共和国认证认可条例》第六十一条，认证机构出具虚假的认证结论，或者出具的认证结论严重失实的，撤销批准文件，并予公布；对直接负责的主管人员和负有直接责任的认证人员，撤销其执业资格；构成犯罪的，依法追究刑事责任；造成损害的，认证机构应当承担相应的赔偿责任。本次采购的性能测试工具最重要的目的是我院开展相关业务时，能够对各种应用场景或类型、采用各种协议的送检软件进行测试并得出准确的性能指标。同时，我院在现场核验过程中确认广州掌动投标文件中出现的XRunner性能指标计算结果逻辑混乱、数值错误的情况，无法满足我院的最基本要求，如果我院出具的报告有严重指标错误会在很大程度上影响我院的公信力，甚至被直接取消CNAS、CMA等资质，直接关系到我院在后续市场竞争中的生存问题。我院已于标书核对和现场核验之后向杭州博实明确回复：依据《政府采购质疑和投诉办法》第十二条相关规定，针对质疑事项3、5，予以采纳；针对质疑事项2、4、6、8、9，予以部分采纳；针对质疑事项1和7，不予以采纳；但对于质疑方主张的广州掌动智能涉嫌虚假应标则认为属于功能未正确实现，而非提供虚假材料（详见附件2、附件3）。但招标代理在质疑回复中未完全采纳该回复意见。事实依据（包含但不限于以下事实）：事实1.关于质疑事项3，我院从以下两个角度均确认XRunner存在性能指标计算结果逻辑混乱、数值错误的情况：1)在现场核验时XRunner的22条性能指标中有10条出现计算错误，分别为：①在线数/秒的平均值计算错误②成功数/秒的平均值计算错误③启动数/秒的的平均值小于最小值④请求数/秒指标的平均值计算错误⑤接收吞吐量指标的平均值计算错误⑥200-299指标的平均值计算错误⑦300-399指标的平均值计算错误⑧登录 成功数/秒指标的平均值小于最小值⑨连接成功数/秒指标的平均值小于最小值⑩TCP三次握手时间指标的平均值小于最小值（图略）。详情见附件4.《现场核验情况记录汇总》第8-12页（注：建议打开对应Word或PDF文档，放大看对应数据更清晰）2)广州掌动标书中第54页出现10处指标计算错误，包括：成功数/秒、在线数/秒、启动数(速率)/秒、响应数/秒、接收吞吐量、发送吞吐量、300-399、首页加载 成功数/秒、查询页面 成功数/秒、连接成功数/秒（图略）。详情见附件5.广州掌动《商务技术响应文件》第54页（注：建议打开对应PDF文档，放大看对应数据更清晰）3)广州掌动标书中第140页出现10处指标计算错误，包括：成功数/秒、失败数/秒、启动数(速率)/秒、400-499、连接成功数/秒、连接失败数/秒、SSL连接成功数/秒、失败数/秒、连接数(速率)/秒、接收吞吐量（图略）详情见附件5.广州掌动《商务技术响应文件》第140页（注：建议打开对应PDF文档，放大看对应数据更清晰） 。事实2.关于质疑事项8，根据现场核验情况，我院发现XRunner无代理监控监控结果偏差过大。以磁盘写指标为例：（表略）。详情见附件4.《现场核验情况记录汇总》第19-20页。基于差异如此巨大的数据进行测试和分析，是《中华人民共和国产品质量法》、《中华人民共和国计量法》、《中华人民共和国认证认可条例》等相关法律法规所不允许的。事实3.关于质疑事项4，现场核验中XRunner单次运行测试任务时只能生成一种对应界面语言的报告，无法同时生成简体中文、英文、繁体中文三种报告，而且在繁体中文及英语的报告中存在部分错误。与此同时，繁体中文和英文文件夹中的文档创建于2024年1月10日至1月13日，晚于投标日期。详情见：附件4.《现场核验情况记录汇总》第12-15页。事实4.关于质疑事项5，现场核验中CSV格式的报告内缺少了需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据。Excel格式的报告内缺少了成功数/秒、启动数(速率)/秒、脚本时间标准差指标的截图，及需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据和截图。详情见：附件4.《现场核验情况记录汇总》第15-16页。事实5.关于质疑事项6，现场核验中XRunner可使用C语言编写脚本，不支持在C语言中调用Windows标准DLL文件，不符合我院业务工作实际。可使用Java语言调用DLL，但未出现Java的保留字class，未出现完整的函数结构，可以使用未声明变量，不符合Java标准结构。详情见：附件4.《现场核验情况记录汇总》第17-18页。事实6.关于质疑事项9，现场核验中结果如下：1）在现场核验环节中，未发现常用的Oracle验证项，如下：①数据库活动：包括事务数，提交和回滚的事务数等。②SQL性能：包括SQL执行次数，解析次数，硬解析次数，排序次数等。③缓冲区缓存：包括缓冲区命中率，字典缓存命中率，库缓存命中率等。④I/O性能：包括物理读写次数，逻辑读写次数，直接读写次数等。⑤等待事件：包括各种等待事件的等待时间，等待次数等。⑥表空间：包括每个表空间的大小，已用空间，剩余空间等。2）在现场核验环节中，未发现常用的SQL Server验证项，如下：①数据库性能：包括数据库大小，活动连接数，空闲连接数，事务数，查询处理速度等。②SQL性能：包括SQL执行次数，解析次数，缓存命中率等。③磁盘I/O：包括物理读写次数，逻辑读写次数，读写延迟等。④锁：包括锁请求，锁等待时间，锁超时，锁冲突等。⑤缓冲区：包括缓冲区大小，缓冲区命中率，页生命周期等。⑥错误和事件：包括错误日志，死锁，阻塞等。3）在现场核验环节中，未发现常用的WebLogic验证项，如下：①线程池：包括线程池大小，活动线程数，空闲线程数，线程池使用率等。②会话：包括活动会话数，过期会话数，拒绝的会话数等。③连接池：包括连接池大小，活动连接数，空闲连接数，等待连接数等。④事务：包括提交的事务数，回滚的事务数，挂起的事务数等。⑤应用程序性能：包括EJB性能，Web服务性能，JMS性能等。详情见：附件4.《现场核验情况记录汇总》第21-23页。事实7.我院根据本次质疑涉及的招标文件要求、广州掌动智能投标文件响应及现场核验情况，于2024年1月23日13：04通过电子邮件方式正式向杭州博实反馈了我院的《质疑回复》稿，并给出具体意见和建议。此邮件正文截图详见附件2.我院于2024年1月23日回复杭州博实的《邮件正文》。此邮件的附件详见附件3.我院于2024年1月23日回复杭州博实的《关于浙江省电子信息产品检验研究院软件性能测试工具采购项目采购结果质疑回复》。上述事实阐明我院以广州掌动应标文件和现场核验情况为依据，通过专业的测试和认证分析做出了质疑回复；同时我院也已经将我院的质疑回复意见正确转达给杭州博实。法律依据：1.《中华人民共和国产品质量法》第五十七条 产品质量检验机构、认证机构出具的检验结果或者证明不实，造成损失的，应当承担相应的赔偿责任；造成重大损失的，撤销其检验资格、认证资格。2.《中华人民共和国认证认可条例》第六十一条认证机构出具虚假的认证结论，或者出具的认证结论严重失实的，撤销批准文件，并予公布；对直接负责的主管人员和负有直接责任的认证人员，撤销其执业资格；构成犯罪的，依法追究刑事责任；造成损害的，认证机构应当承担相应的赔偿责任。3.《检验检测机构资质认定评审准则》第二章 评审内容与要求 第八条 检验检测机构应当是依法成立并能够承担相应法律责任的法人或者其他组织。（三）检验检测机构应当独立于其出具的检验检测数据、结果所涉及的利益相关方，不受任何可能干扰其技术判断的因素影响，保证检验检测数据、结果公正准确、可追溯。第十一条 检验检测机构应当具备从事检验检测活动所必需的检验检测设备设施。（二）检验检测机构应当对检验检测数据、结果的准确性或者有效性有影响的设备（包括用于测量环境条件等辅助测量设备）实施检定、校准或核查，保证数据、结果满足计量溯源性要求。（六）检验检测机构出具的检验检测报告，应当客观真实、方法有效、数据完整、信息齐全、结论明确、表述清晰并使用法定计量单位。4.浙江省电子信息产品检验研究院软件性能测试工具采购项目，招标文件（电子招投标），编号:BSZB2023-AZZG239。针对投诉事项2答复：我院已按合规流程，通过查阅应标文件、现场核验等方式，并组织人员对结果进行分析，发现拟中标的产品（XRunner）存在与招标文件中的核心功能和一般功能要求（如2.1章节的第3项要求，2.4章节的第1、3项要求，2.6章节的第1、3项要求，2.7章节要求等）偏离情况——多个性能指标计算结果逻辑混乱、数值错误，也存在部分功能未正确实现等现象，已根据客观实际情况向招标代理杭州博实反馈了我院的意见（详见事实依据）。但招标代理在质疑回复中未完全采纳该回复意见。事实依据（包含但不限于以下事实）：我院根据本次质疑涉及的招标文件要求、广州掌动智能投标文件响应及现场核验情况，于2024年1月23日13：04通过电子邮件方式正式向杭州博实反馈了我院的《质疑回复》稿，并给出具体意见和建议：依据《政府采购质疑和投诉办法》第十二条相关规定，针对质疑事项3、5，予以采纳；针对质疑事项2、4、6、8、9，予以部分采纳；针对质疑事项1和7，不予以采纳；但对于质疑方主张的广州掌动智能涉嫌虚假应标则认为属于功能未正确实现，而非提供虚假材料。此邮件正文截图详见附件2.我院于2024年1月23日回复杭州博实的《邮件正文》。此邮件的附件详见附件3.我院于2024年1月23日回复杭州博实的《关于浙江省电子信息产品检验研究院软件性能测试工具采购项目采购结果质疑回复》。以质疑事项3为例，我院建议招标代理按以下方式回复：“答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台 V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台 V3.0的最终版本。质疑核查过程中，采购单位在广州掌动智能投标文件章节5.2.1.2.2.7、5.3.2.5.5.4.2中发现指标数值计算的成功数/秒、在线数/秒、启动数(速率)/秒、接受吞吐量、发送吞吐量、首页加载 成功数/秒、查询页面 成功数/秒、连接成功数/秒等指标存在明显错误。鉴于广州掌动智能的回复及采购单位发现的问题，我公司认为，广州掌动智能在投标文件中出现性能指标计算混乱，错误频出的内容为功能未正确实现，属于产品质量问题（测试工具的测量这个核心功能未正确实现），该部分质疑事项符合事实依据，依据《政府采购质疑和投诉办法》第十二条，该部分质疑予以采纳，但认为不构成虚假应标。”。针对投诉事项3答复：本次采购标的为成熟软件产品（非定制开发项目采购），但根据现场核验情况，用于验证的软件产品版本与投标标的版本存在不一致的情况（详见事实依据 - 事实1）。同时，我院已于2024年1月12日14:19以电子邮件方式正式向招标代理机构发送了我院性能测试工具采购质疑的回复及说明，未超出质疑答复时间要求。事实依据（包含但不限于以下事实）：事实1.本次采购为成熟软件产品采购（非定制开发项目采购），我院多次向杭州博实询问，本次现场核验和质疑答复均是否应基于标的版本进行，并在现场核验过程中发现以下情况：1)英文和中文繁体文档创建时间。质疑事项4中提到XRunner不具备的英文和繁体中文文档。我院现场核验中发现广州掌动提供的英文和繁体中文文档多创建于2024年1月10日—13日，晚于投标时间和质疑时间。详情见：附件4.《现场核验情况记录汇总》第12页、附件6.《XRunner安装目录文件信息列表》。2)现场核验使用的XRunner多个class文件编译于2024年1月14日。现场核验使用的XRunner多个class文件编译于2024年1月14日，晚于投标时间和质疑时间。详情见：附件6.《XRunner安装目录文件信息列表》3)广州掌动商务技术响应文件中的产品截图与现场核验软件界面不同，不是同一版本。例如广州掌动商务技术响应文件未发现DevWeb脚本界面，现场核验中名为“devweb脚本”的菜单在商务技术响应文件中原名为“WEB UI/界面脚本”（名为“devweb脚本”菜单位置与广州掌动商务技术响应文件中“WEB UI/界面脚本”菜单位置一致），现场核验软件版本功能多了性能分析、问题管理、测试资产库等模块。商务技术响应文件第91页（注：建议打开对应PDF文档，放大看对应数据更清晰）（图略）。现场核验软件截图（图略）。事实2.我院于2024年1月12日14:19以电子邮件方式正式向招标代理发送了我院关于性能测试工具采购质疑的回复及相关说明。主要回复意见如下：质疑事项1不予采纳、质疑事项2一质疑事项9均予以采纳、被质疑方投标标的产品存在缺陷、被质疑方提供的无代理监控支持列表不足以支撑我院相关工作开展的需求。详情见：附件7.我院于2024年1月12日回复杭州博实的《省电检院关于性能测试工具采购质疑回复》、附件8.我院于2024年1月12日回复杭州博实的《省电检院关于性能测试工具采购质疑回复的说明》。针对投诉事项4答复：我院已按合规流程，通过查阅应标文件、现场核验等方式，并组织人员对结果进行分析，发现拟中标的产品（XRunner）存在与招标文件中的核心功能和一般功能要求偏离情况——多个性能指标计算结果逻辑混乱、数值错误，无法满足我院相关部门的业务开展，对应招标文件多项要求（如招标文件第三部分 - 采购需求 - 二、详细指标参数要求的2.1章节的第3项要求，2.4章节的第1、3项要求，2.6章节的第1、3项要求，2.7章节要求等）。事实依据（包含但不限于以下事实）：事实1.关于质疑事项3，我院从以下两个角度均确定XRunner性能指标计算逻辑混乱，存在多处数值明显错误的情况：1)在现场核验时XRunner的22条性能指标中有10条出现计算错误，分别为：①在线数/秒的平均值计算错误②成功数/秒的平均值计算错误③启动数/秒的的平均值小于最小值④请求数/秒指标的平均值计算错误⑤接收吞吐量指标的平均值计算错误⑥200-299指标的平均值计算错误⑦300-399指标的平均值计算错误⑧登录 成功数/秒指标的平均值小于最小值⑨连接成功数/秒指标的平均值小于最小值。TCP三次握手时间指标的平均值小于最小值（图略）。详情见附件4.《现场核验情况记录汇总》第8-12页（注：建议打开对应Word或PDF文档，放大看对应数据更清晰）2)广州掌动标书中第54页出现10处指标计算错误，包括：成功数/秒、在线数/秒、启动数(速率)/秒、响应数/秒、接收吞吐量、发送吞吐量、300-399、首页加载 成功数/秒、查询页面 成功数/秒、连接成功数/秒（图略）。详情见附件5.广州掌动《商务技术响应文件》第54页（注：建议打开对应PDF文档，放大看对应数据更清晰）3)广州掌动标书中第140页出现10处指标计算错误，包括：成功数/秒、失败数/秒、启动数(速率)/秒、400-499、连接成功数/秒、连接失败数/秒、SSL连接成功数/秒、失败数/秒、连接数(速率)/秒、接收吞吐量（图略）。详情见附件5.广州掌动《商务技术响应文件》第140页（注：建议打开对应PDF文档，放大看对应数据更清晰）事实2.根据现场核验情况，我院发现XRunner无代理监控监控结果偏差过大。以磁盘写指标为例：（表略）。详情见附件4.《现场核验情况记录汇总》第19-20页。事实3.根据现场核验情况，我院发现CSV格式的报告内缺少了需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据。Excel格式的报告内缺少了成功数/秒、启动数(速率)/秒、脚本时间标准差指标的截图，及需要的请求数/秒、响应数/秒、接收吞吐量、发送吞吐量、200-299、300-399、400-499、500及以上、登录 平均时间/秒、登录 标准差、登录 成功数/秒、登录 失败数/秒、连接成功数/秒、连接失败数/秒、TCP三次握手时间、TCP连接等指标的相关数据和截图。详情见：附件4.《现场核验情况记录汇总》第15-16页。后续我院将按合规流程，配合省财监依据相关法律法规的要求，妥善做好后续事宜。
相关供应商广州掌动智能科技有限公司述称：为进一步针对质疑函中的质疑点进行专业技术回复，提供证明材料，我司也做了详细的点对点技术说明并有提供相关截图进行说明。具体证明材料请见我司提供的《附件二：质疑点详细技术证明材料》。针对质疑内容1回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】支持多种协议，包括支持web协议（Web-HTTP/HTML，DevWeb，JMeter，Gatling）；XRunner支持提供短期软件许可license，满足并发数不低于5000。步骤：登录平台；点击【账号管理-License】，可查看当前License支持的并发数以及协议（图略）。针对质疑内容2回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】支持多种协议，包括支持web协议（Web-HTTP/HTML，DevWeb，JMeter，Gatling）Web-HTTP/HTML支持 步骤：登录系统进入【脚本用例-协议/接口脚本】页面。可通过【新建HTTP脚本】或【录制HTTP脚本】进行脚本生成并用于性能测试（图略）。图_协议/接口脚本管理页面（图略）图_脚本编辑页面 DevWeb支持 步骤：登录系统 进入【脚本用例-协议/devweb脚本】页面 点击【新建devweb脚本】，在脚本详情页面可进行脚本编写或录制（图略）图_DevWeb脚本管理页面（图略）图_DevWeb脚本编辑页面 JMeter支持 步骤：将JMeter脚本放到ZIP包中 登录系统 进入【脚本用例-协议/接口脚本】页面 点击【导入测试脚本-导入JMeter脚本】，上传该ZIP包即可。（图略）Gatling支持 步骤：登录系统 进入【测试执行】页面 点击【新建测试计划-Gatling】上传脚本后运行即可（图略）图_【导入Gatling脚本入口】页面 （图略）图_【Gatling脚本内容】页面（图略）图_【运行Gatling脚本步骤】页面（图略）图_【Gatling执行结果】页面。针对质疑内容3回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：使用【AI性能一体化保障平台V3.0】版本进行测试未发现存在该问题。步骤：登录系统 进入【历史报告】页面选择任意报告查看【指标数值】备注：1、平均值统计：所有测试工具在执行测试脚本时，会在触发设定的运行时间时“开始”停止，因此实际结束时间往往会大于设定时间。平均值计算公式使用的是“实际时间”而非“设定时间”（图略）。针对质疑内容4回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：使用【AI性能一体化保障平台V3.0】版本可对页面字体进行切换。步骤：登录系统 通过页面右上角【字体】按钮即可替换切换“简体中文”、“繁体中文”与英文。（图略）图_简体中文（图略）图_繁体中文（图略）图_英文中文。针对质疑内容5回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和 JPEG等多种格式的测试报告 步骤：登录系统 进入【历史报告】页面选择任意报告查看 点击【导出报告】即可选择各种格式内容。（图略）图_报告导出入口（图略）图_html报告导出页面。针对质疑内容6回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够使用C语言编程脚本。步骤：登录系统 进入【脚本用例-新建HTTP脚本】在C语言节点编写C语言逻辑 备注：脚本使用C语言增强，需要遵守.c格式文件的编程规范。Java语言增强脚本节点已经过封装，只需要填写函数逻辑即可（图略）图_C语言编辑页面（图略）图_C语言调试结果页面 【AI性能一体化保障平台V3.0】能够调用DLL文件。步骤：登录系统进入【脚本用例-新建HTTP脚本】在Beanshell节点调用DLL内逻辑：加载DLL文件到内存，DLL存在方法add(int a,int b)，该方法返回值是a+b;声明变量message并获取脚本参数变量“message”的值;声明变量add，调用DLL的add方法并将其值赋给add；将add的值拼接在message值后面；更新脚本参数变量message的值。（图略）图_脚本调用DLL方法（图略）图_脚本调用DLL方法后调试结果。针对质疑内容7回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够使用以无代理的方式支持对如下环境的监控：Unix、Windows、Linux、Network、WebShpere、Weblogic、Oracle DB、DB2、SQLServer。步骤：登录系统 进入【测试执行】页面新建测试计划 添加【监控类型】以及相应的指标（图略）图_所有监控类型页面（图略）图_WebShpere（图略）图_Weblogic（图略）图_Oracle DB（图略）图_DB2（图略）图_SQLServer（图略）图_Linux、Windows、Unix监控。针对质疑内容8回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够使用无需第三方软件直接对CPU使用率，内存点有率及磁盘I/O输出进行监控。步骤：登录系统进入【测试执行】页面 新建测试计划，并配置相关监控 执行测试计划，并实时监控指标（图略）图_Linux与Windows无代理监控配置（图略）图_Linux（图略）图_Windows应用版本截图（图略）图_Oracle_11g（图略）图_Db2_V11（图略）图_SqlServer 2017（图略）图_WebLogin V12（图略）图_WebSphere 8.5（图略）图_Linux 7.9版本（图略）图_Windows 10。针对质疑内容9回复：AI性能一体化保障平台V3.0完全满足标书技术参数要求。具体如下：【AI性能一体化保障平台V3.0】能够实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统。步骤：登录系统 进入【测试执行】页面 新建测试计划，并配置相关监控 执行测试计划，并实时监控指标。（图略）图_无代理监控配置页面 数据库：（图略）图_Oracle（图略）图_Tomcat之外的中间件-如weblogic（图略）图_Windows操作系统。
经本机关调查查明：
一、本项目采购方式为公开招标（项目编号：BSZB2023-AZZG239），2023年12月7日发布采购公告，12月28日09:00开标，共有广州掌动智能科技有限公司、上海卫戍信息技术有限公司等5家供应商投标，2024年1月2日发布采购结果公告，广州掌动智能科技有限公司为中标供应商，中标价为登录即可免费查看元，本项目尚未签订采购合同。
二、采购文件 第三部分 采购需求 二、详细指标参数要求
| 序号 | 需求及技术规格 |
| 1 | 1、支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，2000并发，永久授权； …… |
| 2 | 技术要求及主要规格参数：（加“▲”为必要功能，需全部满足） |
| 2.2 | 灵活的脚本调试 …… ▲2、测试脚本管理： • 通过控制主机、虚拟用户，具有自动负载测试功能； • 脚本可通过录制自动生成，具有灵活的脚本编辑功能，可自动完成脚本的上下文关联。在录制过程中可添加集合点、事务等操作，并且可将不同的操作放入不同的操作单元中独立监控； • 在支持有界面应用的录制的同时，还必须支持对Linux 或Unix设备间的无界面应用进行脚本录制及性能测试； • 必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能。 |
| 2.4 | …… ▲3、实时监控 …… • 加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。 ▲4、资源监控 • 必须以无代理方式监控整个被测应用环境； • 必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server； …… |
| 2.6 | 分析诊断及报告生成 …… 3、 生成性能报告：能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告。 |
| 2.7 | 支持的性能指标 TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。 |
| 2.8 | 本地化及多语言支持 软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文 |
三、广州掌动智能科技有限公司 商务技术响应文件 投标标的清单AI 性能一体化保障平台V3.0（简称：XRunner）V3.0 1套XRunner/广州 质保期1年； 商务技术偏离表显示：投标文件全部条款完全满足招标文件的全部要求。
广州掌动智能科技有限公司 商务技术响应文件 详细指标参数要求显示：（1）产品需求描述：支持 web 协议（Web-HTTP/HTML，DevWeb，JMeter，Gatling)，2000并发，永久授权。应答：完全响应。我司承诺所提供产品支持上述 web 协议，并能提供 2000并发的永久授权。同时提供了产品信息截图；（2）灵活的脚本调试：测试脚本管理：④ 必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如 C语言，方便用户快速学习及掌握，脚本必须支持调用外部 DLL 库，从而最大程度丰富脚本功能。应答：完全响应。我司承诺所提供产品性能测试平台的脚本编辑支持被广泛应用、标准的编程语言如 java 作为测试脚本编程语言，并且脚本支持调用外部 DLL 库。同时提供了产品信息截图。（3）实时监控：采用无代理监控，无需第三方软件直接对 CPU 使用率，内存占有率及磁盘 I/O 输出进行监控，减少加压时对被监控系统的无谓资源开销。应答：完全响应。我司承诺所提供产品性能测试平台的在执行测试时，可以对 web 服务器、数据库等系统进行全面监控（监控内容包括 CPU、内存、磁盘等）。同时提供了产品信息截图。（4）实时监控：实时监控 ③加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。应答：完全响应。我司承诺所提供产品性能测试平台支持一体化配置加压以及监控策略，并且监控方式可以做到不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。同时提供了产品信息截图。（5）实时监控：资源监控① 必须以无代理方式监控整个被测应用环境。应答：完全响应。我司承诺所提供产品性能测试平台支持无代理方式监控整个被测应用系统。同时提供了产品信息截图。② 必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB 服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括 Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server。应答：完全响应。我司承诺所提供产品性能测试平台支持无代理方式监控整个被测应用系统。同时提供了产品信息截图。（6）分析诊断及报告生成：生成性能报告：能够生成基于 HTML、PDF、PPT、Excel、CSV、XML、BMP 和 JPEG 等多种格式的测试报告。应答：完全响应。我司承诺所提供产品性能测试平台在测试执行后，可以能够生成基于 HTML、PDF 等多种格式的测试报告。同时提供了产品信息截图。（7）支持的性能指标：TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数。应答：完全响应。我司承诺所提供产品性能测试平台支持上述性能指标。同时提供了产品信息截图。（8）本地化及多语言支持：软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文。应答：完全响应。我司承诺所提供产品性能测试平台完成支持中文环境。同时提供了产品信息截图。
四、招标文件 第四部分 评标办法 评标办法前附表
| 序号 | 评审因素 | 评分细则 | 分值 | 主/客观分属性 |
| 2 | 技术指标响应程度 | 根据招标文件第三部分采购需求中“详细指标参数要求”，所投产品性能技术指标完全满足招标要求的，得36分；标▲项为实质性响应条款，如有负偏离，视为无效投标；其他为一般性指标，如有负偏离，每项扣2分，扣完为止。 | 36分 | 客观 |
评标委员会对广州掌动智能科技有限公司就该评分项的评分为36分。
五、质疑阶段，投诉人称：质疑事项2：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过资格性审查或者打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在详细指标1-1中，标书中要求支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，这是需求及技术规格的基本要求。然而我们通过供应商广州掌动智能科技有限公司官网发布的性能测试平台XRunner（以下均称XRunner）发现并不支持DevWeb、Gatling。事实依据：XRunner软件和产品文档中无任何支持DevWeb、Gatling的功能模块或使用说明（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项3：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书中详细指标2.7支持的性能指标中，我们发现XRunner性能指标计算混乱，错误频出。错误的性能指标会使整个性能测试工作成果完全被浪费，甚至造成采购方重大损失。事实依据：例如下图中有7行数据的平均值小于最小值，有1行数据的平均值大于最大值（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项4：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书详细指标2.8本地化及多语言支持中要求产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文。根据查看XRunner产品界面和文档，并无英文和繁体中文界面和文档。事实依据：XRunner产品安装和使用界面仅有简体中文产品界面和文档，无英语或繁体中文选择，文档中也无英语或繁体中文版本。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项5：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书详细指标2.6—3、生成性能报告中要求能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告。而XRunner不支持PPT、Excel、CSV、XML、BMP和JPEG等格式。事实依据：XRunner生成报告页面如下图所示：（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项6：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过符合性审查。在标书详细指标2.2—▲2、测试脚本管理中要求必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能。XRunner不提供编程语言使用的集成开发环境，我们发现虽然能用python或bean shell等编写节点，但和其它节点之间的互操作复杂度太高，实际使用时不具备可操作性，连程序设计中最基本的条件语句、循环语句和判断语句都难于实现。C语言性能高更适合被性能测试工具采用，而XRunner完全不支持使用C语言进行脚本编写。 事实依据：XRunner文档和XRunner软件相关功能界面（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项7：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过符合性审查。详细指标2.4—▲4、资源监控 要求必须以无代理方式监控整个被测应用环境；要求必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server；XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。XRunner无法满足支持环境的要求，例如WebSphere、DB2等。事实依据：XRunner软件和产品文档（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项8：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委打出高分（连同其他质疑项，无法支撑中标结果公告中的商务技术得分61.4分）。在标书详细指标2.4—2中要求采用无代理监控，无需第三方软件直接对CPU使用率，内存占有率及磁盘I/O输出进行监控，减少加压时对被监控系统的无谓资源开销。XRunner无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理。事实依据：XRunner软件和产品文档（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。质疑事项9：供应商广州掌动智能科技有限公司，涉嫌虚假应标，误导评委通过符合性审查。在标书详细指标2.4—▲3、实时监控中要加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理。XRunner无法实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统。事实依据：XRunner软件和产品文档（图略）。法律依据：《中华人民共和国政府采购法》第五十二条规定:供应商认为采购文件、采购过程和中标、成交结果使自己的权益受到损害的,可以在知道或者应知其权益受到损害之日起七个工作日内,以书面形式向采购人提出质疑。以及根据《浙江省财政厅关于进一步促进政府采购公平竞争打造最优营商环境的通知》（浙财采监（2021）22号）文件关于“健全行政裁决机制”要求，鼓励供应商在线提起询问，路径为：政采云-项目采购-询问质疑投诉-询问列表:鼓励供应商在线提起质疑，路径为：政采云-项目采购-询问质疑投诉-质疑列表。
六、质疑阶段，被投诉人杭州博实招标代理有限公司于2024年1月12日答复（第一次）：“上海卫戍信息技术有限公司:贵公司关于浙江省电子信息产品检验研究院软件性能测试工具采购项目(项目编号:BSZB2023-AZZG239）采购结果质疑函于2024年1月3日收悉。由于该项目专业性强，针对贵公司质疑内容2-9项，我公司需进一步核实，故质疑答复时间需适当延长，预计答复时间为收到质疑函后（2024年1月4日）算起，最迟十五个工作日前。造成不便，敬请谅解！特此通知。”
投诉人上海卫戍信息技术有限公司于2024年1月12日邮件回复：“收到，关于‘答复时间延长，答复时间为收到质疑函后（2024年1月4日）算起，最迟十五个工作日。’无异议。”
被投诉人杭州博实招标代理有限公司于2024年1月23日答复（第二次）：针对质疑事项2答复：广州掌动智能科技有限公司回复，贵公司未有其投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，贵公司出具的信息数据无法证明是广州掌动智能科技有限公司投标产品版本，质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项3答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。质疑核查中，采购单位在广州掌动智能投标文件章节5.2.1.2.2.7中发现指标数值计算的成功数/秒、在线数/秒、启动数(速率)/秒、接受吞吐量、发送吞吐量、首页加载成功数/秒、查询页面成功数/秒、连接成功数/秒等指标存在明显错误。鉴于广州掌动智能的回复及采购单位发现的问题，我公司认为，广州掌动智能在投标文件中出现性能指标计算混乱，错误频出的内容为产品质量问题而非提供虚假材料，质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项4答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，贵公司出具的信息数据无法证明是广州掌动智能投标产品版本，质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项5答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，广州掌动智能科技有限公司投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项6答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。我公司认为，广州掌动智能科技有限公司投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项7答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。经核查投标文件，广州掌动智能投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，也作出了明确的无代理模式的监控能力响应，但在文件的操作手册部分描述内容为支持有代理模式操作，标书存在前后不一致，有一定的瑕疵。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项8答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。经核查投标文件，广州掌动智能投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，也作出了明确的无代理模式的监控能力响应，但在文件的操作手册部分描述内容为支持有代理模式操作，标书存在前后不一致，有一定的瑕疵。质疑核实中，通过现场演示，广州掌动按照应标材料进行了主要功能指标验证。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。针对质疑事项9答复：广州掌动智能科技有限公司回复，贵公司未有广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的购买记录，获取产品版本可能为非广州掌动智能科技有限公司投标产品AI性能一体化保障平台V3.0的最终版本。经核查投标文件，广州掌动智能投标文件对招标文件中“需求及技术规格”的内容和要求(包括以上质疑的技术指标)均作出了详细的响应和应答，也作出了明确的无代理模式的监控能力响应，但在文件的操作手册部分描述内容为支持有代理模式操作，标书存在前后不一致，有一定的瑕疵。因此，贵公司质疑事项事实依据不足，依据《政府采购质疑和投诉办法》第十二条，质疑不予采纳。综上，我司已对质疑事项——答复，并提供相关法律依据。贵公司提出的九点质疑事项事实证据和法律依据不足，依据《政府采购质疑和投诉办法》第十二条相关规定，我司无法作出广州掌动智能科技有限公司虚假投标的认定和取消其中标资格的诉求。依据《浙江省政府采购合同暂行办法》第二十四条，我司对贵公司要求参加本项目履约验收的诉求予以采纳，如果项目完成，采购单位将邀请贵公司参加项目履约验收。同时，在质疑事项调查过程中，通过中标产品的演示，浙江省电子信息产品检验研究院发现广州掌动智能对招标文件的需求理解与采购单位存在偏差，部分功能未能满足采购单位做为检测机构的特性(但双方存在争议),如：性能指标计算混乱，错误频出。浙江省电子信息产品检验研究院认为：性能测试工具最重要的目的是得出准确的性能指标，作为具有CNAS和CMA等资质的权威第三方评测机构，如果出具的报告有指标错误会严重影响浙江省电子信息产品检验研究院的公信力，甚至被取消CNAS、CMA等相关资质。因此，后续如广州掌动智能提供的产品未能满足采购单位作为检测机构的要求，导致合同无法签订，我公司将上报财政监管部门，申请本项目重新组织采购。根据《中华人民共和国政府采购法》第五十五条规定，如贵单位对本答复不满意，可以在答复期满后十五个工作日内向浙江省财政厅政府采购监管处投诉。
七、质疑阶段，相关供应商广州掌动智能科技有限公司于2024年1月5日出具《澄清函》（第一次）显示：关于上海卫戍信息技术有限公司(以下简称为质疑方)提交的浙江省电子信息产品检验研究院软件性能测试工具采购项目(采购项目编号：BSZB2023-AZZG239)的政府采购质疑函，我司于2024年1月3日星期三下午收悉。针对质疑方提出的质疑，我司进行了认真的核实，现对质疑函作如下回复：我司发现质疑函中的问题分为两类：1、第一类问题属于质疑方对评标规则和招标文件理解不够导致的问题。根据招标法的管理规定及要求，项目评标应以应标单位提供的正式盖章应标文件、材料作为评价依据，未经来源验证及非应标现场的官网宣传、新闻发言稿的等信息或材料均不应作为评价应标方能力的依据和佐证的材料；2、第二类问题属于质疑方获取工具版本和使用不当的问题。质疑的2、3、4、5、6、7、8、9问题均是因质疑方仅从不明来源、不明版本的工具平台上获取到的内容信息，在使用过程中也因对国产化工具平台操作不熟悉而没找到具体的方法和准确的描述位置，而武断的断章取义、以偏概全，我司自研的XRunner产品作为一个科技型产品，随着技术发展的日新月异，拥有多个版本型号(如标准版、旗舰版等等),不同的版本具有不同的功能模块及应用场景能力，质疑方在未做不同版本的差异性比对、未熟练掌握工具平台操作、对技术的更新迭代的速度理解存在误差的前提下，武断的作出错误的结论。以下是对具体质疑内容的具体回复：……质疑内容2答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容2”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容3答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容3”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容4答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容4”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容5答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容5”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容6答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容6”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是AI性能一体化保障平台。质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容7答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容7”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容8答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容8”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。质疑内容9答复如下：首先，评标专家的评审规则是按照招标文件要求中的技术文件中的资料进行评审，贵司在质疑函中的“质疑内容9”引用的指标内容及技术要求，我司在详细的应标材料中均以作出了正式、明确、详细的响应；其次，XRunner家族产品拥有多个版本及功能模块，我司本次投标使用的是Al性能一体化保障平台V3.0,质疑方是否引用了正确的工具版本及在操作过程中是否使用得当；再者，我司本次投标使用的是Al性能一体化保障平台，质疑方是否已经从正规渠道正确获得我司该工具的V3.0正确版本并操作使用正确得当，据我司正规销售渠道资源查询，未见质疑方购买记录。总而言之，我们认为质疑方的质疑主要来源于对本项目招标文件理解不够透彻及对现有国产化工具的操作不熟悉，我司研发的自主可控的国产化Al性能保障一体化平台，是完全能替代国外同类产品的工具产品，国产化道路充满艰辛，任重道远，还请同行多给于关怀和帮助。感谢本次招标方及招标代理公司的信任，也感谢质疑方提出的各种问题，虽然因为对工具操作上的不熟悉而带来各种质疑，但也是我司的宝贵经验之一，欢迎各方包括质疑方及其他同行伙伴多从正规渠道了解我司产品，为我国信创事业添砖加瓦。
八、相关供应商广州掌动智能科技有限公司于2024年1月23日向采购代理机构出具《澄清函》（第二次）显示：根据杭州博时招标代理有限公司于2024年1月16日组织的浙江省电子信息产品检验研究院软件性能测试工具采购项目(采购项目编号：BSZB2023-AZZG239)于采购方现场进行的投标标的软件实物功能校验，广州掌动智能科技有限公司(以下简称我司)到场并进行了标的软件的在采购方的独立实验室环境下进行了各种功能的演示讲解和验证，并同采购方进行技术及产品原理的交流，下面我司对现场遗留的几个问题进行澄清：1.在数据展示页面存在部分数据显示有争议的问题解释。根据专家反馈在我司提供的应标文件及标的软件上的实际测试结果中，存在列表展示中的数据显示有争议的问题。经我司技术慎重排查，标的软件的测试执行中数据收集结果准确，但是标的软件的页面展示列表中上没有展示最小值为零的数据，显示的是不为零的最小值。该问题属于标的软件在实际使用中对最小值展示不同的理解，如有争议可通过软件补丁的方法进行优化处理。在性能测试领域的过程中，性能数据采集都是按照一定的时间间隔，间隔时间不同，取到的值也会有一定的差异，单个数值的孤立比较是没有意义的，并且在性能测试执行和报告过程中，平均值才有意义，行业领域内采纳平均值作为衡量系统性能的一个指标，而整体数据的准确性是需要通过测试工具之间的比对才能得出结论。2.本次应标和交付的版本解释。我司本次应标的版本是Al性能一体化保障平台3.0版本，在实际用户交付中，随着操作环境或外部it环境的更新换代，标的软件也会做不断升级和功能优化等补丁，包含对缺陷的修复及新功能的增加，在软件行业领域中，为保障用户的实际权益要求，行业采用的交付方式为最新版本确保满足客户的实际环境需求，并在软件维保期内是可以免费无限次升级，及时享受到软件升级后带来的新技术新能力的权益，这也是在软件领域的软件实体的交付模式。3.应标中有代理和无代理的澄清。我司提供的标的软件在资源监控方式上既支持无代理模式、也支持有代理模式，在应标文件中我司已在技术偏离表中作出了明确的无代理模式的监控能力响应，在标书中提供的操作手册上应答上也明确指出了支持有代理的模式模式操作，在实际使用中客户可以按需选择。通过本次在采购方的实际环境下的软件功能校验过程，我司提供的材料和标的软件的展示能力，明确证明我司在应标过程中没有提供任何虚假材料来误导专家评分的现象，但在现场演示和测试记录过程中，明显感觉到采购方有歧视国产软件的现象，比如：1、质疑事项1中在关于DevWeb的协议验证中，采购方要求我司验证导入竞争对手国外产品LoadRunner的DevWeb脚本的功能的要求；2、质疑事项5中XRunner支持导出的报告，我司已提供导出招标文件中要求响应的各种格式，但采购方在导出之前未提供需要导出指定内容需求的前提下，以我司提供的缺省报告内容与其定制化内容进行对比，并武断下结论认为我司导出报告存在问题；3、质疑事项6中，我司按照质疑内容，在采购方环境下展示了C语言脚本编程能力，并展示了我司采用标的软件的编程语言java调用dIl的情况，采购方现场临时提出要随机在windows操作系统内容选择一个未知功能和调用方法的dIl进行调用验证该能力，在我司进行合理的原理沟通后，采购方仍固执以被质疑方未按采购方要求，对我司现场人员进行施压情绪压力；4、质疑事项7、8、9的无代理监控的能力验证中，我司按照应标材料已经完成主要功能指标验证，并和采购方技术人员介绍监控原理及技术实现，采购方仍临时增加多种指标要求展示，增加的指标列表来源不明，也未说明需要监控该指标的缘由，给被质疑方在现场的技术人员施加情绪压力。介于以上各种不合理的现象，我司提出以下要求，恳请采购方和招标代理公司审核：1、我司要求采购方或招标代理公司，明确以我司未涉嫌虚假应标，未误导评委通过符合性审查的质疑函上作出明确回复，证明我司未涉嫌虚假应标。2、如本次因以上原因影响我司未能中标该项目，那么在采购方后续的相同项目采购活动中，我司要求现场参与验证，验证内容应同本次我司在采购方环境下做的全部内容，2.1验证内容为不同编程语言dll调用功能，包括我司现场随机抽取windows的dll调用验证并在规定时间内完成；2.2验证工具报告导出功能，内容包含导出报告的内容，导出数据的准确性，评估方式同本次现场功能校验一样；2.3验证内容为无代理监控，监控指标内容包含本次现场要求的内容一致。
九、评审报告显示，广州掌动智能科技有限公司商务技术得分61.4分，价格得分30.0分，最终得分为91.4分，排序第一；投诉人上海卫戍信息技术有限公司商务技术得分67.7分，价格得分20.17分，最终得分为87.87分，排序第二；上海塔罗信息技术有限公司商务技术得分57.8分，价格得分20.13分，最终得分为77.93分，排序第三；上海合祺信息科技有限公司商务技术得分54.0分，价格得分20.08分，最终得分为74.08分，排序第四；杭州维服科技有限公司商务技术得分51.3分，价格得分20.02分，最终得分为71.32分，排序第五。综上，现推荐中标候选人：第一中标候选人：广州掌动智能科技有限公司；中标金额：￥120.00万元。
十、采购人浙江省电子信息产品检验研究院在投诉答复材料中提供了《浙江省电子信息产品检验研究院软件性能测试工具采购项目(项目编号:BSZB2023-AZZG239)采购结果质疑的现场演示验证情况记录》，投诉人上海卫戍信息技术有限公司在投诉材料中提供了《现场演示验证情况记录》，被投诉人杭州博实招标代理有限公司提供了视频资料。其中，采购人浙江省电子信息产品检验研究院提供的《浙江省电子信息产品检验研究院软件性能测试工具采购项目(项目编号:BSZB2023-AZZG239)采购结果质疑的现场演示验证情况记录》与投诉人上海卫戍信息技术有限公司提供的《现场演示验证情况记录》记载内容基本一致，均显示：一、验证情况：1、验证内容：依据浙江省电子信息产品检验研究院软件性能测试工具采购项目（项目编号:BSZB2023-AZZG239）（以下简称“采购项目”）招标文件，对上海卫戍信息技术有限公司关于广州掌动智能科技有限公司在参与本次采购项目投标过程中投标内容的9个质疑点进行现场演示验证；2、验证对象：广州掌动智能科技有限公司参与本次采购项目投标标的物《AI 性能一体化保障平台 V3.0（简称：XRunner）》；3、验证地点：浙江省电子信息产品检验研究院；4、验证时间：2024年01月16日 — 2024年01月17日；5、......；6、......。二、验证情况记录：......。《现场演示验证情况记录》未经采购人、采购代理机构和中标供应商三方签字确认。
十一、投诉调查处理阶段，投诉人上海卫戍信息技术有限公司于2024年3月4日出具的《说明函》显示：......投诉书中三份附件为采购方针对我司质疑经过脱敏后的回复。附回复邮件截图：（图略）。
十二、投诉调查处理阶段，本机关于2024年3月7日对投诉人、采购人浙江省电子信息产品检验研究院、被投诉人杭州博实招标代理有限公司、广州掌动智能科技有限公司就投诉事项相关事实进行询问，制作了《浙江省电子信息产品检验研究院软件性能测试工具采购项目（编号：BSZB2023-AZZG239）协调会调查笔录》。
十三、被投诉人杭州博实招标代理有限公司提供了其与投诉人上海卫戍信息技术有限公司电子邮件信息截图（2024年1月12日19:37/2024年1月12日22:55）。其中：2024年1月12日22:55电子邮件信息显示：收到，关于“答复时间延长，答复时间为收到质疑函后（2024年1月4日）算起，最迟十五个工作日。”无异议。张X，上海卫戍信息技术有限公司。
十四、投诉处理阶段，本机关组织专家评审。专家一致认为，现有证据不足以证明中标供应商投标产品技术参数响应不真实。
五、处理依据及结果
1、处理依据：本机关认为：
一、关于投诉事项1、2、4。该三个投诉事项，实质是指广州掌动智能科技有限公司投标产品技术参数是否响应不真实。广州掌动智能科技有限公司投标产品为AI性能一体化保障平台V3.0，其在投标文件中对采购需求“支持web协议（Web-HTTP/HTML，DevWeb,JMeter,Gatling)，2000并发，永久授权”“灵活的脚本调试/▲2、测试脚本管理/必须使用被广泛应用、标准的编程语言作为测试脚本编程语言，如C语言，方便用户快速学习及掌握，脚本必须支持调用外部DLL库，从而最大程度丰富脚本功能”“实时监控/2、采用无代理监控，无需第三方软件直接对CPU使用率，内存占有率及磁盘I/O输出进行监控，减少加压时对被监控系统的无谓资源开销”“实时监控/▲3、实时监控：加压工具同时具有监控功能，从而保证数据的同步性，同时，监控模块不需要在所需监控的数据库、中间件及服务器系统上安装任何代理”“实时监控/▲4、资源监控：必须以无代理方式监控整个被测应用环境；必须能够用于在统一的平台上集中式地管理各种不同的操作系统的服务器、WEB服务器、数据库系统、邮件服务器、网络设备、应用服务器等资源。即必须以无代理的方式支持对如下环境的监控：至少包括Unix、Windows、Linux、Network、WebShpere、WebLogic、Oracle DB、DB2、SQL Server”“分析诊断及报告生成/3、生成性能报告：能够生成基于HTML、PDF、PPT、Excel、CSV、XML、BMP和JPEG等多种格式的测试报告”“支持的性能指标/TPS、吞吐率、并发数、响应时间、每秒点击数、资源利用率、（CPU/内存/硬盘）、错误率、连接数”“本地化及多语言支持/软件必须全面支持中文环境，且产品本身中文界面，中文报告，方便用户使用及尽快掌握。产品支持的语言应包括但不仅限于：简体中文，英文，繁体中文”表示完全满足招标文件的全部要求（或者完全响应）。评标过程中，评标委员会认为符合招标文件要求。投诉人主张前述产品“并不支持DevWeb、Gatling”“性能指标计算混乱，错误频出。错误的性能指标会使整个性能测试工作成果完全被浪费，甚至造成采购方重大损失”“并无英文和繁体中文界面和文档”“不支持PPT、Excel、CSV、XML、BMP和JPEG等格式”“不提供编程语言使用的集成开发环境......完全不支持使用C语言进行脚本编写”“无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理......无法满足支持环境的要求，例如WebSphere、DB2等”“无法实现以无代理方式监控整个被测应用环境，甚至最基本的Windows操作系统监控都需要安装代理”“无法实现以无代理方式监控：数据库、除Tomcat以外的中间件和Windows等操作系统”，提供了《现场演示验证情况记录》等材料。经审查，本项目于2024年1月2日发布中标结果公告，采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司于2024年1月16日至1月17日对广州掌动智能科技有限公司投标产品组织演示验证，制作了《现场演示验证情况记录》，后采购人浙江省电子信息产品检验研究院向投诉人提供了该《现场演示验证情况记录》，作为投诉人投诉证据材料。采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司的前述演示验证行为，缺乏法律依据，本机关予以指正。故，本机关对采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司基于测试行为而制作的并且未经采购人、采购代理机构和中标供应商三方签字确认的《现场演示验证情况记录》，不予采信。本项目招标文件中未规定投标供应商需对其投标响应情况提供证明材料，且除一份未经采购人、采购代理机构和中标供应商三方签字确认的《现场演示验证情况记录》外，投诉人和采购人浙江省电子信息产品检验研究院均不能提供其他证据证明广州掌动智能科技有限公司投标产品不满足前述采购需求中技术要求。本机关在投诉调查处理过程中亦未发现评标委员会对广州掌动智能科技有限公司投标文件就前述采购需求响应情况的评审存在不当。故，根据现有证据材料和本机关组织的投诉项目专家评审意见，不足以认定广州掌动智能科技有限公司投标产品技术参数响应不真实，对投诉人前述主张均不予支持。据此，投诉事项1、2、4，均不成立。
二、关于投诉事项3。如上所述，采购人浙江省电子信息产品检验研究院和被投诉人杭州博实招标代理有限公司的演示验证行为，缺乏法律依据。故，对投诉人基于前述演示验证行为而提出的主张“招标代理未确保现场验证软件及资料为投标的版本”和“技术核实工作安排在法定质疑答复期内”，本机关不予支持。采购人浙江省电子信息产品检验研究院未经中标供应商广州掌动智能科技有限公司同意向投诉人提供可能涉及其商业秘密的现场测试材料，本机关予以指正。被投诉人杭州博实招标代理有限公司未能在收到投诉人质疑函后7个工作日内作出答复，不符合《政府采购质疑和投诉办法》第十三条规定，确有不当，本机关予以指正。被投诉人杭州博实招标代理有限公司延长质疑答复时间缺乏法律依据，投诉事项“招标代理机构延长质疑答复时间不合规”，成立，但不影响采购结果。据此，投诉事项3，部分成立，但不影响采购结果。
2、处理结果：综上，投诉人关于浙江省电子信息产品检验研究院软件性能测试工具采购项目（编号：BSZB2023-AZZG239）采购过程和采购结果违法的投诉，部分成立，但不影响采购结果。根据《中华人民共和国政府采购法》第五十六条、《政府采购质疑和投诉办法》（财政部令第94号）第二十三条、第二十七条、第三十二条第一款规定，本机关决定：继续开展采购活动。
如对本决定不服，可在本决定书送达之日起60日内向浙江省人民政府申请行政复议，也可以在本决定书送达之日起6个月内向杭州市西湖区人民法院提起诉讼。
六、处理日期：2024年07月17日
七、执法机关信息：
1、执法机关：浙江省财政厅
2、联 系 人：吴聪瑜
3、联系电话：0571-87058489
附件信息:
浙江省财政厅行政处理决定书.doc
100.5 KB
微信扫码关注
