项目名称 | 大模型AI助教服务平台 | 项目编号 **** |
公告开始日期 | 2024-11-25 09:03:47 | 公告截止日期 2024-11-28 10:00:00 |
采购单位 | **** | 付款方式 货到验收合格后付款 |
联系人 | 联系电话 |
签约时间要求 | 到货时间要求 签订合同后14天内 |
预算总价 | ￥494000.00 |
发票要求 |
含税要求 |
送货要求 |
安装要求 |
收货地址 | ******校区N3****中心 |
供应商资质要求 | 符合《政府采购法》第二十二条规定的供应商基本条件 |
公告说明 |
采购商品 采购数量 计量单位 所属分类
| 大模型训推一体化系统 | 1 | 台 | 服务器 |
品牌 | 希冀 |
型号 | CGLLM8452C |
预算单价 | ￥ 296000.00 |
技术参数及配置要求 | 一、提供大模型实训相关功能和实验**，大模型训推一体化系统设备参数如下： 1、具备机架式服务器，非刀片或**度服务器，高度不超过4U，机箱长不超过800mm。 2、CPU:配置≥2颗英特尔 至强 Gold 6330 处理器（42M 高速缓存，2.00 GHz）。 3、内存：配置≥512GB DDR4 3200MHz ECC RDIMM内存。支持≥32个内存插槽，最大可支持4TB内存容量。支持内存ECC保护、内存镜像。 4、硬盘：配置不少于6块3.84T热插拔固态硬盘。可支持SAS/SATA硬盘、SSD混插，最大支持16个NVMe U.2 SSD； 5、配置独立阵列卡，缓存不低于2G，带电池缓存保护，不占用标准PCIe插槽。 6、GPU:配置不少于4张 A40 GPU显卡。 7、GPU虚拟化：单张GPU显卡需配置不低于48个虚拟化切分授权。 8、电源：满配冗电，不低于2个2000W电源，支持1+1冗余。 9、具备机箱防入侵功能 二、配套提供大模型训推课程**如下： 1、提示词工程实战课程需包含交互式提示词工程、编程类提示词工程等2个实验专题。交互式提示词工程需包含系统指令设置与优化（对话版）、用户指令设置与优化（对话版）、示词最佳实践案例（对话版）、提示词工程互动小游戏（对话版）等不少于4个实验项目；编程类提示词工程需包含LLM提示词编程-指南、LLM提示词编程-迭代、LLM提示词编程-摘要、LLM提示词编程-推理、LLM提示词编程-转换、LLM提示词编程-扩展、LLM提示词编程-聊天机器人等不少于7个实验项目。 2、大模型应用开发实战课程需包含大模型的快速部署及Demo运行、从零构建本地知识库、基于书生﹒浦语大模型搭建知识库、基于大模型的智能编程环境开发、基于LangChain和大模型生成海报文案、基于MongoDB和Langchain构建聊天机器人、基于书生、浦语大模型打造个人小助手、基于Mistral的PDF文档对话应用、PDF聊天机器人应用实战等不少于9个实验项目。 3、多模态大模型技术与应用课程需覆盖文本生成图像、图像生成3D物体、文本生成视频、图像生成视频、文本生成音乐、视频生成视频、声音合成与人声模仿、图像理解与问答、视频理解与问答、对话式图像编辑、对话式音频编辑、对话式图像重建、图像识别、文本生成代码、多语种语音对话等内容，共计不少于41个实验项目。 4、大模型分布式训练课程需包含分布式并行训练技术、分布式训练框架实战、大模型分布式训练实战、数据集自动化生成技术等4个实验专题。分布式并行训练技术实验专题需包含数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MOE并行等不少于7个实验项目；分布式训练框架实战实验专题需包含PyTorch分布式训练极简体验、PyTorch分布式通信原语、手写allreduce分布式训练、算子间并行极简实现、多机多卡极简实现等不少于5个实验项目；大模型分布式训练实战实验专题需包含大模型LLM训练理论和实战、GPT2预训练、评估及推理（Megatron-LM）、Megatron-DeepSpeed训练GPT2、DeepSpeed多机多卡训练ChatGLM2-6B、Vicuna-7B训练及推理实战、基于RLHF和DeepSpeed Chat的模型训练实战等不少于6个实验项目；数据集自动化生成技术实验专题需包含使用大模型将文档转化为问答对实验项目。 |
参考链接 |
售后服务 | 服务网点:当地;质保期限:3年;响应期限:报修后4小时; |
采购商品 采购数量 计量单位 所属分类
| 大模型AI助教管理平台 | 1 | 套 | 服务器 |
品牌 | 希冀 |
型号 | CGAITA0593B |
预算单价 | ￥ 198000.00 |
技术参数及配置要求 | 一、大模型AI助教管理设备如下： 1、处理器：配置不少于2颗英特尔 至强 Gold 5318Y 处理器（36M 高速缓存，2.10 GHz） 2、内存：配置128GB内存 3、硬盘：配置≥6块3.84T 热插拔固态硬盘，支持Raid 0/1/10/5独立智能阵列卡，配置Raid 0/1/10/5 4GB缓存带闪存保护功能，掉电cache数据永不丢失. 4、网卡：配置2个千兆电口，2个万兆光口，1个专用的管理端口 5、电源：满配冗余电源 二、大模型AI助教存储设备配置如下： 1、外观:2U机架式服务器。 2、配置≥2 颗 英特尔 至强 Silver 4316 处理器（30M 高速缓存，2.30 GHz）。 3、配置≥128GB DDR4 3200MHz ECC RDIMM内存，支持≥32 个内存插槽，最大可支持4TB内存容量，支持内存ECC保护、内存镜像。 4、配置不低于10块7680GB-NVMe PCIe-读取密集型固态硬盘。前置可支持≥16个2.5寸热插拔硬盘，支持 SAS/SATA/NVMe SSD 混插。 5、硬盘控制器：最大可支持16块SSD+2块M.2 SSD，支持M.2组RAID，支持M.2热插拔，支持RAID 0/1/10，支持串口远程Debug，便于远程运维；支持国密算法，保障信息安全。 6、最大支持10个PCIe插槽，支持不少于1个直插主板的内置RAID卡PCIe标准插槽，不使用线缆连接，不占用后置PCIe标准卡槽位； 7、网口配置:支持不少于1个 0CP 3.0x16插槽，可支持1G/10G/25G/100G/ 0CP3.0网卡，支持 NCSI，单 CPU时可支持不少于1张 0CP3.0网卡，配置不少于2个100GE 光口。 8、散热：支持不少于4个8038风扇，支持N+1冗余。 9、电源:配置热插拔标准CRPS 电源，单个电源功率可支持800W/1300W以上，配置1+1 冗余。 10、管理功能:集成系统管理芯片，提供KVM Over IP高级管理功能，本地固件更新、错误日志，提供系统状况的可视显示;配置独立的远程管理控制端口，支持远程监控图形界面、支持H5虚拟键盘、支持VNC 功能，可实现与操作系统无关的远程对服务器的完全控制，包括远程的开机、关机、重启、虚拟设备挂载等操作;可实现监控服务器内部主要部件的状态，包括 CPU、内存、硬盘、风扇、电源;支持带外获取OS 版本、OS 下 CPU内存使用率、网口状态、系统磁盘分区等，支持 RAID 卡配置带外导入导出。 三、配套提供大模型AI助教软件功能如下： 1、配套大模型教育应用平台，可发布大模型自定义应用。支持搜索功能，方便快速定位已发布的大模型应用。 2、支持大模型的自定义，可配置大模型的内置提示、知识库等。具有可视化知识库管理功能，支持分段预览。知识库检索方式包括关键词、文本相似度匹配、混合检索等。 3、内置开源大模型，包括且不限于Qwen-110B、Qwen-32B、Qwen-14B、Qwen-7B等。 4、提供学生实验项目过程及结果数据与原有教学平台的对接，提供包括项目任务创建、项目任务参与（实验过程操作情况）、实验任务评分（排行榜、打分情况）等过程性数据对接，支持代码自动评测，包括在线作业、在线答疑和在线运维等功能。 5、可借助虚拟机管理平台实现多节点实验服务器快速部署，避免了软件版本冲突问题，节约学生安装实验环境花费的时间，随时随地在线流畅使用，实验后能够长期保存学生实验过程资料。 6、支持本地大模型部署及推理，支持对话型应用、文本生成应用、Agent应用等应用类型。支持普通对话模式、启发模式。启发模式下用户将问题和自己答案填写到界面上相应的输入框内，提交后，大模型不直接输出题目答案，也不直接修正答案，而是通过启发式方法告知解决问题的思考方向。在启发模式下，支持设置对话轮数，最多可设置5轮对话；在每轮回复中，大模型给出的提示细节会逐步增多。 7、针对本地教学平台中的编程题，支持按题目ID、课程ID、作业或考试ID、学生学号从教学平台获取编程题的题目标题、题目内容、难度、知识点、章节、输入类型、输出类型、计算机语言、运行时长限制、最大内存限制、代码提交方式、判分依据、性能权重、输出结果验证方式、测试数据对数、测试数据、样例代码以及学生的姓名、课程名称、作业或考试名称、代码评判报告。代码评判报告包括题目得分、学生代码、平均占用内存、平均CPU时间、平均墙钟时间、每个测试数据的评判结果、内存错误检查结果、代码风格检查结果、性能剖析结果、代码静态分析结果。 |
参考链接 |
售后服务 | 服务网点:当地;质保期限:3年;响应期限:报修后4小时; |
“*”、“略”仅会员可见，限时免费注册
免费注册
咨询此项目
换一批
换一批