【无标题】
·
1、深度学习框架在大模型的应用场景里发挥什么作用
深度学习框架在大模型场景里就像地基---模型的高效训练、稳定部署。
|
作用 |
说明 |
类比 |
|---|---|---|
|
自动求导 |
框架自动计算梯度,你只需要定义模型结构,不用手写反向传播 |
自动挡汽车,不用手动换挡 |
|
GPU 并行加速 |
自动把矩阵运算分配到多个 GPU 上并行执行 |
一个任务拆给 100 个人同时干 |
|
显存管理 |
自动分配和释放显存,开发者不用手动管理 |
操作系统帮你管理内存 |
|
分布式训练 |
支持多机多卡训练,大模型动辄几千张 GPU 同时跑 |
一个工程队分多个小组协作 |
|
模型部署 |
训练好的模型可以导出为高效推理格式,部署到线上 |
把做好的菜打包成外卖 |
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐
所有评论(0)