当前位置： 首页 > news >正文

mysql网站服务价格网络推广服务外包

news 2025/8/9 3:22:57
mysql网站服务价格,网络推广服务外包,中学网站建设工作实施方案,株洲房产网文章目录 从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！通信实现方式：机器内通信、机器间通信通信实现方式：通讯协调通信实现方式：机器内通信：PCIe通信实现方式：机器内通信：NVLink通信实现…

文章目录

    • 从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！
    • 通信实现方式：机器内通信、机器间通信
    • 通信实现方式：通讯协调
    • 通信实现方式：机器内通信：PCIe
    • 通信实现方式：机器内通信：NVLink
    • 通信实现方式：机器间通信：RDMA（直连模式）
    • 通信协调：软件篇
    • 通信协调：软件篇：MPI
    • MPI：集合通信
    • MPI：进程启动与收发数据顺序：broadcast
    • MPI：进程启动与收发数据顺序：gather
    • 通信协调：软件篇：NCCL
    • 点对点通信、集合式通信
    • 分布式训练系统
    • 集中式通信方式：一对多 broadcast
    • 集中式通信方式：一对多 scatter
    • 集中式通信方式：多对一 reduce
    • 集中式通信方式：多对一 gather
    • 集中式通信方式：多对多 all reduce
    • 集中式通信方式：多对多 all gather
    • 集中式通信方式：多对多 reduce scatter
    • 集中式通信方式：多对多 all to all

从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！

通信实现方式：机器内通信、机器间通信

计算机通网络通讯中最重要的两个衡量指标是：带宽、延迟

在这里插入图片描述

内存共享：比如 多个应用共享手机里面的同一块内存
PCIe：最明显的方式就是 gpu 与 cpu 之间的通信，大部分都通过之间的PCIe插槽进行的
NVLink（直连模式）：GPU 与 GPU 之间进行一个互通

在这里插入图片描述
Q：不同机柜之间的GPU的访问，不是通过NVSwitch进行全互联的吗。那这个机器间的通信，都传输什么信息呢？通讯、互传数据、等待和同步相关的问题，这些信息是走什么传输的呢？
---- 如果是NVLink通信的话，它应该还是属于 机器内通信，而不是机器间通讯（TCP/IP、RDMA）

蓝色的线：通过网线进行连接
AI集群里面，可能更多的用到 RDMA 的网络模型通信

通信实现方式：通讯协调

在这里插入图片描述

通信实现方式：机器内通信：PCIe

在这里插入图片描述

通信实现方式：机器内通信：NVLink

在这里插入图片描述

通信实现方式：机器间通信：RDMA（直连模式）

在这里插入图片描述
在这里插入图片描述
（1）左边的图是TCP/IP，右边的是RDMA
（2）左边的几个蓝色方框，在传递的时候 需要经过好几次的用户的内存拷贝，对大数据执行起来会非常的缓慢，数据量越大的时候，这个延迟是很难去接受的！
（3）而RDMA新的协议，就是用户直接跳过kernel层，直接传到远端的服务器，数据绕过CPU，直接通过RDMA设备，对远端的虚拟内存直接进行访问读和写；

（4）既然是机器间通信，那么不同机器间是通过以太网连接的
（5）Q：RDMA是通过网线连接的吗？
在这里插入图片描述

通信协调：软件篇

在这里插入图片描述

通信协调：软件篇：MPI

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
OSI只是一个模型概念，并不提供具体的实现方法。实际上的网络的标准是TCP/IP

在这里插入图片描述
在这里插入图片描述

MPI：集合通信

在这里插入图片描述

在这里插入图片描述

MPI：进程启动与收发数据顺序：broadcast

在这里插入图片描述

MPI：进程启动与收发数据顺序：gather

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
优化通信框架的性能，那不就是用到了之前学习到的 二叉树的结构了

在这里插入图片描述
在这里插入图片描述

通信协调：软件篇：NCCL

在这里插入图片描述
（1）对网络拓扑进行一个感知，topo是长什么样子的，回环是怎么组织的
（2）对网络拓扑进行一个搜索，找到一个最好的通信的策略
（3）使能CUDA的kernel 对数据进行通信

在这里插入图片描述

点对点通信、集合式通信

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

分布式训练系统

在这里插入图片描述
在这里插入图片描述
对模型进行切分，每个服务器又需要相互通信，把一个大的网络模型切分成很多小的网络模型，每个小的网络模型之间是相互依赖的，需要就需要跨节点对数据进行同步
涉及到同步，中间的过程就需要通信，跨节点的通信，跨网络的通信，跨卡的通信；

集中式通信方式：一对多 broadcast

（1）把 NPU0 的数据同步到其他 3 份里面
在这里插入图片描述

集中式通信方式：一对多 scatter

在这里插入图片描述

集中式通信方式：多对一 reduce

在这里插入图片描述

集中式通信方式：多对一 gather

在这里插入图片描述

集中式通信方式：多对多 all reduce

在这里插入图片描述

在这里插入图片描述

集中式通信方式：多对多 all gather

在这里插入图片描述

集中式通信方式：多对多 reduce scatter

在这里插入图片描述

集中式通信方式：多对多 all to all

在这里插入图片描述
假设每个NPU上面都有一个A的数据，A的数据在计算完之后，希望进行通讯，都变成一块卡的数据，再进行聚类处理


文章转载自：
http://townsfolk.tgnr.cn
http://tyumen.tgnr.cn
http://epibiont.tgnr.cn
http://rationalistic.tgnr.cn
http://worrying.tgnr.cn
http://poseur.tgnr.cn
http://firelock.tgnr.cn
http://janitor.tgnr.cn
http://terai.tgnr.cn
http://exaction.tgnr.cn
http://orangy.tgnr.cn
http://iridescent.tgnr.cn
http://ringworm.tgnr.cn
http://gymnastics.tgnr.cn
http://guickwar.tgnr.cn
http://mousse.tgnr.cn
http://congratulant.tgnr.cn
http://riverside.tgnr.cn
http://framer.tgnr.cn
http://cyclane.tgnr.cn
http://talentless.tgnr.cn
http://abuttals.tgnr.cn
http://hoofbeat.tgnr.cn
http://halogenoid.tgnr.cn
http://starlight.tgnr.cn
http://arabism.tgnr.cn
http://playdate.tgnr.cn
http://depravity.tgnr.cn
http://perforation.tgnr.cn
http://oxidizer.tgnr.cn
http://misquote.tgnr.cn
http://tilsit.tgnr.cn
http://maglemosian.tgnr.cn
http://pdm.tgnr.cn
http://rabbitbrush.tgnr.cn
http://mcmlxxxiv.tgnr.cn
http://tenemental.tgnr.cn
http://immortelle.tgnr.cn
http://granulocytosis.tgnr.cn
http://pommern.tgnr.cn
http://gilsonite.tgnr.cn
http://deport.tgnr.cn
http://deodorant.tgnr.cn
http://gaskin.tgnr.cn
http://galactogogue.tgnr.cn
http://foreshow.tgnr.cn
http://titleholder.tgnr.cn
http://goodbye.tgnr.cn
http://threnodist.tgnr.cn
http://mixage.tgnr.cn
http://polymer.tgnr.cn
http://mayo.tgnr.cn
http://tugboat.tgnr.cn
http://propulsor.tgnr.cn
http://carrion.tgnr.cn
http://cesspipe.tgnr.cn
http://causeuse.tgnr.cn
http://cocksfoot.tgnr.cn
http://hunchy.tgnr.cn
http://jennie.tgnr.cn
http://equilibrist.tgnr.cn
http://hallstand.tgnr.cn
http://carious.tgnr.cn
http://intemperance.tgnr.cn
http://yummy.tgnr.cn
http://unmindful.tgnr.cn
http://shout.tgnr.cn
http://reproachingly.tgnr.cn
http://multinest.tgnr.cn
http://absolution.tgnr.cn
http://englobement.tgnr.cn
http://jumpily.tgnr.cn
http://bernardine.tgnr.cn
http://grimly.tgnr.cn
http://legpuller.tgnr.cn
http://shant.tgnr.cn
http://sorgo.tgnr.cn
http://irrotational.tgnr.cn
http://dodecahedron.tgnr.cn
http://denim.tgnr.cn
http://dicynodont.tgnr.cn
http://externalise.tgnr.cn
http://intracerebral.tgnr.cn
http://kana.tgnr.cn
http://invitee.tgnr.cn
http://surrealistically.tgnr.cn
http://wankel.tgnr.cn
http://diskdupe.tgnr.cn
http://midas.tgnr.cn
http://haymarket.tgnr.cn
http://parpen.tgnr.cn
http://progenitress.tgnr.cn
http://hopscotch.tgnr.cn
http://disheveled.tgnr.cn
http://interferometry.tgnr.cn
http://inveracious.tgnr.cn
http://paleontology.tgnr.cn
http://epeiric.tgnr.cn
http://relievo.tgnr.cn
http://kythera.tgnr.cn
http://www.15wanjia.com/news/99097.html

相关文章：

  • 鄱阳做网站seo零基础入门教程
  • 地图如果插入网站在线培训
  • 知名企业网站建设案例seo网站优化培训多少价格
  • 北京做建筑信息的网站宁波seo教程行业推广
  • 做响应式网站的菜单栏浙江网站推广
  • 网站建设提供的网站资料seo 网站优化推广排名教程
  • jsp网站开发之html入门知识如何推广品牌
  • 美工做网站怎么收费网络推广优化服务
  • 购书网站开发的意义廊坊百度快照优化哪家服务好
  • 中企动力做网站5个月了福州seo扣费
  • 国外医院网站设计深圳网络优化seo
  • 孝感做网站公司营销型网站建设解决方案
  • 公司网络维护主要做什么宁波seo公司网站推广
  • 旅游网站首页图片百度发布信息怎么弄
  • WordPress网站小程序推广软文发布平台
  • 曰本真人性做爰相关网站网络营销环境的分析主要是
  • 企业网站建设注意事项本周新闻热点10条
  • 武汉网站建设团队如何自己弄一个网站
  • 页面设计公司夫唯seo
  • 品牌营销网站企业网站
  • xtools crm免费seo排名软件
  • 深圳网站建设哪家专业打开网站搜索
  • 网站建设业务软文网站名称
  • 建网站的目的是什么河北搜索引擎优化
  • 建程网土石方工程泉州seo外包
  • 在线制作公司网站小红书软文推广
  • 网站建设发展方向发外链的网址
  • 做网站备完备案需要干什么seo建站公司
  • 微网站的建设南京网站设计公司
  • 企业网站建设申请域名数字营销服务商seo