Avatar
😀
本站总访问量
README.md

I graduated from South China University of Technology with a degree in Software Engineering in 2021.

Skills

  • Python
  • Golang
  • Java
  • C/C++
REWARD.md

1. 致谢

感谢金主爸爸们的投喂!本咸鱼写博客纯属用爱发电,没想到居然真能换到茶叶蛋钱,这下更有动力摸鱼更新了(老板:?)

2. 打赏名单

以下是打赏名单列表:

打赏时间打赏者打赏方式打赏金额
2025.3.21**文支付宝¥0.1
2025.5.20*民微信¥1

Popular posts

  1. 将介绍卷积神经网络是如何从图像中提取特征

    AI

  2. 对自动驾驶中传感器融合进行简单介绍

    AI

  3. 这里来看一个实例,基于YOLO实现对高速公路的车速检测。

    整个过程可以说非常简单,主要用到YOLO、ByteTrack及OpenCV。通过ByteTrack进行车辆目标跟踪,从而方便获取其位置信息。

    要实现车速计算,最简单的方法自然是根据识别框的像素位置进行估计,但是这种方式存在一种问题,无法从图像的像素值得到其实际物理的距离。为此,需要通过一种映射关系建立与真实世界的联系。

    在OpenCV中提供了getPerspectiveTransform函数,我们可以将图像中的四边形变换为一个矩形,从而建立其关系。因为龙门架的高度、车道线的距离一般是规定不变的,从而借助这些隐含信息作为参考,得到其真实的距离度量。

    问题在于如何得到图像中的坐标点,假设我们知道其坐标点信息,那么就可以建立联系了,从而解决车速检测的问题。

    最后为了避免车速出现一些异常值,可以对一秒钟内的速度取平均值,这样有助于系统更加稳健。

    最后我们还可以使用YOLO制造热力图,将其进行显示,详情可以参考使用YOLOv8创建交通热力图

    参考文章:

    https://cloud.tencent.com/developer/article/2389959?policyId=1004

    CV

  4. 这里对大模型并行计算中的策略进行简单的介绍,主要涵盖如下一些策略的内容:

    • 数据并行
    • 模型并行
    • 张量并行
    • 流水线并行

    其中数据并行(DP,Data Parallelism)是最简单的,就是将训练的数据集拆分为大小相同的若干份,模型对不同的数据子集进行训练,在各个分组训练完成后需要进行全局的参数同步。

    而张量并行(TP,Tensor Parallelism)通过将模型中的张量(如权重矩阵)按行或列切分到多个计算设备上,以解决单设备内存不足问题并提升大模型训练效率。其属于模型并行中的一种,核心思想是将单个模型层的参数或计算任务拆分到不同设备上执行,如矩阵乘法拆分到不同的GPU上运行。

    模型并行(Model Parallelism)是通过将模型不同的部分分配给多个设备上进行计算,比如将不同的层分配给不同的设备上,但这种朴素策略存在GPU利用率低的问题。与之类似的是流水线并行(PP,Pipeline Parallelism),通过将模型的不同层按顺序分配到不同设备上的方法。

    流水线并行通过将输入数据切分成多个微批次,使得每个设备可以在处理完当前批次后立即处理下一个批次,从而提高设备利用率。主要策略有Gpipe和PipeDream流水线并行。

    参考文章:

    https://developer.aliyun.com/article/1257832 https://blog.csdn.net/shizheng_Li/article/details/144138542 https://blog.csdn.net/m0_59164520/article/details/142731435 https://www.cnblogs.com/khronos0206/p/18606724 https://zhuanlan.zhihu.com/p/613196255

    AI

  5. 对分布式并行中Ring算法进行简单的介绍

    AI

  6. 对大模型分布式并行中各种通信原语进行简单的介绍

    AI

    Post activity