深度学习归一化层 经过多年发展,深度学习中出现多种常用的归一化层,主要包括 BatchNorm、LayerNorm、GroupNorm、InstanceNorm 等,本文记录相关内容。 2024-04-23 Deep_Learning #Deep_Learning
Wiki.js 配置记录 尝试创建自己的知识库,挑来挑去准备用 Wiki.js 先试试水,本文记录独立部署 wiki.js 的过程。 2024-04-22 Tools > Wiki #Tools #Wiki
Docker 数据持久化 volumes Docker 的数据默认管理在容器当中,但是当我们需要容器与宿主机直接建立文件共享时则需要将容器内的数据做持久化处理,本文记录相关信息。 2024-04-22 Tools > Docker #Tools #Docker
onnxruntime-gpu 预热速度优化 onnxruntime-gpu 在程序启动后第一次推断会消耗较大的系统资源,并且耗时更久,本文记录优化方法。 2024-04-18 Deep_Learning > Deploy #Deep_Learning #Deploy
互信息 在概率论和信息论中,两个随机变量的互信息(mutual Information,MI)度量了两个变量之间相互依赖的程度。。 2024-04-03 Information_theory #Information_theory
离散分布重参数化 —— Gumbel-Softmax Trick 和 Gumbel分布 重参数化也可以用在离散分布采样中,由于对我来说相比于连续分布的重参数技巧,离散重参数难理解很多,本文单独介绍离散部分的重参数化 。 2024-03-26 Deep_Learning #Deep_Learning
重参数化技巧 - 连续分布采样 重参数化(Reparameterization)技巧是一种在机器学习和统计学中常用的技术,主要用于将一个随机变量转换成另一个随机变量,同时保证它们的概率分布保持不变,在生成模型中有着重要应用。 2024-03-22 Deep_Learning #Deep_Learning
Pytorch 内存分配与 max_split_size_mb 训练 Pytorch 模型时会遇到 CUDA Out of Memory 的问题,大部分情况下是模型本身占用显存超过硬件极限,但是有时是Pytorch 内存分配机制导致预留显存太多,从而报出显存不足的错误,针对这种情况,本文记录 Pytorch 内存分配机制,与通过配置 max_split_size_mb 来解决上述问题。 2024-03-22 Environment > Cuda #Environment #Cuda
YOLO v9 YOLO v9 提出了可编程梯度信息(PGI)的概念,设计了新的网络架构(GELAN),结果显示二者对于检测性能提升和参数利用率提升都发挥了重要作用。 2024-03-19 Deep_Learning > Detection > YOLO #Deep_Learning #Detection #YOLO