• GNN

    ...

    深度学习 2 Published {{moment(1680677406000).fromNow()}}

  • Transformer

    概述 sequence to sequence任务，目前主要依靠循环或卷积神经网络 通过encoder和decoder，和纯注意力完成翻译任务multi-headed attention 传统RNN无法并行，需要逐步计算每一步时序信息 使用卷积神经网络替换RNN，可以并行，但...

    深度学习 2 Published {{moment(1680612546000).fromNow()}}

  • Diffusion Model 扩散模型

    模型原理 每一时刻在输入数据中添加具有相同规律分布的噪声（如高斯分布） 噪声的含义： 标签 公式推导 $x_{t} = \sqrt{a_{t}}x_{t-1} + \sqrt{1-\alpha}z_{1}$ 衡量$t$时刻的数据与$...

    深度学习 2 Published {{moment(1679830735000).fromNow()}}

  • CNN总结

    应用场景： 图像（二维矩阵数据）特征提取 概括 卷积核滑呀滑 核心参数 kernel size (卷积核大小=3x3)：无论图像多大，parameters只取决于kernel size和fitter数量 paddle (填充大...

    深度学习 2 Published {{moment(1677160750000).fromNow()}}

  • Attention原理介绍

    概述 心理学 动物需要在复杂环境下有效关注值得注意的点 心理学框架：人类根据随意线索和不随意线索选择注意点 注意力机制 卷积、全连接、池化层都只考虑不随意的线索 注意力机制则显式的考虑随意线索 随意线索被称之为 查询query 每一个输入...

    深度学习 2 Published {{moment(1676719653000).fromNow()}}