00:00 / 00:37
连播
清屏
智能
倍速
点赞1324
深度学习入门②|拆解"庞大模型平地起"流程 今天来唠唠深度学习的 pipeline🚗🚗 首先,数据采集与解析,就像找盖房子的原材料,得把数据先拿到手。预处理呢,就是对原材料进行初步加工,让它们更适合后续的建造流程。训练算法一般是梯度反向传播更新权重算法,这里面的优化器的参数设计,就是大家常说的调参侠的工作啦,可以理解为造房子的模式。 🥇🥇 模型就像是房子的设计蓝图,其中神经网络是核心,它由 backbone、neck 和 head 组成。可以把 backbone 想象成人的脊柱,负责提取和编码信息;neck 像脖子,整合信息;head 则如同脑袋,根据整合后的信息完成特定任务。在这个过程中,有许多算子可以替换使用,比如 MLP(也叫 BP 神经网络)、CNN(常用于计算机视觉,就像模拟人的眼睛去看世界👀)、RNN(解决序列建模问题,如同理解时间的流逝或语言的顺序)、GNN(考虑图的结构,就像分析社交网络中人与人的关系)、Transformer(通过注意力机制和并行化计算,它的 token 化思想能统一不同模态的数据,就像找到了一种通用的语言来描述各种事物)。还有像 GAN、VAE、Diffusion 这些生成式架构,它们各有独特的灵感来源和功能,为深度学习增添了更多可能性。 大模型与小模型的区别主要在于参数量和训练数据量,大模型通常基于 Transformer block 堆叠。大模型最初在语言方面兴起,语言是我们认知世界的工具,就像我们通过眼睛看东西,然后用语言来描述它,从而积累知识。大模型最初在自然语言处理领域崭露头角,GPT - 2 就是在大量书籍文本上,用多个 GPU 训练出来的,它通过 12 个 Transformer block 堆叠,以极大似然估计为目标,开启了大语言模型的新篇章。 🥇🥇 Transformer 的出现,让多模态信息交互成为可能。万物皆可 Token 化、向量化,不同的 Token 之间通过注意力机制进行交互,就像在自动驾驶中,BEV Tokens、语言 Language Tokens、点云 Point Tokens、视觉 Vision Tokens 等各种信息能够相互沟通协作,为我们呈现出一个更智能、更全面的深度学习世界✨ #深度学习 #人工智能 #清华学长 #学习 #大模型
00:00 / 17:31
连播
清屏
智能
倍速
点赞64
PINN+GNN强强联手,模型精度飙升50%! 物理信息神经网络(PINN)与图神经网络(GNN)的融合研究迎来关键突破!NeurIPS'2025上,加州大学洛杉矶分校(UCLA)团队提出的PhysGNN 物理图神经架构,一举解决了传统PINN处理非结构化数据能力弱、纯GNN缺乏物理约束易偏离实际规律的双重瓶颈,成了工程仿真、环境预测领域的新研究热点。了解跨学科建模的研究者都知道,PINN能将流体力学、热传导等物理定律嵌入模型训练,保证输出符合客观规律,却在面对电网拓扑、城市交通网络等图状数据时,难以捕捉节点间的复杂关联;而GNN虽擅长处理图结构数据,可一旦脱离物理约束,预测结果常出现数值合理但物理无效的问题,比如预测桥梁应力时出现不符合力学原理的突变值。而新架构恰好补上双方短板:通过GNN模块建模图结构节点依赖,再用改进的PINN物理损失函数约束预测结果,在城市热网温度预测任务中,不仅将误差较纯PINN降低42%,还能精准定位管道热损耗异常节点;在电网负荷分配模拟中,较纯GNN模型的物理规则违反率下降68%,完美适配工程实践需求。想发顶会的伙伴,可重点攻关多物理场耦合场景的特征融合、小样本下的物理-图协同优化,这些方向既贴合学术前沿,又能对接产业痛点 #PINN #GNN #顶会论文 #sci论文 #PhysGNN
00:00 / 01:22
连播
清屏
智能
倍速
点赞6
00:00 / 03:51
连播
清屏
智能
倍速
点赞379
00:00 / 03:19
连播
清屏
智能
倍速
点赞1