您是不是在找：

算法魔法师3月前
【硬核科普】手把手带你“发明”Adam优化器 手把手带你从动量梯度下降法->RMSprop->Adam，如果这期视频对你有帮助的话呢，麻烦各位观众老爷点赞收藏一波，你们的支持是我做视频的最大动力！感谢！#AI#Adam #知识科普#深度学习#优化器
00:00 / 11:59
连播
清屏
智能
倍速
点赞4447
人工智能学习室1年前
什么是Adam优化器（Adam Optimizer）—人工智能词典31 #人工智能技术 #暑期学习打卡
00:00 / 02:48
连播
清屏
智能
倍速
点赞31
AI-Signal2月前
经典优化器Adam的由来，最近优化器的研究也很多，但仍是强baseline。#机器学习 #深度学习
00:00 / 02:09
连播
清屏
智能
倍速
点赞224
凤梨星冰乐1周前
第四集：优化器 #神经网络 #adam #soap #sgd #反向传播
00:00 / 08:35
连播
清屏
智能
倍速
点赞34
你没活干吗1月前
AI基础课：Adam优化器 #Adam #优化器 #深度学习入门 #神经网络入门 #机器学习入门
00:00 / 07:03
连播
清屏
智能
倍速
点赞1072
Forrest的数据科学站1年前
深度学习中为何偏爱Adam优化？ 今天来说一个校招面试中经常被问到的一个问题，深度学习中为啥常常用Adam优化方法？Adam优化方法和其他优化方法有什么不同？有什么优点？那么这个视频我们通过深入分析深度习中各种优化方法，以及比较他们的异同，来回答这个问题 #数据科学 #机器学习 #深度学习 #算法工程师面试 #深度学习优化方法
00:00 / 43:13
连播
清屏
智能
倍速
点赞1182
安先生1月前
大模型面试经验与技术栈分享（10） —— 大模型训练不收敛或不稳定的原因与措施（3/4）（优化器选择问题）💪🏻💪🏻💪🏻 #大模型 #AdamW #面试经验 #秋招 #互联网
00:00 / 07:33
连播
清屏
智能
倍速
点赞50
壹览商业1月前
月之暗面杨植麟：既然都想砍大模型的柴，我就先来磨磨刀 在今年GTC大会上，杨植麟直指大模型底层：12年未变的Adam优化器，被MuonClip替代；核心Attention升级为Kimi Linear；连ResNet时代的残差连接也被重构。可以说，Transformer的地基被整体翻修。为什么现在动手？因为算力与评测体系成熟，让老技术迎来新突破。至于未来，他给出方向：更大规模、更高维度，以及智能体集群。#AI #大模型 #GTC大会 #英伟达 #杨植麟
00:00 / 01:41
连播
清屏
智能
倍速
点赞6
万象动画志2月前
Adam优化器：AI的聪明下山秘密 本期视频带你解析DeepSeek源码中的Adam优化器！想象 #Adam优化器 #深度学习 #源码解析 #机器学习 #梯度下降 #动#量#A优化算法AI科普量优化
00:00 / 03:19
连播
清屏
智能
倍速
点赞39
秋风落雨泪成殇1年前
深度学习中的优化器:Adam，SGD，Momentum #人工智能
00:00 / 08:11
连播
清屏
智能
倍速
点赞68
光子AI2周前
Adam优化器深度学习21讲 第2部分
00:00 / 03:01
连播
清屏
智能
倍速
点赞7
边山李博士3月前
CS336第四讲精华: 优化器和梯度裁剪是工程问题 【CS336第四讲精华: 优化器和梯度裁剪是工程问题】优化器AdamW为什么会在Adam后面有个W? 大规模分布式训练大模型时，梯度裁剪的阈值怎么选择？怎么预先判断模型收敛能力？怎么平衡收敛速度和GPU显存的利用率？这些都是实打实的工程问题。 #大模型 #斯坦福cS336 #ai人工智能 #大模型分布式训练 #梯度优化
00:00 / 04:29
连播
清屏
智能
倍速
点赞31
教论文的七哥4月前
别不信，复用别人的组件，照样能发顶会。#一般人不告诉他 #科研狗的日常 #顶会论文 #sci #科研
00:00 / 01:41
连播
清屏
智能
倍速
点赞28
光子AI2周前
Adam优化器深度学习21讲 第2部分
00:00 / 03:01
连播
清屏
智能
倍速
点赞1
古希腊掌管代码的神3天前
一分钟讲清大模型训练优化器（Optimizer） #古希腊掌管代码的神 #大模型面试 #人工智能 #大模型训练
00:00 / 01:20
连播
清屏
智能
倍速
点赞60
碳硅3周前
第六课：2分钟看懂优化器（可视化）#人工智能 #深度学习#机器学习 #科普 #硬核
00:00 / 02:09
连播
清屏
智能
倍速
点赞37
北游知1周前
深度学习的数学全景 反向传播、优化器、Transformer 以数学视角深度解剖深度学习底层逻辑，提炼梯度流动、优化景观、信息路由三大核心寻优框架。围绕反向传播的雅可比矩阵推导、激活函数演化、损失函数与 KL 散度、优化器从 SGD 到 AdamW 的迭代、归一化与权重初始化、残差连接、Dropout、注意力机制、CNN、GAN、扩散模型等关键模块，拆解公式原理、推导过程与工程痛点，揭示高维非凸空间下梯度计算、最优解搜索与特征交互的数学本质，打通理论与工程的底层链路，为 AI 工程师与研究者提供系统的数学支撑 #深度学习 #人工智能 #机器学习 #数学 #概率论
00:00 / 18:50
连播
清屏
智能
倍速
点赞503
优词宝智能体1年前
AdamOptimizerExplanation Adam优化器（Adaptive Moment Estimation） 是一种结合了动量法（Momentum）和梯度的平方进行加权平均传播，RMSProp（Root Mean Square Propagation）的优点的优化算法。Adam能够高效地处理稀疏梯度和噪声梯度问题，并在许多应用中表现出优越的性能。它通过计算梯度的第一矩（均值）Momentum 动量法和第二矩（方差）梯度均方来调整学习率，从而自适应地优化每个参数的更新步骤。 首先看一下动量法（Momentum Method） 是一种优化算法，用于加速梯度下降的收敛过程，并减少梯度在高频方向上的振荡。通过引入历史梯度的“惯性”，动量法能够在每次更新时考虑过去梯度的影响，从而让参数调整更加平稳，避免陷入局部最小值。#机器学习 #Transformer #ChatGPT #人工智能
00:00 / 00:58
连播
清屏
智能
倍速
点赞9
AI闲谈小馆2周前
大模型轻量化四大核心技术：剪枝+高效微调全解析 一次性讲懂Magnitude、WANDA、SparseGPT经典剪枝算法，搭配LoRA低秩适配，零基础看懂大模型压缩、降本、本地部署全套实用方案。 #大模型轻量化#模型剪枝#AI模型部署#LoRA #人工智能干货
00:00 / 05:17
连播
清屏
智能
倍速
点赞13
YouTube野生数理洞察君4天前
【Arxiv Insights】稀疏奖励下的强化学习 #深度学习#强化学习#AI算法#AI
00:00 / 16:00
连播
清屏
智能
倍速
点赞1
Vuk 武克2月前
停止使用 AdamW，现在所有人都在用 Muon 🔥 还在死磕AdamW？OpenAI、Meta和DeepSeek都在悄悄用的 Muon优化器了解一下！被DeepSeek研究员誉为“去年最伟大的两项发明之一”的Muon，通过将梯度更新矩阵正交化，完美解决了模型在不同特征上学习速度不均衡的问题。 🚀 核心亮点：它能大幅提升训练效率，最高可节省近50%的算力！目前在LLM大模型训练和具身智能（机器人）测试中都表现出了超越Adam的潜力。 💡 使用贴士：只需注意将Muon仅用于2D权重矩阵（避开Embedding、偏置等），并搭配比原来大10倍的学习率即可。PyTorch 2.10已原生支持，各位AI炼丹师们强烈建议跑跑看！🤖📈
00:00 / 06:44
连播
清屏
智能
倍速
点赞61
北游知4月前
优化算法：从梯度到adam ——机器学习数据基础之微积分篇 梯度下降法 (Gradient Descent)和牛顿法 (Newton's Method)这两种核心优化算法背后的数学原理，泰勒级数展开 (Taylor Series Expansion)，优化算法的本质是使用简单的函数来近似复杂的损失函数，其中梯度下降法仅使用泰勒级数的一阶近似（线性近似），通过沿着梯度的反方向移动来寻找最小值，其更新方向由梯度向量决定。相比之下，牛顿法则使用泰勒级数的二阶近似（二次近似），它通过计算海森矩阵 (Hessian Matrix)的逆矩阵来自动确定最优的步长和方向，因此具有更快的收敛速度。然而，由于海森矩阵的计算和存储复杂度极高O(N^3)，尤其在参数量巨大的深度学习模型中几乎不可行，因此现代优化器如Adam等更倾向于以低成本的方式模拟牛顿法的自适应特性。#梯度 #算法 #人工智能 #机器学习 #数学
00:00 / 11:54
连播
清屏
智能
倍速
点赞231
aetheread2周前
DeepSeekV4训练秘诀 MoE 省推理计算，CSA/HCA 省长文本显存，那训练怎么更稳？第四集带你看 DeepSeek V4 背后的 Muon 优化器。#优化器 #大模型 #Muon #AdamW
00:00 / 01:27
连播
清屏
智能
倍速
点赞120
寻3月前
HySparse: A Hybrid Sparse Atte #HySparse 是一种新型混合注意力架构，通过在全注意力层之间交替插入稀疏注意力层来优化模型。它直接复用前层的 KV 缓存和关键标记索引，消除了额外预测器的复杂性，大幅降低内存与计算开销。实验证明，该架构在减少十倍缓存的同时，显著提升了长文本建模能力。 arXiv: 2602.03560 #AI #Research #Arxiv #MachineLearning
00:00 / 07:26
连播
清屏
智能
倍速
点赞3
顽皮的程序员1月前
学习率优化器梯度 微调必懂核心🔥 大模型微调超参数第二弹！用期末复习、写材料类比讲透 learning rate、scheduler、AdamW 优化器，通俗解释梯度、梯度消失爆炸、warmup 预热，小白也能秒懂训练逻辑～ #大模型微调 #AI教程 #深度学习 #学习率 #梯度下降
00:00 / 06:43
连播
清屏
智能
倍速
点赞8
未来博士wepon9月前
地球大模型AEF 今天要和大家聊聊Google DeepMind推出的地球大模型“AlphaEarth Foundations”，简称AEF。我们都知道，Alpha家族的每个成员都是顶流代表：AlphaGo和AlphaZero在围棋领域的颠覆性表现，AlphaFold凭借其在蛋白质结构预测上的突破赢得诺贝尔奖，AlphaEvolve优化算法和AlphaChip芯片设计也让人眼前一亮。所以，AlphaEarth一定是个很了不起的技术，但它似乎又有点离我们普通人遥远。作为一个半个地理信息领域的“爱好者”，我看了这个技术报告，今天就给大家简单解读一下。#人工智能 #google #alphaearth
00:00 / 03:57
连播
清屏
智能
倍速
点赞174
佳荣(跨境产品设计)7月前
I人救星来了！内向人群再也不用被架在火上了#跨境电商 #亚马逊 #亚马逊跨境电商 #tiktok #亚马逊运营
00:00 / 00:39
连播
清屏
智能
倍速
点赞19
科技毅戈20511年前
Deepseek再次升级，NSA机制提升训练效率11.6倍 #科技#ai#人工智能。#科技改变生活#中国崛起
00:00 / 04:30
连播
清屏
智能
倍速
点赞327
F1173天前
20260511-213931-59
00:00 / 00:15
连播
清屏
智能
倍速
点赞0
F1173天前
20260511-213931-57
00:00 / 00:15
连播
清屏
智能
倍速
点赞0
F1173天前
20260511-213931-61
00:00 / 00:15
连播
清屏
智能
倍速
点赞0
鹿小言9月前
头发洗对 颜值翻倍 #细软塌 #细软塌变高颅顶的头发蓬松技巧 #护发 #洗发
00:00 / 04:06
连播
清屏
智能
倍速
点赞132
蒋辰の AI创享宇宙5天前
DeepseekV4重磅更新！国产开源AI炸裂升级
00:00 / 01:52
连播
清屏
智能
倍速
点赞9
金蓝海3年前
常用的高性能优化器有哪些，ADAM和SGD有什么区别？#人工智能 #机器学习 #科技改变生活 #服务器 #算法
00:00 / 00:45
连播
清屏
智能
倍速
点赞2
事必亲躬2月前
《理解深度学习》第11课-优化算法：动量、Adam与超参数 本课聚焦提升优化效率的进阶算法。核心介绍了动量法，通过累积历史梯度平滑搜索轨迹并加速收敛。详细阐述了 Adam 优化器，结合一阶和二阶矩估计实现参数级自适应学习率。最后强调了超参数搜索在模型拟合中的“艺术”属性。#深度学习 #动量算法 #Adam优化器 #自适应学习率
00:00 / 23:45
连播
清屏
智能
倍速
点赞32
迪迪碎碎念1周前
Anthropic最新发现： AI嘴上一套心里一套？ #AI #人工智能 #Claude #研究 #迪迪碎碎念
00:00 / 04:41
连播
清屏
智能
倍速
点赞31
系统之外2周前
30秒了解 DeepSeek-V4 用的关键技术 很多模型上下文一长就掉速、掉状态、工具一调就断线。DeepSeek-V4 这次真正猛的，不只是 1M 上下文，而是它在超长上下文里还能继续压缩历史、挑重点、只激活少量专家，还能跨工具调用把 reasoning 接着跑。30 秒带你看懂 V4 的关键技术。#DeepSeek-V4
00:00 / 00:30
连播
清屏
智能
倍速
点赞71
吉时AI前沿社3周前
自媒体人救星来了！ InfiniteTalk，一款无限时长的 AI 视频开源神器，任何视频都适配，零成本创造！#lnfiniteTalk #自媒体神器 #AI #科技 #吉时智能
00:00 / 00:13
连播
清屏
智能
倍速
点赞37
最新AI论文深度解读，每日更新3月前
Alleviating Sparse Rewards by #这项研究介绍了一种名为 TP-GRPO 的新算法，旨在通过改进强化学习来优化流匹配模型，使其生成的结果更符合人类偏好。由于传统的奖励反馈在生成过程中往往过于稀疏，该方法通过识别转折点（turning points），有效结合了步进式奖励与长期聚合奖励。这种机制能够更精准地捕捉生成轨迹中的关键步骤，从而在图像质量、文字渲染以及组合生成等任务中取得优异表现。实验数据证明，该模型在处理复杂指令和视觉细节方面比现有的 Flow-GRPO 更加稳健。总而言之，该文献为提升生成式人工智能的对齐效率与视觉准确性提供了关键的技术突破。 arXiv: 2602.06422 #AI #Research #Arxiv #MachineLearning
00:00 / 08:47
连播
清屏
智能
倍速
点赞4
芳宇人间2周前
##每日一题 #实用冷知识 #公考常识 #程序员科普 #我的头发我做主
00:00 / 01:32
连播
清屏
智能
倍速
点赞4
全球AI速递1周前
12M上下文来了，AI竞速再升级 SubQ把上下文窗口拉到1200万token，长文档、代码库和多轮资料可一次性推理；同时OpenAI推GPT-5.5 Instant，Anthropic强化财务分析，AI竞速全面提速。 #SubQ #12M上下文 #GPT 5.5Instant #Anthropic #财务分析 #Gemini
00:00 / 01:40
连播
清屏
智能
倍速
点赞10
AI&视界8月前
清华姚班揭「1.4加速」陷阱 #清华 姚班揭「1.4加速」陷阱 #姚班 #ai #ai新星计划 #机器人达人秀
00:00 / 01:02
连播
清屏
智能
倍速
点赞90
最新AI论文深度解读，每日更新3月前
OPUS: Towards Efficient and Pr #这份研究介绍了一种名为 OPUS 的新型预训练数据选择算法，旨在提升大语言模型的训练效率。与传统方法不同，OPUS 充分考虑了 AdamW 和 Muon 等现代优化器的几何特性，通过投影技术在低维空间内高效评估数据的效用。该算法的核心在于建立一个与目标评测集对齐的 代理数据集，并结合 玻尔兹曼采样 来平衡数据的针对性与多样性。实验证明，该方法在从头预训练和增量预训练场景中均表现优异，仅需极少的数据量即可达到甚至超越全量训练的效果。通过这种 优化器感知的选择机制，模型能够更精准地吸收高价值信息，显著降低了计算成本。 arXiv: 2602.05400 #AI #Research #Arxiv #MachineLearning
00:00 / 07:51
连播
清屏
智能
倍速
点赞4
AI-Signal2周前
ZeRO（2019），Zero Redundancy Optimizer，零冗余分片存储，用通信换显存。三个渐进版本分别切分：优化器状态，优化器状态+梯度，优化器状态+梯度+模型参数。#DDP #ZeRO #深度学习 #并行计算
00:00 / 01:07
连播
清屏
智能
倍速
点赞137
想读博的秦憨憨大魔王正在搞Ai2周前
#ai大模型 #MOE架构 MoE 架构通过路由器仅激活部分专家子网络，实现了参数容量与计算效率的平衡
00:00 / 08:33
连播
清屏
智能
倍速
点赞14
zidea5年前
2021 深度学习神经网络优化器 5 SGDM vs Adam
00:00 / 14:44
连播
清屏
智能
倍速
点赞4
帕丽分享1月前
帮扶小额信贷
00:00 / 00:38
连播
清屏
智能
倍速
点赞3182
阳子｜高维关系2月前
提供情绪价值和分享日常：让A9|A10事业男创一代停止付出的元凶。#事业男 #创一代 #女性情感 #向上社交 #引导付出
00:00 / 07:12
连播
清屏
智能
倍速
点赞1996
木青扬1年前
Deepseek最新成果——原生稀疏注意力，长文本之利器
00:00 / 01:49
连播
清屏
智能
倍速
点赞24
Hugging Face 论文解读3月前
更聪明地训练AI：OPUS方法 #OPUS 是一种先进的数据选择算法。它利用优化器诱导的预条件矩阵（如 AdamW 或 Muon）在投影空间内衡量样本效用。该方法结合CountSketch投影与Ghost技术，实现了高效的在线筛选，显著提升了大型语言模型的收敛速度与下游任务性能。 arXiv: 2602.05400 #AI #Research #Arxiv #MachineLearning
00:00 / 02:04
连播
清屏
智能
倍速
点赞1
aetheread2周前
用物理规律倒推中美 AI 真实参数 别再被营销号的“万亿参数”忽悠了！今天教你像 AI 研究员一样，用算力和速度倒推闭源大模型的真实体量。B 是十亿，T 是万亿，GPT-5.5、Claude、DeepSeek、Kimi 的真实参数到底是多少？从无脑堆 T 到极限压榨 B，大模型之战早就变天了！🔥 日常工作中，你觉得哪个 AI 最懂你？评论区对暗号，看看谁家粉丝多！👇
00:00 / 02:11
连播
清屏
智能
倍速
点赞1705
YOLO商陆学长5月前
模型训练中优化器是如何使用的？ 优化器是用于更新模型参数的算法，例如SGD, Adam, AdamW, NAdam, RAdam, RMSProp，或者auto用于基于模型配置自动选择。不同优化器影响模型收敛速度与最终精度。#目标检查 #视觉识别 #视觉检测 #YOLO #模型训练
00:00 / 02:03
连播
清屏
智能
倍速
点赞24
论文五分钟1周前
激发模型内在模式的强化学习 #强化学习 论文五分钟，学术变轻松~
00:00 / 03:29
连播
清屏
智能
倍速
点赞1
AI&视界9月前
NeurIPS 2025 意见"Adam是谁"离了个大谱 2025 意见"Adam是谁"离了个大谱 #2025 #AI #审稿 #AI新星计划 #机器人达人秀
00:00 / 00:57
连播
清屏
智能
倍速
点赞120
未来博士wepon1年前
Deepseek和Kimi又撞车了 这一次，Kimi MoBA 和DeepSeek NSA 再一次同时提出了对Transformer架构全注意力机制的质疑，指向了更加高效的稀疏注意力方法，引导业界实现更高效更长文本的进化方向。这也是我国在算力资源受到制约的条件下，自然形成的一种创新共识：利用系统级改造榨取每一份算力的潜能。与美国继续投入海量算力资源，通过“星际之门”、“二十万卡集群”等延续Scaling Law的路径，可以说逐渐形成了分化。#人工智能 #Deepseek #Kimi
00:00 / 05:07
连播
清屏
智能
倍速
点赞40
论文，我只发顶刊3周前
CNN+LSTM+Attention，准确率直线飙升！ CNN、LSTM、Attention三者的协同融合，已成为破解单一模型局限、提升任务性能的核心路径，在时序预测、安全监测、通信识别等领域快速崛起。CNN擅长提取空间特征却缺乏时序建模能力，LSTM可捕捉长程时序依赖却难以聚焦关键特征，Attention机制能精准筛选核心信息却需依赖前两者提供基础特征，三者结合恰好实现优势互补。依托C V P R、ICLR等成果，该方向已成为科研热点：改进型CNN-LSTM-Attention模型在飞机发动机寿命预测中表现突出，预测精度大幅提升；STIPM融合架构在地铁客流预测中，各项评估指标均优于传统基线模型；另有融合模型在通信信号调制识别中，不同信噪比下均保持优异准确率。这些突破为时序预测、智能监测等任务提供新方案，对于深耕该方向的同学，特征协同融合、注意力适配优化等是潜力选题。 #CNN #LSTM #Attention #顶会论文 #sci论文
00:00 / 01:01
连播
清屏
智能
倍速
点赞28
人工智涨Ultra7月前
比Deepseek还火的Tilelang 科普一波算子编译器…… 希望大家别沉迷于股市…… 学点技术，吹吹牛逼…… #Deepseek#Tilelang #昇腾
00:00 / 04:11
连播
清屏
智能
倍速
点赞308
龙虾AI数字办公室6天前
美国版deep seek来了？ #deepseek #SubQ #1200万长上下文 #Subquadratic #大模型
00:00 / 00:36
连播
清屏
智能
倍速
点赞4
九天Hector7月前
架构大突破，DeepSeek-V3.2重磅发布！ 架构大突破，DeepSeek-V3.2重磅发布！成本暴降50%！原论文解读+模型特性介绍+DeepSeek稀疏注意力原理介绍！#ai新星计划 #抖音教育
00:00 / 06:27
连播
清屏
智能
倍速
点赞631
最新AI论文深度解读，每日更新3月前
HySparse: A Hybrid Sparse Atte #这项研究介绍了一种名为 HySparse 的混合稀疏注意力架构，旨在解决大语言模型在处理长文本时的计算和内存瓶颈。该架构通过在全注意力层之间插入多个稀疏注意力层，并让后者直接复用前层的关键标记索引和 KV 缓存，实现了高效的计算优化。这种设计不仅消除了传统方法中复杂的预测模块，还通过跨层共享机制显著降低了显存占用。实验证明，HySparse 在 7B 稠密模型和 80B MoE 模型上均表现优异，尤其在 80B 模型中仅需 5 个全注意力层即可维持极高性能。通过结合局部滑动窗口与全局稀疏检索，该方案为实现兼具高精度与低开销的长文本建模提供了新路径。 arXiv: 2602.03560 #AI #Research #Arxiv #MachineLearning
00:00 / 06:15
连播
清屏
智能
倍速
点赞9
小黑黑讲AI2年前
如何优化非凸目标函数，对比SGD、Adam和LBFGS #深度学习 #pytorch #人工智能 #python #梯度下降
00:00 / 08:26
连播
清屏
智能
倍速
点赞273
鹭羽无暇2年前
人工智能：TensorFlow 2.0中的神经网络优化算法
00:00 / 02:32
连播
清屏
智能
倍速
点赞1

简介:

您在查找“sparse adam是什么优化器”短视频信息吗？帮您找到更多更精彩的短视频内容！最新发布时间：2026-05-14 05:55

最新推荐:

相关推荐:

热门推荐: