2584
394
90
426
举报
发布时间：2022-12-13 13:52全部评论
大家都在搜：
大宝
粉丝1639获赞3.4万
相关视频
英雄难过美人关，美人难过什么关呢#街头采访
13.6万田姓的由来，田家人的骄傲
3729全国最大的刘氏祠堂#刘氏家族
9606蒋巷锣鼓队在东洋村演出
164
最新视频
热榜推荐
Vibe知识大赏 |《涌现》— 参数的史诗 宇宙里最残酷也最浪漫的规律，叫标度律（Scaling Law）。它不管你有多聪明，它只数你投入了多少筹码。把一句话最后一个字遮住，让模型猜。猜得有多意外，就叫 loss。从 2020 年 OpenAI 把这一现象写成公式开始：算力、数据、参数跨越七个数量级，所有的点落在同一条直线上。参数大十倍，loss 只降约 16%。很贵，但它从不失约。奇怪的是，loss 平滑地降，能力却像是一夜之间冒出来的。有人列出过 137 种这样「突然出现」的能力。斯坦福的人说：是尺子的问题。一道 5 位数加法只认全对，每一位的准确率从 50% 涨到 90%，整题得分就从 3% 跳到 59%。能力一直在长，是考卷让它看起来像奇迹。还有个小模型，学钟表上的加法，卡了几万步，新题一道不会。实验多跑了几天，它突然全会了。打开一看，它早在内部把数字摆成了一个圆。可这把尺子，我们很熟。考卷只认全对。背单词、弹琴、向喜欢的人表白……在那些什么都没发生的日子里，世界给你的反馈都是零分。但只要你还在前行，你的 loss 每天都在降。某一天的清晨，你跨过了看不见的临界线，别人说你突然就会了。只有你知道，那叫——涌现。@抖音科技 #视觉盛宴 #vibe知识大赏 #ScalingLaw #概念短片
3.1万比特新语
313
90
69
61
59
17
15
12
12
11