00:00 / 00:44
连播
清屏
智能
倍速
点赞408
00:00 / 00:54
连播
清屏
智能
倍速
点赞6
00:00 / 00:37
连播
清屏
智能
倍速
点赞11
00:00 / 04:15
连播
清屏
智能
倍速
点赞102
00:00 / 01:14
连播
清屏
智能
倍速
点赞12
00:00 / 00:11
连播
清屏
智能
倍速
点赞1926
00:00 / 00:40
连播
清屏
智能
倍速
点赞5
00:00 / 03:26
连播
清屏
智能
倍速
点赞6
说说AI领域中的“通行证”:Token(中文名:“词元”)(2) Token这个词源自古英语,原意是“符号”或“标志”。 在现代数字化时代,大模型火了之后,大家常讨论的“算力计量单位”,被引申为某种事物的最小单位或凭证。 其实,这个词它还是:登录App时的“身份令牌”,加密货币里的“代币”。 1.身份的“通行证”(信息安全领域) 在计算机安全和登录认证中,Token是一种临时的身份凭证。 •它是:当你用微信登录某个网站时,微信服务器发给该网站的一串加密字符串。 •它代表“这个用户已经通过验证了”。网站拿着这个Token就能确认你的身份,而不需要每次都让你输入密码。 •常见形式:JWT(JSONWebToken)、APIKey、硬件U盾等。 2.区块链的“权益代表”(加密领域) 在区块链(Web3)中,Token通常指数字资产或权益。 •它是:基于智能合约发行的代币。 •有啥用: o支付/治理:比如用来支付网络手续费,或者持有者拥有投票权(如Uniswap的UNI)。 o非同质化(NFT):每个Token都是独一无二的,用来代表数字艺术品、门票等。 3.语言的“积木块”(AI与NLP领域) 这是目前最热的话题。在大语言模型眼里,Token(“词元”)是处理文字的最小单位,你可以把它理解成“词块”。 •它不是简单的“字”: o英文:通常按单词或词根拆分。比如"playing"可能会被拆成"play"和"ing"两个Token。 o中文:通常按词或字拆分。比如“人工智能”可能会被算作2个Token(人工+智能)。 •为什么它很重要? 1.算钱的单位:现在的AI服务大多是按Token(“词元”)数量收费的。你输入一段话,大模型生成一段话,都要计算Token(“词元”)。 2.决定记忆长度:模型有“上下文长度限制”(比如32K Token)。如果你的对话太长,超过了这个限制,大模型就会“失忆”,忘记最前面的内容。 3.影响速度:Token(“词元”)越多,计算量越大,响应速度可能越慢。 最近新闻里提到的“Token”,默认它指代的是AI算力消耗的计量单位。 理解了这一点,你就能看懂很多关于大模型成本和性能的讨论了。 部分内容由AI生成,仅供参考,请仔细甄别。#词元#token#大模型 #科普 #教育
00:00 / 02:16
连播
清屏
智能
倍速
点赞9
00:00 / 01:02
连播
清屏
智能
倍速
点赞7