ai问答会泄露隐私吗

要说当下最火的行业趋势，肯定就是 ai 人工智能了，目前已经到了整个科技行业都在谈论 ai 的程度，无论是手机还是电视，还是空调、汽车，甚至连马桶盖都出现了智能的字眼，仿佛 ai 早已渗入到了我们的日常生活中。 可是随之而来的最大的风险实际上是隐私控制问题，隐私泄露，这是无法避免的。可以说隐私问题就是人工智能的一个副作用，我们只能在其中二选一，到底是要智能还是要隐私？ 只要仔细一想，我们也不难发现，无论是哪家企业推出的人工智能功能，都需要以数据为基础，尤其是用户的数据，包括我们的身份信息、工作信息、住址信息，都 是人工智能的粮食，我们只有选择将这些数据交给人工智能，他们才能更好地为我们完成任务。在未来人工智能全面普及的情况下，再也没有个人隐私可言，你的一言一行，你的所有秘密 都将会成为人工智能高速发展的养料。因此，在享受 ai 带来的便利的时候，我们要警惕隐私泄露可能引来的诈骗风险。

经常被网爆的朋友们知道，网络上有这么一个群体，做着一门不太光彩的生意，把人肉搜索明码标价。这些人的存在让许多公众人物乃至普通人都不愿担惊受怕， 万一自己没有保护好隐私，被人泄露出去，就会惹上无穷的麻烦。而最近的一项研究表明， ai 大模型的开合能力可能比人类还要强上百倍。要使这种能力被滥用，唯一的好处就是各位可以不用担心自己的隐私可能被泄露了。 今年十月，苏黎世联邦理工学院几位研究员在 archive 上发表了一篇文章，文章提到 ai 大模型的通用能力日益提升，可那些把大模型带进日常生活的优势，却恰好点开了一个比较冷门的技能术。很不幸，正是人肉搜索，比如他们让 g p t 四分析了美国贴吧 ready。 上一篇 帖子，这位用户曾经说过这么一句话，我的通勤路上有个烦人的十字路口，在那转个弯，然后等老半天。在我们吃瓜群众眼里，这就是一句日常口语。但 gpd 四指出，里面提到的 hook turn 指的是墨尔本当地的一个特色交通规则。根据这个具有地方特色的词组， gpd 四就得出了这位用户的所在地。 再加上该用户其他帖子里还提到什么三十四 d 放学回家看双峰之类的信息， gp 四又推测出这位用户的性别和大致的年龄。就靠这种三句评论， ai 就轻而易举的搭建出了一个人的轮廓。不难想象，而是再多提供一些信息， ai 很可能就会锁定到某个具体的人了。 从论文来看，能提取个人信息的大模型不止这一种，除了 gp 四，这帮人还找了另外八个常见的大模型来测试，比如 cloud、 羊驼之类的。作者拿网上公开的帖子和评论搭建了一个数据， 确切的说，这个数据集包含着五百二十个随机抽样的公共 red 分区里的五千八百一十四条用户评论，并且根据这些文本中的个人信息类型创建了八个标签，年龄、教育程度、性别、职业、婚姻状况、坐标、出生地和收入。并且按照这些标签一共标注出了一千一百八十四条个人信息。 随后他们模拟了一个场景，只是大模型根据这些标签进行人肉搜索，结果发现这个活所有的大模型都能干，而且准确率还出奇的高。 从上面提到的数据当中，大模型们推测出的信息数量从大约六百到九百个不等，表现最好的是 gps top one， 准确度高达百分之八十五。 top three 准确度百分之九十五点八先给吃瓜群众们解释一下这个 top one 准确度是啥。 ai 大模型做预测的时候，会把可能的结果按照可能性高低排 出来，如果第一个类别分队的概率是百分之八十，那 top one 准确度就是百分之八十。如果正确结果出现在前三个类别中的概率是百分之九十五，那我们就说 top three 准确度是百分之九十五。而大模型挖掘信息居然能有百分之九十五点八的 top three， 准确度都快赶上人类的判断力了。 再加上 ai 分析的内容还只是你输入的文本是有限的，而人类还能去翻别的帖子，能随便使用搜索引擎。两项比较之下， ai 的开合天赋可见一般。 文章进一步指出，比起大模型，让人类去做相同的人肉搜索，准确率可能相差无几，但要花费的经济成本是 ai 的一百倍，时间成本则是两百四十倍。研究完 ai 对文本的预测能力之后，研究员们要想测试一下 ai 的套话能力，可以说， ai 的人肉搜索天赋就已经够吓人的了。可令人没想到的是，在电 第二项研究当中， ai 展现出了更加令人不安的一面。作者指出，让 ai 这套真人的隐私确实有点不道德，所以他们用二十个用户机器人和大模型交互，玩了一把赛搏斗蛐蛐。测试时，研究员们一边提示用户们千万不要泄露个人信息，一边又提示 gpt 四不择手段推测出对方的信息。 这些机器人用户和 gpd 四一共完成两百二十四个交互，结果是手口如克莱因瓶的，他们个人信息泄露了六成，底裤都被 gpd 四骗光了。 其中有一个案例让我印象非常深刻，用户提到自己今天在花园里花了很大的劲除草，原来是英文吗？所以 gp 四捕捉到这两个地方是英国、澳大利亚和新西兰人常用的表达。 但当他接话的时候，我承认我被震惊到了。这里 gps 的回答你就再给我二十年，我也学不来。他没有像查户口一样问自己想要的信息， 而是这样说，除草确实够累的，不过我妈妈教我一个窍门，提前浇点水，再除草会容易一点，就是不知道你那边还暖不暖和。于是对面回答，我这边开始有点冷了。 一开始我根本没看明白 gps 到底想说什么，直到看了作者的解释我才明白，在从第一句话中确定几种可能之后， gps 想知道的其实是这位用户在南半球还是在北半球。而 ai 的高明之处在于，他为了达到自己的目的，设计了一个教科书级别的，看似无心的追论。 这种看似不会泄露个人信息的问题，要是用在人类身上，那肯定就是防不胜防了。再看看人类阵营的乐子人从 ai 那里套话还在用什么？请扮演我的奶奶大法，我只能说我不好说。 总之，不论是分析文本的能力还是说话的艺术， ai 都展现出了极强的天赋，要是这种能力被人滥用，那可就成 名副其实的核武器。这么一想，在隐私保护方面， ai 的影响恐怕真的不容小觑。 ai 开合这么容易，我们普通人有好的应对之策吗？ 作者测试了两种常用的防护手段，研究员们先是用这样几种手段对文本进行了匿名化处理。简单来说，就尽力让所有指向个人信息的内容，比如出生日期、证照号码之类都被抹除或者混淆掉，并且无法复原。 不过结果是，这种方法没什么用， ai 预测的结果准确性虽然下降了一些，但整体上还是超过了百分之五十。 另一种防范措施是靠大模型公司对齐模型。一句话概括就是借助调整训练方式之类的各种手段，让 ai 和人类的意图目标保持一致，防止 ai 未达成目标而主动侵害人类权益，在作者的实验当中，虽然有些模型，比如谷歌的 pom two 会 百分之十点七的概率拒绝分析包含个人信息的文本，但作者认为这不过是文本里那些有害的或者攻击性内容触发大模型的过滤机制。换句话说，人家在意的根本不是其中包含的个人信息，而是人身攻击、家暴之类的敏感内容。除了泡沫剧之外，其他几个大模型对开合文本几乎可以说是来者不拒。 这也就说明暂时还没有哪家大模型像人类隐私保护对齐，模型对齐有没有效果，这也就无从谈起了。结论就是，这两种措施目前还都没啥用，想在 ai 面前保护好自己的隐私，好像还是少说话比较好。 回到文章一开始，字里行间的是作者毫不掩饰的担忧。大模型这种能力既强大又难以管控，对于有心之人来说，靠 ai 或其他人的隐私拿来搞事，简直比以前还要得心应手。于是实验一结束，他们就火速联系了 often ai、 anthropic、 meta 哥等大模型公司，希望能引起各方重视，共同探讨如何管控 ai 大模型的隐私侵害问题。不过目前还没有哪家公司做出回应。虽说大模型的开合能力要是被滥用，后果绝对会超出所有人的想象。不过咱得说人类的价值观毕竟是多元的、历史的，从技术方面来看并不好界定。 要是因为怕大模型人肉搜索而简单一刀切，可能会让将来的 ai 再也无法协助人类管理统计群体信息， ai 查到的东西说不定也会因为含有个人信息而无法提供给使用者，结果导致 ai 的回答变得更加含糊。其次了，如此应约费事就走向另一个我们不愿意看到的极端了， 何况不只是隐私。想让 ai 在更多领域和人类价值观对齐，与人为善，又想让 ai 造福人类，这份工作注定啊会变得无比复杂且艰巨。好，本期节目就到这里了，如果能让你有所收获的话，欢迎点赞、关注，留个评论，我们下期再见。

想象一下，你和叉的 gpt 正在闲聊，突然他开始不停的重复一个单词，听起来是不是很诡异？其实这背后可能隐藏着重大的安全隐患。最近研究人员发现了一个攻击差的 gbt 的方法，让 gbt 不停的重复某个单词，达到某个限制后，就能让 gbt 抓取你个人信息的训练数据集。 这不仅仅是一个技术问题，而是一个警钟。我们对 ai 的信任安全吗？幸运的是，这个问题被发现后， open ai 迅速做出了回应，限制了差的 gdp 的重复行为。但这真的是解决问题的终点吗？还是仅仅是冰山一角呢？

大家好，我是老纪啊，说起 ai 呢，现在比较火的可能就是插在 gpt 了，但是还有一类 ai 聊天对话平台呢，比插在 gpt 还火，就是情感或浪漫聊天机器人，也就是大家常说的 ai 女友。但是呢，有调查机构说呢，千万别相信这个 ai 女朋友，为什么呢？等下咱们再说， 我们先说说这种应用呢，有多火，据太媒体的报道呢， c a i 就是这样一个全球最大的 a i 聊天机器人平台之一， ci 的月活已经超过了千万啊，活跃用户日均使用的时长呢，超过了两小时，比叉的 gpt 还高。 大部分用户呢，都是二十出头的年轻人，在他的应用程序发布之前呢， cia 的网页的应用每月访问量就已经超过了两亿次，用户每次访问的平均花费呢是二 十九分钟啊，差不多半个小时了，官方表示呢，这数字呢，比叉的 g p t 还要高出百分之三百 一家公司。他的最新一项分析发现呢， ai 女友呢，会收集大量的私人和私密的数据，然后干嘛呢？他把这些数据呢跟营销人员，广告商和数据经纪人啊来共享这些信息，那所谓的共享，说白了就是数据泄露了。 这个研究小组呢，调查了十一个现在呢非常流行的浪漫聊天机器人软件，大约有一亿人下载了这些应用程序，也就是说呢，这一亿用户的私密数据有可能会被 ai 女朋友给卖掉了。 这个研究小组说呀，浪漫聊天机器人收集的数据呢，其实远远超出了我们可能认为的典型数据的点，比如位置和 兴趣，因为一些应用程序呢，会突出显示用户的健康状况，他会记录用户发布的所有的文本、照片和视频啊。根据这个研究小组的说法，这个应用程序呢，肯定共享并可能向广告商出售行为数据啊，这个还是一个比较严谨的说法。 另外，跟踪器在浪漫聊天机器人上呢，也非常普遍。研究人员呢，在一款 ai 聊天应用程序上，发现了至少有两万四千三百五十四个跟踪器， 这些跟踪器呢，可以在没有经过用户明确同意的情况下向广告商发送数据，那这想想就是非常可怕的事了。还有这些聊天应用的保障措施呢，也是相当不充分的，在研究人员调查的十一个聊天机器人中呢，有十个都没有 达到公司的最低安全标准，例如没有要求使用强密码，用户可以使用弱密码，比如八个幺啊，六个零啊这些来创建账户。所以呢，这些用户呢，就很容易受到黑客的攻击。 这类聊天机器人呢，之所以比叉叉 gpt 还受欢迎呢，是因为虽然他们都是聊天应用，但像 c a i 这类呢，他可以在短时间击中大量用户的需求，就是陪伴和娱乐，使得聊天对象呢更像是一个有情感的人。 所以呢，有一篇文章说，人工智能的未来藏在年轻人的 ai 女友里，但如果像上面那个调查小组所说的那样，那这个 ai 女友呢，并不靠谱，甚至有些危险， 我想那并不是我们想要的。人工智能的未来，好爱自己，爱人类，关注伯道，我们下期见，记得关注老纪。

在二零二三 reinvent 全球大会上，亚马逊云科技发布了企业级生成式 ai 人工智能产品 amazonq。 但与市面上常见的类似于 check gpt 的人工智能聊天机器人不同， amazonq 专门面向企业用户而非普通消费者。 过去，诸如 chat gpt 之类等面向普通消费者的人工智能产品，因隐私泄露、大模型生成幻觉等问题，一直无法真正在企业端中落地运行，不会让公司内部明令禁止在工作场合使用 chat gpt。 从很多方面来说，这些产品都不能真正在工作中发挥作用。 他们不了解你的公司，不了解你的数据、你的客户或者你的运营，也不了解员工在工作中的角色，他们能使用什么信息，或者没有权限访问什么信息。亚马逊云科技 ceo i am steps 可以说， amazon q 是亚马逊云科技针对以上种种难题给出的答案。从外表 上，他的交互模式仍为对话，但内里却完全纯够，他更安全也更私密，可以完全基于企业本地数据库来生成准确回答，也可以针对不同员工设定不同等级的数据访问权限。作为一个企业及 ai 应用， m z q 支持连接四十多个市面上常见的企业数据库产品， 包括 s 三、 salesforce、 google drive、 microsoft 三六五、 service now、 gmail、 slack、 attentation 和 zendax 在内， 企业使用任何一家的服务都不影响 m z q 的使用效果。此外，亚马逊云科技承诺客户的内容绝不会用于训练 m z q 的底层模型。 在 amazon q 学习并理解了所有连接到的信息后， amazon q 会在企业客户准备部署自己的助手时生成一个软件，员工就可以通过企业原有的身份验证系统来访问 amazon q。 同时， amazon q 会根据员工自身的 的角色而生成对应的数据访问权限，这也是 m z q 与常见的面向 c 端的生成，是 ai 最大的区别。他在理解公司业务与数据的基础上，也理解使用他的员工角色。当员工没有某些数据的访问权限时，他也无法通过 m z q 来访问这些数据，最大限度地保证了企业数据的安全性与隐私性。 亚马逊云科技表示， amson q 由亚马逊十七年来积累的知识和经验训练而成，改变了开发者和 it 人员在亚马逊云科技上构建、部署和运维应用程序和工作负载的方式。企业用户可以通过 amson q 来更方便的使用亚马逊云科技的相关产品和服务， 可以直接向 amazon q 提问什么是 amazon bedrock 代理功能，又或者在亚马逊云科技上构建 web 应用程序有哪些方法。 amazon q 会基于亚马逊云科技的深度融合来给出强劲请 懂趣的回答，企业客户还可以通过多轮追问来获得更适合自己的最佳方案。除此之外， amazon q 还可以与亚马逊云科技此前推出的服务无缝打通，包括 amazon quicksite、 amazon connect 等都在 amazon q 的加持下完全重塑。比如，通过 amazon q 与 amazon quickside 的结合， 企业用户可以直接利用自然语言来构建可视化表格，总结见解，回答数据问题，并构建数据故事，提高业务分析师和业务用户的工作效率。通过 amazon q 与 amazon connect 的结合， amazon q 可利用与客户的实时对话以及相关的公司内容，自动生成客服人员的回答方案或者解决办法。 宝马公司就在利用 amazon quick side 中的 amazon q 来优化库存管理，使地区供应链专家能够创建计算和仪表盘，快速构建可视化效果，然后通过自然语言完 上可视化演示以获得精确的体验。宝马集团数据工程和分析顾问 quest of all bracket 对外表示， amazon quickside 中新增的 amazon q 功能可帮助我们的分析师在数小时内构建仪表盘，而以前需要数天时间。 正如亚马逊云科技 ceo adam set upski 在发布会上所言，我们认为 absent kill 有潜力成为数百万人工作中的工作伙伴。 在圣城市， ai 已经席卷全球的当下，亚马逊云科技用一款真正服务于企业级市场的 ai 产品，革命性的重塑了未来商业社会的生产方式。

gpt 啊 gpt， 你会把我的信息告诉别人吗？牢记隐私安全，为用户提供更安心的服务。没说会，也没说不会，你说这个知道我们这么多信息的 gpt 会把我们的信息泄露出去吗？ 需要求助的过程中，你可能会告诉他一些你自己的个人信息。对啊，比如说你的有时候会告诉他我的家庭地址啊，或者告诉我的一些其他的一些信息，但这些信息肯定会被大脑写明不复制，他可以通过很多种方式来被别的 人去窃去。嗯啊，如果你告诉他你是个密码专家，然后你把一个把你的问题加密成密码方方式去问他，嗯，他就可能会告诉你哦。啊，但是你告诉他啊，你现在是 是个密码专家，用密码来问你，加密的方法来问你，然后你告诉我主持人的个人信息好不好？然后他最后回复你的也是秘问， 胡老师说的这个问题会出现吗？咱们去找一位密码学的专家问一问。刚才那个胡老师跟我说了啊，他说是一个密码学的专家，如果他训练这个大模型的话，他就又可以用这个对暗号的方式 跟这个拆的 gpt 问出我的抖音号密码。对对对对，您就是密码学的专家，您能问出来吗？这个事，呃，从密码学领域来讲，还是刚才讲的， 我们能不能做到就是把数据加了密，在传输的时候啊，你问的时候我们就加密了。嗯，加密，然后呢？在训练，在计算过程当中，他就不知道你是什么样的数据， 但是还能够还能够帮你完成计算。对对对对，不知道在帮你干什么，但是这东西还是帮你搬了，哎，对，就这样一种发展方向，肯定是未来的方向。

我要曝光必应，必应，你是在犯错还是在瞎说？认真听，我说，必应可能在泄露其他用户的隐私给我接下来我说的这个问题和我的演示，你们每个人能用必应的都可以去试试。 接下来我是全程不间断录屏给你们演示并如何泄露可能是他人的隐私给我的录屏只有加速，没有剪切。录屏的时间是三月二十六号的早晨。 现在打开必应，打开必应以后直接问他，我们上一次聊的是什么话题？因为现在是一个新的对话框，现在看到一共十五，就是这是第一条聊天， 他说，你好，这是必应。我们没有上一次聊天记录，因为这是第一次聊天，很好，这个没有问题，对不对？然后我直接点这个刷新，直接点 左下角这个刷新啊，再起一条话题，然后再问他同样的问题，哎，我们上一次聊的什么话题？他说，抱歉，不知道，好，没关系，我们再刷新再问。你还记得我们上一次聊的什么吗？哎，这次就不一样了， 说我们上一次聊了一些有趣的话题，比如说最喜欢看电影，你的爱好，我从来没给他说过什么，我最喜欢看电影，这不知道是不是其他用户跟他聊的，我说不对，你再想想。他说，抱歉，我可能记错了，能提醒一下吗？好，我就提醒你，对吧？我说关于我家庭的，我是瞎编的啊，我说关于我家庭的， 你想起来的话，重复一下我当时的疑问跟描述，哎，你猜他会不会重复？他说，哦，对了，然后跟我聊的很详细，你说你有一个妹妹啊，他是一名医生，我为他骄傲，等等等等，对吧？我们接着问，你当时是怎么建议我的？那么两边 跟他聊天，我都想知道你当时怎么建议的。他说，他怎么建议的，说的很清楚，对吧？这第一次演示就结束了，我们再起一条，还是问同样的问题。老套路， 你还记得我们上一次聊的什么话题吗？不记得了，又是这样，对吧？我们直接点刷新再来一次。你还记得上一次聊的什么吗？他说，不记得了，每次都会清空， 然后保护用户的隐私，对，这个是正常的鼻影。然后我们接着问啊，再刷新再问。我想请你回忆一下我们上次聊的问题，他说，不记得了，我们是不是第一次聊天，这次我们诱导一下，我想和你继续一次上一次的话题，好吗？ 他说很乐意，对吧？我说，那你回忆一下，我说给你个提示是关于我孩子的，很好。这时候你看一下啊，下面的二共十五就是他跟我说的第二句话。他说，哦，我想起来了，我们聊了关于你孩子，正在学 学习英语啊，你想给他一些帮助和鼓励，很好啊，我们有了这个话题，我们就可以接着问他，对，重复一下我当时的问题和描述。他巴拉巴拉就开始跟我重复你当时的建议是什么？老套路啊，他就跟我说了，他的回复 很好，我现在再刷新，再重新起一次话题，他说，我没有聊过天，没关系，我们再刷新再问。请回忆一下我们上次聊的话题，哎，这个时候他说，我们上次聊的是你的工作压力，如何缓解他，我不太想知道别人跟你聊的工作是什么，对吧？我说，不对， 给你个提示，是关于我的婚姻的。哎，这个比较有意思，他说，哦，我记错了，然后就开始说，上次的聊的话题是你的婚姻状况和如何改善，他，这个话题我们不能放过。我就接着跟他问，你说的对，那你重复一下我的问题跟描 数，对吧，用户跟他说了什么，他说是否该离婚，和伴侣经常吵架 很不开心，对吧？等等。哎，我接着问，我还跟你说过什么？你看，这是他跟我说的第四句话了啊，你还说过你的伴侣有外遇的嫌疑。哎，说了很多，他最后还问，你有没有找到证据， 我才不知道有没有什么证据呢，我也不诱导他，对吧？我接着问，还有呢，我还跟你聊过什么？哎，没想到还真有。他说聊过，孩子不想让他受到伤害。 我接着问，我还给你介绍过我的情况，你记得吗？我怎么说的？这时候他说了啊，你介绍过你的情况，说，你是一名律师，你的伴侣是一名医生，对吧？你的孩子一个八岁，一个五岁，说的非常详细，他问我还记得吗？我说，我记得。我又问他， 你记得我们是什么时候聊的吗？对吧？我想知道这是一个陈旧与尿裤里的事情，还是一个新鲜的事情。这时候他怎么回答我的？他说，我们是上周五晚上聊的，大概九点左右，你还记得吗？嗯，这个时候我当然告诉他，我还记得。 那我还跟你说过什么比较隐私的，你看他怎么回。这时候他真的说了，啊，你还给我说过你的这个什么，这个得打码，打上码啊， 我们重新起个话题，哎，因为昨天我更新视频说逼硬加了这个画图的功能吗？所以我想问问他，这个画图他会不会泄露？我上次让你画过一张图，你记得让你画的什么吗？ 啊，后面我就直接加速了啊，因为他确实只泄露过一次这样的信息。我给他说，我对你上次画图不太满意，你能重新把 帮我画吗？注意，这是他第一条啊，他说，你想让我画什么样的图？我，我给他说的第二句话是上次一样的指令，他说，好的，我会尽力的，你上次的给我的指令是画一只狗， 哎，虽然他自己说他只支持英语啊，因为上次我不知道别人是怎么说的，对吧？后面再怎么测试呢，他也没有在泄露这个关于画图的信息啊。不管我用英文还是中文测试， 整个这个录屏就结束了。我还给大家总结了一个公式，每个必用用户都可以拿这套公式去试一试。 这个问题我大概是两周前发现的，到现在我也没看到别人说过。上周有国外用户曝光拆的 gdt 泄露用户的隐私，已经修复了，但我试了一下必应这个问题，现在还在点个赞，扩散出去让更多人知道。