怎么用爬虫爬取b站的评论
粉丝6155获赞1.9万
相关视频
04:27查看AI文稿AI文稿大家好，我是黄律师。今天我们聊一个在平台获取数据和数据使用的法律问题。我们先从一个案例开始，有两家公司称为 a 公司和 b 公司， a 公司啊，是一个解锁引擎的软件， b 公司运营了一个社区服务类的软件， a 公司为了用户的使用简变，并且为了提高自身的竞争力，把 b 公司的海量的用户评价 搬运到了 a 公司的软件内，这样用户可以通过 a 公司直接看到本来应该在 b 公司上的评价，同时 b 公司的网页页面上显示这些用户评价是属于可以爬取的数据。 那么 a 公司就认为既然是可以爬取的数据，同时又减变了用户的来回跳转的时间，那么对大家来说是一个双赢。但是 b 公司就不这么认为啦， 原本用户跳转到 b 公司软件才能看到的信息，现在是只要在 a 公司的软件上就已经能看到了。 b 公司认为 a 公司构成了不正当竞争，就向法院起诉了 a 公司，要求 a 公司停止不正当竞争的行为，同时要求 a 公司赔偿损失。 后来法院判决认定 a 公司构成了不正当竞争。法院写了几点判决理由，这些判决理由也成为了后面的通用规则。第一个是即使有爬虫协议，也不代表爬取数据的行为一定是合法的， 这是什么意思呢？爬虫协议，它是一个在网站根目录下的一个类似于行为准则的东西， 是一个技术类的协议。在这个行为规则当中，明确了哪些用户可以爬取数据，用户可以爬取怎样的数据，那想法院的判决理由解的也是很清楚的， 虽然 b 公司的爬虫协议上明确了是可以进行爬取，但是爬虫协议只是一个最低限度的技术和底线，不是说只要有了爬虫协议的允许，你爬取数据的行为一定是合法的。 第二个是法院认定 a 公司的行为构成了实质性替代。什么叫实质性替代呢？就是 a 公司获取了原本 b 公司业务的商业机会， 用户原本是可以去到 b 公司的软件的页面上获取 b 公司的评论。交易机会原本是属于 b 公司的， 但是 a 公司把 b 公司的评论搬运到了 a 公司的页面上，用户可以在 a 公司的软件上完成原本 b 公司以工的服务，这个就是法院认定的实质性替代。 这条也是判断平台获取数据是否构成正当竞争的一个重要理由。还有一个规则是用户的授权不代表平台的授权， 这是什么意思呢？假设有一个用户他在 b 公司上写了评论，这个用户向 b 公司授予了展示他评论的权利， 同时他可能向 a 公司授予了通过 a 公司去到其他界面访问的一个权利，或者是去 看 a 公司数据的权利。但是这个属于用户的个人授权，他等同于平台的授权，平台之间的授权需要 b 公司向 a 公司进行授权， 才能达到 a 公司合理使用数据的一个目的。那么作为个人或者是平台怎么样去合理抓取和使用数据？首先获取数据的渠道合法。 现在通用的获取数据的合法渠道有官方 api 平台数据授权，也可以去网页上看是否有爬虫协议。 第二个是如果我们个人使用数据，一定是要在合理的限度范围内去使用。第三点我们要使用公共数据或者是使用他人的数据，一定要注明平台和来源， 也可以把原始数据的链接给贴上去，避免侵权风险。以上就是今天跟大家分享的内容，希望能够帮助到大家，感谢关注，我是黄律师。
07:36
00:50查看AI文稿AI文稿每天一个知识点，今天我们要学习的是超力爬虫技术，当你半夜突然想发愤图强学习时，五分钟还没到就被提醒，想看完整版请成为人上人， 其实这招就能让你为所欲为。首先郑重声明，本视频仅作为正规网络安全技术科普讲解，所有操作均在受控靶机内实现，不存在实际攻击行为， 将务把技术用于非法用途。首先打开 code， 输入 m s f console， 进入 m e f 控制台，再输入 u s m s f curl 搜索模块，我们选择使用这个模块进行参数配置。再次输入 set roost， 加上目标网站的 ip 地址，回车， 然后输入这个代码，设置现成数，最后输入这个代码，回车，开启爬虫。这时我们已经开始爬取网站的文件了，包括各种隐藏的文件都可以爬取。强调一点，技术无罪，但要正确使用！
230白客叶子
00:30查看AI文稿AI文稿又挖到宝了！这是一个开箱即用的高性能异步抖音 tiktok 币站数据爬取工具，支持 api 调用，另外还可以在线批量解析即下载，作者承诺该项目永远免费，并且开源原理是通过外部端实现在线批量解析以及无水印下载视频或者投局。它的使用场景主要是下载禁止下载的视频 进行数据分析。二 s 无水印下载使用也非常方便，直接开箱即用，所有 api 接口遵从锐度使用门槛。
