想要做爬虫逆向登录,发现前端页面的登录的时候,他会做存在,还有这种啊,像他的图像验证码遇到这种登录页面呢,我们应该怎么来弄呢?今天就带大家来实战学习一下安排。 那么像这个某小说网的话,在这里我们可以看到他主要的核心是做一个登录,那么像我们平常如果说要做一个逆向登录的话,你看他首先会有个账号以及密码, 其次它还会有一个验证码,对吧?这种验证码的话,我们是把它称之为叫做图片验证码,如果你也对前端逆向攻防感兴趣,老何啊,我专门给大家准备了爬虫逆向实战的一个直播课,拆解目前市场主流的一些前端加密技术,还配套录制了全套的逆向入门学习视频,大家记得在粉丝群里面来进行获取。那么首先我们先在上方,我们随机的来输入一个用户的 id, 然后输入一个密码,然后像在下方,然后还有个验证码啊,来我们可以看一下,它是属于 z p 八八 c, ok, 然后我们来点击登录,那么当我们去点击登录的时候,我们可以看到这里给我们返回了一个页面,他给我们返回了一个用户不存在,对吧?那么在这里请大家注意啊,像这种逆向登录的话,它里面会有一些坑,会有什么坑呢?首先你看我们打开它的工具啊,我们来进行监听, 就是它当前的数据包啊,它是进行了一个重定向啊,你看 dj 它是进行的重新的一个载入,你看啊,你看我随便说的啊,来点击登录,你看 它是不是给我们进行重置了,有没有发现?你看它进行重置了,就重新的去跳转到了一个新的页面,并且帮我们来进行标签的一个呈现,那么在这种情况下的话,我们可以看到我们像在下面的这个网络监听啊,就没有监听到对应的数据, 是吧?所以就没有监听到,对不对?那么像这种的话,朋友们你们需要来注意一下啊,当然它这里其实是可以看到是有的啊,它这种其实是采用的以 html 的 形式来进行它的一个重发, 但你看这种比较简单,比较常见的一种逆向登录的一个方式啊,对吧?做的是他的,你可以理解为就是他的一个 dom 的 一个接口,对吧? dom 接口 做一个重发,目前像在市场有很多的网站他都是采用的这么一个逻辑啊。好,那么像在这里我们可以来看一下啊,来看一下他是如何来进行他们这么一个重发的啊?来,首先我们一般遇到这种,我们首先要勾选这个保留日记,然后把数据清空, 那么当我们勾选这个保留日记之后,当我们在这里去进行他的载入的时候,在这个地方他会来记录我们上一次的一个信息啊,他把我们相对的日记信息啊来进行记录, 那么像在这里我们可以尝试输入一个密码,然后你看我们再输一个验证码,你看点击他的登录,是吧?来点击登录,你看那么现在我们像在下方的这个接口里面,哎,我没有登录成功吗? 啊?验证码不正确,少了一个位,少了一位,对吧?少了一位来点了登录,你看,那么这样的话他在下面,是吧?你看他会有一个记录看没有,因为他会把当前的 logo 信息来进行记录,看没有, 对吧?他其实实际上在这个地方啊,他其实是有做了一些信息的一些请求,你看我们打开看一下啊,你看我们可以看一下,这里面会有,你看它是基于他当前的 image 页面,然后在这个地方啊,它里面分别会有我们输入的图片验证码。其次它这里对我们的密码是进行了加密,然后还有一个时间戳, 那我们可以看一下,好,那么像在这里你看,我们可以来把它构建成一个 python request, 来鼠标右键来点击复制里面的 c o l, 也就是我们的背行的一个格式,然后我们像在这里我们快速给生成一个,这种生成一个,好吧,那么在这里我们会涉及到几个逻辑呢?第一个我们看它里面的密码是加密的,是吧?你看,首先 密码在传输的过程当中 是加密的,其次它还有一个图片验证码,对吧?还有一个图片验证码,那么像图片验证码的话,我们肯定也是需要去做它的一个识别,对不对? ok, 那 么在这里我们可以来看一下啊,我们首先当把它构建成一个 python request 之后啊,我们将在这里我们可以来尝试一下。来,我们构建 ok, 构建 ok 之后啊,我们现在我们来尝试一下啊,来,我们打开我们的 python 代码,在 python 的 代码里面我们去生成一个我们的一个文件, 来,我们在这个地方我们去生成一个啊,这个是数据加密,来我们生成一个文件来新建一个文件夹,对吧?某小说网逆向登录,来,我们新建,然后新建, ok, 之后我们来创建一个 python 文件,来扣的一的,创建 好把它掏过来。 ok, 那 么像在这里我们可以来看一下啊。首先像在这里的话,这个应该是动态的啊,这个是对应的是我们当前的用户名,对吧?用户名,然后其次这个是对我们的密码来进行的加密,这是我们的密码, 对吧?然后其次这个是我们当前的图片验证码,那么我们其实在做请求的时候,我们其实是先要来请求图片验证码,然后进行识别,然后把它传入,对不对?然后像在下方这个地方有个 ps 的, 这个地方可以很明显看到它是一个时间戳。 ok, 然后我们再看一下请求头,然后在当前的请求头里面的话,我们是可以看到在请求头当中啊,并没有发现它的一些加密的位置,那么也就是说我们现在要解决两个重点,无非第一个就是它里面的密码的一个加密,然后其次就是图片验证码,对不对?两个逻辑啊?图片验证码好, 那么像这里我们直接返回的数据,我们直接返回的是一个文本,呃,点 tst 是 吧?打印我们的 response 就 可以啊, ok, 啊,对吧?好,那么我们像在这里我们来看一下啊,那么在这里的话,我们首先我们先来解决第一个逻辑,就是这个验证码的一个问题啊,这个加密我们等一下再讲,好吧,我们先来看一下验证码的一个问题啊,这个是实操了,啥网站?呃,某一个小说网的一个逆向登录, 某一个小说网的立即登录,那我们来看,那么首先在这里啊,我们首先要看的就是当前这个验证码,对吧?我们可以尝试把下方数据清空,重新刷新当前的验证码啊,你看我们输一个账号,然后在这里刷新一下验证码来刷新,当我们去进行验证码刷新的时候,你可以看到在下面啊,它是直接给我们产生的一个验证码的一个接口, 对吧?你看这个是不是我们当前验证码的图片接口,你看我们可以再次进行刷新,是吧?你看是不是?而且在这里他会变,朋友们有没有发现就是我们当前的这个验证码的获取接口啊?他在这里面会有一个呃, m 的 一个参数,对吧?我们可以标识一下,我看一下啊,就是看一下这个验证码有哪些参数是变的, 对吧?我们可以看到他变的话,应该是当前这个 m 值是动态的,对不对?就当前在验证码的获取这张图片的获取接口里面,它里面的这个 m 值是变化的,你看 是不是,对吧? m 值是变化的,所以我们要注意啊,那么在这里我们首先你看,我们先来对图片验证码来进行一个处理,你看我们同样的来右键来复制里面的 c、 o、 l, 我 们来看一下来生成一个,这个是一个图片验证码的一个请求, 然后里面的 m 是 变化的,那么我们像在这里我们就要去看一下当前这个 m 的 值,对吧?有没有可能是由服务器来进行返回, 是吧?我们要注意一下啊,因为像这种验证码的话,它里面可能会有接口,明白吗?可能会有接口,所以我们在这里可以尝试进行它的一个整体的一个刷新,对吧?然后在这里大家记一下啊,这个是当前我们的验证码的,对吧?它的一个路径,这样把这个验证码当前它的路径给它记一下, 然后我们现在在页面当中进行整体页面的刷新,看好先把它清空,然后进行整体刷新,整体刷新之后打开这个放大镜来搜索当前路径,当我们去进行搜索的时候,其实我们可以看到来我们点过去,是吧?来在这个地方它是有包含的我们的一个,对吧?网址啊,有个网址包含了它, 那么其实在这个地方我们就很明显可以看到它应该是基于单独的一个请求,对不对?是吧?但是你们要注意啊,就是要注意当前这个验证码,对吧?验证码它的一个载入,它有没有可能是由当前的 html 页面的返回 啊?它也有这种可能面吗?所以我们要注意一下,看一下它有没有可能是当前的 html 页面的一个返回,所以我们可以看到它当前的到页面,也就是纯静态的文件,我们打开它,在来源面板打开,然后当打开之后我们在页面当中去进行它的定位看把选中选中之后进行定位,你看 我们来看一下啊,就在当前这个地方,我们去进行它的一个搜索,在原代码页面里面进行搜索,记住哦,搜索一下,然后当我们去进行搜索之后来你可以看到其实当前这个以这种形式进行返回,那么什么逻辑呢?就是当前的这个验证码,它其实像是一个动态渲染的, 它是动态渲染的,各位请看它是一个动态渲染的,你看它这里在源代码里面没有,因为在当前这个源代码当中,我们所看到的这个页面是什么?属于纯静态文件,那么我们在元素里面看的是为什么在元素里面有?我想问一下,我们在元素页面当前的整体元素界面,元素页面是 html 吗? 不是吧,对不对?元素页面的话,整体来说我们应该是把它称之为叫做 dom, 是 不是?它是一个 dom 节点对不对?它是属于 dom 节点,叫做 document 是吧?啊?不叫动态页面啊,它叫逗是吧? document 是 吧?所以我们像在这里你们要注意啊,这种简单的动态页面和动态页面的区分你们要搞明白, 那么也就是说其实很明显当前的话,这张图片我们是不是要来对这张图片来额外进行处理,来进行调试?我们来看一下这个图片它的这个加密是怎么来的啊?你看因为当前图片请求里面会有个 m 的 参数,这个 m 的 参数而且都是变化的,我们可以在这个地方去调试一下它。 首先在这里我们找到他在后面的这里的栏目叫做启动器,我们点过去,然后打了一个断点,这个是当前的一枚机的一个获取的一个逻辑,对吧?就是来获取图片的一个地方来,我们来刷新当前作业码,然后会进行断点,那么当他进行断点之后,我们就进行观察,在这里有没有出现我们的 m 参数,没有,对不对?向上推一步 都没有,来我们来看,没有,没关系,来我跟大家讲一下啊,其实各位请仔细观察,其实我们在当前这个地方的话,我们可以看到它当前的验证码的一个加载啊,它里面其实际上它的构成啊,其实采用的是一个, 你看我们往往后翻吧,它其实在后面所生成的这个就是这当前这个验证码这个 m 的 生成,他其实说白了他是一个随机数,对不对?他其实就是一个随机数,你看他通过这个随机数来变化,是吧?来变, 对不对?那么在这里我们现在当前的这个请求,我们是不是也是把它修改成一个随机数就可以了?你看首先两个逻辑,第一个逻辑先进行基本的请求,对吧?也就是这个是当前的图片验证码的请求, 对不对?然后这个地方是一个随机数,那么我想问一下,在我们 python 里面,我们是不是可以用纯 python 来实现 import 导入一个 m a t h, 然后通过它来直接进行快速生成,对吧?来生成记录,转录上来点我们的 roundup, 哎,好像没有。 各位请看我们这个地方可以生成成功吗?我们可以尝试一下,我们可以试一下啊,看一下我们当前去请求当前的验证码地址,对吧?请求验证码地址,它是否能够正常地来把当前的图片来进行返回,来评论的打印我们的 response, 我 们看一下它能否正常返回,失败了吧,对吧?它里面没有这个方法,看没有 对不对?那么像这个方法我们又该如何去实现呢?你看我们想用纯 python 去实现啊,有没有哥们知道的? 不晓得,不清楚是吧?啊,我们是做监视逆向实战直播啊,可能会有一定的难度,我而且希望大家能够参与进来啊,因为我们学技术嘛,对吧?学东西肯定要参与啊,其实没关系,如果我们遇到这种很尴尬的情况,不会的话,大家一定要学会使用 ai, 目前 ai 的 话,我建议各位去使用这个 mini 就是 谷歌的它旗下的这个 mini, 用 mini 来说实话,目前整体来说是非常好用的啊,你看在 node js 当中,我们可以进提问,用 ai 来帮助我们在 node js 当中 等使用 python 实现。哎,这很简单的啊,它其实也是一个类似的一个方法,你看我们直接可以使用 run down, 点 run down 看没有,是直接可以构成看没有,其实方式方法是一样的,对吧?其实只是说它里面的第三方库会进行一些变化,所以你们注意一下就可以了, 你看都非常简单。那么像这样的话,我们当前请求之后,我们当前的图片是不是,你看 response 为两百对不对?是不是请求成功?那么当他请求成功之后,我们是需要把当前图片来保存到本地,可以来看一下,我们保存这张验证码使用一个 which open 啊,这简单语法我就不讲了啊,保存当前验证码来扣的点 p n g, 然后 w b, 为什么要用 w b 呢?因为它是一个禁止文件对吧? a 字 f, 然后使用 f 点 which 写入 response, 点 content 图片,因为图片都是十六帧制的啊,所以我们使用 ctrl 然后执行,那么在当前我们的本地,他是不是就会储存一张图片验证码,你看我们把它打开对不对?你看是不是储存了一张图片验证码? 那么现在当我们的图片验证码 ok 之后,我们现在是要识别它来识别当前这个验证码。首先这种识别啊,我们有很多方式,第一种我们可以直接自己做,那么如果我要自己做的话,首先我要先这样照 记住这种图片我们是要降噪的,其实说白了就是可以把中间的这种,你看有这种黑色的这种虚线,看到没有,这种黑色的虚线我们可以通过 open cv 来把它进行处理掉, 对吧?把这种虚线我们都是可以处理掉的,甚至我们很多朋友们如果说你不会写都没有关系,我们其实都可以记 ai, 我 们记 ai 的 方式是可以来快速的把当前这种虚线给它处理掉,模糊化处理, 对吧?做魔化处理,魔化处理完成之后,然后再做我们的灰度处理,灰度处理对吧?其实你们可以计算一下里面的法子,就是把这个黑色的,就是当把虚线去掉之后,把黑色的进行加深,把白色的进行减弱,那么这样的话它识别率会更高一点。当然了这是目前本地实验一些方式, 其实你们也可以通过一些第三方库,比如说像目前在市场我们通过像这种验证码识别其很多方法的验证码识别我们最常见的,你看我们可以直接使用 d、 d、 o、 c、 r, 对 吧?或者一些第三方库,你像 d、 d、 o、 c、 r 的 话,目前是在一个 app 上面一个开源的一个 o、 c、 r 的 一个通用验证码的一个识别的 s、 d、 k, 是吧?我们可以直接使用它来进行验证码的识别,它下方的话是有提供很多的功能,你看你像我们要识别的这种图片验证码,你看是不是非常简单?我们直接对它进行加载,然后进行识别就可以了,你看还有现成的代码对不对?两三行就可以搞定。或者我们可以基于一些第三方平台,那么像目前第三方平台,我建议各位使用云码, 云码目前在市场整体来讲啊,云码其实也是非常不错啊,云码是非常不错的一个接码平台啊, d、 d 识别率比较拉垮,我们可以试一下,没关系,你看首先我们在这里,你看首先先导一个包,对吧?导一个 d、 d、 o、 c、 r 的 一个识别的第三方模块, 然后在下方我们进行我们的验证码的一个识别,对吧?你看这是我们当前验证码的一个识别,那么像我们当前验证码的识别,它这里会做一个读取,看没有做一个读取,我们是不需要做读取的啊。给大家讲一下,就是我们现在正常来讲,我们是可以直接把当前的,因为你们要记住 当前验证码的识别所识别的内容,它其实实际上就是一个字节嘛,对不对?我们可以在这个地方直接去识别我们当前的 content 就 可以了,就是识别我们当前的 response 点 content, 因为它本身就是十六帧的嘛。然后当我们识别之后,可以看到识别是很比较拉垮的,你看三 x x q 三,而它真的是 x x q 三吗?不是的哦,我们没有保存,是吧?我们可以保存一下,这样的话我们方便我们对比一下, 你看识别出来为 o j e v, 那 么我们现在看一下当前这张图片是不是 o j e v, 是 吧? o j e v, 你 看是可以识别成功,看没有, 对吧?识别成功只是说比较拉垮,然后在这里面它输出内容比较多,是吧?你可以把这些东西关掉,你直接使用 ctrl 加鼠标点击进入这个 class 的 这个里面,然后在这里面它里面是有一些我们的一些设置,你们可以去根据你们自己的所需求去进行设置。呃,是哪边看不清左边还是右边 啊?你是哪边看不全啊?看不全的话可以说啊。哦,左边,左边这边你没必要看全,左边的话你们能够看到这个地方就可以了,我当前截图的这个地方你们能看得到不? 就这边过去,这边再再过去的话是很多都是行号,这种行号不看也没事。对啊,你们主要核心你们是看一下这里,我当前截图的这个地方,大家看一下也没问题, 我截图的这个地方你们看不到,要不再把它拉过来点 这个小灯泡,大家能看到不?这个地方,刚才我在点击的这个地方 可以了,是吧?好,那我们来看啊,那么在这里面的话它有很多的一些方法,你看它里边有很多的一些指向,你们可以根据自身的需求去进行选择,就是比如说我们可以,对吧?在这里啊,你可以在在,在它的初设化里面来,就这个地方, 在他的初识化里面,在他的初识化里面有很多功能,首先你如果说你们的本地的硬件是比较强的,如果你的本地的硬件是比较强的,那你们可以开启硬件加速,明白吗?开启硬件加速,我这里直接关闭广告就可以了,我就关闭他的广告,把他广告给关闭,你看这个叫做 gpb, 我 看一下当前验证码,是吧? gpb, 对 吧?识别还是没有问题的啊,可以正常识别,那么我们把最终的识别出来的结果把它填充到这里面去不就可以了吗? 对,这是他识别出来的内容。然后其次我们现在还需要做一个操作,就是可以看到当前他的请求里面可以看到他的密码是进行的加密的一个传输,对不对?那么我们是不是还要去分析一下,看一下当前这个密码是怎么构成的?首先你看我们当前选中这双字母串,但也没发现他当前的长度是为三十二位,对不对? 你看我们选中它,在下面我们是不是能够看到当前的字幅创的长度是为三十二位。然后这边还没有关注的朋友们可以点点关注。好吧,我看了一下,怎么大多数都是都是我的好友啊,是吧?哈哈,都是基本都是好友,对吧?呃,没有关注的朋友们点击关注一下啊,好不好?视频号这边也是首播对吧?后续的话可能也会慢慢考虑,会在视频号这边播。 好,你看那么像,在这里像这种三十二位的话,那么我们立马能联想到是什么? md, 五加米,对不对?是吧? md, 五加米, 那么像,在这里我们可以去尝试进行搜索一下,你看来到这个页面当中,我们在当前这个页面过来进行搜索,我们来搜索一下,看一下能不能找到这个关键字。当我们去进行搜索的时候,其实我们是可以看到在当前他是有一些关键字的一些声明,对不对? 你看是有一些关键字的啊?呃,当然了,如果你们找不到关键字,我们也可以去调它里面的堆栈,是吧?我们调里面的堆栈也是 ok 的, 就是我们在这里他会有一个完整的登录接口, 对吧?在这个登录接口里面它会有一个插入 r, 我 们可以去捕获它当前的插入 r 的 一个重发。那你要记住哦,因为它当前是属于像这种 html 的 一个性质,也就是 dom 的 一个文档,那么像这种的话,我们其实就跟不到它的赞, 明白吗?这种的话我们是跟不到它里面的赞的,那么像这种我们该怎么去进行定位呢?首先讲的第一个方式,刚我讲的搜关键字,对吧?可以这样搜,这样搜的话,其实你可以看一下这里面应该有的啊,或者你们可以搜一些比较明显的像这种 intrep 这种关键字啊? intrep 没有,是吧?那你就直接搜这个吧, 对吧?这个里面应该是有的,对吧?你看搜这种关键字,你搜索这种关键字之后,你看我们其实是可以找到的,你看在这个地方其实它是有一些处理,你看是不在这里有个处理, 你看我们可以多看几个,是吧?它无非就这么几个,你看它在这里是不是也有个处理? pwd 嘛?你看是不是也有处理?然后我们再看一下下面, 下面没有了,对不对?你看,那么我们现在再进行点击登录,我们试一下啊,点击登录一二三四,验证码是四位啊,点击登录,你看它是不会断点,然后断点之后,首先它会出现一个名门密码,我们当前的 pwd, 这是我们明文密码,然后通过外面的这个方法对里面的明文密码进行加密,我们可以看一下里面的方法,这个里面的方法看起来很复杂,对不对?我们现在只要做一件事情,干嘛去测试,去测试当前这个方法它是否为标准的 md 五加密算法,对不对?我们去进行加密。大一加密法加密一个阿拉伯数字 e, 但我们会发现 输入一个 e, 它的输出结果也是 e, 那 么也就是说我们这个当前这个地方它应该是没有执行任何加密操作的, 你看是吧?他是没有执行任何加密操作的,那如果说他没有执行任何加密操作,我们可以向下走来走,走到这个地方,那么走到这个地方,我们看一下当前这个地方啊,他会有两个参数,对吧?来我们看一下这个地方他的输出的结构, 这个是我们对的加密参数,那么朋友们请注意,很多人就会说,哎,这不就是 md 五吗?不对,为什么?因为当前输入了两个参数, 是吧?有两个参数,一般算作有两个参数的话,我们要了解一下啊。目前在消息第二加密算法当中, md 加密算法只有一个被加密的内容,对不对?我们需要去观察一下当前方法,在当前方法当中,它实际上是做了,有做了额外的一些处理,做拼接的,看,没有?这里是做了一些加盐操作, 它里面是做了一些加盐操作的啊,同学们请看,你们能看到这个代码不?我把格式化一下,看看清晰一点,你看它里面是做了一些加盐操作,什么叫加盐?就是额外的拼接了一些相对应的一些自创,对吧?甚至像这种入两个参数的,它甚至都有可能 是 h m a c m d 五加密,对不对?是不是都有这种可能?好,当然了,没关系,我们先试一下啊,那么在这里我们可以分别去观察一下它这个地方啊,其实说实话,大家请看,它做了两次加密,你们千万不要把它顺序搞错了。 首先你看第一个,它先是在里面做了一次 h e x 的 加密的一个自创,然后去拼接了我们的一些信息,你看先是做了第一次加密,做了第一次加密之后,然后再是在外面再来进行第二次加密,第二次加密我们当前的这个自创,是吧?两次加密,朋友们,你看是不是两次加密? 是不做两次加密,那么它的主体加密逻辑,首先你看,那么我们无非就去测试 h e x 的 md 五加密方法,我们加密一个自创一, 你看标准的 md 五加密看,没有它这个就是一个 md 五啊,你可以找一个在线的 md 五加密,对吧?在线的 md 五加密,我们进行测试,你看加密一个一,我们加密一个一,你看加密出来的结果是一致的,那么也就是证明当前这个地方,你看,首先这是第一次加密,对不对?你看第一次加密, 第一次加密的话,无非就是你看声明一个字框 seed, 对 吧?这个 p w d 为我们的铭文密码,然后这个 data time, 这是我们的当前的一个闲戳,我们可以去看一下嘛,因为刚我我分析看够了啊,你看它是不是当前的一个闲戳,它好像是一个固定的数字, 对吧?你们看这个地方,它好像是一个固定的数值复制死的,它是复制死的一个参数,它不是显错,这个地方它还不是显错,对吧?我还以为它是显错,对吧?我发现它是一个死参数,那如果说它是一个死参数,那么我们在这里可以把替换,对吧?它其实就是一个自创, 对吧?记住啊,像这种的话,我们要把它转注创,对吧?要把它转注创,对吧?给代号就可以了,要改一下,因为在 python 里面整数跟注创是不能拼接的啊,你们要注意啊。然后这个 p w d 就是 我们当前的密码,我们随便输一个, 这个是我们的密码。好,然后把这个思俊来进行 md 五加密,是吧?我们来进行一次 md 五加密,我们直接可以用呃, ai 帮我们写一个啊,这个非常简单,对吧?你看,帮我们写边写一个, 对吧? python 编写 md 五加密,你看,呃, very so easy。 那 么在这里它会直接帮我们来实现一个基本的 md 五的一个加密的一个函数,我们把它复制下来, 好,那么现在我们要对它来做两次加密处理,对不对?我们要做两次加密,首先第一次加密来床,思俊 第一次加密,第一次加密完成之后再来做第二次加密,是这样的一个结构,然后我们现在就会得到我们的 t s t p w d, 非常的 so easy, 搞定了, 你看做两次,对吧?你看纯拍摄实现啊,我们一点都没扣 g s 代码,就是去分析 g s 代码,然后把里面的参数什么都分析清楚,这里有个时间戳十位,十位的话,那么我们可以直接打包, 它是一个十位的选项啊。 import 导入 time, 然后直接生成 time, 点 time, 就 最基本的是十位吧,啊?十位,对吧?它是十位的啊,来四舍五入 time 点 time 就 可以了,你看三个动态参数,一个密码加密,用户名也是动态的,你们自己处理啊,然后其次验证码,其次我们的时间戳,你看这里请求,你看就没有问题了, 对吧?你看是 ok 的 啊,只是当前我们的账号密码错误的一个页面, 对啊,我们当前返回的是不是一个账号密码错误的一个页面,对吧?那么在这里你看,如果我们请求成功的话,正常来说你输入正常账号跟正常密码的话,那么他返回的就会返回,应该是一个接,呃,返回一个 cookie, 那 应该会返回一个 cookie 啊,这个你们继续处理,好吧,我们着体核心是学习一下里面的加密,好吧, 来我们看一下,那么像这个网站的话,我们大概的给他一个结论,这个网站我们可以看到这个网站是非常的简单,对吧?适合咱们在座朋友们做入门级别的练习。
粉丝6776获赞3.2万

本视频耗时三个月,制作共计九十分钟,一口气带你速通拍摄爬虫动画教学,通俗易懂,讲解经验,绝无废话,看完让你光速入门爬虫,那么我们开始吧!在网站中我们会发现登录之后,用户可以看到更多的内容,比如购物、网站中的购买记录,个人信息等等。 这些内容通常需要我们在访问网页发起请求时输入了登录信息才能够获取。每次想要看到新的内容,刷新网站时都会发起一次新的请求, 服务器就会像第一次见到你一样要求你重新登录,那也太麻烦了吧。为了解决这个问题,这个时候我们就可以使用上 cookie 了。 cookie 就是 保存了用户信息以及用户的喜好的一串字母。当你使用浏览器第一次登录该网站时,服务器就会创建这个 cookie, 然后响应内容的同时, cookie 就 会被浏览器保存下来。浏览器在下次向同一个网站的服务器发起请求时,就会携带它。服务器经过识别 cookie, 知道了用户的身份,就可以避免重复登录,并且能够根据用户的喜好响应页面内容。 为了更便捷的浏览网站,提升用户的体验感,在浏览器中发起请求时,携带 cookie 就 变得非常重要了。我们怎么才能找到这个 cookie 呢?首先我们打开浏览器, 在网站中我们有两种方式可以进入开发者模式,第一个就是按下键盘中的 f 十二键,第二个我们可以在页面中空白的位置右击点击检查, 找到网络的选项卡,然后刷新一下,重新加载数据包。在这里我们可以找到最上面的文档, 在请求的标头内找到这个 cookie, 那 么这个 cookie 就是 浏览器保存的 cookie 了。有同学就会发现,这个浏览器中我并没有登录,为什么还会有 cookie 呢?这是因为 cookie 分 为两种。 第一种,零食 cookie。 如果你没有登录网站,浏览器会设置一个零食 cookie, 发送请求时携带给服务器, 这个零食 cookie 在 浏览器关闭之后会自动删除。当然这种零食 cookie 也没有保存个人信息和个人账户的作用。第二个,持久 cookie。 这个持久 cookie 它会设置有效的期限,有些网站可能是三到五天,有些可能是半个月或者一个月。大家可以观察,我们在浏览器中登录了一个网站之后,过一段时间再次进入的时候,您就是需要重新登录呢,这就是因为 cookie 已经过期了。 了解了 cookie 的 类型以及获取方式之后,我们进一步来看在爬虫程序中如何实际应用。 通常来说,我们有这么几种情况,在爬虫程序中需要使用到 cookie。 在 网站中,如果需要登录才能访问的页面, 例如用户个人中心或者账户信息,会员专属内容等等,那么我们就需要使用到这个 cookie。 第二种,保持绘画状态。像我们在网站中浏览小说,每一次翻一页或者点击到新的下一章, 就需要刷新一下页面,那么就要保持这个 cookie 状态的存在,那么我们就需要使用到 cookie。 第三种,某些网站通过 cookie 验证请求合法性,首次访问会设置 cookie, 如果没有检测到 cookie, 那 么就会认定你是爬虫,不返回给你信息。这个时候我们就需要在爬虫程序上携带上 cookie, 如何在爬虫程序中写带上 cookie 呢?两种方式,第一种在请求头里面携带 cookie, 这种方式我们可以在爬虫程序中这么写, 将 cookie 加入到 healers 里面,然后爬虫发起 get 请求时,携带这个 healers 里面的 cookie 就 可以了。第二种方式就是设置 cookie 参数,我们可以创建一个 cookie 字典,然后将 cookie 里面的属性和值写到里面,然后在发起 get 请求的时候 加入上 cookie 这个参数。那么讲了方法之后,我们在拍唱中来练习一下到底如何正确使用吧。这个视频我们要做的是抓取百度登录后的个人中心页面。首先我们在浏览器中 打开百度,我已经提前登录好了百度的账号,那么我们要抓取的页面内容就是这一页的个人中心。 我们做了一个爬虫程序,需要获取到登录的网页 url, 那 么我们在浏览器中直接在地址栏里面获得这个 url, ctrl 加 c, 然后复制粘贴过去, 写上 url, 等于刚刚复制的那一串 url。 发起请求我们需要使用到 request 库,那么在这个上面我们先来导入 request 库, 导入 request 库之后,我们来抓取这个网页中的内容。抓取网页中的内容不只是需要单纯地发企业的请求就行了,因为网站的服务器会识别是否是爬虫,那么我们就需要写上一个 healers, 在 healers 里面 创建一个字典,在 heds 里面写上 user agent。 如果 user agent, 我 们也可以在百度的开发者模式里面找到网络,然后刷新整个页面, 刷新之后我们找到这个文档,就是整个页面的 html 文档,点击之后找到请求头里面的 user agent, 直接复制粘贴就行啦。最重要的一点就是 user agent 我 们复制过来 是这个样子的,我们需要将它切换成字典中的键值,对,那么写上 user agent, 然后写上冒号, 将它改为字母串模式之后,我们还要获取到的 cookie。 为什么要获取到 cookie? 因为是在登录后才能出现这个页面,没有登录就没有这个界面,那么获取这个 cookie 也是在这个选项卡的网络中 找到这个库体直接复制。大家要注意的一点就是不要复制多了,也不要复制少了, 然后在拍唱中粘贴进去。我们需要注意的一点就是每个键值队之间我们需要用逗号隔开,这是一个非常细节也非常小的一点,很多同学可能会忘记,那么现在我们在 user agent 的 这个键值队后面加上逗号之后, 写上第二个键子,对 cookie 粘贴过来,写上 cookie, 加上这个冒号,大家会发现还是爆红,这是为什么呢?因为我发现百度它有一个问题,就是它在它的 cookie 里面加入了一个 双引号,那么这个双引号就会与前面的配对,我们构建的这个字母串就不会成功。想要取消这个双引号在 python 代码中的作用,那么我们就需要使用到转移字母,将它变成一个普通的字母, 然后我们再滑到后面去,这个也是百度自带的一个双引号,我们也加上,然后在这里我们重新给他加上引号。 获得到了这个 cookie 之后呢,我们就可以使用 heaters 发起这个请求了,写上 response 等于愉快的发起了请求。那么这个 cookie 呢?因为我们并不是创建了 cookie 属性,直接只要写这个 heaters 就 可以了。 现在我们来看一下能不能发起请求成功。打印一下我们发起请求的状态,现在来运行这段代码,可以看到运行结果是两百,说明能够运行成功。 成功运行之后,我们就来保存这个个人中心的页面。首先我们注视掉这个打印的状态,写入文件 with open。 在这个页面中,我们将页面的内容写到这个 html 里面,再来运行这段代码。进程结束之后,我们直接看到这里已经出现了这个,那么我们打开这个页面,直接在浏览器中打开, 大家可以看到我们几乎得到了一个与个人中心完全一致的页面,这就说明我们已经抓取成功了。还有一些不一致就说明它并不是写礼物在 html 文档中的内容。 总之这个 cookie 呢,是网络爬虫中重要组成的部分,合理的使用 cookie 可以 帮助我们为后续更复杂的爬虫场景打下基础。 在这个信息爆发的时代,如果你能够精准快速的在海量信息里面获取到数据,那么毫无疑问你就掌握了这个世界的财富密码。无论是在学习时查阅资料,还是在金融领域投资需要的市场分析 线上,也可以通过数据了解到消费者的喜好,这些都需要可靠又及时的数据作为支撑,于是网络爬虫就应运而生了。网络爬虫简而言之就是自动抓取并保存互联网上的信息的程序, 而爬虫程序有分为两种,第一类,通用爬虫,通用爬虫又称为全网爬虫,像搜索引擎谷歌、百度,它们的核心组成部分就是通用爬虫,它的目标就是尽可能广泛的抓取互联网中所有相关的网页, 并且储存起来,然后提供给用户使用。第二类爬虫是聚焦爬虫。与广撒网的通用爬虫不同,聚焦爬虫有明确的目标,它只针对特定的主题或者网站进行抓取, 并且只采集与需求相关的信息,过滤掉无用信息。例如在购物网站中,它只抓取商品的名称以及商品的价格,将这些数据储存起来, 方便我们更高效、更精准地对数据进行分析。那么聚焦爬虫就是在通用爬虫的基础上,过滤掉了无用的数据。过滤的方式我们主要使用正则表达式、 beautiful soup 和叉 pad, 从原本的网页 html 中提取到我们想要的内容。 相信你已经观看了之前的视频,利用 request 库模拟发起请求,抓取了整个网页中的数据,成为了通用爬虫。 那么之后的视频课程中,我们将重点讨论聚焦爬虫的实践,掌握如何利用正则表达式、 beautiful soup、 叉 plus 这些工具,从庞杂的网页源码中 精准地获取到我们需要的每一份数据。爬虫的主要工作就是获取网页中的信息,而网页之所以能够呈现出各种各样的样式和内容,都是由其背后的源代码 html 构成的,而 html 源码长这个样子, 想要在网页中找到它,我们可以在浏览器中按下键盘中的 f 十二键,或者右击点击找到检查, 这样我们就可以在开发者工具中查看 html 源码了。整个网页的源码长这个样子, 其中包含了非常多的坚括号,这就是我们所说的标签,网页中的每一个图片、文字、链接等内容都是通过这些标签组织显示出来的,这些标签大多长这个样子,每一组标签都是由开始标签和结束标签组成的,内容就位于两者之间, 不同的标签效果也不同。例如在网站中,图片都是由一米七标签渲染显示出来的,而在一个网页中又不会只有一张图片。如果想要更加精准的抓取图片元素,我们可以抓取这个元素中的属性。属性一般写在标签名的后面, 采用属性等于属性值的形式,像 id 属性和 class 属性就是非常常见的。在网页中同一类型的数据,通常 id 名或者 class 名就相同,我们可以通过抓取这两个属性来达到抓取同一类型的数据。 例如在网页中,我们想要抓取百度中的热搜词条,我们可以点击这个小箭头, 然后将鼠标移动到热搜词条上面,可以看到它是由一个 class 名为 title content title 的 span 标签包裹起来的, 而我们来见证一下其他的热搜词条是不是也是由这个 class 名包裹起来的呢?点击这个小鼠标再次查找另一个热搜词条,可以看到也是由一个 title content 开头的 span 标签包裹起来的。 说明我们只需要抓取克拉斯名为这一个的 spin 标签就可以抓取到热搜词条,这就是网页中单个标签的呈现形式。而在网页中,两个标签之间也存在两种关系,第一种并列关系,多个标签在同一层级中互不相见,像标签一和标签二, 我们称这样两个标签之间的关系叫做兄弟标签。第二种是包含结构,一个标签内嵌套其他的标签,形成了父子关系,通常父子标签之间的关系会通过缩进来表示。 在这里我还要给大家介绍一种 html 中的特殊标签。 a 标签是网页中实现跳转的核心标签,大家会发现在网页中,当我们点击一个内容,会跳转到别的网页中,比如说我点击百度热搜中的词条,大家注意网址栏中的变化, 点击之后大家可以看到网址栏中的 url 发生了变化,而 a 标签又是实现这个功能的关键。 a 标签中的和属性用来指定目标地址,大家可以看到,如果我点击这里,也可以跳转到指定的目标地址中。在接下来的学习中,我们将学会如何识别和提取这些标签中的数据, 特别是如何跟踪 a 标签中的链接,从而让爬虫能够自动便利整个网站,高效的采取我们所需的全部信息。 通过今天的学习,相信大家已经了解了网页中的标签存在一些什么结构,我们能够通过抓取网页中的标签来获取到想用的信息。你想不想从网络上那些海量的网页里面快速的提取出自己想要的数据呢? 网络爬虫能够将网页中的数据全部抓起下来,数据是齐了,但是抓取的数据往往包含了大量像广告这样的无用信息, 如何从这些混杂的内容中精准筛选出我们真正需要的信息呢?那么接下来的视频我将告诉大家如何使用正则表达式过滤无效信息。 正则表达式的主要作用就是从一堆文本中匹配到我们自己想要的字体,而网页的原始代码就是一大段的文本。 在拍摄中,我们通过 r e 模块来使用正则表达式筛选出想要的数据。因为要使用到模块,所以在每个需要正则表达式的文件上方,我们写上引或者 r e, r e 模块中的 find 方法就可以帮我们从大量的数据中筛选出想要的数据。 使用的方法就在括号内写上正则表达式,表示想要筛选出什么样的数据,然后是从哪一个文本中筛选。例如我们这样写,想要在一二三四五六七八这段文本中筛选出一二三四五六,那么 使用了 find 方法返回的结果就是一个包含了匹配结果的列表,并且 find 方法会查找四符号中所有匹配的子串, 如果没有匹配的项目,就会返回一个空的列表。了解了文档方法的基本用法后,我们可能会发现一个问题,如果我们不知道数据具体是什么内容,如何精准的描述我们想要匹配什么样的数据呢? 这正是正则表达式原字母能够发黑作用的地方,原字母能够让正则表达式精准的表达想要哪一类字母? 最基础的特殊字母有四种,第一种,反斜杠 b, 它能够匹配数字,我们使用反倒方法这样写,那么匹配一二三四五六七八这串文本中的所有数字就会返回这个列表。 第二种,元字母点,除了画横幅之外,点可以匹配所有的字母,那么同样匹配一二三四五六七八这个字母,那么返回的也是一二三四五六七八。 第三种反斜杠 w, 它匹配单词字母,可以匹配字母数字和下划线。第四种,反斜杠 s, 可以 匹配单词与单词之间的空格,返回的也是一个空格。需要注意的是,元字母只能匹配一个字母位置, 那么一个反斜杠 d 就 只能匹配一个数字。而 final 方法会找到文本中所有符合正则表达式的字母。 只匹配一个数字的话,就会把一二三四五六七八这个连串的字母串切分成单个的八个元素的列表,并且原字母非常多,使用到了反斜杠, 通常我们会加上前缀 r 来避免转移问题。字母主还提供了更多的选择,比如说使用中括号来表示想要这个字母代替什么, 这个中括号内的字母也只能匹配一个字母位置。例如在 hello 这串单词中,哪些字母是符合 a、 e、 i、 o、 u 这五个字母,那么就会被匹配出来。 除了匹配指定的字母之外,我们还可以写上零到九,就表示匹配从零到九之间的数字。使用编码方法就可以匹配出文本中所有的数字。 同样我们也可以使用中括号写上大写的 a 到 z 或者小写的 a 到 z, 这样子匹配大写的 a 到 z 就 只会匹配出大写的字母。匹配小写的 a 到 z 就 只会匹配出小写的字母。 通过以上方法,我们就可以在大段的文本中找到我们想要的数据类型,那么我们就可以从网页中的所有数据中筛选出自己想要的数据。除了在爬虫工作中经常用到之外,在网站中我们也经常会用到。 在进入一个网站想要设置密码时,如果你的密码保密性太低,就会提示你需要输入的密码必须要包含一位大小写字母或者数字,那么它实现的方法也使用到了政策表达式,将用户输入的内容经过筛选, 来看这个密码是否是含有大小写字母和数字的文本内容。在练习时间,我们来做一个这样的练习题,验证输入的是否是有效的六位数字密码。 首先我们需要导入到 r e 模块,第二个就是获取到用户想要设置的密码,然后我们就需要验证用户输入的密码是否是六位数字。写上判断语句 if, 写上 r e, 然后使用 find 方法。如果想要匹配数字,我们就使用上反斜杠 d, 因为有六位数字符,那么我们就写上六个反斜杠 d。 现在我们写上之后,我们就来匹配用户输入的密码,如果符合这个要求,那么就提示用户密码有效, 如果不符合这个要求,那么我们就要告诉用户密码无效。那么现在我们来运行一下这段代码,大家可以看到出现了错误,这是为什么呢?因为反斜杠具有转译的作用,那么我们需要加上 r 来取消掉反斜杠符的转移作用。那么再次来运行这段代码,请输入密码,这次我们输入密码,比如说现在输入一串英文密码就会告诉我们密码无效再次运行, 并且是六位数字的,按下回车键就会提示密码有效。学会如何使用正则表达式来匹配想要的字母类型,我们就可以在网页中筛选自己想要的数据了。但是想要更精准、更高效的使用正则表达式,这远远不够。 那么下个视频我将告诉大家如何更好的筛选网站中的数据。当我们想要从大量的网站中筛选出自己想要的数据的时候,可以使用正则表达适中的原字母来匹配筛选数据。 上个视频我们讲到原字母中的反斜杠 d 只能够匹配数字,而点可以匹配除了换行符之外的所有字母。 反斜杠 w 能够匹配字母数字,还有下划线。反斜杠 s 能够匹配空白字母,并且每个圆字母只能够匹配一个字母位置。如果我们想要匹配多个相同类型的字母,例如验证用户输入的银行密码是不是一个六位数字, 那么就需要写上六个横斜杠 t。 在 我们写和读的时候都需要数一下个数,这样写不但让代码变得重复啰嗦,还很容易数错。 想要优雅的简化代码,我们就可以使用正则表达式中的量词来控制原字母的出现次数。正则表达式的量词一般出现在原字母的后面,使用花括号来表示想要这个原字母出现几次。 例如在这里我们写上反斜杠 d, 在 括号内写上六就表示我们想要匹配六个数字字母。 除了使用花括号精准的控制圆字母能够出现的固定次数之外,我们还可以使用加号来表示至少匹配一次这个圆字母,比如这个代码就是我们想要在第一名、第一十二名这个字母串中匹配出有多少个第几名, 那么输出字的结果就是第一名和第十二名。因为使用了加号至少要匹配一次,那么不管是第一名这种一位的数字,还是第十二名两位的数字都能够匹配到。然后我们可以使用星号键表示匹配这个元字母至少零次或者多次。 比如我们还是使用这串字母串来做匹配,使用反斜杠的加上星号,得到的结果仍然是第一名和第一十二名, 因为星号能够匹配元字符零次到多次。也正是因为能够匹配零次,当并没有出现需要匹配的元字符时,也会匹配到结果。星号之外,我们还可以使用问号来匹配元字符零次到一次。 使用问号产生的结果就只会匹配到第一名。因为十二拥有两个数字字母,所以就不会被匹配到,我们通过这样的方式可以控制匹配的字母数量,所以也就出现了贪婪匹配、合作性匹配。 首先我们来看贪婪匹配、合作性匹配在网络爬虫中什么情况下会使用到这两种模式? 假如我们现在 search 的 html 文档是这样一串字母串,我们需要分别提取的是内容一和内容二的 d i v 标签。如果我们这样写是用点表示匹配除了画横幅之外的所有符号, 星号表示匹配零次或者多次,所以它们匹配中的点星号表示匹配第一个 d i v 开始标签 和最后一个 d i v 结束标签之间的内容,这样的匹配方式,我们得到的匹配结果是一整个字母串并没有分开提取,所以我们称这样的匹配方式为贪婪匹配,它会把符合要求的字母全部匹配上。 想要分开提取该怎么办呢?在贪婪匹配的后面加上一个问号,就会变成惰性匹配,问号表示匹配零次或者一次,它会尽可能少地匹配字母, 所以当他遇到第一个 d i v 结束标签,就会停止这次匹配,又使用的是 f n o 方法,位于相同的这一串 html 文档中的字体,就会将多个符合匹配要求的结果作为列表中的元素返回。 通过这样的方式,我们成功的分别匹配上了两个包含内容的 diy 标签,但是实际上我们并不需要 diy 这个标签名,最重要的是获取标签内的内容数据,这也是惰性匹配的妙用之处。 给惰性匹配加上括号,我们就可以只提取标签内的核心内容,把多余的标签结构都过滤掉, 只得到标签内的内容数据。那么练习时间,我们来使用正则表达式提取网页中的小说吧。首先我们来打开浏览器, 在浏览器中选一个我们想要抓取的小说,点击进去,那么这一次的练习,我们想要抓取的就是这一本小说中的章节以及内容 说。我们首先需要导入所需的库,第一步就需要导入 r e 模块,用来实现增值的匹配。然后我们需要使用到 request 模块,通过爬虫的方式向服务器发起请求,那么我们导入这个 request。 导入之后,我们为了防止服务器因为我们爬虫的身份拒绝给我们数据,那么我们就需要伪装成浏览器。 浏览器发起请求就会有一个请求头,那么我们设置一个请求头,写上 hitters, 在 里面写上浏览器的身份,浏览器的身份。我们可以在浏览器中打开开发者模式, 然后刷新整个页面,在这个文档中的标头内找到这个 user agent, 那 么我们复制上之后,以键内值的形式来设置这个请求头。设置好这个请求头之后,我们就可以使用 request 模块发起请求啦。 发起请求之前,我们需要弄清楚我们向哪一个网站的网页发起请求。开浏览器找到对应的网址,双击,然后把它们全部复制下来, 写上一个变量 u a l, 用来保存我们刚刚复制下来的网址。得到了网址之后,我们就可以使用 request 库中的 get 方法发起请求啦,并且我们将响应的内容放到 response 这个变量中。 现在我们来看我们是否能够成功地抓取网页中的 html 代码呢?使用 print 打印 response 的 test 内容, 然后我们来运行这段代码,可以看到我们能够成功地抓取 html 代码。那么想要使用正则表达式提取章节标题和中文内容,我们就可以这么做。首先我们写上一个变量开头,用来保存提取的章节标题。 使用到了修饰正则表达式,也就用到了 r 一 模块中的 fand o 方法。在写正则表达式之前,我们需要写上这个 r 来取消一些特殊字体的转意作用。 取消了之后,我们再来看我们的正则表达式应该怎么写。首先我们来看在网页中我们需要提取的内容, 打开浏览器,我们可以看到现在我们抓取的是章节的标题,我们可以点击这个小箭头按钮,然后将鼠标移动到我们想要抓取的标题中,可以看到标题是由一个 class 名为 title test box 的 d i v 标签包裹起来的, 那么我们现在来复制一下这个 class 名。那么我们现在通过正则表达式在整个网页中的 html 文档中筛选出这个 d i v 标签即可。那么在这里我们写上一个 d i v 标签。 网页中的 d i v 标签有非常多,那么写上这个章节标题的只有这个 title test box, 那 么我们写上它的 class 名, class 等于 我们刚刚复制下来的 class 名。匹配到这个标签只是让我们找到这个标题,最重要的是我们要将这个标题抓取下来, 那么提取标签中的内容,我们就需要使用到惰性匹配,写上点星号问号,并且使用小括号将里面的内容提取出来。 写上了匹配章节标题的正则表达式的 代码方法中的第二个参数,也就是从哪一个内容中筛选这个匹配的正则表达式呢?写上 response 点 test, 也就是响应的 html 文档。那么现在我们使用 print 语句打印一下这个 title, 看一下能否成功地提取到章节中的标题呢?右击点击运行,我们可以看到在这个下面显示出了章节的标题, 但是是以列表的形式出现的,那么我们可以将它以列表中的元素输出。注视掉这个输出的 html 文档,我们再次运行, 可以看到就是一个纯文本的标题了,获得到了章节标题之后,我们再来看如何获得中文内容呢?依旧是打开这个浏览器,我们来看一下这个中文内容是由哪一个标签显示的呢?点击这个小鼠标,然后找到这一个中文内容, 可以看到我们的所有标题内容都是由一个,那么我们需要抓取到的就是 p 标签写上这个小说的内容啊。写一个变量 content, 依旧使用到 r e 模块中的 find all 方法,然后我们写上正则表达式,使用上 r, 取消掉字串中特殊字体的转意作用。 再写上一个我们需要抓取上的 p 标签,获得 p 标签中的内容,写上小括号,然后我们写上点星号问号,我们再来写上第二个参数,需要从 html 文档中筛选匹配出正则表达式,想要筛选的内容, 获得到的中文内容,我们打印来看一下 content, 右击点击运行,可以看到依旧是用列表的形式返回了中文的内容,那么我们想要将它一一输出来,可以写上负循环,将列表中的每一个元素输出 好,再次右击点击检查,这样我们就得到了完整的小说内容。点击进浏览器,我们来看一下是不是的呢一张的名字, 再来找到第一句话,他是谁,那么我们看一下在这里我们写上的获得的内容也是第一章的内容,还有他是谁 赠的表达式是网络爬虫能够最快速筛选数据的方式,但是书学起来确实有些麻烦,为了更加方便书写,后面又推出了 beautiful soup 四,那么下个视频我们再来看如何使用吧。你是不是想快速地从众多网页中批量地下载想要的数据呢? 使用正则表达式的方法筛选想要的书籍,语法又复杂又繁琐,那么这个视频我们来学习一个更加高效的方法, beautiful soup 四。在我们学习 beautiful soup 四之前,我们先来搞清楚一个问题, 网站中的这些数据到底是怎么在浏览器中显现出来的呢?当我们打开一个网页,按下 f 十二键,就可以看到网页的 html 代码了,那么我们试试看,点击这个小鼠标按钮, 将鼠标移动到网页中的任意位置,可以看到 html 代码也跟着发生了变化。 没错,这些 html 就是 网页中的原始代码,浏览器就是根据它们把页面渲染出来的。而我们的爬虫程序只需要通过 request 库发起一个简单的 get 请求,就可以拿到这样的原始代码。 但是问题来了,爬虫程序得到这样的代码是没有经过任何的筛选的,里面掺杂着一些我们根本就看不懂的标签、样式和脚本等等等等。如果我们想要找到特定的数据,例如我想要找到这本书的名字, 从整个页面中找到他们,完全就像大海捞针一样困难。那么我们如何快速的找到自己想要查找的数据呢?细心的同学就会发现,在网页中我们使用这个小箭头符号,点击我们想要查找的数据, 就会发现对应的内容都被一个千括号包裹了起来。我们称这样的一组千括号叫做标签,这些标签就像是一个个的容器,它具体长这个样子主要由开始标签和结束标签组合起来。 在标签里面通常有属性,常见的属性有 i, e 和 plus, 而我们想要的数据就包裹在这个标签里面。 那么想要从这么多 html 文档中筛选出我们想要的数据,我们就需要借助到这个好用的第三方库 beautiful soup 四了。 beautiful soup 库就像是一个过滤器,它能够将网页中的叉 mail 或者 html 代码 解析成为一个个的单个标签。我们只需要找到单个标签,并且获取里面的元素内容,就可以获得我们想要的数据。想要在代码中使用 beautiful sql, 那 么我们就需要先引用上 beautiful sql。 如果想要将这些代码解析成一个个的标签的话,那么我们就需要使用到这样一句代码,使用解析器将原本获得的 html 代码解析成一个个的 html 标签,使用获得的这个 sum 对 象就能够精准地查找标签。 邮件搜索里面有两个核心的方法,第一个,这个方法可以查找 html 文件中第一个对应的标签,第二个 email 方法会查找 html 文件中所有对应的标签。这个方法也是批量爬取数据的关键。 使用这两种方法,我们可以通过标签名来查找想要查找的标签。将想要查找的标签名放到括号内即可。要注意的是,括号内的标签名我们需要使用双引号标注起来。 另外,除了通过标签名我们能够查找到标签之外,我们还可以使用属性来查找标签,例如常见的 id 属性或者 class 属性。 值得注意的是,因为 class 属性与定义类的关键词 class 重名了,所以呢我们一般会加上一个下划线作为标注, 防止在 python 中与关键词冲突。那么除了 find 和 find 二方法之外,另一个 beautiful soup 库里面的核心方法就是 select one 和 select 方法。 同样的使用方式是使用双引号将标签名标注起来,不同之处就是在属性值上它的写法更加方便,如果是 id 属性,我们可以直接用引号键来表示,后面只需要写上 id 的 值。 如果是 class 属性,也不用担心与 class 关键词冲突,只要使用点就可以了。那么通过使用这样的方式,除了更方便查找标签之外,它也能够让我们更加精确的找到标签。比如说在标签与标签之间存在两种关系, 第一种关系就是两个标签之间为同级标签,每个标签内都有属于自己的元素。而另一种在网页中与见不鲜的情况就是在一个标签内嵌套上另一个标签在内层标签才有元素的内容。 如果我们想要查找的内容,就只能够通过上级标签再到下级标签的方式,中间我们使用这个大于符号来连接。 那么讲到了如何查找标签之后,我们再来看如何查找标签类的文本。如果我们想要查找标签类的元素,也就是网页内容,我们可以使用点 test 方法就可以获得网站中的元素或者网页内容。那种情况就是像这个 a 标签, a 标签是一个超文本标签,如果我们在网页中碰到了 a 标签的元素,一般可以跳转到另外的网址,那么我们想要获得新的网址,就可以使用点 get 属性加上属性的名字, 那么练习时间我们来看如何使用 beautiful 速不酷来抓取网页中的信息。练习时间呢?我们来抓取这个小说,网站中的小说,我们可以随便点击一本自己感兴趣的小说,点击进去之后呢,我们就抓取对应页面中的小说即可, 在这里今天我们抓取的就是这本小说中的内容。首先我们来看当我们作为人类在浏览器中浏览这个小说,浏览器会做出一些什么反应呢?首先我们点开这个第一张,可以看到本身我的这个网址是这个样子的, 点击进去之后网址就发生了变化,那么点击第二张我们再来看会不会发生变化呢?同样也发生了变化,所以我们想要抓取这本小说中所有的小说内容,我们就需要抓取对应章节的对应网址, 那么如何获取对应章节的对应网址呢?首先我们可以打开这个检查,打开开发手模式,我们使用这个小箭头,然后将小箭头移到这个上面, 可以看到在这里网站用了一个 a 标签,也就是一个超链接标签,我们点击到这个和服属性里面,就直接跳转到了这一页, 而第二章它也是这样子的,由此我们可以得到在这个 a 标签中的和服属性就是会跳转到对应章节中的网址,那么在获取这个 a 标签之前,我们需要获得这一整页网页的所有原始代码, 那么我们就需要写上这个,那么我们先来导入两个库,第一个库我们使用 request 库来发起请求, 第二个库,也就是 beautiful soup 库来解析获得的 html 源码。但是我们需要注意的一点就是,这个 request 库和这个 beautiful soup 库都是属于第三方库,不是 python 自带的。所以呢,我们需要在终端中写下命令, pip install requests 和 beautiful soup 四, 这样我们才能够正确地导入进来。导入进这两个库之后呢,我们再来写使用 request 模块发起这个 http 请求。在发起请求之前,我们需要获得我们向哪一个网站中发起请求, 那么我们现在来复制上这一串网址,然后以支付串的形式粘贴进去。复制好网址之后呢,我们来定义一个请求头,定义请求头的目的就是为了让爬虫游戏发起请求时,更像我们人类在浏览器向服务器发起的请求, 这样网站的服务器就不会因为我们是爬虫而不给我们正确的数据信息。那么在这个 hears 里面,我们应该填充一些什么东西呢?就是浏览器的身份, 因为我们是需要让爬虫程序假装成浏览器发起请求。那么在这里呢,我们可以点击这个网络的选项卡, 重新加载一下这些数据包,然后点击到这个文档中,选择这个 html 文档,滑到这个下面可以看到这个请求标头在这里呢,有这个 user agent, 我 们复制上这个 user agent, 然后粘贴进去。 需要注意的一点就是,这个 user agent 是 放到这个 headers, 也就是一个字典中的,我们要将它以键值队的形式来储存起来。 粘贴好之后呢,我们再来使用 request 库发起请求,因为我们不需要向网站的服务器传授什么,只需要服务器响应给我们内容,那么我们发起的就是 get 请求, 使用 response 变量来保存发起请求后响应的内容。发起请求后,我们再来看一下是否发起成功使用 print 的 语句,我们来打印一下有没有成功抓取到网页中这一些原始的代码呢? 好,我们现在运行一下这一串,可以看到我们获得到了很多的 html 代码,而这些 html 代码基本上就与这个网页中的一致了。那么我们要从这么多网页中筛选到我们想要跳转的网址, 那么我们就需要查找标签。那么想要快速精确地查找标签的话,我们就需要使用到 beautiful 速补库。那么使用 beautiful 速补库来解去 html 文档呢?我们就需要使用到解析器。 放下解析器之后呢,我们再来抓取 a 标签,因为我们需要抓取 a 标签。那么在抓取这个 a 标签之前,我们来看我们只抓取 a 标签能不能够过滤掉多余的信息呢?我们看一下,按下键盘中的 ctrl, 加上 f 来搜索, 写下这个箭头 a。 首先我们可以看到,在这个第一个 a 标签中,这个网址是一个跳转到登录页面的网址,并不是我们想要抓取的小说网址。 那么说明如果我们只筛选 a 标签的话,肯定是会筛选出多余的标签的,那么我们应该怎么做呢?在这个 a 标签中,既没有 id 属性,也没有克拉斯属性来标注它,那么我们就需要找到上一级标签,那么我们再用这个小箭头来查找一下, 可以看到在这个小说的网站中,它的上一期标签叫做 d iv t d 三,那么我们来看一下是不是每一个小说的跳转网址都包裹在这个 d iv t d 三里面呢?可以看到不管是第一张还是第二张,这个 class 名为 d iv t d 三的 d iv 标签里面, 也就是因为我们需要先抓取 div 标签,再抓取 a 标签,抓取的就是上下层级之间里面的元素,那么我们最好还是使用 select 方法。 首先我们抓取所有的 div 标签,写上一个 check, 也就是每一个章节写上 list 这个变量,然后使用 select 来抓取这个 div 标签。 select 的 方法来抓取 class 零的属性,那么我们就只用写上点,加上这个 class 零。抓取所有的 d r, v t d 三标签之后,我们来看一下是什么样子的, 运行一下这段代码,那我们现在可以看到我们基本上就获得了所有的 d i v 标签。抓取了 d i v 标签之后呢,我们再来抓取这个对应的 a 标签里面的链接即可。那么我们就需要首先获得每一个 d i v 标签里面的 a 标签。 首先我们来使用这个负循环来便利这个列表中的所有元素,那么我只需要抓取这个列表中的 a 标签。首先我们来抓取每一个章节的名字,写上 capt name, 章节的名字呢都包含这个 a 标签之内,在 a 标签里面的这个元素就是章节的名字,那么我们可以使用这个点 test 方法获取到章节的名字。 获取到章节的名字之后,我们来获取对应的网址,写上这个 chapter url。 我们一定不要忘记这个 h t t p s。 虽然在这里我们看不到这个 h t t p s, 但是呢,我们双击点开都会看到这个 h t t p s。 这是因为这个网在浏览器中已经被隐藏了, 但是并不代表网站中网址没有这个 h t p s。 所以 我们需要手动加上。然后呢获得这个 a 标签里面的 h t p s。 使用到的就是 get 方法,得到了章节的标题以及章节的链接之后, 我们就能够成功地跳转到对应的链接里面了。跳转到对应的链接里面,我们怎么获取里面的小说内容呢? 打开开发者模式,同样我们使用这个小箭头来看一下小说内容是用什么标签放进去的呢?可以看到是用 p 标签放进去的,那么我们只抓取 p 标签又可以吗? 使用 ctrl f 我 们来查找一下这个 p 标签,可以看到第一页就是这个 p 标签,那么我们导跳转到最后, 这个 p 标签不只有小说的内容,还有一些这些无关的小说版权内容,这些都是我们不需要的。那么我们为了更加精准地找到这些 p 标签,我们就往上面翻译格,也就是在这个 never content 这个 d i v 盒子里面的 p 标签我们才需要抓取。 那么我们现在对每一个章节相应的网址再次发起请求,写上 chapter response 等于 语句库 get 这个 url, 也就是向这个网址发起请求,并且呢,我们还是要写带上这个 dinners 参数,并且还是需要对这个网页中的原始内容进行解析,方便我们来抓取对应的内容。 然后呢,抓取到的就是每一个章节中的文本内容,那么我们写用这个 p list 抓取的就是这个 novel content 里面的 p 标签,抓取了对应的小说内容之后呢,将它们写到对应的 txt 文件中, 使用 file 点 y 的 方法。写完之后呢,我们还是提示一下用户已经下载完成了。好,现在我们来运行一下这段代码,因为我们没有限制章节,所以呢他把所有的章节都下了下来,那么我们右击打开 看一下是不是能够正确地观看这些内容呢?可以看到也是能够正常观看的。现在你会不会使用 beautiful super cool 来抓取小说网站中的内容呢? 以上就是这个视频中的所有内容,从网页源码中筛选数据的方式,我们也已经学习过了更多表达式和 beautiful super 四。

今天要学的是拍单,实现 vip 电影观看,仅需运行代码,从此实现追剧自由,新手小白也能轻松上手。首先我会把这份代码分享给有需要的粉丝宝宝,然后我们鼠标右键运行代码, 在下面三个不同的平台随机选择一个。我们就以腾讯视频为例,点击进来之后会直接在浏览器打开,选择一部自己喜欢的电影,就选这个,疯狂动物城二、 half and wild, wild and hot the greatest partners of all time here we go here we go, let's go! 我 们先把音乐关一下,可以看到这是一个预告片,购买后解锁正片,这时候我们就可以用拍帧爬取的方式来免费观看。我们复制这个网址,把网址酷加 v 粘贴进来,选择播放,我们看一下视频还是很清晰的, 快进一下,这时候我们就可以完整的观看整部电影了,整个程序文件我都已经压缩好了,你还在等什么?

不会写代码也能自己做爬虫啊!以前想抓网页数据,最劝退的不是网页打不开,而是要写代码,找选择器处理,翻页,滚动登录页面一改,爬虫还可能直接报废。这个开源工具叫 maxon, github 已经十六 k stars, 你 可以把它理解成一个无代码爬虫工作台。 不用先学 python, 也不用手写一堆规则,你只要像正常上网一样打开网页,点一下要抓的标题、价格、评分链接,再操作一次翻页 max sum 就 能把这套洞做录下来,变成一个可以重复运行的 robot。 下次你不用再复制粘贴,它会自己打开网页,滚动翻页,提取数据,最后输出成表格, j s o n, 甚至直接变成 api, 如果连点选都嫌麻烦。它还有 a i mode, 你直接说帮我提取商品价格评分和库存,或者帮我整理一批岗位的薪资地点和公司名,它会按你的描述去抽取结构化数据。更关键的是,它不只是抓单页, scrape 可以 把网页转成 markdown 给 ai, 用 crawl 可以 抓整个网站, search 可以 自动找相关页面,还支持 sdk, c l i m c p, 能接近 agent 和开发流程,安装也不复杂。 想省事可以用托管板,想自己掌控数据,就用 docker compose 自托管配好环境变量后启动服务。所以 maxon 最炸的地方不是又出了一个爬虫工具, 而是把原来只有程序员能做的网页采集,做成了普通人也能点出来的无代码爬虫。以前你要盯着网页复制数据,现在让机器人每天替你抓。

你有没有遇到这样的问题,把一个链接丢给 ai, 让他总结,结果他根本读不了这个页面,或者卡在了登录框验证码上。我就 getup 上翻出了很多开源爬虫工具,每个都说自己能一键把任意网页变成干净的数据, 实际上真的可以吗?我找了从几百到十几万星标的爬虫项目,全部列在这里,是目前最火的一部分。我发现这批工具表面上长得像,但实际上分化非常明显,大体可以分为四大类。 第一类是纯抓取库,也就是十几年前爬虫的升级版,他们只负责把网页内容拿下来,和 ai 没有半毛钱关系。比如 scrabbling, 很多人说它是 ai 爬虫工具,能读微信公众号,但它的自适应选择器是纯手写算法,它能记住元素特征,网页改版也能稳定抓取,这些都不是大模型的功劳。 第二类才是真正用 ai 来抓取,它们不是邪死的选择题,而是可以直接用自然语言或 skimmer 告诉大模型我要什么,让大模型自己去读页面抽数据,每抓一次都要烧 token, 要花钱,虽然灵活智能,但是又慢又贵,结果也不稳定,适合前期探索性小批量的测试。 第三类是 ai 转换型,大家熟知的 firecrow 就是 这一类,是 ai 时代催生的新物种,核心使命是把脏乱的 html 生成干净的 markdown, 为大模型准备好 context, 如果你不想每次清洗都稍偷懒花钱。或者网页结构本身比较简单,也可以不走大模型。 比如 curl a i 的 默认抽取逻辑,就是基于 html text 来做的。第四类是非主页型,什么意思呢?就是本身不光能做爬虫,还能做更多的事情。比如 agent rich, 就是 帮你一次性配齐小红书、 b 站、 youtube 等十几个网站的访问工具。 browser act 可以 帮你操控浏览器,不光能读页面,还可以在页面上登录,填表、点按钮,它们当然也可以当做爬虫工具来用。 看了这么多工具,没有哪个是万能的,最终取决于你的场景是本地的还是云端,是要免费还是要省心,要抓静态还是要过反爬,只是读内容还是要做交互,想清楚这些才能找到最适合的工具。

解析出数据之后,接下来就是存储数据了。数据的存储形式多种多样,最简单直接的就是保存为文本文件,比如 txt, json, csv。 由于基础课已经讲过文件读写,这里就快速过一遍,查取第一关的十部电影数据, 然后存储为 txt 文本格式,来导入 request selector url get 源代码,创建 selector 对 象。这里面每一个电影数据就是一个 movie item, 把它们全部拿到,接着打开文件 编辑 items, 比如我们就拿它的标题分类以及评分写入文件 来跑一下,这里就生成了一个 movie。 日点 txt 电影信息就保存成了文本形式。如果对文件读写不熟悉的同学可以回看拍摄基础片,里面有详细讲解。 xt 是 存文本数据,没有结构,如果想让数据更有条理,就可以用接收,接收也是拍摄基础片讲过的,这里就不多解释了。我们来把刚才拍的电影数据存成接收格式的文件, 先导入接收文件,后缀也改成接收,这里再准备一个空列表,每拿到一组电影数据就添加进去,然后接收点 dump, 把数据写入文件来跑一下, 你会发现数据是以整行显示的,我们可以给它加一个 in 的 参数,表示缩进制服的个数,比如我们缩进两个制服,再来看一下,有了缩进之后,格式就更清晰了,但中文都变成了 unico 的 制服。如果想保持中文显示,还需要指定参数。 in shushkey 为 force, 现在就正常显示了。当然这样写的话会把所有数据存在对他里,如果数据多的话,也可以拿到一条数据就马上写入,先在前面写出一个左中括号,开头记录一下, 接下来是第一条。准备好数据之后,先判断是否是第一条,如果不是,就写入一个逗号加换行,再把 first 改为 force, 然后正常写入,最后补一个右中括号来刨一下也是可以的。括号这里也再加一个换行, ok, 如果要读句的话也很简单。 打开文件,生成点 load, 就 变成了拍摄里面的列表。最后再来看 csv, 它是用纯文本的形式来存储表格数据来先导入 csv 库, 后缀也改成 csv, 然后调用 csv 的 write 方法,初次化一个写出对象,然后用它写出表头。每拿到一条数据,就用 write row 写出一行。当然你也可以用 write rows 写出多行来泡一下 数据就是表格形式的,当然这是 python 渲染过的,我们可以点这个小眼睛切换成文本格式, 这才是它原本的格式。但爬虫爬到的数据通常都是字典结构,所以我们可以用 dick the writer 更方便。给它传一个 field names, 表示表头字短,就把这个列表传给它,然后再用 red header 写入表头。这里我们就可以用 red row 直接写入字典,它会自动匹配表头字短,那泡一下也是可以的。 我们同样可以用 csv 库来读取 csv 文件,还是先打开文件,用 reader 读取,然后直接便利它,就可以拿到每一行的数据。 用文本文件存数据,数据量小的时候没问题,但数据量一上来,频繁查询文本文件就撑不住了。这时候就得靠数据库,比如关系型数据库卖收口, 非关系型数据库 mongoddb readis, 也可以把数据存到搜索引擎,用于减速和查看。那么接下来我们就来看如何用代码操作麦收口数据库。在开始之前有两个前提,首先你得确保麦收口已经装好,并且正在运行,安装方法可以参考这个文档。其次需要装一下拍卖收口库, 装好之后我们来尝试用代码连接数据库,首先导入拍卖收口,然后再用拍卖收口点 connect 传 host。 我 的 myhost 装在本机,所以是 local host, 如果在远程则需要传入公网 ip 地址。 然后是用户名入的我的密码是一二三四,端口三三零六。连接成功之后,再用 curl 方法得到 myhost 的 操作油标,利用油标的 execute 方法可以执行 sql 语句。比如我们执行一个 select working, 查看当前麦收口的版本。这次用飞机 one 拿到第一条数据来把它打印一下,再来执行一条收口。这次我们创建一个数据库 spiders 收口语句,之前的课程讲过,不熟悉的同学可以回看视频文档都有。 最后关闭油标,关闭连接来泡一下。他说密码认证的时候需要这个依赖库来把它装一下,你没有这个报错的话就不需要装它, 现在就不会报错了。 my circle 版本九点六同时 spider 的 数据库也创建好了,一般来讲,创建数据库的操作执行一次就可以了,当然你也可以手动创建数据库。我们之后的操作都在 spider 的 数据库上完成。 接下来我们新建一张数据表, movies, 如果不存在就创建 movies, 给它三个字段, id 类型, int primary key 都是麦收科基础篇讲过的就不解释了。再来一个开头,卧槽,不能为空。然后 reading fold。 当然为了掩饰,我只写了简单的几个字典,实际爬虫过程中会根据爬取结果设计更多字典来泡一下。 没有选择数据库连接,这里指定一下刚刚创建的 spreadsheets movies 表就建好了。你会发现收口语句有黄色波浪线。鼠标选定上来,它会提示没有配置数据源,无法提供代码辅助,我们可以来配置一下。点开右侧 database, 添加数据源,选择 main socket 主机, local host, 用户 root 密码一二三四。测试连接,第一次连会提示你下载驱动,点下载就行,测试连接成功就点确定。点击这里把 spider's google 上这里面就可以看到刚刚创建的位置表了。 id title, rating 三个字段, 波浪线提示也没了。配置了数据源, itm 的 搜索提示会更制冷,查看表数据也更方便。下一步就是往表里插入数据。 假设这里爬到了一条电影数据, id 为一 ato 肖申克的救赎评分九点七,然后构造一条收口, insert into movies id hito rating values。 注意不要直接用这幅转屏截,容易有收口注入风险。正确做法是用占位符摆放号 s, 然后执行的时候用圆柱传餐。拍卖收口会自动处理转移 excel。 执行完之后还需要调用连接对象的 commit 提交事务,因为拍卖收购默认是开启事务的。至于什么是事务, 简单说就是一组操作,要么全部成功,要么全部失败。如果你只插入数据,不 commit 数据就只是暂存在内存里,不会写到此盘。对于插入、更新、删除这些操作一定要 commit, 可以 再加一层异常处理。 如果执行过程中出错了,就该用 root 执行数据回滚这些事物相关的概念 my circle 课程里有详细讲解,不清楚的同学可以回看来跑一下执行成功。接着来看数据的更新操作, 更新 movie 表里 id 为一的评分, reading 从九点七改成九点六,执行一下 评分就更新成功了。但实际爬虫过程中经常遇到的情况是,如果数据已经存在了,我们希望能更新它,而不是重复插入或者报错,还是用前面这个插入代码 直接执行失败,回滚了数据还是九点六。因为 id 一 已经存在了插入报错,所以执行了回滚。可以给这个收口加一个 on duplicate key。 update 表示如果主键已经存在,就执行更新操作,更新 type 值短以及 reading 值短。注意, windows key 这种写法是 my circle 八点零点一九之前的写法。如果你的 my circle 是 八点零点一九之后的版本,推荐给新数据集起一个别名,这里就用新数据集的字段名,现在执行的话,存在就会更新了。当然,为了方便后期操作,我们可以把数据包装成字典, 这里的 key 就 通过字典获取。可以先用变量记录把 data keys 转成列表还有 values, 然后把 keys 转成区块,因为搜索这里需要的是区块。 接着是这里的占位符 value placeholder, 用列表来装 by 符号 s, 再乘以 zeros 的 数量,这样的话有多少个 value, 列表里就会有多少个 by 符号 s, 再来构建更新的 case, 如果不是 id 就 记录下来,再把它转成这幅状形时, k 等于 newdata 点 k。 这些代码看起来复杂,其实就是把原来这些写死的 t 和 void 都通过字典来生成,如果以后要改,就只需要改这个字典,这里的数据就直接用 voids。 接着来看删除操作。 首先我们要指定需要删除的表和删除条件,我们只有一张 movies, 比如条件就是评分小于九点八的 so code, 就是 delete from table recondition, 这里就不需要参数了。当然删除的条件多种多样,具体你可以看 my sql 基础片来跑一下,删除成功, 数据确实没了,说完插入更新删除操作。最后我们来看查询操作,数据刚才被删掉了,我们来插入几条, 比如我们查询评分大于九的搜客就是 select 星 from table 查询,不需要提交和回滚报错,打印一个失败就行,可以打印一下查询结果数量。 cursor 点 rootcount 有 三条,可以先拿第一条,用 cursor 点 fit one, 也可以拿全部 cursor 点 fit all, 但这里只拿到了两条,因为刚才飞机 one 已经拿了一条油标,往下走了一位,就像读文件一样,读完一行纸质就跑到下一行了。注死掉,飞机 one 就 可以拿到全部了,可以通过便利的方式拿到每一行, 还可以用 v o 循环加飞机 one 的 方式来获取所有数据。先用飞机 one 拿到第一行,然后 v o 循环,如果肉有数据,打印肉,然后继续飞机 one 每循环一次,纸质就会偏移一条,随用随取。 当然默认油标只能拿到数据,没有字段名,创建油标时,可以指定拍卖收购点 course 里面的字典油标,这样读到的数据就是字典格式。有字段名 ok, 关于 my circle 操作就讲到这里,如果你需要了解更多,可以回看 my circle 专辑。

同学们大家好,今天给大家带来一个使用 python 实现的一个 vip 追剧神器啊,你可以通过代码的方式来免费的观看付费的电影或者电视剧。 ok, 那 接下来我们看这个程序啊,这个程序是这样的,首先第一步你选选择运行这个程序,运行 运营之后呢,会弹出一个这样的窗口,是吧?这里面你可以选择对应的视频平台,比如我们这里腾讯视频为例,点腾讯视频,点这个按钮之后,那么他就会在浏览器直接打开腾讯视频的官网。好吧,我们这里找到腾讯视频的官网,就是这个视频。 ok, 这个吧, 然后呢选电影啊,电影这里我们随便选一个,比如这个吧,第一个电影飞驰人生三, ok, 进来之后可以看到第一个要看广告,第二个的话呢,喏,这写的很清楚,要开通 vip 才能观看完整的内容,也就是必须要开会员啊,不开会员看不了是吧? ok, 那 接下来我们就将这个网址复制一下,然后呢将它的网址粘贴到我们这个程序当中,接下来点击这个播放 vip 视频的按钮,点一下, ok, 点击之后,那么他就能够直接进播放了,那已经开始了。 ok, 我 们这个直接播放全民播放吧,那 能看到吧? ok, 这个我们快进一下啊,厂长,你还真是善于复刻啊,靠,这个起家的吗?我把你们拆除的驾校复刻出来了,是想让这也能像个家。 您好,请问现在车里温度合适吗? 叶经理, 好,行,我们先不放了,不放了,停一下啊。 ok, 你 看,所以我们可以通过城市的方式来直接免费的观看付费的视频, 好吧,就通过它进行实现, ok, 好, 那接下来我们来讲一讲这个实现的思路是什么?好吧,首先来先看一下,这里我们借助了一个库叫 take into, 这是一个图形界面的库,也就是说你只要用这个库就可以写出这种带有界面的代码啊,带有界面的程序,好吧,就这种啊, 用 take enter 这个库就可以写出这种程序,好,这是一个。其次的话呢,第二个我们借助一个叫 web browser 这个库,这个的话是用来打开浏览器的,用来打开浏览器的,好吧,请,然后再看这里,首先是抽象设计界面啊,你这个标题名字是什么?界面大小是多大,是吧?等等之类,创建一个界面。 然后其次的话呢,这里我们定义了一个函数叫 create widgets 啊,就是创建一个界面里面具体的信息,比如界面里有什么呢?有提示标签,来看一下,提示标签指的就是这个 提示标签,比如说请输入网址,对吧?就在这,然后呢在这个定义了个输入框,输入框就这个, ok, 就是 这个,然后在这清空按钮,清空按钮在这啊,你看这上面三个吧,在这是按钮空间啊,比如像爱奇艺按钮呐,就这个, 还有腾讯视频按钮和优酷视频按钮这三个,以及还有一个播放 vip 视频的按钮,对吧?啊, ok, 加上这个一共四个,最后还有一个提示标签,就在这呐, 行,然后这上面大小这个是默认就行了。需要说明的是,这几个按钮点完之后有什么效果呢?来我这里绑定了对应的一些函数,比如像清空按钮,清空在这,他绑定的话呢是什么? 呃,清空在这啊,绑定的是这样一个方法,叫 app, 呃,就是这个会直接清空这里面内容啊,直接删除里面内容,好吧?再看第二个的话呢,是这个按钮空间,比如像爱奇艺,爱奇艺的话呢是这个按钮 调用的是一个 open 爱奇艺这个函数,那就它我们这里借助浏览器的这个库,直接在浏览器打开这个网址,那么你就能看到对应的效果了,好吧,比如我们点一下点爱奇艺,他就进到爱奇艺页面了,懂吧? ok, 所以 这三个按钮是一样的啊,这三个按钮是一样,比如绑定腾讯视频的按钮和绑定优酷视频的按钮,对吧?这三个都是一样,打开对应的网址, 对应的官方网站,最后这个播放视频在哪?在这,在这,这里是怎么做的呢?嗯,首先首先我们先从那个输入框里边, ok, 那 就它了,看到吧,从这个输入框这个标签里面就它获取什么呢?获取你输入的网址啊,获取你在这里输入网址,它会进行获取 提取你输入的网址得到这,然后呢在干嘛呢?在我们这个同样的打开浏览器,然后呢打开什么?打开一个解析网页,通过这个解析网页加上你这个视频的网址,然后呢就能够进行解析,从而直接播放 vip 视频内容,好吧,所以是这样的一个思路,最后运行就行了。 ok, 那 么强调一下, 这个代码你首先必须要按照拍摄完成才能用,好吧?行, ok, 那 么这个案例就给大家讲到这。

豆油登录加密总报错,今天学姐教你用 ai 一 键定位核心加密代码,什么有这种事?今天我们来进行分析一下这个登录页面的密码加密,直接呢 f 十二快捷键,打开开发主工具的面板,然后我们输入一下这个用户名和密码,点击一下这个登录的按钮, ok, 这里出现了一个数据包,我们直接点击下来观察一下它的在和数据信息,那么你会发现呢,在它的这个在和的面板当中有一个叫做 user name, 就是 我们刚才输入的这一个用户名,它是铭文的,下面的话有一个这个 password 啊,这个值 它并不是我们刚才输的这个密码,而是经过了某些神秘的操作,那么我们需要去逆向分析,去找到它的这个生成的逻辑。怎么去找呢?我们可以去通过这个关键字搜索方式,比方说我们在这里直接来搜索一下这个 password, 看能不能去定位找到它的这个复制生成的位置,然后你在这里一个一个的去观察。 好,我们可以看到这的话有一个这个位置,我们直接点击跳转过来,然后在这里下一个这段点好,然后我们再点击一下这个登录按钮,你应该怎么找?直接断在这个了,现在我们可以看一下这个, 它是取到 p w d 的 值, p w d 的 话它是在这个地方生成的,呃,你会发现呢?它附了两次值,第一次的话呢,这里取到的是一个铭文的,这是一个铭文的密码,来观察一下, 对,就是这个铭文的密码,然后是通过这个下一点哈希对他进行处理之后,得到了一串这个字,后面呢他又经过了这个二次的一个处理,所以的话进行了一个加盐啊,有一个 t s 的 指数的话,应该是这个时间,再看一下这个 p 到 d, 这个是前面处理一次之后的这个密码的值,然后这个的话呢是一个这个字母串,固定的一个字母串,所以说呢,它这里其实就是使用的一个标准的十二一的这样的一个 java 法去实现的。我们可以直接让这个 ai 帮我们去生成一下, 可以看一下就把这一套逻辑把它拿过来,嗯,然后我们再去把这一个给它复制被处理的 使用标准,这样反复模拟设置, 可以直接摁成 好,直接就这样,然后我们还需要去把这一个颜值给它,这个是一个 ts, 这个 ts 的 话是在这个地方生成的,然后这一个 data 的 话就往前面去溯源去找到它就可以了。我们当然呢也可以直接让这个 ai 去帮我们去模拟生成,直接告诉它这个 ts 是 多少位的一个时间, 看一下一级开头的,然后这个的话是十位的, 十位 让他帮我们生成这一个代码,那你会发现他又去使用了这一个 hkm 页面生成了,所以说呢,我们再去修改一下,不要使用 好。现在呢他把这个代码给我们生成了,我们直接来复制一下,然后在本地的 gs 代码当中来运行一下,好,没问题,这处理得到了这样的一个数据信息。

如果大家想要去看一些电影啊或者电视剧啊,它一般是需要你开会员才能用的,对不对?而我们这个程序呢,可以让你在不开会员的情况下也能够看到付费的一个电影。好吧,行,那现在我们试一下,首先运行我们这个代码,运行程序 编辑之后会弹出一个这样的窗口啊,这是一个界面,然后里面的话呢,他可以让你选择对应的平台,比如说我们选择腾讯视频,点这个好,那么在浏览器中打开腾讯视频的官网,然后呢,你自己选一个,比如选电影吧, 我们选择电影分类,这里的话呢,我们选,比如说就这个飞驰人生是吧?选他吧,那我想看这个视频,那么可以看到这里,首先第一个要看广告,烦人,其次的话呢,你看 开通 vip 观看完整内容,那说明这个必须要开会员才能看,对吧?必须要开会员才能看。好,接下来我们复制这个网址,那么呢将这个网址粘贴到我们这个程序当中来,然后选择播放 vip 视频这个按钮点一下, 那这样的话呢,你就可以直接进行观看了,那我们就从头开始看吧。啊,飞驰人生选屏吧,看一下 呐,你看到了我们快进一下啊,哼,恭喜你俩呗, 你这光把情绪涨上去了,这哪有价值啊,可是咱俩入坑之后,第一个车队你就负担啊,再对对球,哎哎哎,好球,好球来了啊,这球来了,哎, 白强总不愧是拿体育出身的,那这球太快了。那 ok, 可以 看到通过这种方式我们就能直接,干嘛?直接 免费的观看付费的视频,好吧?行, ok, 如果有需要这个代码啊,或者需要这个相关行业安装包的,那可以评论区联或者私信找我领取。

今天来逆向分析一下黑龙江大学的登录页面,直接打开开发者公众界面,然后呢我们输入这个用户名和密码,点击登录的按钮,抓一下数据包, ok, 可以 看到一个 logan 的 数据包,点进来看一下它的暂停的信息,这个问号呢是这个 user name, 也就是你刚才输入的用户名,其次我们往上面找一下这个 password, ok, 这个 password 呢?它长这个样子, 那不是你刚才输入的这个密码,它写的是一个 bios 四的编码格式,我们可以复制一下,然后利用这个工具来进行解码, 剪了之后它长这个样子,那其实也是这种乱七八糟的数据,我们需要知道它是怎么生成的。来镜像找一下它的这个生成的位置,可以通过按键在搜索的方式,比如说在这里搜一下 password, 但是好像有点难找,那么我们可以换一个关键字,比如说叫做这个英文的,其实都差不多, 只不过大家喜欢使用哪哪一个关键啊,就去使用好。看到这里的话,有一个主文件,我们可以观察一些关键的位置,比如说这个地方就把这个密码传进去,通过 aes encrypt 进行加密, 这个位置就比较关键了,但是我们现在还需要确定一下在这里下一个断点,在我发请求的时候呢,如果请求他通过了这一行代码,那说那他就会直接断在这里,所以说明呢,他就是在这个地方进行了加密,生成,注一下用户名和密码,然后我们再点击一下这个登录按钮, 您猜怎么着直接就断在这里,那么我们可以看一下通过这个方法处理之后的这个值是不是加密的数据。 ok, 没问题,再看一下这个啊的值, 这个是随机的作串,然后还有一个这个 pass word, 这是我刚才输入的这个密码。好,我们需要看一下这个方法它是什么加密逻辑,把这个断点下进来,然后我们单条式走进去。 好,进来之后你会发现它这里有个 w t w t 是 什么?是一个标准加密算法库,有 a、 s、 d、 s、 h、 m、 a、 c 三一三二五六,还有这个 m、 d 五,从它里面学到的这个 a、 e、 s 啊,是属于一个标准的对称加密算法。 好,然后这个一的话呢,我们把这个断点走进来,这个一的话呢,它是十六个字节用作为密钥的 e、 c、 b 的 模式, p、 k、 c 七的填充方式,它没有这个 i v 的 输出,它这样子,如果你不知道怎么判断它是否是标准的 a、 e、 s 的 话呢?也可以拿出这个工具来比较一下, 可以看到标准的 a、 s 的 话呢,它是可选的模式,有这几种, e、 c、 b、 c、 b、 c、 c、 t、 r, 你 也看到这个 e、 c、 b 是 对应上的,然后它的这一个密钥的长度,我们刚才看到了是十六个字节, 十六个字节等于一百二十八位,一个字节等于八位,所以再看这上面的这个必要的长度,对应上的一百二十八位。好,还有是一个 p、 k、 c 七的填充方式,这上面有这么几种填充方式啊,只要是其中的一种,那么就是对应上的。 好。然后就是这个密钥的值,那基本上就可以判定它是标准的对称加法 e s, 那 接下来做起来就非常的简单,看一下这种实线的代码,来右键运行一下,好,没问题。

写爬虫最怕什么?遇到验证码,尤其是 c、 s、 d、 n 那 种文字,点选验证码,让你按顺序点出四个指定的汉字,比如乐淘凤熊,问题是代码怎么知道图片里这些字在哪个位置?以前的做法,接打码平台花钱不说,还骂自己训练 o c r 模型 标注几千张图,还没开始就想放弃了,今天这期视频我带你换一条路,用 ai 来做逆向,不需要大量标注,不需要昂贵的打码平台,看完你也能做到更多。实战项目和逆向 ai 工具都已整理好,进入主页粉丝群即可自取。今天我们来看的是四 s 店登录的点选验证码,如何去利用 ai 来进行逆向分析。首先我们这里进入网站当中,这里去 点击登录,它就会弹出来这样的一个窗口,选择验证码登录,我们这里右键去选择一下检查,在这里我们先 过滤这个查询数据包来顺便输入一个手机号,一五五五六五六五六五六。好来点击获取这个验证码,他在这边就会弹出这样的一个点选,请依次点击什么,我们就可以,干嘛就可以去依次点击一下啊,在这里 乐淘凤熊依次点击,好,在这里我们可以看到他就发了对应的数据包,这个是验证的接口,如果说验证通过之后,他整个的一个 resuit 是 成功,会有一个 token 值,它里面的一些载客,这样的一些载客很多参数, body 参数等等,还有很多参数这些 其他的比如说图片,他并没有直接去返回图片的链接数据包,我们来看一下,这个是图片链接,来搜一下,你是搜不到的,我们来搜索,他是在这里是搜不到的,是他本体,他是在一个是被包含在这里面的,需要去作为对应的一些解码分析, 所以他并没有直接返回其他的参数,都是需要去给他动态生成的。你如果说要去搜索的,也可以去尝试搜索一下,看他能不能搜索对应的一些在什么位置,如果说搜不到的都需要去给他动态生成,当然在这里可能是我们抓包的时间比较晚,你也可以重新刷新页面之后再来一次走这样的流程, 那就看他哪些是能够去服用的,哪些是需要去动态生成的。那么这个时候我们交给 ai 去做逆向分析的呢?可以给大家看一下整个他的一个分析报告,创建的代码文件会比较多,让我们基于的是 m c p 服务,那去打开那些去实现的。在这个地方来看一下,这个是逆向记录, 通过指纹的器去正常打开,我看一下这个地方还有一个是页面登录页,需要通过顶部登录按钮选择验证码登录,去输入手机号来去获取验证码,整个的一个请求链嵌入的验证码资源。第一次这个什么 c o n 解码之后是这些点选图片配置,在这里面解码之后会有个 random, randomkey 和这个背景图,还有它所依次点击文字的顺序图,图片资源, 人工点击后去做的一个交易,用我们整个你让 ai 去通过 mcp 操作浏览器去做的一个点击它整个鼠标的逻辑是过不去的, 做图文文字点选它和滑块也是差不多的,它都需要一个一个移动轨迹,或者是拖动的移动轨迹。文字就是你整个点击的鼠标的轨迹,它会多一个鼠标,相当于是坐标位置,坐标位置因为它有四个点,这个四 s 店它有四个点, 需要去先识别出来对应的坐标位置,之后再去生成对应的鼠标移动轨迹,再去做后续的一些加密,整个验证通过之后会自动重放等等之类的编码,可能是 g、 j、 c、 p 这些 整个,这是对那些分析记录,历向记录,这是第一次做了,第二次在这个位置就包含了很多了,这个是全套分析的了。接着第二阶段开始分析的,承接了这两个 md 文档之后,这两个 md 文档之后再来去做后续的一些分析,差不多也分析了几个小时的样子, 所以整个他在这里,我们后面去做识别的时候,我最开始去这里可以给他看一下两张图,这个算是背景图,还有一张这种文字的图,那这个图他也需要去依次点击,把这里面的依次点击的文本给他提出来。 我当时用的四 d、 o、 c、 r, 他 最开始识别的成功率很低,后面是用的百度飞将,什么 p、 o、 c、 r, 百度飞将的识别成功率就高的多了。 至于这个背景图,就你拿到这样的一个顺序之后去识别背景图,我们用的是云马的增强版,通用的点选过不去,用的是通用文字,点选二要贵一倍,两分钱一次,这个是一分钱一次, 通用一识别不了的,可以用这个本类型,这个会更加精准一点,所以我们用的是他就接的百度飞将和云马来去实现识别的一个坐标点以及数倍龙轨迹, 在本地给他生成之后交由对应的 js 来去做对应的参数生成整个,最后可以给大家演示看一下,我们找一下代码文件,是在 这里面会有一个文件,这个就是他整个的一个存档,我们右键去运行看一下,他是能够去正常通过的编码问题来重新跑一下,但是我刚刚改了一下,有点,现在这一次看一下能不能跑出来,好在这个地方可以看到他在这里 resoot 成功,是吧?是没有问题的,这里是他所识别出来的一个文字顺序,这个是坐标位置,通过这个坐标位置来去生成鼠标移动轨迹,最后去做验证得到的是一个成功两百没有问题。

现在搞爬虫项目,你还在手速代码吗?还不赶紧抛弃你的古法编程,跟我一起用 ai 搞定爬虫项目。今天呢,带来实战的是某志愿的网站,爬虫项目牛逼, 更多爬虫逆向学习视频、爬虫技术学习文档以及项目实战公开课,我都放在了我的抖音粉丝群。 今天我们来看的是优质院这样的一个网站,它里面会有对应的一些大学信息,我们可以通过什么邮件来去选择检查,打开开发工具进入到网络面板当中,那么现在可以去滚动让它去加载新的数据啊,它滚动加载的数据呢?一般来说是叉圈数据包,那么可以过滤之后来看一下, 进到这里面来发现他的一个载客里面的话是没有任何的参数加密的,都是非常常规的一些参数,那么响应当中的确的确都是我们所看到的这个页面上的这些大学信息。那么其实他那个加密参数啊,是在标头里面的请求,标头里面会有一个预告散值, 那么这个只能是需要去逆向分析的。我们可以先来去尝试复制他的一个 c, 二来转换一下,转换之后把对应的,哎,不对啊, 粘贴过来,重新去切一下好代码拿过来,拿过来之后呢,我们可以去放到对应的 python 文件当中。 呃,好,然后我们这个地方呢,可以去先把 u 杠三指给它注视一下,注视掉之后再来去右键运行,我发现他是得不到正确的数据的,身份验证失败来解开之后再来去右键运行 好,就能够去得到正确的数据了。而且我们这里来去看一下,比如说切一个页数,切到第五页,他们能不能得到正确的数据呢?发现也是得不到正确的数据的,那这个就是我们所需要逆向去分析这个参数的原因,你需要去逆向拿到他的一个生成逻辑啊,在每次请求之前呢,让他去生成一下 啊,才能去得到一个最新的这种签名参数啊,得到正确的一个数据。那现在他这里竟然是一个最新的这种签名参数啊,得到正确的一个数据。那现在他这里建是一个跟站,也可以去通过搜索 跟赞呢,就去跟啊,他这里会涉及到一些异步,可能就没那么简单,那还是去尝试搜索试一下吧,他如果说没有涉及到那个嗯,混淆的话,那就可以直接去搜到啊,那么来 ctrl 加 shift 可以 弹出来这个搜索框来搜索,搜索这个 u 杠三会发现他在这里呢,都出现了总冒号复制的地方,那都得给大家下个断点了, 都得向上断点。我们来给大家一一向上吧,下一下看它到底是走的哪个逻辑。呃,这个案例呢,也挺适合大家去入门学习的一个案例啊。 好,向上断点之后,然后我们这里再来去滚动,让它再出来新的数据包,看它是断在什么位置呢?断在的是这个位置。好,这个是加密入口,我们来去写一下,这个是加密入口, 加密入口,然后它的一个一点 u r l 是 什么呢?一点 u r l 是 输出一下,还有一点 data, 一 点 data 啊,一点 u r l 是 这个一点 data 的 话呢,是这个复制过来, 就这个一点,这一套我们可以看到它就是所传递过去的那个参数对象嘛,对吧?那么最终它所得到的密文值呢?最终所得到的密文值是这样的一个密文值,那么这个密文值长度应该是三十二位,那么零到九 a f 的 组成大概率就是一个 md 五了。那再来看一下它是一个纯正的 md 五呢?还是一个模改的,或者说还是加盐的, 那么给他来看一下这个是密文值,最终密文值。好,那先来看一下这个 i 方法呗, i 方法是指向的什么?指向 来输出一下 i, 它所指向的是这个地方嘛?我们可以把这一套代码也给他拿过来啊,拿过来之后你都不需要去看它里面代码的一个逻辑啊,直接干嘛呢?直接把这一套丢给 ai。 呃,这里我是给他说我现在 路径下有一个啊,优质院 ai 文件夹。好,你帮我分析一下这一套逻辑, 将对应的这个 u 杠赞生成逻辑, 使用 python 算法还原并且动态啊,并且修改吧,修改我这个地方的一个代码啊,这个地方的一个代码 代码文件实现动态 u 杠散的效果。因为我之前是分析过这个呃网站的,所以我让他不要去,不要去看,套用之前分析的逻辑,像第一次 分析该网站一样,该逻辑一样进行分析,好给到他这样的一个提示词,让他去给我分析一下啊。 这个地方呢,最后会有个总结啊,他说这里的话呢,是入口在这个位置,路径本身不参与签名啊,如果说入袋子不串,就把这个串拆成这样的一个形式,目前还是加上复制的颜值会拿入参作为再去加上这个颜值之后转成小写再做 md 五 啊,就是 n i。 所以 它整个优券的这个案例啊,就是什么呢?就是参数拼接加上颜值再去 md 五就能够去实现了。 嗯,对,它这里是已经确定了这个逻辑是一个 m d 五嘛。啊,它说这里 n i 呢,其实就是一个载函数啊,就它我们这里所看到的这个地方的一个 n i, 它整个呢其实就是做了一些排序啊,然后这里是给它拼接之后做了一个 m d 五加密 好开始在这里动态生成了。这个是先去把我的这个文件删除了,它是直接把我的文件删除之后啊,它自己重新去写,比较任性, 因为 codex 它整个你给它的一个权限是非常高的,它可以去删除你的代码,去删除你的文件,修改你的文件,修改你的代码,都是有权限的。 好,创建好了对应的这个文件了,创建好之后我们来去看一下吧,能不能跑出来,他给我干哪里去了?这里面没有啊? 看一下啊,看他是干到哪里去了。嗯,看一下这个地方 是在这里面已运行好,在这里面啊,来跑一下吧,能不能得到正确的数据呢? 嗯,是能够得到正确的数据的,我们来改一下这个页数,如果改成二来再跑一下呢,也是能得到正确的数据的,那就说明他已经是我们动态生成,并且把这一套代码 算法还原也给他加进去了的。那你如果说想要去批量请求的话,就可以去把这个请求啊,这个参数给他动态起来,给他放到选项当中就可以了, 那么这个是我们通过借助 ai 来去实现算法还原,并且去修改代码啊,只需要干嘛呢?只需要去找到,通过人工去找到它的一个加密入口,它的一个加密函数后续的交给 ai 就 可以去实现了。 这个地方呢,最后会有个总结啊,他说这里的话呢,是入口在这个位置,路径本身不参与签名啊,如果说入代字串,就把字串拆成这样的一个形式,拼接上固定的颜值, 再去加上这个颜值,之后转成小写再做 md 五啊,就是 n i。 所以 它整个论文的这个案例啊,就是什么呢?就是参数拼接加上颜值再去 md 五就能够去实现了。

我们在这里面去输一下用户名,在这里输一下这一个密码。好,然后呢我们再输一下这一个验证码,直接 f 二快捷键打开开发者工具面板。 那么在当前这个网络界面当中呢,我们要进行的第一个操作抓包怎么来抓?直接点击一下这个登录按钮。 好,直接看到啊,是一个费事叉 hr 的 面板当中呢,是有一个叫做 t x 的 这个数据包。好,我们需要去进去观察一下。来,我们点击进来 看一下他这个在和的输入信息,我们看到一个表单数据的内容,第一个的话就是我们刚才去输入的几个用户名。好,那么下面这个的话 pass word 是 密码的意思,那对应观察一下他的这个值,很明显不是我刚才输入的几个密码,他是经过了将处理的, 我们知道了,当我们这个客户端也是有亮箭在向我们这个服务器端去请求数据的时候呢,他写的是这个密文的数据信息,然后服务器会做一个教练处理。那么我们这个爬虫程序是什么?我们这个爬虫程序啊,他刚好模拟的就是客户端,所以说他也需要去 携带这个密文的数据信息,才被我们这个服务器端去教验成功。那么接下来我们就来做几个关键词搜索方式啊,我直接去搜索一下这个爬错了的, 结果呢,这里发现有一百二十个匹配号还是有点多,那么比较麻烦的去找到我这个加密生成位置,那么我们可以换一个关键字啊,我们可以去通过这个引导这个加密的关键字去找一下他的这个逻辑,哎,结果发现呢?哎,这也没有去看到他的这个复制生存位置了。 好,那么也不行啊,那我们这里的话,就是,呃,关键搜索的方式不太适用,你们当前的这个网页,换一种方式,直接去通过这个对战方式啊,直接点击一下第一个对战,然后给他打这个断点,我们看一下能不能断住。好,直接点击一下登录按钮,结果您猜怎么着?直接断在这个,来观察一下这个 f 的 值。 好,这里面有这个用户名还有密码,他所对应的这个加密数据就是我想要去拿到的, 接下来有这个数据的话,我们就好办啊,就一个一个的去找,往上去跟就可以了,然后看到这里也有这个加密数据。好,那么我们再往上去跟,好,跟到上一步的话,它就变成了这个一不回调的语句,那么没关系,我们还是一步一步往上去跟啊,一样的这个跟站方式。来,我们点击进来好, 看一下有没有这种加密复制生成的位置啊?看一下没有, ok, 哎,结果你发现啊,这里的话是一个,是一个非常标准的 pass word 的 复制生成位置在这里啊,那么我们需要进来观察一下,好,给他打成一个断点,然后我们再去示范一下这个断点, 给他断在这里,这个断点就可以不要了。好,然后我们再去点击一下这个灯按钮来,直接断在这了,来观察一下这个 pass word, 它的这个值是不是我讲的加密数据没有问题, 这个值从哪里来的?从一上面来的,所以我们看一下这个一怎么生成的?哎,在这里生成的,这外面的话就括号,外面的话就是它的这个加密方法了呗。然后我们先看一下这个参数的 内容啊,这个 w 值,还有一个这个 t, 这个 t 的 话是什么呢?呃,这个 t 的 话就是我刚才去输入的这个密码嘛,那么我们再来看一下它这个加密逻辑啊,最重要的就是它这个加密逻辑好,直接点击跳转过来,结果呢你会发现, 嗯,看到这个代码的话,你基本上可以放心了,因为呢它是一个非常标准的。什么呢?非常标准的这个 r a c 的 加密算法吧。 r a c a 是 什么?是这个非对称加密算法, 非对称加密算法,那有同学就说,学姐你怎么判断出来的呢?其实我们看到这种结构啊,第一个的话就是这个自己转换,然后还有这种 分块处理,对吧?以及呢,还有像我们的这一个模拟运算,还有这个啊,就是一个基数转换的这样的一个非常标准的代码,其实我们就可以去判断出来它是这个 r s a 的 一个加密算法。 好,那么我们可以去通过啊,这个 node 环境里面标准的 r s a 标准的这个加密算法库去进行实线啊,非常的简单。

大家好,欢迎来到今天的深度解析。今天我们要聊一个真正能改变数据收集游戏规则的开源神器,它叫 media crawler。 咱们今天的主题非常简单明了,就是怎么优雅地搞定社交媒体公开数据抓取这个让人头疼的难题。废话不多说,咱们直接进入正题。 今天的路线图很清晰,首先我们来认识一下 media color, 接着拆解它的核心技术,然后看看它支持的平台和特性。第四步,聊聊进阶版的 media color pro。 最后我们会快速过一遍环境搭建与数据储存,当然还有极其重要的道德规范和免责声明。 那么第一部分,认识 media crawler, 告别爬虫噩梦。你可能会问,在不搞那些复杂的代码逆向工程的情况下,到底怎么才能拿到社交媒体的数据? 如果你干过这行,你肯定知道以前那种被 java script 加密按在地上摩擦的噩梦感吧?平台算法简直是一天一个样,耗时费力真的太让人挫败了。 但是 media crawler 甩除了一个超级聪明也极其优雅的绕国方案,它的覆盖面大得简直离谱。 目前它直接支持抓取七大主流平台的公开信息,小红书、抖音、快手、 b 站、微博、贴吧还有知乎。你看这七个平台基本就等于是国内内容生态的全部互成河了对吧? 不管你是做竞品分析、鱼情监控还是搞学术研究,你能想到的内容阵地,用它基本就能一战式搞定,这对咱们数据分析师来说绝对是个大福音。接着来到第二部分,核心技术大道至简, 这里面最有趣的就是它的底层逻辑了, c d p 模式,也就是 chrome 开发者工具协议。 他完全没有去跟平台那些复杂的反爬算法硬碰硬,而是用了一种类似魔法的操作。打个比方,传统的爬虫就像个陌生人想撬锁进大楼,分分钟被保安按住。 而 c d p 模式呢,它是直接连上你早就打开并且已经登录好的 chrome 浏览器。也就是说,它直接拿着你已有的 cookie 和登录状态,像个 v i p 一 样在大楼里大要大败的合法行走,被风控拦截的风险瞬间降到了最低。 这里的核心优势就一句话,彻底告别 js 逆向。它用的是 playwrite 自动化框架,在保留了你登录状态的浏览器环境里,直接去拿签名参数。简单来说,就是你再也不用去一行行死磕那些让人疯狂掉头发的加密代码了。 通过完美模拟真实用户这个工具,把以前需要高级爬虫工程师熬几个通宵才能搞定的事,变成了咱们普通数据研究员也能轻松上手的基础操作。 好了。第三部分,平台与功能特性一个全能的工具箱,你看,这其实只是他强大能力的一个缩影。 不管你的需求有多刁钻,比如你要全网搜某个关键词,精准抓取某个特定的帖子 id, 深挖二期评论,甚至是一把抓取某个创作者的整个主页。 它在各大平台上的功能支持都极其完善,而且高度一致,你再也不用为了不同平台去写一堆乱七八糟的结本了,横向比下来,你现在手里拿的简直就是一个万能的数据罗盘。接下来是第四部分, media color pro 爬虫技术的进化。 如果你是重度用户或者有企业级的取缔,那标准版可能就有点不够看了。标准版毕竟还依赖 play right, 而且只支持基础代理。但是 pro 版呢?彻底甩掉了外部依赖,运行起来超级清亮。 更绝的是,它不仅支持多账少代理池,还加入了一个能救命的功能,断点续爬。你想象当你跑十万级的数据跑到百分之九十九,程序突然崩了,那种绝望感你肯定懂,有了断点续爬,直接无缝衔接接着赶,这才是真正的生产利器啊! 而且还不止这些, pro 版现在正朝着 ai 自动化狂奔的它,不仅内置了自媒体内容拆解 agent, 更酷的是它直接支持像 opencloak、 cloud code 还有 cursor 这种 ai agent 技能集成, 这就意味着未来你完全可以直接动动嘴皮子,让 ai 去帮你收集特定数据。另外,它底层的 j s 签名逻辑也被彻底解构了,完美支持在纯净的 linux 服务器上无头部署,甚至还贴心地带了一个清亮的桌面端视频下载器, 这简直就是数据收集从手动配置向全自动化智能化狂标的铁证!那么第五部分,配置与存储准备好你的运行环境 跑通。这个前置环境其实极其简单,先手也能分分钟搞定。第一步,装上目前生态内速度极快的拍损包管理工具 u v。 第二步,确认你的 note g s 版本在十六点零以上。第三步,也是最核心的一步,打开 chrome 浏览器,开启九二二二端口的远程调试。这步就是为了激活我们前面猛夸的那个聪明的 c d p 模式,只要这三步,底层引擎就全准备好了。 当然了,如果你一看到黑乎乎的终端命令行就觉得令人生畏,没关系,他还专门搞了一个外部 u i 可实化界面,你只要在本地访问 local host, 就 能在一个超级友好直观的网页里点点鼠标,配置参数、选平台、看实时入职,全都在这儿搞定。 这对咱们很多非程序员的数据分析师和运营来说,学习成本简直大幅削减。存数据这块儿,它的支持也是全拉满了, 从传统的 csv、 excel 到专业的数据库, sql 和 my sql 应有尽有。 但这里要特别提一句, json l 现在成了它新的默认格式,为什么呢?因为在 ai 时代,你要处理大规模的结构化数据流,或者拿去微挑大语言模型, json l 绝对是目前最高效、最标准的现代方案,你看,它连你以后对接 ai 时代的准备都做好了。 最后第六部分,道德与免责声明,数据采掘的底线。这里我们必须非常严肃的强调一下项目作者明确的声明,本康所的所有内容仅供学习和参考之用,禁止用于商业用途。 作为一党解析节目,我们得客观的说,用技术手段绕过平台防御确实很巧妙,在技术探讨上也有价值。但一旦你把它真刀真枪的付诸商业实践,随之而来的就是极其沉重的道德和法律责任。 有几条红线大家必须明确,首先,严格遵守网络安全法,这是绝对的先决条件。 其次,严禁去搞那种会增加人家服务器负担,损害平台正常运行的大规模恶意抓取,再者,别人的知识产权和隐私数据绝对控不得。 说白了,任何人使用这个工具,都必须为自己的行为负全部法律责任。大家一定要记住,这本质上就是一个用来搞技术探索和教育的纯粹工具。 讲到这里,其实也引出了我们今天想抛给大家的最后一个极其引人深思的问题。 你看,当像 media crawler 这种工具和 ai agent 深度结合之后, ai 能够越来越无缝全自动的流量网页提取信息了。那么公共数据收集的道德和法律边界下一步究竟会怎么演变? 技术在不断狂飙,但我们的行业规范和法律真的准备好了吗?非常感谢大家收看今天的深度解析,希望这些核心梳理对你的研究能有启发,我们下期见,继续用最清晰的方式探索前沿。