拍摄 hook 请求投参数,爬虫破反爬核心操作一行代码拦截加修改,请求投官网校验,直接绕开全程实操,新手也能秒上手爬数据,少走百分之九十弯路。我们来看这个网站,首先右键去选择检查,他会打开开发工具,打 开之后呢就会到网络密码当中,然后去给他翻一下页,下页他就会发这样的一个数据包,那么这个数据包里面呢,会有一个请求投参数,在这里面 有个核心杠 v, 这个参数呢是需要去逆向的,它是密文字,我们要去找到这个核心杠 v, 它生成的位置可以通过搜索的形式来去搜一下,试一下 ctrl shift 加 f 来弹出搜索框, 搜一下搜不到是吧?搜不到的话呢,是不是数据包的问题呢?再去刷新一下,再来去搜索也是搜不到的,那就是说你去直接搜索它,可能底层做了一些混淆,或者做了一些其他的处理,你去搜,搜不到,那咱们再来去搜索它,这里既然是什么呢?既然是叉 h r 类型的,我们来看一下啊。第二页 查询类型的,他是有跟站的,有堆站的,我们可以去给他跟一下,站进到这里面来,然后去下个段点,如果你也对拆分爬虫感兴趣,猫将毕生所学都拆分成了这些,从零到进皆全流程,按照八十老奶都能学会的方式讲解, 然后再来去出发一次,翻译好断住了的话,这里面有个参数,就只有这个东西,看起来并没有什么核心杠杯是吧?我们就往回推呗,往回走 好,这里呢是一个肾的,肾的,然后上面的话呢,看起来也不太像嘛,那咱们就再往回找嘛,往回找,一直找, 直到找到对应那个深层看起来像深层的位置之后啊,你就可以再在那里去给他做一些分析了,就他整个的一个跟站调试的难度还是会比较大的,这里还是一个异步,是吧?那有没有更加简单的方式?那也是有的, 我们这个地方呢,它竟然是在请求头当中,在请求头当中呢,可以去通过 js hok 的 形式来去 hok 到这个请求头,那就可以干嘛呢?把 hok 代码给它拿过来,我们这里去 找一下啊,这个 hok 代码在这里 ctrl 加 a 全选复制一下,放到这里来。这里呢是我已经改好了,它这里需要去改动。你要 hok 的 参数名称啊,参数名放到这来就可以了,然后找一下刚刚咱们的那个位置啊, 找到第一个站顶部的这个站好,找到之后把代码划到最顶上去,在这里呢去给他下个断点,然后刷新一下,好刷新他这里断住了,对吧?断住了之后我们就再来去执行这样的一个后壳代码,回车执行一下,再来去让他跳过我们这里所下的这个断点, 走一下,好,就进入到了我们的这个 hold 代码当中,它就给它断住了。在这里呢是一个 set request header 啊,大家去设置了一个什么呢?核心杠 v 设置的值是什么呢?设置的值是这样的一个值,那就那就去看它在什么地方去设置的呗,就往回去找一个站啊,这里 这地方呢? this 一 七五二。那么这个一七五二呢?肯定是那个 set request header, 它是给它相当于是做了一点点小处理啊,并没有去给它明文显示, 这就相当于什么呢?相当于是 this 点 set request header 方法,传了两个参数进去, z 肯定是那个核心杠 v, u 呢,肯定是那个值,那就需要去找这个 u 它的生生成位置嘛, u 的 生成位置,我们来看一下啊,这个附近有没有 u 的 生成位置啊?这里有 u 等于 m 一 四零也是一个方法,那么一四零的话呢,肯定也相当于是一个字母串,它是去做的一个处理啊。 amade 点 amade 方法,我们来看一下这个方法是指向了哪里? 在这个地方,这个地方呢,也是 r d r dot 等于方形,是吧?我们来给它下个断点,然后让它跳进来啊,它这里会执行很多次,会测试很多次,所以它会断在这里面,来这里呢也是一个方法。 e 三五二,这个三五二的话呢,肯定也是 一个字母串啊,这里是 w 点啊,这样的方法,来看一下这个方法指向的谁指向的这里,这里面呢又是 c a 七八六啊,又套了一层,那再进来看一下 a 七八六, a 七八六是一个 z x h x 啊,来看一下这里,这个方法指向的谁 指向的是这个了,是吧?那么它就是一个 return 的 一个 n 方法嘛,那它进来之后你会发现啊,其实 n 它调用之后就会得到一个密文值,那么很明显你的一个加密位置已经找到了,它就是去去通过 n 函数来生成的。 n 的 话呢,在这里面,那么这个它指向的是一个 i, 就是这个就是他的一个加密的逻辑,是吧?其他的呢?要去补一下,他缺什么给他补什么,那么这一步我们就已经是做完了,找到了他的一个加密位置,会比跟站更加的简单啊,更加的直接。 如果你也对拍粉爬虫感兴趣,土包将毕生所学都拆分成了这些,从零到进阶全流程,按照八十老奶都能学会的方式讲解。
粉丝8636获赞4.8万

今天我们来学习的是如何利用 js hook 的 形式来快速定位到请求头参数的加密位置, 那么在这里呢,进入网站当中,右键去选择检查,打开开发者工具,进入到网络面板当中,这里的话呢来翻一页,比如说翻第二页,那在这里就会发对应的数据包啊,这个是第二页的那个响应数据包, 在他的请求头当中呢,会有一个核心杠 v 的 一个参数,我们快速去定位他呢,就可以在这里通过接操作的形式来去定位一下。 进入到源代码面板当中呢,去找一个后壳请求头的脚本啊,然后把这个地方的一个参数给他改一下就可以了,就是这里他是一个判断,判断当前的一个 参数,它要等于这个之后再来去给它断住,不然它使用同参数里面会有很多嘛,你不能说每个都断它就会比较麻烦,改了之后呢,来给它保存一下,执行一下,执行一下之后我们再来去翻一下,下一页,好就断住了,断在了这个位置, 那么这里的话,他当前我们可以看一下啊, y 六值是这样的一个密文值,然后 k 值呢,就是这个核心杠 v 了,那来去看他是怎么生成的呗,往上面找对战嘛,往上面找对战就找到了这个位置啊,这个位置的话呢, e 这里面 set request header, 然后 z 的 话呢,就是那个核心杠 v, u 的 话呢,就是这个密文值,那么 u 在 什么地方呢? u 我 们来看一下它是怎么来生成的啊?在这个地方并没有复制的位置,往上面找一下, 往上面找找,在这里它应该看一下啊,这里是 return, 在 这里应该会有生成的位置啊, a u 等于 a 加括号就是 a 调用的返回值嘛。 那来看一下这个函数是什么呢?函数在这里啊,他又是走的是这样的一套逻辑,然后有微点, set, z, t 之类的,我们来下个断点看一下, 这里的话,其实往上面找也是一样的啊,来去过一下,重新去翻个页啊,断在了这个位置,那么这里的话呢, z 是 那个核心杠 v, t 的 话呢,就是那个密文值的, t 的 话呢,又是在这里去生成的嘛?这个地方我们看他的一个方法,进到这里面来啊,又是走的这样的一个方法, 那就再下断点继续去调嘛,再来看啊,在这个位置,进到这里面来看一下,他那个逻辑,又是 c 去传了一个 n 进去, n 到的就是那个 i 函数 来传进去之后干了什么事情呢啊?给他做了一次调用,所以他就是一个 i 函数的调用了。进到这里面来看一下, 他走的是这套逻辑,那么这个就是那个核心杠 v 的 生成逻辑了。你把这个代码扒下来之后啊,给他还原一下,然后看一下他整个是走了哪些逻辑,就可以去实现这个核心杠 v 参数的生成了。

新手学 python 爬虫做接口调试,是不是总遇到这种情况,明明照着别人的请求头复制粘贴,结果还是爬不到数据接口,疯狂报错。其实不是你代码写错了,是因为你没弄懂 hock 的 核心逻辑,每天学习一个逆向知识点,今天是 hock 请求头参数, 我们来看这个网站,首先右键去选择检查,他会打开开发者工具,打开之后呢,就会到网络面板当中,然后去给他翻一下页,下一页他就会发这样的一个数据包,那么这个数据包里面呢,会有一个请求投参数,在这里面有个核心杠 v, 这个参数呢是需要去逆向的,它是密文值,我们要去找到这个核心杠 v, 他 生成的位置可以通过搜索的形式来去搜一下,试一下 ctrl shift f 加 f 来弹出搜索框, 哎,搜一下,哎,搜不到是吧?搜不到的话呢,是不是数据包的问题呢?再去刷新一下,再来去搜索也是搜不到的,那就是说你去直接搜索,他可能底层做了一些混淆,或者做了些其他的处理,你去搜,搜不到,那咱们再来去考虑另外的一种形式,他这里竟然是什么呢?竟然是叉圈类型的,我们来看一下啊。第二页, 叉圈类型的,他是有跟站的,有堆站的,我们可以去给他跟一下,站进到这里面来,然后去下个断点, 然后再来去触发一次翻页,好,断住了的话,这里有个 element, 这里面呢有个参数,就只有这个东西,看起来并没有什么核心杠杯,是吧?我们就往回推呗,往回找 好,这里呢是一个肾的,肾的,然后上面的话呢,看起来也不太像嘛,那咱们就再往回找嘛,往回找,一直找, 直到找到对应那个深层看起来像深层的位置之后啊,你就可以再在那里去给他做一些分析了,所以他整个的一个跟站调试的难度还是会比较大的,这里还是一个异步,是吧?那有没有更加简单的方式?那也是有的, 我们这个地方呢,他竟然是在请求头当中,在请求头当中呢,可以去通过 g s h o k 的 形式来就 h o k 到这个请求头。那就可以干嘛呢?把 h o k 代码给它拿过来我们这里去 找一下啊,这个后壳代码在这里 ctrl 加 a 全选复制一下放到这里来。这里呢是我已经改好了,他这里需要去改动。你要后壳的参数名称啊,参数名放到这里来就可以了,然后找一下刚刚咱们的那个位置啊, 找到第一个站顶部的这个站好,找到之后把代码划到最顶上去,在这里呢去给他下个段点刷新一下, 好刷新在这里断住了,对吧?断住了之后我们就再来去执行这样的一个后壳代码,回车执行一下,再来去让它跳过我们这里所下的这个断点, 走一下,好,就进入到了我们的这个后壳代码当中,它就给它断住了。在这里呢是一个 set request header 啊,大家去设置了一个什么呢? 核心杠 v 设置的值是什么呢?设置的值是这样的一个值,那就那就去看它在什么地方去设置的呗,就往回去找一个站啊,这里 这地方呢? this 一 七五二。那么这个一七五二呢?肯定是那个 set request header, 它是给它相当于是做了一点点小处理啊,并没有去给它明文显示, 这就相当于什么呢?相当于是 this 点 set request header 方法,传了两个参数进去, z 肯定是那个核心杠 v, u 呢,肯定是那个值,那就需要去找这个 u 它的生命生成位置嘛, u 的 生成位置,我们来看一下啊,这个附近有没有 u 的 生成位置啊?这里有 u 等于 m 一 四零也是一个方法,那么一四零的话呢,肯定也相当于是一个字母串,它是去做的一个方法,我们来看一下这个方法是指向了哪里? 在这个地方,这个地方呢,也是 r d, r m d 等于方形,是吧?我们来给它下个断点,让它跳进来啊,它这里会执行很多次,会测试很多次,所以它会断在这里面,来这里呢也是一个方法。 e 三五二,这个三五二的话呢,肯定也是 一个字母串啊,这里是 w 点啊,这样的方法,来看一下这个方法指向的谁指向的这里,这里面呢,又是 c a 七八六啊,又套了一层,那再进来看一下 a 七八六, a 七八六是一个 z, z x, h x 啊,来看一下这里这个方法指向的谁 指向的是这个了,是吧?那么它就是一个 return 的 一个 n 方法嘛,那它原来之后你会发现啊,其实 n 它调用之后就会得到一个密文值,那么很明显你的一个在密位置已经找到了,它就是去去通过 n 函数来生成的, n 的 话呢,在这里面,那么这个它指向的是一个 i, 就是这个就是他的一个加密的逻辑,是吧?其他的呢?要去补一下啊,他缺什么给他补什么啊?那么这一步我们就已经是做完了,找到了他的一个加密位置,会比跟站更加的简单啊,更加的直接。

讲了爬虫,那肯定少不了反爬,本期我们就来讲什么是反爬,那什么是网站反爬呢?首先理解爬虫, 爬虫用代码自动批量访问网站抓取页面数据,那么反爬等于网站的防护手段,网站为了阻止恶意爬虫自动抓取数据,设置的一系列限制规则。网站为什么要做反爬呢?首先是保护服务器,其次是保护数据版权, 最后是防范误意行为。最常见的几种反爬手段,一、限制访问频率,短时间内同一个 ip 频繁发请求, 直接封禁 ip, 打不开页面。例,你代码一秒访问十次网站,判定是爬虫,直接拉黑教验请求头,正常浏览器访问会带上身份标识,纯爬虫代码默认不带网站一眼识别并拒绝访问。验证码、 图形验证码、滑块短信验证,点选文字等,机器人很难自动识别,用来区分人和程序。 cookie token 校验,网站下发临时身份凭证,后续访问必须带上,没有就不让看内容动态渲染 js 加密网页数据不是直接写在源码里,靠 javascript 动态加载,普通爬虫抓不到,名为数据 ip 池拦截,发现批量 ip 集中抓取,直接诊断 ip 封禁。一句话总结,反爬等于网站防机器人自动抓数据的防护机制,你学会了吗?有收获记得点赞关注评论哦,资料都放评论区啦!

一分钟写一个爬虫,把这首诗爬下来。先来复制它的网址,在 python 里定义变量 url 等于这个网址, 发起网络请求去访问这个网址,通过一去解析这个网址,得到对象,踢回到网页,选中这句话,右键审查 就能找到它对应的一个 diy 标签。选中这句话,右键复制,复制叉 plus, 回到 python, 通过 t 寻找叉 plus, 这样就能得到一个结果,我们叫它 a, 右键运行,这样就爬取成功了,你学会了吗?

欢迎来到爬虫接上期视频,我们爬取并解析了网站的书签价格后,有些观众反映讲解太硬核了,听不懂。那么好,今天我就将网页 html 解析过程嚼碎了喂给你们,像牛奶浴的奥利奥一样丝滑。 好了,进入正题,我们先来回顾一下上期书签价格。 html 解析第一行使用的是 from import 方法,引入 ds 库的 beautiful super 模块。第二行,使用 import 方法引入 request 模块。 第三好,我们创建了一个置顶变量,是 reply 建职队的属性,是右侧 a 帧的请求头,对应的直视浏览器发出的网页请求。不懂如何获取网页请求的观众呢?可以看我主页的爬虫第一章内容。 右侧 a 帧的请求头呢,是用来把我爬虫系统伪装成浏览器用户的,可以说没有它,我们的爬虫系统就会暴露无法获取网页的信息, 这就是他们之间的关系,他从使用 user agent 的 请求头伪装成浏览器,向网页发送数据申请。第四行,使用 request 点 get 方法找到目标网页并返还列表 response。 最后的点 text 是 响应对象, 它的作用是提取返回到爬虫系统的 html, 再以支付算的形式输出给用户。第五行,使用 beautiful soup 方法解析储存了 html 内容的变量 response 括号里的第二个参数呢,是我们用来指定的解析器,用来解析变量。 response。 第六行,使用 findout 方法提取存有价格的标签属性和值。 因为纯有价格的属性和值是兄弟同级,所以使用参数 artists 创建一个置点,依次放入属性 class 和值 piece color, 设定完属性后, find out 会返回给我们一个可叠代对象,这样我们就可以使用 pdf 循环依次打印出爬取结果来。 接下来挑战升级,目标是把这个网页上的所有书名也提取出来。使用代码检查功能,我们会发现这些书名虽然都在标签 a 里,但每本书的属性对应的值却不一样,这就有点难受了。我们透过现象看本质, 虽然每本书对应的属性不一样,但是每本书的书名都在 h 三元素里。找到这些贡献我们就可以开始操作了。流程分为三个步骤,第一个步骤,找到所有 h 三元素。第二个步骤,找到所有 h 三元素的 a 元素。 第三个步骤,提取 a 元素里的文字代码。和上个寻找屁标签差不多,因为这是不需要寻找属性,所以 artist 就 不用传入了。 第九行,使用复印循环循环所有的 find 可叠加对象。因为 h 三的子元素 a 元素里唯一的字母串就是书名,所以第十行可以使用 find 元素,直接找到第一个 a 就 行了。 下个视频里呢,我们会一起练习爬虫的实战解析。步骤,提取出豆瓣电影的 top 二百五十的所有标题。我是安川,我们下期见。

解乏虫最崩溃的是什么?不是遇到 debug, 不是 验证码,而是锦球头当中那个动态加密参数,你根本不知道它是在哪一行 gs 生成的,打断点代码一团糟, 搜关键词搜不到。别慌,今天用 hok 技术教你一步定位到加密入口,四分钟教会你。今天我们来学习的是如何通过 jess hok 来快速的定位到锦球头当中的参数加密位置。 那么这里我们以这个优质院来距离。首先进入网站当中,右键去选择检查,打开开发组工具,我们进入到网络面板当中来去滚动一下这个滚动条,它会加载出来新的数据啊,在这里过滤掉这个拆圈数据包呢,它就会有这样的一个数据包发出来。我们来看一下, 在载客当中呢,其实并没有任何的参数加密,在标头里面啊,下面会有一个请求标头, 在这里啊,有个请求标头里面呢,会有一个 u 杠散值,这个呢是一个签名参数,那我们就需要去找到这个参数,他的一个生成逻辑。之前呢,我们是通过去直接搜索,或者通过跟站来去跟,那么这样的话呢,其实也可以啊,但它具体的一个位置不一定对,因为你如果说搜索的话, 我们这如果说去搜索这个鱼竿上,它能搜到很多啊,能够去搜到很多处都出现,那这里我们给大家讲另外一种方式啊,通过这个,这是 hook 来去定位跟站啊,这里我们去找到一个 hook 请牛头的这个脚本啊,这个脚本呢,大家可以去自己写一下啊,这个是一个 字句型函数,然后这个呢是一个语句,下面呢去重写它啊,就 set request header 这样的一个方法。呃,当在这个地方 有这样的 u 杠三的时候,就给它断住啊,给它断住,我们给它执行一下,执行一下这个脚板,执行完之后我们来去滚动,让它再出来新的数据包。哎,断住了,断在了这个位置,当前的这个 value 值呢,就是那个。 呃,这种散的特征值嘛,我们就可以去往上面找一下,它在什么位置啊?在这个地方就找到了这一处呢?首先 t 的 话呢,是那个 u 杠三,然后 e 的 话呢,就是对应的这个加密的值,那再往上面找啊,找一下 在这个地方他的一个 e 是 什么呢? e 的 话它已经是包含了这个散置了,我们再往上面找一个对战,那么 d 的 话呢,也是已经存在了的,还能往上面找, 还能往上面找,找到了这个地方的一 e 的 话呢,在里面有个黑道,黑道子,里面会有个 u 杠散置,那么他也是已经生成了的,我们还往上面找,就找到了这个位置,那么这里的 e 的 话呢,看起来也是已经生成了的啊,也是已经生成了的, 那么这里的话,他就已经是找不到加密位置了吗?你再往上面找这个 e 呢,他就是被导进来的啊,被传进来的,我们再往上面找,就找到了这个 e 部, 找到了这个 e 部的这个位置的,我们可以给大家在这里去下个断点,你再往上面跟他,其实是他其实在这里会有个什么 dota 为 e, 那 这个地方的一个 e 肯定是,那肯定是通过这里去传餐的这个 e 啊,他并不是那个形容头里面的,所以我们要去下段的,是在他的 这个翼部的这个位置去给他下断点啊,什么点韧这个地方去给他下断点,下断点我们先给他过掉,过掉之后呢,再来去滚动加载好断住了,断在了这个地方。我们来看一下这种点韧呢,你可以去悬浮到他这个 这个这个地方啊,这个地方 t 这个地方,然后去选择它这里有几个函数吗?我们给它展开一下,第一个它一般来说就是请求拦截器,我们进到这里面来,进到这里面可以发现啊,它在这里呢就会有个什么 u 杠三以及 u 杠 talking, 那 么 u 杠三呢?等于 o 啊,传那个一点 u l 以及一点 data, 这个 这个这两个参数啊,给了这个 e 来下个断点吧,下个断点之后我们给他把先过掉啊,这里估计要断很多次,来过就跳到了这个位置,一点 y, y 就 刚好是我们的那个数据包的那个接口啊,那个链接嘛,这段路由嘛,对吧? 而 data 呢, data 是 它传过去的这个 data 值啊,数值空空数组,然后这些那个 size, 什么什么啊,就是相当于这个地方, 呃,这些东西啊,给到了这个 o 方法之后,就得到了对应的这个密文值的结果了,所以我们就能够去通过这样的一个 hook 的 方式来快速定位到他的一个参数生成的位置。 那你再看这个 e 的 话呢,就能进到这里面来,进到这里面来就可以把整个的这一套代码给它还原一下啊,或者交给 a h 给它做一下就可以了。好。

做 j s 逆向最崩溃的是什么?不是你不会分析,而是你刚打开网站,它先把你识别了,即便是进去了,也是脚本一大堆,入口找不到。所以给大家推荐一个 tiktok 上的 skill, 帮助大家解决问题,叫 hello j s reverse skill。 它不是普通提示词,而是专门给 ai 做 j s 逆向分析的一套工作流。这一套工作流会把 j s 逆向的流程拆清楚,进页面、抓请求、找脚本、搜入口或可验证,最后再还原成代码。那么它的工作原理又是怎么样的呢?第一,它先解决进不去的问题。 它围绕加密 fox reverse m c p 来设计,用反检测浏览器做动态调试,先让 ai 进入真实页面,看到真实请求和脚本状态。第二,它解决找不到入口的问题, 页面加载了哪些 g s 关键参数在哪个脚本里?像 c n token、 cookie 这些东西,它会引导 ai 一 步步去搜,去定位。第三,它解决跟不住调用链的问题。很多时候,最难的不是看到请求,而是不知道这条请求到底是哪段 javascript 触发的。它会顺着请求调用站后缀网址往回查, 遇到混淆很重,甚至 g s v n p 这种复杂保护,不是让你硬啃原码,而是通过后刻叉装日制分析,从行为层面追签名和加密逻辑。更关键的是,它不是只让你在浏览器里跑通,它强调最终要还原成 no g s 或拍散脚本, 把加密逻辑、请求逻辑真正落地。说白了,这个 skill 把 g s 逆向里最乱、最耗实践的流程,整理成了一套 ai 可以 执行的方法,先抓请求,再找入口,再好客验证,最后代码还原,完整的 skill 我 都给大家打包好了。

给大家的是用拍档来写网路爬虫到底有多简单。首先来介绍一下什么是网路爬虫,网路爬虫是一只城市,如果你给他一个网址,他就会去把那个网址的内容下载给你, 更厉害的是能从下载的内容挑选你想要的部分资料。我们先示范爬回整份资料有多简单。假设我们有兴趣的资料是台湾银行每天的排告汇率, 我们只要写三行原始码,就可以把这个网页整个下载下来。首先我们要引入一个外挂,称为 requests, 然后把要下载的网址丢给 requests, 点 get 这个函数,并且把它的传回值储存在 r e q 这个变速里面。 储存在 r e q 这个变速里面的内容有很多,其中网页内容会固定存放在 r e q 之下的,点 txt, 我们就可以用 print 这个函数把它印出来。各位可以对比看看,我们这个爬虫呢抓下来的内容跟官网的原始码 是不是长得一模一样呢?如果你抱怨老师啊,你抓下来的东西太多了啦,我只需要排稿费率那一部分呢?这么看起来拍档也没什么了不起的。 那我就示范用另外一个外挂叫做 pandas, 帮助我们只抓排高汇率的部分。首先我们引入 pandas 外挂, 把想要抓的网址呢,我们就丢给 pandas, 点 read html 这个函数,然后把传回来的结果保存到 dfs 这个变数里面。 除存在 d f s 这个变速里面的内容呢有很多,但只要 pandas 有 侦测到表格资料就会放在 d 零号元素里面。所以呢,我们就用 print 指令把 d f s 中括号零和这个元素,我们把它印出来, 各位看一下抓取到的内容是不是就是你要的排告汇率,没有参杂任何东西呢? 由上面的示范可以知道,无论你要抓网页的全部还是网页的一部分,都只要简单的三行程序码就可以办到。这完全归功于拍档拥有强大的外挂,这也是其他语言比较难做到的地方。

你抓包是不是也遇到过请求投干净,再何止有页码,唯一返回数据是密文,这就是今天要破的唯一难点,带你用 ai 一 分钟搞定某东方网页实战。大家好,我是马可,那今天的话呢,我们来看一下这个某东方的一个网页啊,那这个网页的话呢,我们首先来抓一个包啊,打开我们的 f 十二开发者工具。 好,打开之后的话呢,我们来进行一个翻页抓包,翻页之后的话呢,我们看到有些数据已经产生了,那我们一点开第一个数据包呢,就可以发现啊,在这里他会有一个密文对不对?你看这么长啊,那缠了多少东西得有多少数据啊?是不是? 好,那我们来看一下他的一个请求头参数啊,你会发现在这个里面的话呢,是没有任何的一个加密参数的 对吧?啊?然后的话呢,在载盒里面,载盒里面的话呢,它也只有些夜马之类的东西,也没有什么加密参数,对吧?那好,那重点在哪里?一个响应的一个密文对吧? 好,那在这种情况下的话呢,如果是我们自己去处理,也就是不借助 ai 怎么办呢?是不是好克一下对应的点追神,看一下能不能好克到,然后呢往前跟站看它用了什么对应的一个加密。哎,我们再去复现啊,但是现在是 ai 时代,已经 不怎么样,呃,不涉及这个古法编程啊,所以说呢,我就小小的用这个 ai 去进行了一个分析啊,然后同时的话呢,我用的是 deepsea 的 模型啊,那还是没有用一些,呃,比如说目前公认比较主流的模型啊,或者说比较好用的模型对不对啊?用的是 deepsea 啊,你看我是这么说的,我说在这个对应的接口啊,你看也就是这个嘛,也就是它嘛,对不对啊?可以看得到是一模一样的。我说在这个接口中啊, 它的一个响应是加密的啊,找出对应的解密函数,写入到对应的一个 d 盘下面的 python project 啊,下面的一个文件里面啊,写到这个文件中啊,然后呢?这里我打错了个女孩是吧?好,然后呢他就开始分析说了一大堆啊,然后的话呢啊,他说怎么样 啊,巴拉巴拉踩坑啊,过程啊,完整代码呀,啊,最后总结下来就是什么呢?哎,总结下来是一个什么?是一个对应的标准加密算法 a s 啊,一个一个 a s 啊,那好,他说可以直接使用当前的对应的代码进行一个解密 啊,以及对应的使用时历,他都给到我们了,那我们来看一下是否真的写入了呢?来,大家看,这就是刚才啊,他给到我们的一个网页,或者说他给了我们一个代码。好,那在这里的话呢,我把他对应现在的一个什么一个密文给他删掉 啊,删掉之后的话呢,我去我们的浏览器把现在这个新的密文复制过来啊,他是有一个对应的变量,对吧? 好,给他干掉。好,大家看到这是一大坨密文对不对啊?用的呢就是这个对应的一个标准库,对不对啊?也是这个对应的 es。 好, 那我们右击点击运行, 同学们发现了吗?这不就是明缓缓的数据吗?多不多?够多吧,对不对啊?那总共耗时多久呢啊?如果说我们自己不去看一眼的话,直接把网页丢给 ai 啊。嗯,大概也就是一分钟这样的一个网页就搞定了,非常的简单,非常的轻松啊。那这次的分享也就到此结束了啊。

做一名拥有零位粉丝的科技区博主,从今天起,我将用一辈子的时间为我的零位粉丝讲解全世界最受欢迎的编程语言以及 aigc 创作工具。而今天我要讲解的第一套教程便是 python, 本视频耗时三个月制作,制作时长超三百分钟, 陪你系统的学习 python 编程,这应该是目前全网最良心的入门到进阶的 python 教程了,哪怕你是零基础也能学会。相信大家偶尔会在各大视频平台刷到那些靠 python 实现自动化办公、爬取数据、制作小游戏的炫酷作品。 那么这些实用又有价值的 python 项目是如何实现的?我们又如何在编辑 python 代码时保证逻辑的严谨性,同时又能精准地控制程序的运行效果?从这些视频开始,我会从零教大家来学习 python 编程,从 python 基础环境的搭建讲解,到需求分析、代码编辑, 再到调试运行的技巧和最终的项目实战落地带,大家由浅入深的从零开始学习 python 编程接单或者自己开发工具,实现你想象当中的功能。除此之外,本系列视频中用到的 python 学习工具,实战案例、原码练习题、代码模板、 学习路线,还有目前 python 的 热门应用方向,自动化数据分析爬虫,我都会整理起来放在置顶评论里,有需要的伙伴可一步获取,下面就开始吧! 好,那接下来咱们来说一下 request 模块的一个基本入门啊,那在之前的学习当中,咱们呃写的第一个对吧?第一个,这个小爬虫咱们用的是 python 的 内置模块叫 ul lib 啊,里面有个函数叫 ul open, 但是呢,那个模块有一个问题,就是它在处理,呃,比方说请求头信息,对吧?处理这些东西的时候它并不是特别好用啊,所以我们选择一个第三方的一个模块叫 requests 啊,那 requests 模块呢?是我们未来学习当中 啊,要一基本上我要一直要用到的一个模块啊,因为我们拿到英文代码的话,主要用的就是它,那这个模块呢,既然是第三方的一个模块,那我们就不得不要考虑一个问题,就是它如何进行安装, 对吧?那安装这个模块呢,其实还是蛮简单的,我们直接用 p i p 就 可以进行安装啊。来给各位演示一下啊,我们打开拍叉姆,在拍叉姆里边呢,有这么一个选项啊,底下有个叫 termino 的 东西, 有个叫 terminal 的 东西,把它打开啊,呃,在这里面进行安装。听好啊,在这里面进行安装,这里面安装的好处呢?就是说它会呃随着你的这个虚拟环境的更改而进行更改,所以这个地方安装是没有问题的啊,不要说考虑其他地方既, 建议你就在这进行安装啊。 terminal 在 这里面直接输入 p i p, 然后呢 install, 然后 requests 回车 啊,他就开,如果你没下载过或者没安装过的话,他就开始下载了,然后吧啦吧啦一步一步进行安装了啊,我这个地方呢是已经装过了啊,所以这个地方是 already 啊,已经装过了。如果你你你的那块可能是需要一个下载的过程,然后最后有一个 successful 的 一个通知, 那这样的话模块就装完了。但是,呃,还有一个问题,就是我们默认的情况下这样的安装模块他是从国外的,就是拍摄那个库里面进行安装,他的速度呢是比较慢的,如果说你的那块下载速度特别特别慢的话,我建议你把它换成一个什么呢? 啊?换成一个咱们,呃,就国内的一个源啊,国内有很多的网站,他会把国外的一些个东西啊当到他的国内的服务器,然后 提供一个单独的一个服务器给我们来进行使用。那这个呢是国内的源,国内源的话呢,我们这块选择的是清华的啊,清华大学他提供的一个源,那我 直接就是 p i p 引导杠 i, 然后后面跟上一个圆,最后跟上你要安装的模块名啊,模块名。那这地方这个 u l 啊,你不用记,你直接百度就可以了。各位啊,你直接在百度里面你搜一下 p i p, 然后清华园 啊, p i p 的 清华园,那第一个网站呢?就是了,你打开 那我这个地方网速有点慢啊。 嗯,是他,是他哎,打开了,打开之后我看他这个地方就会告诉你了。呃,他每五分钟就同步一次,所以呢,你不用担心说他是会不会有什么之后的问题啊。然后怎么去使用?直接 p i p insert 杠 i 看着 跟上你的这个这个这个 u i l 啊,但是这个 u i l 一定要就复制粘贴过去就可以了。好吧,连着 p i p 一 起复制粘贴,最后你要安装的模块写在这就行了 啊,就行了,然后底下它会有一个设置默认,你可以按照它的这个操作把你 p i p 的 默认的原啊设置成清华的地地方啊,以后呢,也就不用使这个网址了。好吧,你就按照它这个操作来就可以了 啊。 ok, 来见面。我们回到这首。那安装完了模块之后如何进行使用,对吧?那我们可以在这个地方右键新建一个 python f, 对 吧?然后我们来一个。呃,第零几的,这是看一下啊,零七零七 零七里面的第一个,来 test requests 听好啊,这个地方起名字啊,千万千万记住了,不要让你的这个文件名和 任何的 python 内置模块,甚至说第三方模块都不要重名。很多小伙伴在做做测试的时候都会在这习惯性的直接卡 request 就 写起来了,不行 啊,千万不要重名,重名的话很麻烦。那在这个地方怎么测试?直接 import requests 啊,直接 import requests, 我 们依然去拿百度去做实验啊,依然拿百度做实验来去爬取百度 的页面原代码。怎么爬呢?准备好你的 ul, 哎,跟之前是一样的好吧, 准备好你的 u i l, 然后接下来 request 点儿直接就可以去干嘛呢?这些个操作就有了,什么 get 呀, post 呀,记得吧,之前聊过呃,有 get 请求,有 post 的 请求。那咱这个地方默认用 get 请求 get 括号,然后呢,把这个 u i l 给它扔进去, 扔进去,扔进去之后呢,它就会给你一个响应,记住吧,会给你一个响应。这个就到目前为止跟那个 u i l open 还差不多,还差不多,只不过这地方改了一点点,对吧?然后接下来我想拿到的来 print response, 我 们直接打印一下 response 来运行, 你看它返回的是 response 对 象里面是二百,二百表示的是两百的那个状态,对吧?咱们讲 h t t v 协议的时候,简单聊了一下,两百没有问题,没有问题的话,我想从这个响应里面拿到它的响应体,响应体里面放的才是页面代码嘛,对吧?所以直接点 text 对吧? text 就 能够拿到这个响应里边的文本信息,那默认就是页面原代码,这是拿到页面原代码,对吧?来,右键走, 来,我们拉上去,拉上去看了,我们就能够拿到它的页面原代码,但是这里面有些问题,你会发现,看这个东西没有 啊,这个,这个中文是不得处理啊,对吧?中文看显示不出来,那怎么办呢?咱之前聊的那个 u l open 还记着吗? u l open 是 这样的, response 点 read, 然后点抵扣的,记着吧,它有一个 呃解码的一个过程,一样的,你这地方如果也想进行解码的话,我们不需要写那么长,直接 response 点 in call 顶,哎, in call 顶给它设置成 u t f 杠八,哎,这个时候我们再看 来,再看看我们就能看到啊,百度一下你就知道,所以你会发现整个这个过程是不是简单很多呀,对不对啊?所以我们未来啊,甚至说以后我们写爬虫的时候,首选都是 request 这个模块,那个 u l open 就 不要再用了啊,不要再用了,当你 真的涉及到请求头信息的处理的时候,你就知道了,这个东西是真的简单啊,特别简单,直接给参数,后面往上怼就行了。 好吧,那这是我们如何进行安装 request 模块以及 request 模块的一个最最最基本的使用啊,各位可以去尝试一下,拿它来去。呃,写一写这个爬虫啊,感受一下这个 request 模块和 ul open 的 一个区别。好吧,可以感受一下。 ok, 那 这个呢,咱们就说到这,谢谢各位。好,那接下来咱们用 requests 啊,来一个,呃,初次入门的一个实战啊,那首先呢,我们先把这个 request 先导进来 啊,然后呢,我们说一下我们的需求,咱呢把目标啊,盯准这个叫搜狗的网站啊,搜狗的网站,那搜狗里面我可以去搜索些东西,比方说我搜周杰伦来,注意看啊,周杰伦,然后我一点搜狗搜索走你, 哎,你看他发送了一个呃,这样的一个请求,后面呢,跟了一大堆的东西,对吧?然后我们能看到周杰伦的相关的一些内容。那么各位,接下来我要告诉你个事情,在搜狗啊,类似这样的搜索引擎里面,其实后面的数据都没用, 哎,全干掉,就留一个 quarry, 等于周杰伦来我这个地方敲一个回车来。我们看到的数据是不跟刚才是一样的呀,对不对?所以这个时候你会发现它这个里面前面是个 u l, 然后后面跟上一个 web, 然后 主要是这个问号,问号后面跟的是 quarry 等于周杰伦,所以我只要把这个 quarry 等于周杰伦,把这周杰伦换一换,对不对?他就能搜索,哎,跟这个呃,这个你搜你输入的这个词相关的内容,对吧?比方说我换一个林俊杰,林俊杰来走你, 哎,能看到吧,林俊杰相关的内容就出来了,所以我们基本上可以确定,哎,我想搜索的这个呃内容呢,只要跟着 query 后面的这个词去变,哎,整个内容呢就跟着变了,对吧?所以我们可以在这边,是吧?准备好我们的这个 url, 然后呢?让它等于, 哎,这个是我们的 u l, 然后 query 的 内容是不是要换,换一下,换成我们想输入的内容啊,对不对?那我就可以来个 content, 对 吧?等于 requests 点 i sorry request 了,等于 input 来请输入你要解锁的内容。好了, 这个时候程序运行到这,对吧,就会让你去输入,比方说你输入周杰伦,那 control 就是 周杰伦,我把周杰伦塞在这,对不对?那把这个变量塞在这个位置的话,我前面怼上一个 f, 然后把那个变量怼进来 content, 对吧?这个就是 python 基础的一个字母串的语法,是吧?然后接下来我们就可以拿着这个 u l 输入发送网络请求了,那这个网络请求的话,我们必须要注意一下它是 get 呀?还是 post, 对 不对?来,在这个地方,我敲我回车 来这个地方点一下来,看,我们能发现它是什么请求。 get 请求,那它既然是 get 请求,我这边要去执行的话,应该是 request, 对吧?点,然后 get, 哎 get, 把这个 u l 给它装进去,装进去之后就能得到一个响应,那想得到这里边的内容呢? response 点 text, 对 吧?达到页面原代码,来右键走那解锁内容,我想解锁周杰伦,哎,走 有点慢,哎,没关系,来,往上拉,往上拉。哦,我这个地方,哎,你看啊,您访问出错了啊,他说什么?呃,用户你好,我们的系统检测到您网络中存在 异常访问啊,什么异常访问?你看后面,他说此验证码用于确认那些请求是您正常的行为,而不是自动程序发出的,哎,注意咱这个是不是程序啊,对不对?也就是说人搜狗检测出来了,你这个不是正常的浏览器行为,而是一个代码自动化的程序,那怎么来处理这个问题呢? 对吧?怎么来处理这个问题呢?来到这边来看啊,我们本次请求的请求头请求信息在这呢,然后往下拉,看这呢请求头在他的请求头里面有这样的一段话,叫 user agent 等于什么?什么玩意儿?那么 user agent 什么意思呢? user 叫就是就是用户,那 agent 呢?就叫助手,那合起来就是你用户用的什么助手,那用户用的什么设备发送的这次网络请求啊,那他这地方告诉了我用的是一个叫什么。 呃,后面是谷歌浏览器啊,版本是这个版本,然后用的是,呃,什么什么玩意?反正就是跟了一大堆这个这个设备的一些信息,那接下来我把它复制出来看。好啊,把它复制出来,我们在这个地方需要处理一下这个反爬,那在这个位置我们可以准备一个叫 hidders 的 东西 啊, hidders 的 东西,然后把刚才的那段东西,哎,在浏览器里面复制出来的 user agent 怼在这。注意了,这个地方一定要给它引起来 啊,它是个字典嘛,对吧?谁等于谁?那我有了这个 hiders, 我 要在发送请求的时候是不是得把它怼进去啊?那在这个地方我们就可以跟上一个 hiders 等于 hiders, 对吧?把这个用户的这个,呃请求头信息啊,用户的设备信息给他发过去,发过去之后他就不再认为你是一个什么,就是异常自动化程序了啊。来,右键走。那再试一下啊,还是周杰伦,哎嘿,周杰伦,走, 来,我们往上拉,看看有没有周杰伦的相关信息啊,在这搜一下吧,太多了是吧?周杰伦,哎,看,哎,不是这走, 呃,再往下走,再往下走,再往下走,看着周杰伦的相关的信息啊,就出来了,咱们还可以往下走,挺多的呢 啊,挺多的呢,看着吗?周杰伦的相关信息,所以此时这一次的请求是有效果的啊,是有效果的, ok, 那 在这个地方咱们简单的处理了,哎,处理一个小小的反爬 啊,一个小小的反法,因为人家那头要叫验一下你是不是正常的浏览器,对吧?所以我们要把 user agent 给它加上去,所以这个地方注意是添加一个 啊,一个 hide, 一个请求头信息啊,这个 u a 啊, u a, 这个叫 user agent 的 一个简写 u a 啊,就是你的设备信息给他发过去就 ok 了。那么我想知道它默认情况下, 哎,我们的这个,呃, python 在 发送网络请求的时候,它到底 hider 是 什么样的呢?来,我们可以把这个先干掉,来,看着啊,我们在这个地方可以 print 打印一下 response, 点 request, 点 hiders 啊,在这个地方可以 查看到什么呢?这个请求头信息啊,查看到默认的请求头信息,你就知道是咋回事了。来,我把这个注示一下啊,你就先走,那这个随便输了 出来。看着默认的这个请求头信息里面放的 user agent 是 什么?是 python request? 什么什么玩意儿?那这个很明显,这个这个不是正常的浏览器,对吧?所以我们要伪装, 懂了吧?所以我们要伪装,那一伪装的话,我在这啵儿跟上一个 hiders, 等于啊,这个 hiders 来,这个时候你再看啊,这还得瞎输入一个 来看此时的 user agent 呢,是不就就这样了?所以我们这一次请求就正常了,知道吧?所以这个地方 各位啊,一定要注意,一定要注意,我们有一些网站他是会对你的这个设备做一个检测的啊,检测,检测到你不是正常的浏览器,那他就不给你正常的数据,对不对?所以我们这地方要处理了,一个很小啊,很简单的一个一个反爬 好了,那 request 的 一个最初级的一个入门,哎,咱就完事了啊,就主要是说了一下这个 get 方式的请求啊,怎么来处理?那么下一小节咱们来说说 post 的 请求是长什么样的啊?以及 post 和 get 的 区别在哪里,是吧?咱们下一节去聊。 好,那接下来咱们来说一下 requests 这个模块如何发送 pos 的 请求啊?那首先我们打开浏览器,在浏览器的地址栏里面,我们把矛头对准百度翻译,那翻译点,百度点 com, 然后进来之后,你接下来的操作必须和我一模一样,否则你很难说是能找到它我们所想要的那个 ul。 首先你要摁一下 f 十二 啊,把这个呃党调到这个 network 这个党,并且把这个下面的筛选调整到叉 h r 啊叉 h r, 一 切都是为了监测这里面一会要发生的这个网络请求。然后接下来我们点击这个位置啊,点,点击这个位置,然后接下来一定要记着,你要把你的输入法啊,把你的输入法切换到什么?切换到这个,呃,这个,这个英文状态 一定要切换到英文状态,中文状态的话,搜那个,那个,那个搜索输入法也好啊,或者说你默认的那个输入法会影响他的这个网络请求啊。那在这个地方,我们假设输入 dog, 哎,输入 dog, 一 输入 dog, 你 会发现这个右边就开始发送请求了,对吧?那这个请求是什么呢?各位啊,是什么呢?我在这块边说 dog, 来你一你一输入倒回去,你会发现这个地方,看看这个东西没有,哎,这,这东西都是动态加载进来的,对吧?你就说我每次每次输入一个字母,他都会发送一个网络请求,对吧?那我们看一下他的网络请求是哪一个?主要指的是这个 s u g, 注意啊,是 s u g, 其他的目前已 各位的这个实力来说还爬不了,我们只能爬 s u g 来点下它。点到这个 s u g 之后,我们来观察一下吧,首先它的 url 是 在这呢, http 翻译点,百度点 com, 然后 s u g, 对 吧?这是我们要请求的 url, 然后注意看了它的请求方式是什么方式是 pose 的, 看到了吧,跟之前不一样了,现在是 post 了。然后接下来啊,往下再去看啊,这里边的什么?呃,这个,这个 request header 我 们不用管,我们往下拉,拉到底下,看到这没有?这块有个叫 kw 等于 dog 啊,注意, k w 等于到过,咱们在哪输入到过,是不是在这输入到过了,对吧?也就是说此时的参数并没有说放在这个 url 身上,咱们刚才看的那个搜狗那个不是在这块写了一个什么问号, quarry 等于什么什么玩意了吗?对吧?那个参数是直接拼到 url 上的,但是 pos 的 请求一般情况下很少说在这个呃, ul 上去去去写一些参数,但是有些网站它确实会写啊,但是你不用管它 pos 的 请求,它的参数往往都在底下的,叫 formdate 里面啊,往往都在 formdate 里面,那这里面它的参数名叫 kw, 对吧?就跟咱们刚才说的那个 query 的 猜那个那个那个参数名叫 query, 对 吧?搜狗那个那个那个 query。 那 么再往后, dog 是 我们输入的这个值,咱们后面那个刚才输入的是周杰伦, 对吧?所以都是有有有这个相似性可言的。那接下来咱们就尝试着去发送一个这个请求,看看能不能打,能拿到我们想要的这个内容,对吧?看看这个内容都是什么? dog dog dog dog dog 对 不对?跟刚才那个在这个地方看到的是一样的, 咦呀,又不出来了,到又不出来了,反正就是刚才这个地方是能看到这些数据的,对吧?那接下来咱们就尝试着去发送一个网络请求啊,注意是 pos 了,那么到这边来,首先第一个事,把那个包给他导进来, 对吧?导进来,导进来之后准备好的 url, 注意 pos 请求的 url, 你 就把这个地方的 url 全盘的拷进来,你甭管他后面写了些什么玩意, 懂吗?这个后面有可能会有问号,会带参数,你甭管,全都给它复制过来啊。 pos 的 你就这么复制,没毛病的,来弄过来。 u l 准备好,准备好了之后,接下来就可以发送我的这个请求了。但是发送请求之前,各位请看 这个地方是不是还要一个像字典一样的这个东西啊,对不对?这个函数得有啊,所以我们要准备好我们要发送的数据,那数据是什么?是不是这玩意?然后后面刚才写的是不是到这玩意,对吧?那可不可以给他换成用户输入啊,对吧?可以的,那音符他怼在这, 来,请输入一个单词,可以吧?然后接下来收到这个单词,对吧?扔给这 kw 组装到 date 里面去之后就可以发送了。那 response 等于来 request 点 pos 的 请求, 看懂了吗?各位,咱刚才之前说的那个那个 get 请求是不是点 get 就 可以了,对不对?那此时我们发送的是 pos 的 请求,所以 pos 的 把 ul 给它怼进去,怼进去之后光有 ul 是 不够的,它那个地方还要数据,对吧?所以接下来注意 toast 的 请求方式, data 等于 data, 数据要这么传,注意啊,数据要这么传,你这个可以换名字的啊,呵呵 呵呵,懂吗?总之人家那个地方叫 date, 你 不能换啊,你不能换,你这个地方爱叫什么叫什么,这是你的自由啊。然后接下来我们就可以打印一下 response, 点 text 来,右键走你 那输入个单词吧, apple 来 apple 对 应的这些个文字,但是此时你发现这个字儿什么杠 u 杠 u 的,是不?不太舒服,各位,对吧?不舒服怎么办呢?注意, 此时服务器返回给你的这些个数据,它叫什么呢?它叫 jason, 来各位,这个地方 看好福气,返回给我们的数据是这个样子的大括号,然后里面什么谁冒号谁,谁冒号谁,那这种数据格式我们统一管,他叫 jason 啊,叫 jason。 那 jason 数据的话想要进行解析,我们可以有两种方式解析。第一种方式,你可以导入 jason 模块, 哎,你可以导入劫色模块,拿劫色模块呢,去处理一下这个,呃,这个,这个字母串嘛,对吧?把它处理一下,还有一种方式啊,更简单,更简变,可以 response 点 jason 啊,直接 response 点 jason, 来右键,哎,走 啊,还是 apple 走,看到了吧,哎,此时我们就拿到我们想要的数据了,并且此时 response 点 jason, 注意它返回的是个什么?是个字典,哎。而之前我们写的这个点 text 的, 拿到的是什么?是自复串, 懂吗?是不一样的啊,是不一样的。这个地方我们写个 jason, 拿到的是字典,字典有好处的。好处是什么呢?我可以往里面一层层的拿数据,比方说,我想要 date, 看着 oppo, 我 就想要 date, 前面这个 i 我 不想要,你看这 date 就 出来了,知道吧?这就是字典啊,字典。所以我们可以通过 jason 啊来能直接拿到 jason 数据 来,此时拿到的直接是 jason 数据啊,而刚才的那个 print response 点 text 的, 它拿到的是什么?是文本,就是字串儿 啊,文本,字幕串,你想把字幕串变成 jason, 可能还需要再去转啊,或者怎么样,对吧?但是人家 request 模块直接提供了,你点 jason 就 拿到 jason 数据了,对吧?这样就很方便啊。 ok, 那 这是咱们聊的说如何用咱那个 requests 啊去发送一个 post 的 请求, 对吧?这个并不复杂啊,并不复杂,主要就是这个百度翻译啊,各位,这个百度翻译很头疼,你很有可能说是,呃,在这个抓包工具里面,你找不着这个 s u g 啊,我再给你说一遍,怎么找这 s u g, 那 清空在这个地方啊,一定记住,这是百度翻译啊,一定是他的域名不能后面跟杠啊。然后在这个地方我可以点一下,点一下之后呢输入东西,但是输入东西之前一定记得把你的输入法调整成英文状态的输入法 啊,不能是有有有有,这个,这个输入法出现的就直接就是美式键盘那种啊,那我输入一个,比如说 abc, 你 看这个时候 s u g 就 出来了,知道吧?啊,所以这个地方一定要小心啊,很容易出不来东西的。 ok, 那 这是咱们聊的关于 request 发送 pos 的 请求啊,但是这地方注意,我的参数是不是放在这里啊,各位,对不对?哎,我的参数是放在内存里面的 啊,是代码里面,而之前我们聊的那个 get 请求参数是放在哪呢?各位,参数是不是直接挂在这个 u l 的 屁股上了,对吧?直接挂在 u l 的 屁股上了啊,这是,呃, get 方式跟 pose 的 两种方式啊, ok, 那 这一节咱们就说到这,谢谢各位。 好,那接下来咱们来看一下 requests 的 另外的一个问题啊,就说当它的 get 请求太多的时候,怎么来进行处理啊? 咱们先去找到咱的目标,哎,打开这个网站,我们找到的是豆瓣这个网站啊,豆瓣,豆瓣里面呢,我们找到电影哎,电影,电影里边有一个排行榜来,这地方有个排行榜,打开, 打开之后呢,这地方有这个喜剧啊,动作呀,爱情啊什么的,这玩意对吧?啊?我们选一个爱情,爱情吧, 好,打开打开之后我们能看到这个爱情相关的数据,对吧?爱情相关的电影霸王别姬啊,阿甘正传呐,美丽人生啊,对吧?这些数据,然后接下来注意了,我想爬取这里面的内容, 哎,我想爬取这里面内容,那么各位请看啊,第一件事,我们先去看一眼页面原代码,来, 在这里我们搜一下这个霸王别姬,哎,你会发现没有,对吧?哎,很奇怪,哎,你页面上明明有霸王别姬的,但是你页面原代码里面没有, 为什么这样呢?还记得之前我们讲的这个网页的加载的过程,对吧?他是,哎这样的一种形式,就是这是你的网站啊,这是你的浏览器,这是人家的那个服务器,你第一次请求过去之后,人家返给你的什么?是不是只是一个页面结构,一个壳子? 数据的话是通过第二次发送请求拿到的数据,然后再展示出来,对不对?所以我们现在此时能够通过这个 url, 通过这个 url 能直接拿到他是第几次请求?是不是第一次请求啊?你直接能拿到的只有一堆无用的 html 结构, 对吧?只有一堆无用的 html 结构,那真实的数据是通过第二次请求 才发生的,那第二次请求在这是看不到的,对吧?想看到后面的请求,我们打开 f 十二 a f 十二,然后在 nightwalk 里面去看,并且把这个呃档啊调到这个筛选档,调到这个叉 hr 这一项啊,这个地方我们一般只看数据的时候都看,都要他这个档,然后刷新一下页面,走你 啊,剩下的事就是等等看,这,这里面出了三个链接来,先点开,第一个点开,那你发现里面,哎,张国荣霸王别姬是不出来了,但是这只有一个霸王别姬很明显是不够的,对吧?咱后面还有阿根正传呢,美丽人生啊,福尔摩斯这些玩意。那往下走,看他吧, 他也不是他,就这么点玩意,你肯定是没数据。那往下再走,哎,第三个,第三个,你发现这数据是不多了,来,打开一个,哎,这是霸王别姬,再打开一个 啊,阿根廷传,哎,对上了,对不对?那再往下走来。第三个是这个叫美丽人生啊,在这呢,所以你会发现数据是通过这个 u l 来加载进来的,那么这个 u l 长什么样?也还得死啊,还得死。里面这告诉你了啊,这个 u l 呢,是长这个样子的 啊,是长这个样子的。注意这个 url, 它的问号是一个分水岭,问号之前就是一个普通的 url, 然后问号之后是一大堆的参数。还记着咱刚才聊的那个这个,这个搜狗里面有个 query, 等于周杰伦,记着吧。 对,它都是出现在问号后面的,所以问号后面才是你真实的参数信息啊,才是参数信息,然后往下走,请求方式是 get 啊,是 get, 然后这地方两百, ok, 那 不用看了,往下走对吧?这些东西暂时先都不用管啊暂时先都不用管,出现反爬的时候再来看它,然后往下走这个地方。刚才咱们发送的 post 请求叫什么?叫 formdate, 此时这个请求叫什么?叫 get 了? get 请求写的什么叫 query, stream, parameters, 看到了吧?是不一样的啊,看这儿, 看这,哎,这地方是 post post, 它叫什么?叫 form data, 而这边咱这个叫什么?是 get 请求对吧? get 请求叫什么?叫 query, stream, parameters, 所以 不一样的哦,不一样的好了,即使啊,甭管它一不一样吧。此时你看到这个 get 请求,是不是这个 u l 很 长啊,对吧?参数很多,那什么问题呢?如果你的参数非常多,各位想象一下啊,如果这个参数有十几二十个,对吧?这个 u l 会写得很长,然后调整参数的时候就很痛苦,对吧?那怎么办呢?看好我们把, 注意啊,只是 get 请求啊, get 请求里面问号前面的部分把它弄出来,这个是 ul, 后面问号后面是参数啊,是参数。来,咱们把前面的这个东西复制扔到咱们代码里面来, 模块还没倒呢,是吧?没关系,先把这个 ul 准备好,然后导入我们的那个模块 request, 对吧?然后接下来就可以发送请求了,注意 request 点 get u l 发送这个请求没问题,但是 这个 u l 是 不是不完整啊?后面还有问号,一大堆参数呢,各位对吧?那这个参数怎么办呢?到这面来看,好,我们参数在这里呢,都有体现,注意啊,你可以一个一个对一下。 type 十三看着啊, type 等于十三,然后 int 等于一百。什么什么?呃,九十来看底下 intopid 一 百,冒号九十啊,刚才那那段乱码是冒号的意思是吧?然后 action 什么 start 零 limit 二十来 start 零 limit 二十,是这些玩意吗?对不对?所以把这些玩意复制。 那复制复制他的好处是啥呢?是到了咱们这边他好处理,知道吧?直接很好处理的,往里一粘,把他引起来,引起来引起来引起来引起来。这玩意引起来这玩意引起来。引起来。这地方引上啊这地方引上来。 逗号逗号逗号逗号来。这个时候是不是就变成四点了,各位,是吧?哎,所有的参数都都挪过来了,有了之后数据有了,发送请求的时候把数据带上不就完了吗?那在发送 get 啊,这个 post 的 请求的时候,咱们叫 date, 记得吧?那不行了,这不能叫 date 了。这个地方应该叫 paramus, 等于对它啊,也是,你这叫啥都行,你叫,呵呵,没问题,这个地方拿过来就是,呵呵,这地方叫什么你就叫什么,反正总之是把它传过来,对吧?那得到一个响应,我们看一眼这个响应有没有问题?来, print response 点 text 的是吧?右键走, 你看,啥也没有,哎,啥也没有,这个啥也没有,啥意思呢?各位,依然是它的反爬的问题,它默认也是会检测你当前的这个呃设备的信息,所以我们还要准备一个 hidders, 等于这地方在哪粘来着? 是不是在这呢?各位,把这个 user agent 来弄过来复制啊,把这 u a 弄过来,往底下一粘呀,先写个引号啊,这样好处理来, 这样,这加一个引号,这加个引号是不就完了,对吧?哎。 hiders 等于 hiders, 对 不对?咱依然还要处理一个小小的反盘,是吧?处理一个啊,小小的反盘好了,接下来我们再跑来,你给我出来 看,数据就出来了啊,数据就出来了。所以此时,哎,我们可以通过呃 get 方式来发送请求,哪怕说你参数很多没关系,对吧?哎,也可以正常的去处理。但是此时你一定要清楚, 只要是 get 请求,你这个参数甭管是这么写的,还是在后面问号写进去的,他都会拼到 url 里面去,这一点你要你要记住,来 response 点这个地方 request, 点 url 来,当他发送请求之后,我们看一眼他的 url 到底是什么?来,右键, 走,咱刚才不是在这看他那个 hide 了吗?对吧?还能看这个 url 看见没有,看见没有,他的 url 依然会把这些参数给你拼进去, 懂了吧?所以, get 请求参数在哪?各位是不是永远都会在这个这个这个 u i l 身上,对吧?哪怕你是这么传的,最终也得变成这个样子, 哎,那这是咱们关于 get 请求啊,他发送的这个请求的方式啊,当然依然是有这样的一个现象啊,就是他返回的是什么?是 jason 数据,对吧?很明显,他返回的是 jason 数据, jason 数据的话,我是不是也可以 这个地方接缝怼起来是不也可以啊?走你, 嘭啊,数据就出来了,对吧?哎,所以我们说这个 request 模块啊,它是真的非常的好用,注意,如果你用 ul open 那 种方式来处理 u a 呀,对吧,传递数据呀,对不对?都没有它这么方便简洁啊。 好了,那至此,咱们关于 requests 的 一个啊,完全入门的这么一个需求,咱们算是 ok 了。其实我们用这个这个 request 啊,用的比较多的,基本上就是怎么发送请求啊,甭管是 get 还是 post, 怎么发送请求,咱得知道发送 get 请求的时候用的是 parent, 发送 post 的 时候呢是 data, 哎,然后呢处理?处理反法基本上都是 headers 啊, headers, 然后还有就是我们返回的数据可以通过 response 点 text 拿到纯文本啊,字母串儿,还有一种方式点 jason 拿到 jason 的 数据,对吧?所以就是这样的这些东西啊,基本上咱们的呃,就是把这些掌握了,咱们 算是一个小小的入门了啊,小小的入门了。好,那关于这个 request 的 入门,咱们大概就暂时说这么多,往后随着咱们学,咱们一点点的,再去学一些一些其他的内容啊, 包括怎么返回,呃,一个视频,返回一个图片,对吧?怎么来处理啊?其实道理都一样啊,道理都一样。 ok, 那 这一节咱们就说到这,谢谢各位。

想抓包,但是网站有反撬式,那该怎么去解决呢?我亲自搭建了这样一个提升爬虫定向技术的答题网站,想要实战的兄弟们欢迎前来挑战。第四十七题,我使用了比较常见的十种反撬式啊,包括无线的 bug、 定时器检测、控制台检测等等等等。想要顺利抓包,那你就得见招拆招,本期视频我会手把手教你如何绕过反撬式, 那么脚本断点过反调式具体怎么操作呢?首先啊,我们开启一个新的浏览器窗口啊,然后提前打开这个开发的工具啊,然后呢,一个步骤啊,是不能省略掉的,就是在这个地方有一个事件监听器断点,然后找到脚本把它勾一下啊, 然后我们再来去访问这个地址啊,如果说你没有在这个地方完成脚本勾选的这个步骤的话啊,依然会被检测掉,然后导致什么呢? 导致在这个地方可以给大家演示一下啊,现在是进入到了这个无限的 bug, 那 无限 bug 我 们可以用后壳把它过掉,对不对? ok, 后壳过掉无限的 bug 之后,你就会发现啊,直接到了空白页啊,像这个反流式一共是十种,无限的 bug 只是其中的一种啊, 不是说啊,无限第八个你搞定了,就这个反求式你就处理好了啊,并不是啊,那么在这个地方,我们九本打一个勾之后,再来去访问这一个地址啊,那访问这个地址之后啊,现在 ok, 他 触发的每一个 gs 啊,都会进入断点啊,像这一个 mate gs 里面是没有这个反求式代码的,我们可以直接跳过啊, 然后这一个 gs 呢,它是什么呢?它是就是你把这道题啊成功啊,提交答案之后的一个动画特效啊,这个 gs 呢,也可以直接跳过, ok, 然后呢我们就来到了第四十七题的算法 gs, 那 么在这个算法 gs 呢?怎么去过啊?很简单啊,同样的,我们直接给它跳过, ok, 跳过之后啊,你会发现会进入到一个无限的 bug, 那 么这个时候呢,我们就直接啊回到无限的 bug 在 哪个位置触发的啊?直接跟踪什么呢?跟踪对战啊,在这个地方, 现在是到了这个无限的 bug 啊,可以看到是一个虚拟的解锁文件,对不对?然后我们直接回到它的上一级,也就是来到这一个题目的 gs 代码当中啊,点击跳转,点击跳转过来,那么接下来右击啊,选择替换内容, ok, 替换内容,点击之后啊,那么在这个地方,我们再回到刚刚啊,也就是他无限的 bug 触发的位置啊,如果回不去啊,那很简单,再来点击一次,那如果说你还是回不去,没关系啊,再刷新一下, ok, 再刷新一下啊,那么继续调试啊,找到这个无限的 bug 的 位置啊, ok, 这个地方我之前替换过一次啊,我先把上一次替换的痕迹先先删掉啊,这是我之前的替换啊,先把这个替换掉啊,先先删掉,不删掉的话,这个历史记录是已经已经过了这个无限的 bug, ok, 跳过,那么接下来可以看到啊,无限的 bug, 那 么接下来我们再来到上一集这一个 t s 啊,这一个 g s。 右击替换内容之后啊,我们再,然后再干嘛呢?然后再 把这一段的无限低 bug gs 代码,可以看到他是在这个地方执行的构造器,对不对?无限低 bug 啊,把这一整个方法给他删掉,兄弟们啊,这一整个方法全部都是反调试代码啊,这整个方法全部都是反调试代码,能理解吧? 那么接下来我们就直接啊,全部删掉, ok, 全部删掉,那么删掉之后啊,保存一下,保存之后呢,我们接下来再来点刷新啊, ok, 这个脚本断点其实要不要都无所谓啊,再来点刷新,那么接下来又进入到了无限的 bug, 对 不对?那么接下来我们继续啊,回到上一集, ok, 这一段代码同样的啊,给他删掉, 再按 ctrl 加 s 保存。 ok, 那 么接下来我们再来执行刷新啊,那么到目前为止啊,我们就已经删除掉了两个无限极 bug, 对 不对? ok, 现在可以看到啊,在这个地方他又触发了无限极 bug, 同样的,直接把它删掉,再保存,再刷新网页啊, 然后再看一下还有没有无限极 bug。 ok, 又触发了啊,一共是十种检测啊,也就是意味着啊,被检测出来可能啊,最多他只有十次的无限极 bug 的 次数啊。那么同样的,把它删掉,删掉之后,我们再来刷新,看一下还会不会有。 ok, 还有无限极 bug, 继续回到上一集,把这个代码删掉,这些删掉的代码全部都是 全部都是什么?全部都是反调式函数啊,反调式函数啊,注入脚本不可以吗?注入脚本看你是注的什么脚本。如果只是注入了这个过无线 bug, 不好意思啊,会直接变成空白页啊,会直接变成空白页,老哥刚刚已经给大家演示过了啊, ok, 那 么到这一步啊,可以发现这个无线的 bug 好 像没有触发,对不对?那么接下来我们再来尝试一下正常的抓包啊,看一下能不能正常抓包啊,点击翻页, ok, 没得问题对吧? 没来问,没得任何问题啊,抓包是可以正常抓的,然后我们再来点击反野, ok, 依然是没得问题啊,可以正常抓包。那么像这里呢,就是关于第四十七题啊,如何过无限的 bug, 像这一个反求式代码啊,我都把它封装在一个个函数当中了啊,你们直接删函数就行了,当然这个只是进阶里面的做法啊,那如果说啊,是困难里面的做法,那不好意思啊,我可能就不会把它封装成一个函数了啊, 我会把它放在一个大方法里面的这一个反调试,那这种情况下来,你们删代码的话,就不能一整个函数去删了啊,只能一行代码一行代码去删, ok, 那 么像第四十六题啊,也是同样的操作啊,第四十六题过这个反调试也是同样的操作啊,那么接下来我们来做一下啊,这个第四十七题,第四十七题有反调试啊,我们提前把这个替换开一下啊,开一下他就没有反调试了啊, 前面怎么过?这个反角式的已经给大家讲过了啊, ok, 那 么接下来啊,我们就废话不多说啊,来看一下这一个翻译的抓包啊,是怎样的啊?第五页,能不能绕 g s, ok, 那 你要用自动化,那也没说的兄弟啊,绕 g s 是 可以的啊,绕 g s 是 可以的, 你遇到过浏览器扣字台打卡页面空白怎么解决?兄弟,打卡页面空白跟我这里的题目一模一样一模一样,兄弟啊,你看一下我给你再演示一下啊,其他的哥如果说啊,不是很那个的话啊, 他会存在反调试,能理解吗?存在反调试啊,这个地方反调试我估计也开了这个地方也开了啊,是因为被反调试了啊。这个反调试再给大家演示一遍啊,怎么过反调试啊? 好吧,再给大家演示一遍啊,怎么过反调式啊,我先把这个替换的 g s 先删掉啊,无限的 bug, 新手村没有啊,只有进阶才有啊,进阶才有新手村是没有任何反调式的啊。 排行榜接口你刷新一下啊,刷新一下就可以了,我们现在就让他进入到无限的 bug, ok, 现在就是无限的 bug, 那 么像这个无限的 bug, 各位老哥啊,我知道啊,你们看到无限的 bug 就 想用什么?就想用这个后壳啊, ok, 如果你用后壳过掉的话啊,他会立马变成什么,立马可能就变空白了啊, 这第四十七天还是存在一点问题啊,现在又不变空白了,我再试一下啊,再试一下可能是运气啊,运气成分在里面啊。啊,替换开着的,我就说啊,本地替换是不需要的啊,我再重新刷新啊,无限低 bug 是 超锐兽的,没有 代码经过 gs 混淆,怎么可能是超锐兽呢?如果你想看这个无限低 bug 的 检测,老哥啊,我给你看原码好吧, 这个是这个是做的无限第一 bug 的 铭文 gs 代码铭文 gs 代码长这样子,你说哪一个地方是超他运输的兄弟 对吧?只是说啊,他混销之后啊,他可能跟什么可能跟这个运输的有点像啊,混销类型有点像啊,不是超超的运输的运输的怎怎么超?那不好超对不对?你代码也看不懂啊。啊,这个地方好像可以过的啊, 第四十七题貌似可以通过后壳过底啊。 ok, 第四十七题好像是可以通过后壳过底啊,我强制刷新一下, 但是我刚刚第一次给大家演示的时候,通过后壳是过不掉的,直接变成空白了。 我再试一下,看看到底后壳能不能过掉这个反角式啊,毕竟后壳的话,这个地方你只能过掉无限低 bug 的 反角式对不对?我这里面的检测一共有十种啊,还有开发者工具遮遮挡啊,屏幕的一个检测 三种后壳都运行一下, ok, 还是可以过啊。可以过第四十七题啊,通过后壳还是可以过 四十六题能过吗? ok, 四十六题我们来测一下啊,我记得好像是做了这个反调式标记了的,防止误杀,可能也就是说你短期过了一次之后,你后面就不需要重复过了啊。 ok, 这个现在是第四十六题的无限极 bug 啊,我们同样的用这个后壳来过一下看看啊。 ok, 第四十六题不行啊, 第四十六题的话就浏览器就直接卡了浏览器就直接卡死了, 看到没有?已经卡死了已经卡死了,刷新也没用啊 刷新也没用,直接卡死了。所以说第四十六题的话后壳方式不行啊,四十七题的话倒还可以啊。 你的意思是排行榜接口能看到原名?对的,我看一下有哪些。老哥改了啊,不然的话,老哥你可以看一下这个地方,阿尔法他铭文显示对不对?走地机他也是铭文显示,芳华他也是铭文显示。 ok, 我 们继续第四十七题啊,继续第四十七题, 然后我再后壳一下, ok, 那 么接下来我们直接翻页抓包啊,来看一下它的加密逻辑。 首先是在这个请求图当中啊,存在一个 cookie 值啊,存在一个 cookie 值,插件能不能过?插件能过啊, 但是里面还有一个就是浏览器画布的检测啊,浏览器画布的检测,画布的检测,你得你得看一下你那个插件有没有过这个反调式的功能。 ok, 像这个第四十七题啊,就只有这一个 x 杠 cookie 是 被加密的啊。那么接下来我们就直接啊全区来搜一下这个 x 杠 cookie 啊,全区来搜,发现搜不出来怎么办呢?搜不出来直接去看 gs 代码,毕竟这个位置 g s 代码是有混淆的。那么在这里面我们直接打上一个乱点,这里的对战他只有两个,对不对?那我打乱点就只能打到这个位置嘛?那接下来我们继续点击翻译, 点击翻页之后来看一下 c k 啊,是在哪个地方进行设置的,那要看 c k 在 哪个地方进行设置,我们就要看这个 z, 对 吧?看这个 z 变量啊,看这个 z 变量。我们来看一下这个地方啊,这个地方刚好有一个 z 的 设置,看到没有 x y 啊, 然后 z 呢?一开始是在这个地方创建了一个空的,那也就是说这个地方的位置啊,很有可能就是什么我们要的 cookie 的 生成位置啊。那么接下来断点,我们打在这,再来看一下它具体逻辑是怎样的,再来点击第二页, 这个是认证啊,这个是认证。这个 z 还有没有其他复制的地方?其他复制的地方也有啊,这里啊,在这个地方有,那我们断点打到这两个位置啊,跳转下来可以看到啊,这个就是我们要的 c k, 对 吧?叉杠扣 k 啊, 然后这个是时间戳,那么这个地方的 c k 啊,它是来自于 a 值的,来自于 a 值, a 值是通过这段代码进行加密的,那么接下来同样的看一下它分别传入了什么啊?首先第一个啊,就是我当前账号的名称啊, 然后 h 呢?应该是翻译的译吗?这个 b 呢,对应的就是时间戳参数了啊,那像这个地方的题目呢,我们就可以通过什么通过自动化直接把这道题给它秒了,那么接下来我们直接啊先用自动化给大家秒一下, ok, 然后是创建浏览器的驱动啊,这个驱动创建了之后,访问一下第四十七题 目的呢,就是加载 g s 里面的所有方法,加载 g s 环境吧,加载 g s 环境 这个地方是不需要做登录的啊,不需要做登录啊,只需要加载一下 gs 环境就行了, ok, 那 么接下来啊,我们已经有了这个环境啊,他已经加载完了啊,代码呢也执行完了,然后这一行代码呢就可以注视掉了,那么接下来我们就直接通过 run gs, 然后再来看一下 gs 代码里面是怎么写的啊? 首先在这个地方是第一个啊,是第一个是我的当前用户名,第二个是页码,第三个是时间戳,那么时间戳我们肯定要来上一个翻页模拟循环,对不对?那翻页模拟循环我们来上一个 four p e 润剂,然后是一到六, ok, 然后时间戳的话导入一下模块啊,生成一下时间戳 ts, 然后 time 点 time 乘一千, ok, 时间戳也有了,夜马也有了,然后在这里面我们就直接 return, return 什么呢? return 这个方法的名称啊? ok, 这里面一共是三个参数啊,这三个参数我们都在传, 首先第一个是账号,第二个是页码,第三个是时间戳, ok, 账号的话写死的一二三四五六, ok, 第二个是翻译的页码,翻译的页码呢?那就是这个屁了。 然后第三个是时间戳, ok, 第三个是时间戳,那也就是 ts, 对 不对?那紧接着我们在这个地方直接啊结束一下,这个是 ck 的 生成,我们再输出一下 ck, 然后再来运行代码,看一下 ok, 出现这种情况,出现这种情况可以看到啊,这个方法它不是一个完整的方法,那也就意味着什么东西呢?也就意味着我们在这个地方,这个方法它不是全局的。这个方法它不是全局的啊,它只是一个临时的方法, 也就说这个方法它不在温度里面,它不在温度对象里面。 调用来看一下啊,调用看一下有没有啊? 这里是 aef, 对 吧?你可以看到有没有这个方法有啊,这个方法有啊,这个方法有。难道是因为断点的原因导致的吗?断点导致的更多工具,打开一下开发的工具啊,我在这里面来测一下这个方法,看看有没有啊? 然后在这里面我们直接来到控制台,输出一下 windows 啊, 然后第二大写的 a e、 f, 这个方法也有啊,那我们就直接通过温度来调,兄弟们,直接通过温度来调也是一样的啊,这个地方的开发的工具,我们先把它关闭掉啊。 ok, 那 在这个地方我们来上一个 window 点,这样子就可以了啊,那接下来我们再来运行。 ok, 还是存在问题还是存在问题?我们再来访问一下啊?再来访问一下这个题目,把这个题目开着, 这还是不行,你不是说设置别名会显示心心,是为了防止别人登录,现在抓包一下排行,还是显示不带心心的完整用户名,我说了 用户名,兄弟啊,用户名始终是带星的,不存在不带星啊,只有别名是不带星的,能理解不?用户名是永久带星啊,只有别名是不带星的啊,你得把这两个名先分清楚啊。 这个地方我通过自动化斜修去调啊,发现调还是调不成功啊?调不成功。我们来看一下这个地方到底是什么原因啊?前面是字母串,后面两个是硬的类型,没问题啊。 ok, 我 们先进入到这个方法当中来。进入到这个方法当中来,在这个方法当中,我们来看一下啊,它是不是存在格式的问题啊?这里的,这里的大写的屁,我看一下有几个位置掉掉这个大写的屁 下面没有掉,这个大写的屁 l 下面也没有。那我们就直接把这两个啊,把这前面两个全部变成字母这啊, ok, ok, 这个地方我们忘记了一个方法。兄弟们啊,这个地方忘记方法了啊,他有个方法啊,我们这个方法没传啊,这就是我们刚刚钓没钓成功导致的啊,有报错啊,这个方法一定要传啊, ok, 放在这 等一下啊,这里面出现语法问题了, ok, 那 这样子的话应该就没有任何问题了啊,再来运行, 对吧?这个值就生成了啊,那这个值就生成呢?我们再来对比一下这个 a 的 结果啊, a 的 结果它也长这个样子,没毛病啊,那就做完这一步,我们就可以发送请求去找接口拿数据了啊,那找接口拿数据,我们把这个位置的 c o、 l 直接复制一下啊, 然后快速生成一下。这个你的代码我们就懒得写了啊,直接快速生成, 然后接下来是 hidders, hidders 的 话放在这 hidders 里面有两个值需要做替换啊,一个是 x 杠 cockey, x 杠 cockey 的 替换就放在放在这 x 杠 cockey, 然后等于 ck 做一下赋值,然后第二个就是 x 杠时间戳啊,时间戳一定要字母这类型, str 以下,那这两个值都已经搞定了,接下来是请求的地址以及翻译,那这坨直接拿过来, 这坨直接拿过来替换掉这个地方,然后这里的配己换成屁啊, request 模块没得?导入一下 request 模块,然后加载 gs 环境,这一行代码已经加载了啊,不需要了,那接下来直接 print response, 这后面来上一个点 gs, ok, 一 共五页数据啊,我们来看一下啊,这就是通过邪修手法来过啊,邪修手法的来过的话, 每一页就很快啊,然后的话我们来做一下这个加和处理啊,浪等于零,然后在这里来上一个浪加等于这里不是嫩啊,应该是 sum 求和函数啊。 ok, 那 接下来我们再来运行, ok, 搞定。二零五六啊,二零五六,放在这,第四十七题提交,搞定了。

拍伞爬虫从零开始学第四期,模拟登录了解新手学拍伞爬虫,别再死磕基础了,模拟登录才是你从只会敲语法到能实际干活的关键,可偏偏大部分教程要么太复杂,要么跳步骤,新手根本跟不上。今天这期专门为新手量身打造,零基础的小伙伴也能搞懂模拟登录。 好,同学们,今天我们来讲这个 request 的, 他的另一个常用功能叫做模拟登录。那首先我们要做这个模拟登录之前要知道模拟登录是做什么的,是干嘛的, 以及为什么要做这个模拟登录,模拟登录有什么作用对不对?那我们首先来看第一个问题,为什么模拟登录?首先从数据来看数据,大家可以简单的把数据分为两类,第一类叫做公开数据, 很简单的例子,你点开就能看,你打开百度有新闻,有各种各样的东西,对不对?每个人都可以看啊,不需要做任何操作,你可以点进去一览无余是吧?好,那第二个叫私有数据,什么叫私有数据?就说你必须要登录才能查看的, 比如说你的一个个人关注,你的一个我的喜欢,是不是收藏等等内容,这些内容你不登录账号,你可以看得到内容吗?看不到的是不是什么都看不到? 我们举个很简单的例子,你访问知乎首页不登录可不可以?可以,但是你要看你的收藏夹,你要看关注,你要看私信,你可以不登录吗?有东西吗?没有,只有一个登录框 啊。所以说模拟登录的第一个目的就是要拿到需要权限才能访问的数据,大家一定要理解为什么去做模拟登录?我们继续往下看, 我们可以从反爬的角度和另一个角度都来理解一下这个东西。网站会对一些未登录的用户去设置一些访问的上面的限制,比如说你没有登录对不对?好,我每分钟最多让你访问十次,单人比较少,大家可以简单去这么理解一下。 第二个很常见,在某些数据接口,他只有你登录的时候才会返回完整的数据。什么?什么意思?来,同学们想一下,你打开一个网页,然后数据出来了,你往下一滑,发现下面写着请登录查看完整内容 有没有,绝对有请登录查看完整内容这一类的大部分是什么情况?只有你登录之后,后面的数据才有,你没有登录这些数据是不会有的。 所以说那这个时候模拟登录是必须的,对不对?因为你不登录没有数据,所以说从反爬来说,这个动作是非常重要的。那我们从业务来说,比如说他有些网站他的逻辑就必须要依赖登录,比如说个性化推荐,你不登录,他怎么个性化给你推荐? 或者说登录前跟登录后是不一样的,登录后才能获取什么东西?当然这个东西我们不详细去讲,大家有兴趣可以自己去了解一下。那说到这个登录,就有一个绕不开的东西叫做库品, 因为我们说 cooking, 其实就是来判断你登不登录的对不对?判断你是不是登录状态对不对?那晚夜他想判断你登录,肯定也有个判断依据,就比如说你现在要认定我是个坏人,你得讲讲证据吧? 你如果认定我是一个好人,也得讲证据吧?我把我的身份证往桌上一拍,你自己去查是不是?你看我是不是好人,或者说我把证据往这一拍,我就知道你是个坏人。要有一个依据,那我登录还是未登录是靠什么东西来判断呢?服务器靠什么来看我登不登录? 考开户?那开户简单给大家介绍一下,假设你现在去银行办业务,第一次的时候你要出示身份证,说白了就是账号密码登录对不对?好,那登录之后我知道了你是个好人,你是我们用户, 他回你身份证会给你一个临时业务凭证,晚宴呢,会给你一个开户。那你接下来再去访问这个业务业务,或者说你再接下来访问这个晚宴的时候,你还需要重新去展示你的身份证吗? 不用了,因为你有条子,或者说你有 cooking, 我 就知道。哦,你是个好人。所以说网络世界里边 以这种屏条或者说这种凭证就是相当于 cooking 服务器呢,它会发送一小段信息给这个浏览器,然后呢标记用户的一个身份和登录状态,或者说你目前那个状态。那从这个 从这个原理上来看, cooking 它产生是什怎么样的一个过程呢?就是当你第一次访问进入个网页的时候,那服务器在返回给你数据的时候,比如说你做了一个登录, 它会给你在响应头里面加上 set cookie, 然后呢浏览器是会自动保存这段信息,然后你再去访问的时候,浏览器会自动在请求头里面加上上次返回给你的 cookie 服务器一看这个人是对的,是吧?是 ok 的,是好人,数据给你了,当然你们要注意这个东西它是有时效性的。 什么意思啊?有些同学会发现这个网页我今天登录了,如果我下午再去打开的时候呢?他不用我登录对不对?到了第二天我再打开这个网页的时候,我发现他又要我重新扫码了,又要我重新输入账号密码了,有没有?有的,因为 cooking 它是有时效性的, 不可能说一个哭 king 保永久这种事情不可能的,当初铁卷还有失效的那一天呢,你一个哭 king, 你 想保一辈子?不可能。所以说呢,哭 king 它是有它的时效性的,可能说是一个小时,可能说是十二个小时,可能是二十四个小时,可能是三天都有可能,一般来说不会很长。所以说呢, 这个 cockey 我 们去操作的时候有人就说了,老师,我能不能复制这个网页的 cockey, 然后在我的请求里面,然后再去请求,可以吗?可以,那你不嫌麻烦的话呢?有些网页他 你每请求一次,他的 cockey 就 变一次,那你每次就去手动复制一下啊,到时候看看你那个自动化脚本搞的还没你自己去手抄快,那就搞笑了是不是?那就搞笑了,没有必要,没有必要自动化了,没有必要了。 然后呢,那 cooking 呢?它其实就是用来做保存登录状态和记录用户评号,评号这个有兴趣的同学大家可以详细的去了解一下这一块其实呢,也就是我们刚才说的这些内容,大家也可以去拓展一下,然后呢, 我们现在其实有个案例,我们可以去看一下这个登录,我们如何用代码去对应的做一个实现,好吧,首先要打开一个,我们都知道一个网页叫四三九九,对不对?来,现在呢在这个里面有一个叫做游戏吧,我们这里面有个群主的,来,我们先点击进来, 进来之后我们发现一个问题,这里面的代码看不到,对不对?没内容,他说要我登录,你们可以试一下,那假设我现在登录一下来, 或者我先先输一个假的密码,然后去运行,我们来看一下,看一下这个包来,然后呢我们点击登录,点击登录之后大家来看,我要看了哪一个是登录的请求呢?来点击第一个看一下哦,同学们 来看这里往下看, password, password 什么意思啊?密码吧, password 应该是密码吧,这是什么? 来, user name 是 不是用户名吧?来再看这个值,是我刚才输入的值吧,是吧?是的,那这个呢?这个好像是做了一个背时六十四,是吧?还有什么东西你们可以去猜一下,但是我告诉你,待会我们用铭文就行了,我们用铭文就行了。然后呢,这个时候我们再去看它的响应,往上滑 来点击响应,我去看一下有没有什么东西。来四三九九,登录好,密码错误,我们回到这里看,密码错误,没问题。那好,同学们,此时此刻我们刚才所看到的这个包 是不是就是我们对应的一个什么一个请求对不对?或说一个对应的请求里面呢?就是用来获取我们登录信息的, 没问题吧?这一点没问题的话,大家可以扣个一,然后呢我们继续往下看,来,我看一下回到哪里, 这里呢,我给大家看一个代码啊,来来,我把我的这个拿过来,拿过来之后呢,我先把代码扔过来,这个请求呢,我就不带着大家去写了,我就不带大家去写了,第一节课的时候呢,大家写过来,把它拿过来,拿过来 复制过来,然后呢把这里改一下,好,这里呢是我的账户密码,对不对?我现在呢,第一步导入了 request 模块,第二步呢定义了刚才的这个 url, 大家看一下,这两个是一模一样的, 一模一样吧。好,我定义之后呢,随便构造了个请求球,只有一个 u a, 然后呢用 date 去提交表单数据,这个我们之前讲过吧, post 它用什么?用这个 date 去提交表单数据,然后呢把这些数据全部放进去 url 请求头,这个表单是吧?然后呢?同样的,他网页上用的是 pos, 我 也用 pos, 最后我接收响应来打印这个文本来我们三二一运行,一看好来,这里面绝对会有个什么东西呢?有一个密码错误对不对?我们来找一下, 来找找找找找找找找,不找了,搜一下密码是吧?来忘记密码是吧?来往下走还没有看到是吧? 用户不存在,是用户不存在,我们这个是用户不存在是吧?他的是密码错误。那难道是我刚才的用户名填错了?我觉得我这个用户名应该是对的吧, 我刚注册的账号不至于吧,是看到没用户不存在。为什么?刚才改 pass word 改成啥了?把用户把用户改了, 把用户改了,所以密码错误是不是就错误了啊?肯定错误的,我们再来运行,来,这一次我一定要找到你的密码错误,来,密码 卡,密码错误对不对?是对的吧,就是这个接口吧。好,那我们现在有两种方法来让他成功。哪两种方法呢?第一种我们直接从登录的数据包去提取登录成功的一个哭停。 什么意思?我发送完 pos 的 请求之后会有响应,对不对?响应里面是有响应头的吧?响应头里面是有点哭停的吧, 注意是有的。那这里很简单了,我发一个正确的写意,然后在这个里面 response 是 什么东西啊?我要去点 cooking, 其他的不要来点 cooking 好, 点完之后呢,我们用一个 cooking 来保存来 cooking 等于加一个,加一个,加一个东西吧,不然的话这个变量名会冲突,再加个下划线,等于等于完了。之后呢,我们再把这个 cooking 给它打印出来,来 print cooking。 好, 拿到了吧?拿到了吧? 是这个东西吧,确定吗?不确定。不要我说是这个东西吗?你就说是是是,不知道呢,对不对?我也不知道是不是这个东西,你你别又试的了,不一定来,那我们现在就可以去做一个登录了,我们登录看一下登录之后的包前面先登录,登录之后呢,我们发现这里面是有内容的吧, 还有什么造梦无双,四三九九,凡人修真,我们呢也是打开我们的开发者工具,然后把之前的内容给它清一下,清完之后呢,点击第二页, 好回到我们的这里来,去看一下哪个包里面能有我们的数据,可以去抓一抓,来我们就进他吧,因为我看到了那个什么,看到有个配置二啊,来配置二呢,在这里对不对?来,同学们看一下这个豪杰成长计划,豪杰成长计划,听起来有点,有点,有点屌,有点屌。 然后呢,我们再看一下还有什么东西,往下看,惊天神剑是吧?来,我们回到我们刚才的页面,回到我们的刚才页面,去看一下有没有这东西。富豪成长计划是吧? 豪杰成长计划啊,惊天神降,那下一个应该是勇士之任信仰篇,应该是这个东西吧,有没有问题?没问题,来我们来看一下是有没有我们的勇士之任信仰篇。来, 勇士之任信仰篇,好,就他了吧,记住他,他是个 get, 对 不对?来,我们同样的,现在我们要做的事情是什么呢?就是把我们刚才获取到的 cockey 添加到我们下一次请求里面,把它带上,然后呢去请求数据,看一下有没有东西可以拿得到,对不对? 没问题吧?那在这里呢,我再把第二个请求给它构造出来。好,来,大家看,第二个请求呢,是他对不对?来大家看一下,看一下对的, type 也是什么?也是 game, 对 不对?返回第二个页面, 这呢是请求的什么?请求的一个链接请求的链接,那这里呢?我就不用 qq 了,我就用 qq。 然后呢对应的请求是 get 吧,我们呢我们也是 get 好 得到的响应,响应设置编码,设置编码之后去打印它的一个响应内容,我们来看一下能不能拿到我们刚才的惊天豪杰。 来,三二一走好。此时此刻呢,我们还不知道能不能拿到东西,我们直接去到最上面,来去看造梦无双,再往下看四三九九凡人修仙传, 火线精英官方论坛,还有什么生死狙击是吧?这是第几页的?我们来看一下。是第几页的?来去看一下。回到我们这里,他这里应该会有页数,对不对?他有个 game 跟一个二是不是都有的吧?是有页数的吧,所以说对应的内容我们要去对应的去操作。那好, 现在这个如果不出意外,他应该就是第一页的,我们来去看一下是不是第一页的造梦无双,四三九九凡人修身修真传,对不对?还有四三九九火线精英官方论团跟四三九九生死狙击官方论团,对不对?那下一个就是造梦大乱斗。来,你可以去看一下下一个到底是不是造梦大乱斗。造梦大乱斗 对不对?那好,有同学说了,老师我不登录,能不能拿到这个东西呢?可以去试一下对不对?好,我们先把这里酷狗给它删掉,删掉之后是不是相当于没有携带我们的酷狗啦?那我们再去运行呢?会怎么样呢?我们发现你再去运行没有酷狗的时候,它是这种东西了。来,这个是刚才那个数据吗? 你还能搜到四三九九生生死狙击吗?搜不到了。那其实这一段我们明显可以看得出,如果没有登录,我们能拿得到数据吗? 拿不到。那好,这里我们是如何去操作呢?首先第一步找到登录接口,去提交对应的表单,然后获取它返回这个 set cookie, 对 吧?响应标头的 cookie 获取之后呢?把它手动设置到我们第二次去请求的时候携带上, 然后呢再进行去请求,拿到登录之后的数据,这就是我们的第一种使用对应的内容去进行对应的请求,这是第一种,那有没有更简单更自然的方式? 有的同学们有的这个东西呢叫做 session, 它呢其实是我们 request 里面的一个对象,它非常好用。那我简单给大家讲一下这个 session 它是个什么东西?它在计算机或说在网络应用中叫做绘画控制, 这个 c 神对象呢,它存储的这种特定用户绘画所需的一些信息或说属性或者配置,这样用户在应用程序跟外部之间跳转的时候,你储存在这个 c 神里面对象它不会丢失,相当于呢,就相当于是一个 整体一直在保持联系的一个状态,保持联系的一个状态,那这里的话非常的简单,大家先简单了解一下,我们如果要去用这个 c c 神应该怎么做呢?很简单在这里去做一个操作,首先我们要实力化一个 c 神对象,比如说我先定义个 c 神等于什么呢?等于 request 的 点 点,谁点 session 好? 我们拿到这个对象之后去做一件事情,什么事情呢?我们后续的请求不要用 request 点 get, request 点 post 了,不用了,我们直接用什么来用我们的 session 点 get? 比如说在这里,对吧? session 点 post 好, 他请求完了之后,你需要再去做任何操作吗?你需要去把它拿过来吗?不需要了,不需要了,你需要去设置 cookie 吗?我们全部给它干掉,先全部给它干掉。那第二次我们只需要再用这个 c 省,同一个 c 省呢去进行 get 请求。好,那此时我们再去打印, 同学们看好了,我这次没有手动携带 gucci 了,我删掉了,来三二一,运行好,我们来看神将世界,来了吧来了吧,来四三九九官方群主 大闹天庭篇三国杀一将成名有没有内容?有的注意,这个 c 它就相当于 自动会保存我们成功登录的 qq 值,我们不需要再去手动添加这个 qq, 直接再次使用这个 session 对 象发送请求就可以了,那它的应用场景就很简单了,对不对?你需要保持登录状态的一个爬虫,我是不是可以直接用 session, 还需要你自己去手动设置这个 qq 吗? 不用了不用了。那 cooking 跟 session 它的主要区别是什么呢?大家可以了解一下,我简单跟大家讲一下 cooking, 它是存放在客户本地浏览器的 session 数据,它是存放在服务端的 cooking, 它的安全性很低,别人可以分析你在本地的 cooking 对 不对?因为我们刚才是不是直接就拿到了, 对吧?如果你对安全性要有要求,一般会使用这个 c 声,因为这个 c 声呢,它会在一定时间内保存在这个服务器端,反问增多的时候,会比较占用这个服务器的性能,如果服务器性能上面 要求比较严格的话,也可以用这个 cooking。 好 吧,简单了解一下,以及 c 声呢,它还会有一个延时操作,叫做超时处理,就相当于你在请求请求不上的时候,这个时候程序要很久才会报错,对不对?那这个时候呢, 程序一直卡在那里,那你不想等那么久呢,就可以设置一个超超时的一个处理参数,跟我们之前的那个 timeout 其实差不多,直接差不多 是一样的。那好,这一节根据我们这个 request 去进行一个模拟登录的,然后访问数据的一个小案例就大家做完了, 大家下课呢,可以自己去登录一下三九九,然后去进行一些操作啊,去操作一下。好吧,非常的简单,但是呢可以让我们了解模拟登录它是一个什么东西,它能达到一个什么样的效果。这次的分享就到这里结束了。

本视频耗时三个月,制作共计五十分钟,一口气带你速通拍档爬虫动画教学,通俗易懂,讲解精练,绝无废话,看完让你能光速入门爬虫,我们开始吧! 写一个爬虫程序总共分几步?这个过程可能比你想象中更简单。第一步是获取网页内容。我们会通过代码给一个网站服务器发送请求,他会返回给我们网页上的内容。 在我们平时用浏览器访问网页内容时,本质上也是给网站服务器发送一个请求,服务器返回网页内容。只不过浏览器还会进行一个额外的步骤,就是把内容渲染成直观优美的页面,给用户进行展现。 而用程序获得的内容,因为没有渲染步骤,所以我们看到的更加原始。第二步是解析网页内容。 我们在上一个步骤可以获取到整个网页的内容,但那太多太全了,很可能不是我们想要的。 比如说一个商品界面,我们可能只对商品名和价格感兴趣,至于活动信息、用户评价等内容,我们都不需要,所以需要对内容进行解析,把想要的数据提取出来。 第三步是储存或分析数据。这一步骤如何执行就取决于具体需求了。比如,如果你一开始是为了收集数据集,那这一步骤可能就是把数据储存进数据库。如果你一开始是为了分析数据趋势,那这一步骤可能就是把数据做成实时图表。 如果你一开始是为了仪情监控,这一步骤可能就是用 ai 做文本情绪分析, 这些步骤适用于一个网页内容的情况。当然,我们还可以给一串网址,让程序一个个去爬取,或者让程序以某个网址为根,顺着把那个网页上链接指向的地址也爬取一遍,总之任你定义。 那关于爬虫,一直流传着一句话是,爬虫玩的好,劳饭吃的早。难道这门技术真的是越学越有盼头?但其实技术本身是中立无罪的,就像刀具,不犯法就看怎么用。 爬床作为一个便捷且低成本获得数据的方式,应用非常广泛。但同时你必须遵守一些规则,包括不要爬取公民隐私数据,不要爬取受版权保护的内容,不要爬取国家事务、国防建设、尖端科学技术领域的计算机系统等。 除了以上红线之外,你还要确保自己写的爬虫是一只温和善良的虫。第一,他的请求数量和频率不能过高,否则可能无异于 ddos 攻击。 ddos 攻击就是通过给服务器发送海量高频的请求,让网站资源被耗尽,无法服务其他正常用户。 第二,网站如果做出了明显的反爬限制,比如有些内容要登录后才可查看,或是有验证码等限制机器的机制,就不要去强行突破。 第三,你可以通过查看网站的 robots, 点 txt 文件,了解可爬取的网页路径范围,这个文件会指明哪些网页允许被爬取,哪些不允许被爬取,有些还会专门列出针对搜索引擎爬虫的许可范围。 在确保了解和遵守以上规则后,你就可以放心大胆的学习爬虫了。针对爬虫的各个步骤,我们需要掌握哪些知识呢? 在获取网页内容方面,我们先学习 http 请求,因为我们会通过发送 http 请求来获得网页内容。接下来我们会学习 python 的 request tool, 通过它我们就可以用 python 代码简单优雅的发送 http 请求。 在解析网页内容方面,我们会学习 html 网页结构,因为发送请求后获得的内容很多情况下会是 html 格式。然后我们会学习 python 的 beautiful soup cool, 它能帮助我们解析获取到的 html 内容,帮我们真正想要的信息提取出来。 至于最后一步,储存或分析数据,由于具体做什么因需求而异,所以这门课只涉及前面两个通用步骤,然后小小剧透一步。我之后也打算制作数据分析相关课程,如果你有需要,可以期待一下。 在了解这些之后,终于要开始学习具体知识了,我们下个视频见。 我们将通过发送 http 请求来获得网页内容。 http 是 hypertext transfer protocol 的 缩写,意思是抄文本传输协议。 它是一种客户端和服务器之间的请求响应协议。比如说浏览器就可以被看作客户端。当我们在浏览器地址栏输入想访问的网址,按下回车后,浏览器就会向该网站的服务器发送一个请求,然后等待服务器返回给浏览器响应。 http 实际上有不同的请求方法,最常见的两种是 get 和 post。 get 主要用于获得数据, post 主要用于创建数据。 比如说我们进入一个网页,浏览器会发送 get 请求得到网页内容。当我们提交账号、注册表单时,浏览器会发送 post 请求,把你的用户名、密码等信息放到请求主体里,给到服务器。 由于爬虫程序基本上是在获得数据,所以我们发送的请求大部分情况下用 get 方法。除了方法类型,一个完整的 http 请求例子长这样,它呢由三部分组成,请求行、请求头、请求体。 请求行会包含方法类型、资源路径和协议版本。资源路径指明了你要访问服务器的哪个资源。比如下面这个网址里,第一个斜杠表示资源路径的根,所以根后面的 movie top 二百五十就是要访问的资源的路径。 有时候除了资源路径,我们还可以在这里给出查询参数,比如说下面这个网址里,问号后面的就是查询参数,可以传递给服务器额外的信息,不同信息之间用 and 符号分割, 比如通过 start 参数等于七十五,豆瓣的服务器就知道。 ok, 咱们返回给用户的页面,内容从排在第七十五的电影开始往后展示。 请求行里的最后一项是协议版本,指的是 http 协议的版本,比如 http 一 点零, http 一 点一等。请求头会包含一些给服务器的信息,比如 host、 user agent、 accept 等等。 host 指主机域名,主机域名结合请求行里的路径资源,可以得到一个完整的网址。斜杠前的这部分是域名,斜杠后的是路径问号后的是查询参数。 usaid agent 呢,用来告知服务器客户端的相关信息,比如请求是浏览器发出来的还是其他东西发出来的,如果是浏览器的话,类型是什么,版本是什么等等。 accept 是 在告诉服务器客户端想接收响应数据是什么类型的,接收多种类型的话,可以用逗号进行分割,如果是星号、斜杠,星号,表示啥类型都行。 最后,请求体里面可以放客户端传给服务器的其他任意数据,但是 get 方法的请求体一般是空的, 那在服务器接收到 http 请求后,它会根据所有这些信息返回 http 响应。 响应也由三个部分组成,状态行、响应头、响应体。状态行包含了协议版本、状态码、状态消息。协议版本咱们前面讲请求的时候提过,可以是比如 http 一 点。一 状态码和状态消息则是对应的,常见的状态码和状态消息有这些,二开头的表示成功,请求已经完成处理。三开头的表示重定向,需要进一步的操作。 四开头的表示客户端错误,比如请求里面有错误或请求的资源无效等等。五开头的表示服务器错误,比如出现问题或正在维护。我们在不小心输入错误的网址后,一般会来到一个展示四零四的页面,这个四零四就是 http 状态码。 响应头会包含一些告知客户端的信息,比如 date 生成响应的日期和时间。 content type, 返回内容的类型及编码格式,比如 text, html charset 等于 utf 杠八,说明类型是 html, 编码是 utf 八。 最后呢,响应体里面就是服务器想给客户端的数据内容,比如如果前面说内容类型是 html, 这里就应该是 html 内容,我后续会对 html 进行讲解,现在先知道它大概长这样就行了,里头有非常多的尖括号。 当我们要如何通过 pad 去构建和发送一个 http 请求呢?又要如何获得 http 响应呢?请见下回分解,我们下个视频见。 pad 的 request 库,让我们可以通过 pad 代码去构建和发送 http 请求。首先呢,由于这个库是第三方库,并不是 pad 自带的,我们要先安装它, 打开编辑器,在终端输入 pip install requests。 如果是 mac os 系统的话,可能要输入 pip 三 install requests。 如果执行后有一行显示 successfully installed request, 说明已经安装成功了。 如果显示 requirement already satisfied requests, 以某某路径,说明你之前安装过 requests, 也无需再安装了。 但如果显示找不到 pad, 说明你的电脑上还没有 pad。 这个 pad 包管理工具,你可以去到这个网页,按照针对不同操作系统的指引进行安装,然后再用 pad 安装 requests。 安装成功以后,咱们就可以在 pad 程序里引用和使用这个库了,引用就用 import 语句。使用的方法非常简单,我们想发送 get 请求,就用 get 这个函数参数传入 url。 需要注意的是,我们平时在浏览器地址栏输入网址时,前面的协议名比如 http 或 http s, 不 需要我们手动打进去,浏览器会我们自动加上。 但在代码里作为参数传入时,我们需要手动包含前面的协议名,才能构成一个完整的 url。 如果你把 get 返回的东西 print 出来,它会发现它是一个 response 类的实体,代表着服务器发回给我们的响应。 响应时里包含的属性有 status code, 即 http 状态码。如果状态码等于二百,说明请求成功。如果是四零四,你就得检查一下传入的 url 是 不是有问题,因为状态码表示资源不存在, 我们在请求成功时,响应题里面才是我们想要的信息,所以需要根据状态码判断到底成没成功。 但相比用状态码一个个范围去判断,更简单的方法是,我们可以用 responce 类的 ok 属性,如果 ok 属性为 true, 说明请求成功,否则说明失败,代码会简洁很多。那如果请求成功,我们想查看响应体里面服务器返回的内容。 response 类的 text 属性会以自创创储存响应内容,所以我们可以直接通过它获取。你可以用 h d d p books 点 toscrap 点 com 这个 url 自己试试。这是一个专给练习爬虫的网站,请求成功的话, response 实例的 text 属性打印出来会长这样。 你可能说,什么玩意,这都是,这些都是网页的原码,下个视频我们会了解 html 结构,到时你就能看懂这些乱七八糟的东西了。总之呢,通过这短短几行代码,我们已经成功获取到网页的内容,完成爬城流程里的第一步了,鼓掌! 这里再说一些关于 requests 的 补充内容,上回书说到 h d d p 请求的请求头会包含一些给服务器的信息,我们用 request 库的函数发送请求时,这些信息会自动被生成,不需要我们手动传入。 但如果我们想指定某些信息进行更改的话,可以额外传入一个叫 headers 的 参数,它的数据类型是字典里面的各个建职队,就对应了我们要传入的各个信息。 这在什么情况下有用呢?一个例子是可以帮我们把爬虫程序伪装成正常浏览器,咱们正常用浏览器浏览网页的时候,浏览器会发送 get 请求,并且请求头的 user agent 会自动带有浏览器类型及版本,还有电脑操作系统等。 用代码发送请求的话,就不会带有这些浏览器相关信息。服务器可以通过这点判断进来的请求是来自浏览器还是程序。 有些网站只想服务于真正的用户,所以会根据 user agent 拒绝来自程序的请求。这种时候可以通过篡改 hadas 的 user agent 的 属性,把代码发送的请求伪装成浏览器请求,你学会了吗? 下个视频里我们会一起实践,通过发送 get 请求,拿到豆瓣电影 top 二百五十网页的源码,我们稍后见。 在这个视频里,我们会一起实践通过 python 的 requests tool 拿到豆瓣电影 top 二百五十页面的源代码。 首先呢,打开你熟悉的 python 编辑器,我呢就用 pycharm 进行演示。第一步是安装 requests 这个第三方库,打开编辑器的终端界面,输入 pip install requests, 如果他返回的信息里面有一句 successfully installed requests, 说明安装成功了。第二步呢,是引入 request queue, 新建一个拍档程序, 我就叫它 scrap 豆干点 p y, 第一行写上 import requests, 那 接下来通过 requests 点 get 这个方法就能发送 get 请求。第一个参数传入我们想爬取的页面链接, 那我这里就把豆瓣电影 top 二百五十的链接复制过来。然后为了能获取到响应的内容,我把响应复制给一个叫做 response 的 变量,那现在就可以把这个 response 给它打印出来,看一看 右键运行,那它打印出来呢,是一个 response 对 象后面跟着的数字表示 http 状态码。那我们呢,也可以通过对象的 status code 这个属性来查看返回的状态码是什么。 那状态码还是四幺八?四幺八并不是一个成功的状态码,因为所有四开头的状态码都是表示客户端错误,以至于说我们这边发送的请求存在问题。 那如果你想知道具体的 http 状态码表示什么意思,可以通过这个链接来查看文档。 那四幺八呢,是一个很淘气的状态码,他的信息是我是一个茶壶,表示服务器不想服务你,不想理你的这个请求。 但我们这个请求好像并没有什么问题啊。那其实呢,是豆瓣在用这个状态码回应爬虫,因为他呢希望服务正常的浏览器,然后忽略掉所有爬虫程序的请求。 那遇到这种情况呢,可以绕过去的一个方法,就是通过定义请求头,把程序伪装成浏览器。那我们可以新建一个叫做 headers 的 字典变量。 那请求头的 user agent 的 里面呢,会给服务器提供一些客户端的信息,所以我们就要去指定 user agent 的 值。 那现在问题是让这个值等于啥呢?我们可以从浏览器发送的请求里去抄作业。咱们回到浏览器,进入任意一个网页,右键点击检查, 然后进入 network, 然后刷新一下网页,这样呢,你就能看到浏览器帮你发出的所有 http 请求。那咱们可以点击任意的请求,然后展开这个 request header, 找到 user agent。 然后呢咱们要把冒号后面的这段信息给它复制下来,然后呢回到程序,把它复制成我们刚才复制下来的值,然后呢我们就可以把这个 headers 作为传入 get 方法里面 headers 这个可选参数的值,然后咱们现在再运行一下试试, 那这个时候状态码就变成了二百哒哒,那二百呢,表示请求成功,所以这个时候呢,响应题里面会储存服务器返回给我们的数据,那这个时候咱们去打印 response, 点 text 就 能拿到那个页面的 html 源码,运行下再看一看, 那这个 html 源码上面呢,就会有我们想要的关于电影的信息, 当然这个时候呢,这些 html 可能看的你一头雾水,这没有关系,因为下个视频里呢,我们会学习 html 网页结构,从而理解服务器返回给我们的 html 源码,我们稍后见。 一个网页有三大技术要素, html、 css 和 javascript。 html 定义了网页的结构和信息, css 定义了网页的样式, javascript 定义了用户与网页的交互逻辑。 我们爬虫时最关心的是网页上的数据信息,所以主要是和 html 打交道。一个最最简单的 html 长这样,每个被监控号包围的都是一个 html 标签, 最开头的 doc type html 用来告知浏览器这个文件类型是 html。 接下来有两个 html 标签,其中没有斜杠开头的是起始标签,表示开始。有斜杠开头的是闭合标签,表示结束 起始标签。闭合标签连通它们之间的内容可以被看作是一个 html 元素。 htmail 标签是 html 文档的根,所有的其他元素都要放到这个元素的里面,也就是在它的起始标签和闭合标签之间。 当前这个 html 是 个空的,没有任何文字或图片信息,我们可以往里填入些内容。 body 表示文档的主体内容, h 表示一级标题,也就是最大字号的标题, p 表示文本段落。 这个 h 一 和 p 都在 body 起始和 b 和标签之间,那它们之间的关系就是这个 h 元素和 p 元素都属于 body 元素的子元素,而 h 元素和 p 元素因为处于同一层级,所以它们之间是兄弟元素。 这也对应了在文档主体里有一个标题和一个文本段落这样的信息结构逻辑。那这个 html 长啥样呢?它长这样非常平淡无奇,气质普通的一个小网页哈。 如果你想知道自己写出来的 html 长啥样,最简单的方法是用编辑器写一个以点 html 为后缀的文件,然后把文件拖进浏览器或者是右键,选择用浏览器打开, 因为咱们第一行能告诉浏览器这是个 html, 浏览器就会进行渲染,最终给我们展示左边这样,而不是右边这样的内容。 当前这个网页看起来十分的朴素,如果要看起来好看,还需要配合 css 增加样式。但这毕竟是个爬虫课,不是个前端课,我们的目标是爬取信息,而不是学会做个好看的网站。所以主题回到 html htmail 元素远不止我们看到的这些,实际上有非常多的类型。在浏览器里点击右键,然后选择显示网页源代码,你就能看到当前网页的 html 源码长啥样。 你也可以点击右键选择检查,点一下窗口左上角的小箭头图标,接下来点击页面上任意一个东西的时候,你都可以看到它对应哪个 html 元素。 在你试玩的时候,十有八九会看到很多不熟悉的 html 标签。下个视频里我们将一起看一些常见的标签,帮助我们更好地理解 html 网页源码。我们稍后见 上个视频里我们说 html 定义网页的结构和信息信息可以有很多不同的展现形式,比如标题、图片、链接、文本等等。所以这个视频里我们一起了解一些 html 的 常用标签类型。 标题标签包括 h 一、 h 二、 h 三、 h 四、 h 五、 h 六标题文本被起始和闭合标签包围,数字越小表示标题层级越大,或者直观来说,数字越小,标题的字号越大。 但因为 html 只定义信息,不是所有时候都和外观绑定。举个例子,我可以通过 css 让 h 一 的字号和 h 二的字号一样大,所以严格来说,还是应该从信息逻辑的层面以层级去区分这些标题标签,而不是字号。 文本段落标签是屁,文本也被起始和闭合标签所包围。不同的屁标签之间会默认进行换行表示,不同段落文章、评论等信息都可以用屁标签表示。 如果你直接在文本段落标签里换行,网页显示的时候换行并不会起作用,只会多一个空格。如果需要换行,你可以用多个屁标签,或者也可以用 b r 标签在文本段落里强制换行。 bl 标签就是换行标签,而且它有一个特点是只有其实标签,没有配对的闭合标签。这和大部分 html 标签不一样, 我们除了可以给文本段落加换行,还可以格式化内容。比如可以用 b 标签包围文字内容进行加粗,用 i 标签包围文字内容变成斜体,用 u 标签包围文字内容加下划线。 但文字并不是信息唯一的格式,要在网页上加图片,我们可以用 i m g 标签,注意它和 bl 一 样,也是没有闭合标签的。这个标签需要我们指定一个属性,是 s、 l、 c。 source 表示图片的路径, 它的值可以是一个指向图片的链接,也可以是路径。但总之呢, s、 l、 c 属性一定要给一个值,才能知道图片来自哪里。除了必须有的 s、 l、 c 属性,还有一些其他属性可以指定,比如说 width 设置图像宽度, height 设置图像高度等等。 a 标签用来添加链接,这个也是非常非常非常常用的,因为用户可以通过链接在不同网页之间跳来跳去, 在起始和闭合标签之间放上链接,对应的文字,展示给用户的就不再是原始直白的地址了。 这个标签有一个我们必须指定的属性,叫做 href 值就是目标要跳转的 url 地址。它有个可甜可不甜的属性,叫做 target, 用来指定链接页面的打开方式。 target 的 值默认为下划线, self 表示直接在当前窗口跳转链接, 我们也可以指定为下划线。 blank 表示在新窗口里打开。 div 和 span 标签都是容器,它们本身是不包含任何内容的。也就是说,一般我们会让其他元素被这两个标签包围,作为 div 元素或 span 元素的紫元素。 这样做的作用有很多,比如说当我们想给多个元素加上红色背景时,就可以把 css 样式直接运用在某个容器上,而不是一个个元素上。 它们之间的区别是, div 是 会计元素,独占自己的一块一行,最多放一个 div 元素。而 span 是 内链元素,不会独占一块一行可以有多个 span 元素。 接下来还有表示列表的标签。 o l 定义的是有序列表。 o l 其实就是 ordered list 的 简写,意思是列表里面的每项是有顺序的,可以用数字依次表示,那 o l 只是表示列表。列表里面的每项元素要用类标签, 类是 list item 的 简写。像这样我们就定义出了一个有三项元素的有序列表。 和有序列表相对的是无序列表,对应的标签是 ul, ul 是 on order list 的 缩写。 无序列表的元素一般不会有数字在前面了,而是点或者小横杠等表示没有顺序,列表里面的每项元素也是用力标签。像这样我们就定义出了一个有三项元素的无序列表。 我们要学习的最后一个网页常见信息结构是表格,它的相关标签比较多,所以我们逐步讲解。 table 是 用来定义表格的标签,它里面一般会嵌套一些和表格相关的元素。 t head table head 表示表格的头部,比如一般是表格的第一行 t body table body 表示表格的主体。在 t head 和 t table row 定义表格行, 那光有行还不够。每一行里面会有一个个单元格,所以在 tr 里面我们会放 td table data 表示一项项数据。所以一个完整的表格用 html 表示的话会长成这样。 你可以为表格加上一些属性,比如 body, 默认表格是没有边框的,如果要加边框,可以指定 body 这个属性的值为每个数字。比如说一。 那除了有些标签独有的属性之外, class 这个属性可以被运用在所有元素上,定义元素的类的名称。类可以帮助我们分组, 比如说一个网页上可能有多个文本段落,那我们可以通过 class 等于 content 和 class 等于 review 来区分,看哪些文本段落是文章,哪些文本段落是用户评论。 这些你都学会了吗?没有学会也不要紧啊,下个视频里我们会通过实践练习这些 html 标签,我们稍后见。 在这个视频里,我们会一起实践写一些常见的 html 标签。那一般写 html 我 会用 vs code 这个编辑器,因为打开速度很快, 你呢?可以用任意编辑器,甚至系统自带的记事本也可以。不过编辑器呢,还是相比记事本来说有很多好处,比如说能高亮代码检查拼写、自动格式化等等。那我们先要新建一个全新的 html 文件, 它可以叫任意名字,结尾用点 html 作为后缀。 html 文件开头是一个声明文件类型的标签, 冒号 doc type html, 这样浏览器就知道要去渲染 html, 展示给用户。然后其他的所有元素呢,都要被 html 标签所包围,作为 html 元素的紫元素,这个 html 就是 整个文档的根。 那接下来 html 文档可以有自己的 head 元素以及它的 body 元素, 那我们一般会给紫元素,也就是被其他起始和闭合标签所包围的元素前面加上缩进, 那缩进就是空格,一般约定俗成是两个或四个,那通过缩进呢,层级关系会更加的清晰,因为紫元素前面的缩进会多于复元素,而兄弟元素之间的缩进呢,应该是一样的。 那 head 标签定义文档的头部,我们一般会往头部放一些关于网页本身的信息,比如说 top 抬头能定义网页的标题是什么?这个标题不是像 h 一 hr 的 那种会展示在网页里的标题,而是展示在浏览器选项卡上的那个标题。 那如果我现在点开一个浏览器,然后把这个 html 文件给它拖进去,就可以看到,虽然主体全是空白的,但是网页标题已经在这个标签上展示出来了,这就是我刚才打的这个标题。 那 body 呢,是用来放文档主体内容的,所以上个视频里见过的那些标签,我们都可以往这个 body 里面放。那我们首先要看的是标题标签, h 一定义一级标题, 然后 h 二定义二级标题。 那回到浏览器刷新一下,可以看到这两个标题已经显示出来了,字号的大小呢,说明了他们之间的关系。那我们能定义的最小的标题呢,是六级标题, 那七级标题其实就不存在了,你可以尝试一下 回到浏览器刷新一下,可以看到六级标题呢,还是有点加粗的意思,七级标题已经就是正常的文本了,所以七级标题这个不存在的,我们给他删掉。 那你要记得是每一次改动 html 以后呢,回到网页的时候,要刷新一下这个效果才会被更新。那当然呢,你也可以安装一些能帮你实时更新的插件,那这个不同浏览器用的插件名可能不一样,我就不展示了,毕竟你手动刷新也是管用的。 然后文本段落呢,用的是屁标签, 那可以看到呢,即使我们在这个屁标签里面换行了,回到浏览器刷新一下,这个换行也是不起作用的。如果你真的想换行呢,可以用两个屁标签, 那另外一个 p 标签里的文本段落呢,就已经是另起一行的。那再或者呢,你也可以用 b r 标签,这个标签呢就是来专门帮我们换行的。那下一步呢,我们可以尝试一些用来格式化文本的标签。 b 标签呢,可以用来加粗字体,然后 i 标签呢,可以把文本变成斜体。 然后右标签呢,可以给文字加下划线。 咱们回到浏览器刷新看一下,也可以看到呢,这个就是加速的效果,斜体的效果,以及加上了下划线的效果。那咱们如果想给网页加图片的话呢,可以用 img 标签, 那 s、 l、 c 呢,是一个我们必须要指定的属性,它的值是指向图片的链接或者路径。那我这里复制一个图片的链接过来, 刷新一下,图片就已经出现了,但因为现在这个图片呢,它有点大,我们可以用 width 或者 height 属性去指定图片的宽度或者高度,让它可以稍微的小一点。 那这个 p x 呢,是一种计算机图像长度单位,它的意思就是像素再刷新一下它,这个图片呢,确实是变小了。如果我们想添加一个超链接,就用 a 标签, 那 a 标签呢,一个必须要填的属性是 hash, 它的值呢是我们要跳转的目标网页的 url 地址, 然后我们可以在起始和闭和标签之间放上文字, 这个文字呢就会显示在对应的网页上,就比如说像是这样子,那需要注意的是啊,咱们一个完整的 url 呢,前面会有 http 或者 http s 这个协议名,不要把它给省略掉,因为省略掉以后就不是一个完整的 url 了。 那现在回到网页,如果咱们点击这个链接,那也可以看到呢,这个网页会在当前窗口被打开。那如果你想要在新的窗口去打开这个链接的话呢,我们可以去指定一个 target 属性,然后让它等于下滑线 plate, 现在刷新一下,回来再点击一下试试。那可以看到呢,这个新的链接就已经是在新的标签页里面打开了, 那接下来呢,我们要看的是 div 和 spin, div 和 spin 都可以当成其他元素的容器,那比如说呢,我可以把前面这些啊,所有的元素全部放在一个 div 里面, 那因为这些呢,全都变成了新的这个啊 div 元素的紫元素,所以我要调整一下缩进,这样子他们呢就能更明显的显示出来,说这一些都是 div 元素的紫元素。然后为了展示 div 其中一个作用,我来加一下 css, 因为咱们这门课其实不涉及 css, 我 只是想更明显的展示出来 div 的 作用,所以这块呢,如果你发现自己不能理解非常正常的, 那我这里在做什么呢?就是我是想把这个 div 里面的 html 元素都给它加一个红色的背景色,这样子呢,会让这个 div 元素的范围更加的直观一些。咱们回到这个网页刷新一下, 大家可以看到呢,这个 deep 它是独占一块,所以一行呢只能放一个 deep, 那 span 就 不一样了, span 是 一行可以有多个,比如说我再回到咱们的 html 代码,我可以让这一行里面就有两个 span, 比如说像这样,然后我给 span 也加一下不同的背景颜色, 我分别给这个 span 呢设置成了呃,海蓝色和紫色。回到这里看一下,那可以看到和 deep 不 一样, span 的 话呢,是一行可以有多个的。那接下来呢,我们来练习一下列表 有序,列表的标签是 o l, 表示 ordered list, 然后列表里面每一项都用 li 这个标签, li 就是 表示 li 的 item 的 意思。 那咱们现在刷新一下,可以看到每一项前面呢,都自动加了数字来表示它们之间的顺序,那无需列表的标签呢?是 ul 表示 on ordered list。 那 列表的每一项还是用 li 标签? 刷新一下,那你看到的每一项前面就不再是表示顺序的数字了,而是不表示顺序的小圆点。 最后我们来练习一下表格,因为表格相关的标签它有点多,但只要理解逻辑呢,就不难记忆。 首先 table 标签,它定义了表格本身,那一个表格可以有头部和主体,头部的标签是 t head, 表示 table head。 然后主体的标签是 t body, 表示 table body。 有些表格它是没有头部的,那你其实不写这个 t hat 的 标签也可以,那在头部或者主体里呢?每一行的标签是 t 二,表示 table row。 如果你准备有几行,你就写几个 t 二。 那假如说我的这个表格的头部是只有一行,然后在表格的主体里面呢,我准备放上三行,我就写三个 t r, 那 每行里面就是数据了,你也可以看成是单元格,咱们希望每行里面有几个单元格,我们就写几个 td 表示 table data。 那假如头部我希望有三项数据,也就是第一行里面有三项,然后接下来主体里面的第一行, 我准备往里填充三个单元格, 然后第二行呢,我也希望有三个, 那如果你希望每一行它里面的那个数据数量不一样,这也是可以的。比如说最后一行,我希望两个数据就 ok 了。 那回到这个网页再刷新一下,那你看到那表格已经成功的展示出来了,但是因为这个表格它没有边框,不太好看,我们呢可以给这个表格加上个边框,那方法呢,就是我们可以给这个 table 一个叫做 dory 的 属性,可以把值设为一。那现在呢,这个表格的边框就已经出现了,你的值设置的越大,这个表格他的边框就越宽,比如说我改成五 回来,哎,这个边框就宽多了,那我改成五百,这都是可以的。当然了,这个就显得有有点大病了,我给他改回来, 好恢复正常。那在上个视频里呢,我们还讲了一下 class, 你 呢是可以给任意元素加上 class 来定义元素的类。比如说我把这个表格给它加入一个 class, 叫做 data table 类呢,在结合 c, s, s 和 javascript 的 时候会很有用。那你现在呢,了解一下即可。 你也不需要记得关于这些标签的所有细节,因为爬虫的核心呢,不在于 html, 而是在于从 html 里面成功把我们想要的信息给它提取出来,这要如何做呢?请见下回分解。我们下个视频见。 在发送 get 请求得到网页的 html 后,我们就可以从中提取数据,获得我们想要的信息。 举个例子,如果我们想得到这个网页里所有书对应的标题和价格,就可以在这个网页的 html 里面去找。但 html 内容可以非常复杂,手动挖信息效率极低,信息一多就不知道要找到猴年马月了。 pad 有 一个可以用来做 html 解析的库,是 beautiful zip, 它和 requests 一 样,也是第三方库,不是 pad 自带的。所以第一步仍然是先安装 在终端或 cmd, 输入 pip install b s 四,如果是 mac os 系统的话,可能要输入 pip 三 install b s 四、 如果执行后有一行显示 successfully installed b s 四,说明已经安装成功了。如果显示 requirement already satisfied b s 四,已某某路径,说明你之前安装过 request, 也无需再安装了。 安装成功后,下一步是对这个库进行引入。 beautiful soup 是 我们要用来解析的类,要从 b s 四这个库引入的话,就写 from b s 四 import beautiful soup。 现在安装和引入的准备工作都完成了,假设我们已经通过 request 库里面的方法发送 get 请求,得到了这个网页的 html, 并且作为矩阵储存在一个叫 content 的 变量里, 那么下一步就是把这个内容传入 beautiful soup 的 构造函数里。然后因为 beautiful soup 除了解析 html 之外,其实还能解析一些其他类型的内容,所以还需要有第二个参数去指定解析器。 解析 html 的 话可以传入 html 点 parser 调用 beautiful soup 这个构造函数后,我们会获得一个实力对象 beautiful soup, 把看起来复杂的 html 内容解析成类似于这样的树状结构,让搜索和修改 html 结构变得更加容易,比我们自己解析原始内容要有效率的多。 那我们知道对象有自己的方法以及属性。这个 beautiful soup 的 对象具有非常多的方法和属性,可以帮助我们获取想要的信息。 如果我给这个对象复制为 soup, 那 打印 soup 点 p, 你 就能看到这个 html 里的第一个 p 元素,即文本段落元素。 如果解析后的 html 数长这样, p 里面可能还有其他标签的话, soup 点 p, 会把第一个 p 标签连带里面的所有内容一并返回。那打印 soup 点 img, 你 就能看到这个 html 里的第一个 img 元素,即图片元素。 但咱们不是只想找到第一个出现的某类型元素,而是网页上所有的书名和价格,这咋办嘞? 那就需要先分析一下想要的信息的特点,这个时候浏览器的检查功能就非常有用了, 通过查看每个价格可以发现信息都被储存在 p 元素里面。但因为页面可能有其他 p 元素,为了不把不相干的也提取出来,我们还需要利用其他特点。比如说在这个网页里,所有价格元素的 class 值都是 price 下划线 color, 那 么我们只要能够调用某种方法找出所有 class 属性值为 price 下划线 color 的 p 标签就解决了。 beautiful soup 对 象有一个叫 find all 的 方法,能根据标签属性等找出所有符合要求的元素。第一个参数传入 p, 表示找 p 标签,然后可以传入可选参数 atters 赋值为一个字,点键值对,就对应你想找的属性和值。 比如我们想找 class 属性的值,为 press 下划线。 color 的 元素就这样写, find all 会返回一个可迭代对象。意思是说我们可以通过 for 循环依次操作返回的各个对象。比如如果打印各个对象,就能看到那一页所有的储存了价格信息的批标签。 但还有一个问题是,如果我们只想要数字,不想要那些乱七八糟的 html 标签怎么办?毕竟那些标签也不是啥实质性信息。 那我们可以选择打印对象的 string 属性,而不是直接打印对象。 string 属性会把标签包围的文字返回给我们。如果我们想要更纯净的数字,不要前面的货币符号,用一些字母串操作方法也能轻易完成。 比如说通过切片操作,能获得所隐值大于等于二的所有的剩下的字母串。由于不同网页上信息的特点都不一样,爬虫这项技能确实要求你有时候要随机应变,去提取出自己想要的信息。 那通过这一坨代码,我们已经成功获取到页面上所有的价格。接下来,如果我们想挑战把这个网页上所有的书名也提取出来,要怎么做呢?这个难度比前面的价格更大一些, 因为如果你检查页面上的书名,会发现我们没办法找到书名信息的共性,它们都在 a 标签里,但网页上还有其他 a 标签,它们虽然都有 hash 和 title 属性,但不同书的属性对应的值是不一样的。这就有点不好搞了。 这个时候如果我们换个角度寻找共性,可以发现所有书名都是 h 三元素的子元素,那解析条件就变成了,我们要找所有 h 三元素之下的 a 元素。 那流程可以拆分成三个步骤,第一个步骤,找到所有 h 三元素。第二个步骤,找到每个 h 三元素下的所有 a 元素。第三个步骤,提取 a 元素里的文字。 要找所有 h 三元素,和刚才找 p 元素是差不多的,区别就在于我们不需要额外传入 x 这个可选参数了,因为这次不用根据属性筛选符合条件的元素。 find all 会返回一个可迭代对象,所以我们用 for 循环去迭代各个 h 三元素这个 type 对 象,我们可以继续用相同的所有 a 元素,然后再去进行一轮 for 循环。 得到各个 a 元素对象后,就可以通过 string 属性获取 a 元素里面的文字内容了。打印出来就能够得到所有书名标题, 这个过程是由它曲折,但爬虫需要我们能和网站斗智斗勇。另外,由于这个网页里所有 h 三里面只有一个 a 元素,所以我们也可以用 find 直接找第一个 a 就 行了。 find 返回的并不是可替代对象,而直接是第一个对象,所以第二个负循环要删掉,能稍微把逻辑简化一些。那下个视频里呢,我们会一起练习爬虫实战的解析步骤,提取出豆瓣电影 top 二百五十的所有标题,我们稍后见。 这个视频里,我们要一起通过实战获取豆瓣电影 top 二百五十的所有标题。 那第一步呢,是回到编辑器安装 b s 四这个第三方库,那我们打开编辑器的终端界面,输入 pip install b s 四, 那如果它返回的信息里面有一句 successfully installed b s 四,说明安装成功了。那第二步呢,就是从 b s 四这个库里面引入 beautiful soup, 那我呢就在咱们之前练习已经创建好的这个 scrap, 豆瓣点派这个文件的第二行写上 from b s 4 import beautiful soup。 那 如果你跟着前面关于这个 get 请求的练习,已经成功拿到豆瓣电影 top 二百五十豆这个网页原码的话呢,那就可以继续跟着往后做, 我们可以把这个响应题里面的内容用一个叫做 html 的 变量来储存。那接下来呢,我们想把这个 html 给它传入 beautiful soup 它的构造函数里面, 原因是我们就想从这个 html 里面搜寻我们想要的信息。然后第二个参数呢,我们要写 html 点 poser, 那传入这个的意义在于呢,我们需要指定 html 解析器,说明呢是在解析 html 内容,那这个构造函数呢,会返回给我们一个对象,我可以把它赋值叫做 sum。 那我们在对这个对象做任何解析操作之前呢,我们还是要先分析一下想提取的信息的特点,所以咱们回到这个网页,右键点击检查,然后我们可以点击任意一个标题看一下, 那可以看到呢,所有的标题啊,它们呢都是一个 span 元素,并且它们的 class 值都是 title, 那 我们就可以根据这个条件去提取这个信息。回到编辑器, 咱们呢就可以用 beautiful soup 对 象的 find all 方法。第一个参数呢是传入标签名,我们要找的就是 spend 标签。那第二个参数呢,是可选的,我们想要指定 atis, 也就是我们想要根据元素的属性来提取, 那具体是什么呢?那就是我们希望这个元素的 class 属性,它的值是开头。 那根据这两个参数呢,我们就达成了我们要的目的,也就是说找到所有 class 值为 title 的 spend 元素,然后我们可以给它赋值,叫做 all title。 那 这样呢? all titles 里面呢,就有我们想要的所有 class 属性为 title 的 spend 元素,然后这个 find all 呢?因为它返回的是一个可迭代对象,所以我们还是用 for 循环去迭代这个可迭代对象。 你可以先把这个 title 打印出来,看一看它长什么样子,咱们运行一下看看。 可以看到呢,确实是所有的这个,呃, class 值为 title 的 span 元素全部被我们找出来了,就是我们想要的标题。 但是因为我们其实只对这个文字感兴趣啊,我们对周围的这个 html 标签不感兴趣,所以呢,其实咱们想要的是它的 string 属性, 现在再看一看,那确实是周围的这个 span 标签就已经没有了。 那打印出来呢,发现一个问题是,它不只把标题给提取出来了,还把这个电影的原版标题也给提取出来了。 那咱们回到原网页上,那可以看到呢,这个电影它的原版标题 class 属性也确实是 top, 但问题是我们对它的这个原版标题不感兴趣啊,就比如说这个它的原版意大利语标题,我们也看不懂啊,我们想要的只有它的中文标题, 那这怎么办呢?我们还是再分析一下这个信息啊,所有的原版标题他前面都有一个斜杠,那我们要做的是我们只要找到不带斜杠的标题就行了, 那这个其实就是很简单的一个 if 判断就能搞定的啊,咱们先给他这个标题做个块,附个值, 然后只有当斜杠不在这个标题字母串里面,我们才把这个标题给它打印出来,再运行一下看看。 哎,这不就搞定了吗?现在呢,我们获得的呢就是只有中文标题了,那当前呢,我们只剩下一个问题要解决了,那就是我们想要的是豆瓣电影 top 二百五十,但是呢,通过这个链接啊,我们只能拿到第一页, 也就是排名前二十五的电影。那要解决这个呢,其实也不难啊,我们看一下第二页, 可以看到它的链接,和第一页相比,就只有这个查询参数, start 的 值变成了二十五, 也就是说在这一页里面,电影是从缩影二十五开始的,那我们照计算机里面的缩影二十五,也就是啊生活里面排序的第二十六,所以这个值和它从第几个电影开始是能对应上的,那以此类推啊,我们去到第三页, 它的链接呢,应该 start 的 值就变成了五十。把它用编程的思维来想啊,就是我们想要有一个变量,比如说这个变量叫做 startnone, 它呢要能依次等于零二十五、五十七十五,以此类推,一直到二百五十。 那这就是一个完美的可以用 for 循环结合 range 的 例子。那咱们要在哪里写呢?因为每次的链接都不一样,所以我们 for 循环可以先写在上面, for start num in range, 那 最开始的数字是零,然后我们要的最后一个数字是二百五十。那需要警惕的是啊,这个 range 的 结束值永远是不包含在最后输出范围里面的, 那你说我们有二百五十个电影,最后一个放了二百五十,那不就是不包含最后一个电影了吗?其实不是这样,因为他的这个链接里面也是根据计算机锁影,那我们知道这个负循环里面结束值呢,是不会包含在最后输出的范围里面的。 但是呢,因为我们的第二百五十个电影,他的锁影值是二百四十九,所以咱们这里写二百五十其实是符合需求的。 然后 round 值的第三个参数呢,表示不长,也就是数字一次增加多少。那我们呢就写二十五,因为它每一页上面是有二十五个电影,那我们这里可以先打印出来看一看,这是不是我们想要的,把下面这节给他注视掉,运行 正正好好,从零到二百二十五,每次增加二十五。那这个呢,就是我们想要的最后一页,你可以实验一下看一看啊,最后一页是不是正好包含了到结尾二百五十的这个电影 啊?现在我们可以确认,确实这个最后一页呢,他的这个链接就把前二百五十的电影全部包括了。那接下来呢,我们要做的就是要更新一下链接,咱们这些所有的呢都要放在循环里面了, 好把这个给它删除掉。那怎么更新链接呢?很简单啊,就是在它的这个链接后面加上问号,然后 start 查询参数的值要等于咱们当前 start number 等于的数字,那这里呢,我们就可以用 f 四个串去格式化, 然后放它就等于 start number 当前的值。 ok, 那 咱们现在可以再运行一下, 那可以看到他当前呢是在一页一页的读取啊, 那现在呢,程序执行已经结束了,我们可以看一下我爱你是不是最后一个电影。哎,确实是, 那通过这短短的一段程序呢,我们已经把豆瓣电影 top 二百五十完整的名单给他获取出来了。鼓掌,小花,那怎么样,这个爬虫任务你也成功了吗? 经过这么多节的学习和实践,你应该已经掌握了爬虫的核心,能完成大部分基础的爬虫工作了。如果要继续精进的话,你可以学习正则表达式, 正则表达式可以帮你在解析内容时,通过更加精简的代码,根据自定义规则匹配一个或多个目标字幕。你还可以学习多县城,让不同县城同时爬取多个页面,增加爬虫程序的效率,缩短爬取大量网页所花费的时间。 那总之,爬虫是一个可以不断修炼和提升的技能,随着你遇到的不同,网页结构越来越多,技能也会愈加娴熟。当然,经验增加的同时,也得时刻留意最开始我们说的关于爬虫的红线,千万别从入门到入狱。 在成功获取和解析数据后,针对数据的处理也有很多相关技能可以学习。如果你想把数据储存起来,可以学习数据库。 如果你想从数据中得到更多信息,可以学习数据分析。我的数据分析课程也已经上线了,欢迎戳评论区了解,我们后面见!