百分之九十五的 it 小白都不知道的爬虫冷知识!百分之九十五的小白都不知道爬虫功能是其实最核心的技能应该是反爬,那么今天就教大家用三厘米三步搞定反爬,记得点赞收藏! 启动三分钟修改用爱,然后让他去启动你的 com, 这个时候 com 往往架不住敌人的言行,考场打着打着就招工了,为什么呀? 因为他有很多信息已经提前置入了,对方可以检测的到。所以第二步我们换个方式,先启动 ctrl, 在启动的时候注意用命令航方式进入测试模式,然后你再启动三个字母,让三个字母控制 ctrl 去防了。 这个时候很多信息跟三六五是完全无关的,所以你检测不到,因为压根没有。第三步重击打掉了 i'm detected crown driver guy, 它是一个专门针对浏览器识别做出来的扩展,需要的同学可以在评论区留言领取,关注我并点赞视频领取三十集的编程学习资料加电子数,我是刘大大,每天分享编程干货!
粉丝5190获赞6959

大家好,本节怎么来安装一下斯里姆的环境,回购一下斯里姆的架构,要完成一个环境的搭建,咱们需要这些内容,首先本地有一个谷歌浏览器,然后你的本地需要有个 come drive in exc, 用于驱动浏览器,大家注意这两个是不是一回事,是两个程序。 第三个咱们的 pass 需要安装这个包,咱们进行真实的操作。首先你电脑需要安装一个谷歌浏览器,这一点大家应该都已经装过了,咱们需要这一点是需要看一下当前的科目的版本号,咱们来看一下 打开我自己的谷歌浏览器,咱们怎么看它的版本号呢?在右上角这个三角符号,点这个帮助点,关于 它里面弹出我的版本号呢,我放大一点,它里面弹出我的版本号呢是九六点零点四六六,四点四五, 咱们去看一下这个专柜能不能找到定的版本,因为这个专柜浏览器需要配套。这个链接是来自于 c m 的官网,我直接打开这个地址, 打开了以后呢是英文,大家不用怕,右键可以翻译中文,就是安装浏览器的驱动,咱们往下翻, 他说第一点是你需要穿这个沐浴露,把它加到系统的 pass 里面,那么我们就按这个卢进来 c 盘, why drive 和 b 打开 c 盘,大家看到我这里已经自己创建好了一个 wifi, 这样的一个沐浴露,双击里面是一个冰沐浴露, 这里面是我下载好的拽腕。大家需要做的呢是先把这个沐浴露穿件好,复制这个沐浴露,然后咱们需要把这个沐浴露添加到 环境变量里,大家看我怎么操作,在此电脑上点击右键属性, 然后呢往下翻,有一个高级系统设置,打开了以后有个环境变量,咱们双击这个 pass, 双击,我已经添加了这个目录,如果你没有的话呢,点新建,把这目录复制进来就可以了,这里我删除掉, 这就是我添加了一个环境变量,对,确认确认,确认,关闭就好了。 刚才我这部落下呢,有一个 web driver b, 有一个 e i c, 这咱们下一步的事情就是往下翻,在这位置,咱们下载这个驱动的 e i c 文件。谷歌浏览器点这个下载, 打开了以后呢,他有很多的版本号,还记得刚才我的版本号吗?我把这个前缀复制一下,大家注意,有时候最后这个版本可能是不一致的,你取相近的版本就可以,但前面的版本一般都是一样的。我复制前三位, ctrl f、 ctrl v, 大家看到是做了三个版本,刚好有个点四五,有时候比较巧的,刚好有点四五,如果逼的话呢,比如说他有十三,咱们下载十三呢,也可以的,点开这个点四五, 里面是多个 zip 文件,因为我是 windows, 所以点成 v 四二,然后打开了迅雷,点下来就好了, 他说你下载完了,我查看一下,就这部落打开, 打开了以后呢,这个 zippo 文件请解压 鱼尾,解压过了,我直接全部跳过,就这目录,目录里面就是一个 ex 软件,咱们 ctrl c 复制,回到刚才的这个 web drive 并粘贴鱼尾已经有了,所以说这里跳过了。 那么经过这一步,咱们完成两个事情,第一系统环境变量,第二把这 ext 放到了系统环境变量对应这个母乳里面。回到 ppt 咱们就完成了第二件事情。第三件事情,咱们来安装一下 siri, 那么这个库 安装他的方法,咱们复制一下这个名字,然后打开阶段的任何一个目录,清空地址栏,输入 cmd, 进来了以后 paper install clam 回车, 他就会把 把这个库呢自动的安装到你系统的默认拍摄环境里,对我自己来说呢,就是俺能看到的 base 环境。 ok, 这是本的内容,我们回归一下。第一,你的电脑呢,需要安装一个鼓励浏览器,查看一下当下的版本。 第二步,咱们下载科目拽腕,下载的时候找到这个版本相近的版本就可以下载了。以后把它放到一个本地的目录里面,比如说 c 盘科目拽腕的 b 目录, 记得把这录像提前到系统的 pass 里面。第三步,咱们对于拍摄环境使用配比赛 c m 安装这个库。下一节咱们写一个真实的案例。

大家好,本视频开始,咱们进入一个拍森爬虫的高级专题,叫 clinam。 这个专题分以下内容。首先什么是 clam? 为什么要学习它?然后我讲一下温度的下怎么安装 clam。 第三集我会给出一个简单的案例,大家可以直接看一下这个代码来爬取一个网站。 第四集我会对他的语法进行总结,之后的话就是大量的实战案例,我会持续的更新 本节的内容。什么是 cdm? 为什么要学习? cdmcdm 是什么?他官方的解释是 cm 是一个用于外部应用程序的测试的工具。他的本意适用于测试的工具, 但其实真实情况是大量的用于网络的爬虫。下面咱们直接介绍的为筷子爬虫。它能够完全模拟真人使用浏览器的流程, 尤其对动态 gs 加点的网页更容易爬去。对于这种玩意,你用快速进行爬去分析的时候呢,觉得麻烦,成本是比较高的。鞋内部的功能,它本身就是框架的底层。使用 jax kill 模拟真实用户对浏览器的操作。 比如你测试脚板的时候呢,自动按照你的脚板做出像人一样的点击输入,打开验证的操作,就像真实用户所做的一样,最终实现了。虽然你使用的是拍摄程序,但你就像终端用户一样来测试整个应用程序,或者说实现怕虫。 它可以用于较量的爬虫,例如动态 gs 加载某些灯笼验证,尤其是用于表单的提交这一类爬虫,非常的方便。第二点,它使用简单,可以使用 passen、 加瓦等多种语言来偏一些。用力搅拌简单,教练随意。那么那么为什么要学习它呢?就是咱们的瑞筷子爬 虫局限性比较大,对于一些复杂的爬虫呢,分析困难,甚至被封禁的概率是比较高的。但是那么可以用于较难的爬虫,因为它可以伪装成真的浏览器,那么它被封禁的概率会更低。适用于动态阶段加载,登录,验证和表达天线的场景。 但他是有缺点的,利用相比于快速,性能比较差,因为他需要驱动咱们电脑的浏览器,所以说这个过程就会花时间。如果有些高清的爬虫,咱们还是使用这种如筷子过,哪怕你分析的困难一点,但他会得到性能上的收益。 本节目最后一点,史莱姆本身的框架,他有三部分组成。在咱们的 windows 和麦克电脑上, 你需要有三个角色才能搭建一个这样的环境。第一,你电脑需要安装一个真实的抠门暖气,我这里推荐抠门暖气,其他的我不推荐。 第二个,你的拍摄爬升代码需要下载安装一个 c 他们的库。第三,你需要下载一个驱动,这个驱动比如说你是故宫浏览器的话呢,你下载 come drive 网。他们三者运行的顺序是这样的, pass 代码会调用这个驱动,而这个驱动呢,会驱动咱们本地的浏览器, 实现自动化的测试,以及书籍的返回。这他一个简单的原理。下一集我们来讲一下怎么安装这个环境。


通过爬从就是模拟啊,模拟去破解滑块的一个自动化,一个实现。我现在,呃,我现在用的是一个证件,证件,国外国家证件网的一个网站啊,来进行一个实现的。 呃,可以看一下这个执行的一个结果吧,这是通过 crom, 呃, snowman, 呃,实现了一个针灸网的, 嗯,现在,现在是网站对这个加载啊,输入一个新的相应的账号,呃,就是就直接破解就可以进来啊,就可以进行一个火化的啊,一个进进来就可以拿到一个 c, 所谓的,呃,托肯啊,就可以实现一个所谓的划号的一个自动化啊。我这边我这边的代码是通过两步啊,两三步来实现的, 其实这一行啊,其实倒是无所谓,其实这行加不加都无所谓,这行就这个是初始化啊,主要是一个所谓的 驱动,一个骨骼驱动的一个配置,以及他的一个网址啊,进来,进来, 这是他的一个头,其实这里面也没什么用到什么。呃,再就是所谓的这个滑块,比如说输入一个输入验证码啊,用户名,这是一个密码,这个是登录模块,因为他那个滑块,呃,你可能循环一次两次 四,可能是可能是执行不成功的啊,因为通他是通过这个网页里面是通过去找到, 嗯,找到这个里面的一个一个一个字母的一个属性,这个 chicken chicken 的这个属性。

你绝对想不到一个浏览器插件就能让你成为爬虫大神,关键还不用写代码。走,我们一起来看看。这个插件的名字叫做 gx x mark, 那么他到底能做什么呢?我先进入一个我之前开发的 cm 系统里面,然后点击这个录制,我现在输入户名,输入密码登录,然后我们简单做一些操作。好,我们现在退出这个系统, 然后关闭浏览器,我们回到这个插件里面哈,然后点击运行好现在见证奇迹的时刻。我现在没有动鼠标键盘, 他在自动执行我刚刚的步骤,这样我们的一个全自动能模拟登录的爬虫就做好了。现在数据爬到了,如果要存在表格里或数据库中,要怎么做呢?请看下集。

给大家介绍一个比舍 linim 更好用的一个拍摄爬窗工具,叫做剧作家啊,英文原名呢是 play dried, 就是剧作家的意思, 这个他的这个名字起的非常好,就是我们写代码,就好像是作家在写剧本,然后让浏览器为我们,我为我们演出一样啊,我把这个剧作家呢变成了中文版,这样让他变得更加好用, 给大家看一下这个效果。这个我这呢写了这个一个小例子啊, 全真七子的一个网页,全真七子呢,然后点开查看更多,可以看到某每一个人的详情,我们的目标呢就是抓取这七个表格的内容, 他那个罗列一下这个全能气质的每个人的详细信息。好啊,先直接给大家看效果,这个代码呢也很简练,我大约写了三十一行啊,其中跟据专家有关的也就是五六行左右啊,现在我直接运行,大家看效果, 他内置了一个浏览器,点击运行之后呢就打开这浏览器,你看就刷刷刷的运行 这个我的代码是运行完自动打开这个电子表格,写到电子表格里去了啊,这就得到了这些数据, 当然在得到之前呢也进行了一项这个输出,在这输出了在七二的内容。好,下面我们就来分析一下这些代码,这个前面的 导入呢,这个最核心的导入是第一行,后面的都是我的中文 pass 的一些内容的啊,这个剧专家呢,你要安装这个原版的剧专家,然后再安装这个中文中文 pish, 他先后无所谓啊 啊,你呢,他要需要你在你的电脑上安装原版的,就这家怎么安装呢?我们都知道 park 命令这个,这个他会自动去那个这个拍摄的官网上去下载啊,一个 install 好,自己按一下就行。这个我的中文拍摄呢,在我的网站上,我的网站是五二中文编程点 com, 中文编程是个汉字的生本。好,下面的导入就是导入 中文编程的内容和导入了一个那个,我们知道叫 os, 打开文件,我这个系统最后一句话只用了一次,就是打开文件,因为我是 windows 系统给他取了一个别名。是问 啊,最后呢,我又导入了一个操作电子表格的一个库。啊,这个库呢?操作电子表格,这个也是一个汉化版,我汉化之后非常好用。 看像这就新建一个空的电子表格,这个取出他的第零张表格,就第一张,因为他从零开始查,然后添加一行这个数据,就是我们看到的这一行。 好,然后这个剧专家的这个核心内容呢,就这么五行左右啊,很简单。 刚才没有提到这个导入的时候要导入同步剧作家,什么意思呢?我们这个拍摄有同步异步两种写法,异步呢,比较复杂。这样呢,我导入的是同步,这个写法比较简练 啊,这个剧作家的所有代码呢,他建议都写到一个未日语句中去,我们知道未日语句最大的好处就是能够自动关闭,我们不写未日语句也行啊,不写的话最后来一个剧作家关闭啊,同步剧作家,我取的名字啊,就叫剧作家,这样我会,这个比较见谅。 第一行就是他打开启动一个浏览器,这个浏览器呢,我不可见设成了假这个,因为这个啊,中文拍成可以直接叫假这个汉字,因为可见的效果更好。 我们看到这个过程,如果这个测试通过,你可以把它去掉,他默认就是看不见了,看不见但是一样照常运行,这样节约内存。 好,这个我先带着吧现在,然后呢这个浏览器我新建一张,新建一个页面,就等于我们在浏览器中这样打开这么一页,打开之后再干什么呢 啊?在页面一呢就给他进行一个跳转,跳转到我做的这个小实力这个网站,这个网站,然后呢他会你可以写一个命令,等待加载, 等待一会呢,就那个查找所有的 a 链接,我在里面你看这个查看更多呢,都是链接我们这个链接的那个啊, 这个原码呢,实际上就是 a 开头的叫 a 链接,你就查找所有的 a, 当然如果链接多的话,你可以啊在前面再加一个限定,先查找别的,在里面再查找 a, 一会我再介绍这个例子啊,查找了所有链接啊,就是那七页链接吗?这就这些链接,每个链接进行循环一下,点击这个链接,点击链接呢就会弹出一个新的页面,这样 我们呢就要找到这个新页面。怎么找到新页面呢?很简单,就是在页面一里面获取弹出页面,只要你是在页面里一点击的这个页面一呢就能够找到啊, 在上面点击这个试卷弹出的啊,然后这就是页面二了,页面二呢,我们就等他加载 这个加载完之后我们就可以获取所有的元素 t r。 我们知道啊,这种表格,这个每一行称为一个 t r, 这个表格叫推宝,这个它的行叫 t r, 我们可以检查一下,看一下,你看就这样有这么四行 看,我的鼠标移动,这就要在变动啊,这是 t r, 他就找到所有的 t r, 找到这我准备把它放到一个列表中去,建了一个空列表,然后呢对表格这一行每一行进行一个循环 啊,它这个行呢有两个元素,你看一个是表头啊,这个表头竖着的表头呢,它的名字叫 t a 值,还有就是一个普通的单元格,它叫 t d, 你看怎么找的这一行,查找这个 t, 这没有用所有,因为他只有一个,你就不用用所有了,要是用所有,他就返回一个列表,还得再找第一个,他是自动找第一个,然后取他的内部文本,就他里边的这两个字姓名,然后呢这个这是项目, 然后就是内容,你看这像这个它的姓名盗号,内容呢,就后面的一个 t d 啊,找到之后就输出一下,就是你看到这里面的每一行输出一下,然后呢在数据行列表中就添加这一行内容, 添加啊,这个把它添加到那个数据表啊,等添加完循环完之后呢,这个数据,这个列表呢,他就有四个内容了, 就是我们看到的这这四个内容啊,通过一个列表啊,插入到这个电子表格中去,然后呢这个页面二就关闭,关闭之后我们知道这是一个循环啊,关闭之后呢,就返回到这一块, 关闭了之后又跳到这里来,再次点击下一个链接,再输出,再加入表格,再循环,一直把所有的链接都进行完, 我们就可以关闭浏览器了,浏览器他会自动关闭,关闭完之后呢,这两行已经不属于这个剧作家了,我就放到放到最后了,把那个电子表格我保存为全真气质啊, 这个后缀名,然后呢,用 windows 打开这个文件。好,这就是整个过 行先我们把这个不可见把它去掉,就是默认不可见,这样呢,运行会更快速。好,我们重新进行一下,来看一下这样的效果,这样我们看不到界面了啊,能看到这样的输出, 这个打开还是稍微慢一点 啊,来,看到这个已经开始输出了 啊,这个打开的速度取决于 cpu 什么的,我的这个啊, cpu 不是很好啊,这儿出现一个错误是为什么呢?我们知道在电子表格中呢,已经打开了,你就不能 啊再读取了,就是你要是再打开一次就变成子读了,我们有时候在这看着子读,我这个把它关闭关掉才行, 刚才忘了关啊,再运行一次这个电子表格,你应该我刚才已经打开了呀,他在运行好, 但这一次就没有出现错误啊,这个打开了这个呀啊,这个剧作家还是非常的好用的,我觉得比那个 selenium 啊,舍离娘们应该叫比他好安装,那舍离娘们呢?有时候你要安装驱动,那个驱动呢?还得那个不断的更新你的艾子浏览器,骨骼浏览器,如果更新的话,驱动还得更新啊,太麻烦了。 而这个巨作家呢,他内置了一个浏览器啊,我再给大家看一下,等我这个看到之后,给你来一个这个暂停吧, 到这来个暂停暂停,怎么暂停呢?很简单,你来一个输入框就行, 来一个那个输入这些我们现在什么都不输入,输入直接按回车就会进去。我再给大家看一下,你看 他内置的是一个谷歌浏览器啊,当然也可以选择火壶什么的,他默认是谷歌,如果你要是用火壶的话,啊,这个参数改一下,改成那个火壶,或者啊还有一个叫什么沙壶的那个,这个苹果的我不太懂啊,果然内置三个,你看这个图标 跟谷歌浏览器的形状一样,只是颜色不同,它是谷歌浏览器的一个开源版本,好可见呢。 啊,这个他还是比较简单的啊,他因为他是安装了内置的,就不用担心,你就不用担心那个呃,浏览器升级安装驱动就不需要驱动了,这样呢就非常的好了。 行,如果你喜欢这个剧作家,你可以呢从我的网站上中五二中文拍摄上啊下载这个五二中文编程上下载这个中文版本,用起来呢会更加好用, 他也可以进行一些浏览器的自动测试,自动点击浏览一些网页,自动赚取积分什么的。 好,这就是今天的内容,希望大家呢喜欢,如果喜欢的话请别忘了点赞和关注,谢谢。

大家好,现在好多同学在做网页自动化和安卓自动化的社会采用 rpo 以及是刘女母这两款框架,但在我们实际的应用场景过程中,比如办公自动化以及数据采集 使用的时候,这两款框架的缺点是显而易见的。比如我们在做安卓自动化的时候使用 rq, 尤其是对动态画面的处理速度特别慢,而且它是不支持小程序的 h 五界面, 没有元素定位。今天我给大家推荐一款全新的自动化框架,它是支持安卓自动化,温度式自动化以及广业自动化,而且它弥补了 rp 以及是溜女母的一些缺点。好,我们现在给大家演示一下我们这个新框架的对网页的处理,我们点击运行 啊,他启动启动浏览器的时候,他是没有没有显示这个正在被什么操控浏览器啊,所以说我们这个框架在做网页自动化的时候,是不会被第三方认定为机器人操作的。 我们再看一下他这个对网,呃,安卓的一个自动化的一个元素定位速度。好吧,我们把这个打开, 这里他有自带的一个元素识取工具,我们单击获取信息,点击这个启动输入法。啊,启 用输入法,他会通过这个 id 以及克拉斯内幕,还有文本以及绝对路径相对路径生成我们这个 xpass, 我们再通过文本定位一下。 好的,这里有个启动我们输入法。好,我们看一下他这个执行速度, 比如去点击吧,点击一个元素。好,这样我们就能点击元素了,在点击的时候我们再打印一下他这个执行的时间来对比我们阿 q 在做自动化的时候他所消耗的时间, 好,我们 我们把这个脚本启动起来, 打开日字。啊,这里可以看得出来,我们这个元素定位只需要九十八毫秒,九十八毫秒,我们再看一下对动态画面的处理,元素定位的速度啊。 rq 一般使用速度在动态画面一般要十到二十秒的时间, 我们看一下这个动态画面,我们先点击这个获取信息,点击相对逻辑,点击这个信息。 好,单击之后我们拿到这个元素路径放到代码里面去, 在 再执行一下看下效果,点击控制台等待它打印日字。 啊,这里可以看到我们在处理动态画面的时候,他只需要一百毫秒。 rq 他这个速度可能是十到二十二十秒,可见我们这个速度是他的多少倍。 呃,我们除了在安卓以及网页这一块,我们还支持温度式的一个 app 的自动化,我们可以把这个温度式的元素吸取工具拿过来,可以看到我们 点击这个获取信息,随便点个位置,他这里有回复载啊,这样我们可以结合我们的网页自动化,比如我们在上传文件的时候,对吧?他会弹出这个东西,弹出这个东西一个对话框,我们可以通过我们温度数模块 去获取这个信息,然后把这个东西,把这个我们所需要填写的东西可以通过元素写入进去。 啊,这是我给大家介绍一款非常强大的框架啊,今天就到这里。

你还在找爬虫吗?给大家设计了上百个爬虫工具,今天给大家看一下这个爬虫合集,只要我是拍的,然后这个里面有十六点三 k 的关注,这个 工具是用拍摄做的,里面包含了比如说 b 站、幺六八八、豆瓣,还有链家网以及人人影视啊、天眼查、网易音乐等等上百家,大家可以关注一下。

这时候我们就看到进度条正在下载,当我们在使用爬窗下载视频的时候,如果这个视频文件比较大的话,运行的时候会等待很长时间,这个时候呢我们就不知道程序是否在正常运行。通常情况下咱们会加一个进度条,可以看一下这个下载的进度。 在潘森中有很多模块可以实现进度条,那这里呢,咱们介绍一个老牌的实现进度条的模块,叫做 tqdm, 这是一个第三方模块,我们需要先安装它,然后才能够导入。 from tqdm apart tqdm 由于我们要看到请求的进度,所以我们就不能使用 requests 一次性请求整个视频了,我们需要在这里设置一个参数,叫做 stream, 等于 true。 接下来我们来获取一下请求头的总大小, content size 使用二一 s 点儿 pictures 请求头中我们获取到这里的 参数。 contines 这个单位是字节太小了,我们可以将其转号人 kb 除以幺零二四,先把它转号为整数,再进再除以幺零二四。然后接下来请求的时候,我们不想让他一次性全部请求完,我们要把这个整个视频进行分块,一次取一部分,一次取一部分,这样的话我们就可以在进度条显示出这个进度了, 所以我们对这里需要进行一个改造,我们使用 tqdm, 使用 icrobo, 然后传递一个对象 ris 点 icrocontent, 它表示使用 request 模块,每次取多少,这里呢我们设置幺零二四个字结,也就是一 k。 接下来使用第二个参数, total 视频的总大小就是我们这里获取到的 content size, 接下来再设置一个参数有。 net 单位我们设置为 k, 原来是字节,现在是 k b, 还可以设置一个 des, 这个参数呢是用于描述的,我们就写视频下载,这是一个可别带对象,接下来我们使用放心环来便利他放对头印。接下来将每次请求得到的这一 块地图,我们把它写入进去,也就是说将原来的一起写入,现在改成分块写入,这样我们的代码就写完了。接下来咱们来试一下运行,这时候我们就看到进度条正在下载,下载完成,小白你学会了吗?

哈喽,我是冰冰,今天教大家不用敲代码就可以轻松爬举到玩音数据,这个需要用到一个软件加入八爪鱼,这八爪鱼我们直接上百度搜索八爪鱼,然后去他的一个官网去下载就可以了, 直接去爬取一些网站的数据是不用费用的啊,我现在用的是一个免费版, 怎么去爬取呢?首先我们安装完这个八爪鱼之后,我们打开,然后这里一个新建自定义任务,然后这里是任务组,我们随便给他命个名,这里就是我们要爬取的一个网址,我们输入我们要爬取这个网站,点击这里保存设置, 已经打开了这个网站之后,我们看到它上面这里是分两个页面宽,它上面这一个是我们要爬取的一个网站,下面这个是爬取下来的一个字段, 然后右手边这个是操作提示,操作提示他这里是翻页并才提多页数据。比如说我们这个招聘网站,他上面有十页的数据,那他会自动翻另一页,总共有多少页,就啊把多少页的数据给爬取下来。然后 这个是要点击列表中的一些链接,然后并采集下一页的数据,比如说这里是他的每一个招聘信息,他都可以有链接点进去的。如果你要采集里面的一些详细的信息,那你可以点击这个,那我们先采集他目前所有的一些招聘信息,那 我们直接这里是深层采集设置,这里点击保存并开始采集, 点击启动本地采集雷条,然后他采集完了,总共用时是一分十二秒,采集了二百七十一条信息,其中有一条是重复的,然后我们这里点击导出数据, 然后这里是去重数据重复的,我们不要找出为 excel 文件, 然后我们可以倒出在低盘, 这样子就完成了爬取的一个步骤了,是不是很简单呢?今天的分享到这里,明天给大家分享数据分析的全流程,记得关注我哦!

第二个函数叫如其棒的函数。 啊,对,这里啊,我漏奖了一点啊,我们再返回去。不好意思, 我们刚刚不是说我们要用到两个工具吗?对吧?第一个是飞的,第二个呢是 mitiprz, 其实这两个工具他本质上是一样的,他都是啊抓包的代理,那么我们用飞的是有什么好处呢?就是说飞的呢,他给我们提供了这样一个比较好的 前端的展示页面,他方便我们去分析这样一个请求,当然这个 mitch 呢,他也有这种前端,但是他的优势呢,没有飞的那么好, 那么迷的 pos 的,他好处在哪里呢?就是说他跟 past 进行了好比较好的结合,就是说我们要用 past 爬窗去实现的话,我们要进行网络监听吗? 来么 那个那个使用的这样一个目的,就是他的用处都是一样的,他这里还有个区别,非得的那个监听端口啊,这里啊,他是四个八,而这个 mitiprz 呢,他的监听端口是八零八八,那么现在我就改一下八零八零, 保存一下,或者我要关掉吧,关掉重启一下,为了它实现的效果, 嗯,把代理改成幺二七零幺,这应该是八零八零,对吧?保存一下,然后呢这个脚本呢,就开始我们的怕冲, 那么这里呢,其实这里就有很多新东西了,当然我就硬着头皮往下讲吧,啊,当然这个是首先不管大家听不听得懂,首先普及一下了解这个东西。 这红 case 呢,跟这个 usb 的两个变量,其实就是在识别他的这样一个, 识别他的这样一个什么这样一个网页,我刚刚不是说了吗?就说这个网页才是我们这个链接吗?才是我们需要, 还有这样一个这个链接吗?也是我们需要的,那其他的现在他很多请求我们都要把它过滤掉的,实际上这两个变量就是过滤用的,你看我们下面这句话啊, eashon kisee 这个啊,这个卢克思亚是吗?就是这个 请求的这样一个链接,这个产生的是一个链接的这个列表,对不对?就说如果这个请求啊,这不是列表,这是每一个,这是每一个请求数据流的这样一个链接啊,就说如果这个匹配的这一个 case 在这个, 在这个请求的链接里面出现,那么我们就大概就定位到了啊,他是我们需要的链接, 然后呢我们就会对他进行解析,对不对?他里面然后这个派人呢?就是 这个是这串都是数据处理啊,这一点我就不细讲,这讲的很麻烦,大家都要知道,我们是为了把这个仓鼠给他提取出来。 big 啊, uin 啊,还有个屁哦,我这里面写道啊, 然后 ls, 对吧?这是这是主页吗?这是我们刚刚说那个进入公众号的主页,那么 url ks 呢?是下下翻的时候,翻页的时候他的链接,他是这一个在这里面,那么我们医院这里就是很重要,这里我们要把这个数据 就给提取出来,就结算吧,刚好我们说了,这里是 哪一个啊?这个对吧?这个戒指除菌吗?啊?我们也把它提取出来, 就这样的,对不对?然后这里有一个很重要的这个叫伊瓦函数,这函数是什么作用的?这个我以前在那个爬天天基金的时候其实提到过,我给大家演示一下啊, 来看,就假如说我这里有一个字典,但是他被引号那个啊夹住了,那就是说他这个本来是字典的,我们要把它变成字典,他被引号引住之后呢,他是个字不串,我们把它还原上字典,怎么办呢?我们用一右啊这个函数 打出来看,他这就成字典了,我们看一下他的类型 就是字典,对吧?我们看第一个太字,反正这个很多人肯定就知道了,我大概讲一下详细一点啊,上面就是字,对,下面是第一个字,就这个意思, 那么这里呢,我们把这个爬起来的内容打印到那个控制台看一下啊,是不是我们需要的,然后这个下面都是在做数据处理,对吧? 啊?这一步很重要,这一步呢就是说康腾 dnax, 当 candax 是我们的,康腾 dnax 是我们的这个原始数据吗?然后因为他是字典的形式,这里有个很重要的叫康腾 ufo, 我们回去看一下, 这里啊,这里不是,这个,我们 猜测不是,我们不是说这个是文章的标题吗?这是文章的摘要,然后呢一篇文章他有很多个参数啊,来看看啊,当然这个因为这个文本太长了看不见了,我知道它里面这个 有一个叫康腾 e i 的,我怎么知道的呢?我们继续往下看,这里先放在这里啊,这个都是来做我们的处理,而且我们建了一个 这样一个文本链接的这样一个列表,叫这个 ur lx, 对吧?在这里定义的就是我们要把所有文章的这个链接放到一个列表里面去 给收集起来,对吧?啊?这里还有一个叫一字谜体啊,这也是我们的一个元素学名,一个这个一个一个建制,他什么意思呢?就是说我们在发推文的时候, 很多一般来说都不止不止发一篇文章,那么我们那个主页上是一篇文章,然后下面还会附带可能一二三啊,一二三四五六七八,可能很多种各种文章就一次发退文,可能发 六篇,七八篇都有可能的,所以说如果是多篇文章等于一的,那如果他是等于一,那么我就继续吧,这里有一个 miutim miss 啊,这就是我们的,当然这个刚刚我们刚刚没看到啊,我们等会把它运行一下,我们就知道, 这也是啊,如果有图片文章的,我们就继续接待的爬去。下面呢,就是我们的这个一个 芒果 db 的这样一个数据库啊,这是连接,然后呢?这是连接到数据连接到那个库,这个呢会创建默认创 这样一个表,然后呢我们就把这个原始数据啊写到这个表里面来, 然后对吧?这里还生成了一个什么?生成了一个所有我们翻页的文章的这样一个链接的列表,然后形成这样一个字典的形式,然后我们把它写到芒果 tv 的另外一张表里面去叫原来要裂死的,对吧? 然后音色万马,然后我们会把烟火把它打印出来,现在呢我就把它运行一下, 而且运行这个这个脚本呢,也跟我们之前不一样,对吧?怎么运行呢?我们看我们的这样一个控制,他叫 mit 档啊,然后什么杠 s, 就是 启动这样一个程序啊,我们在我们的,在我们这个对应的路径下面启动啊,点击 啊,然后他已经启动了,然后呢我在这里我把它关掉,刚刚我已经试过一次,对不对?现在呢,我再用再点击一下, 大家观察一下这个变化,看见没有,这里就鉴定出来了,然后往翻,往下翻, 我在下凡看到没有啊,这里那个数据都出来了,而且就说我们只取了, 只取了什么?只取了 肉在他里面的这些字段的值吗?所以说他就没有像刚刚飞到里面那么乱,他打印到我们的控制台的这样一个数据呢, 就是比较清晰的看到没有,开头是文章的标题,但却是摘要康腾的啊,这里没有纸,然后想起来最重要的是看到没有康腾 url, 对吧?这就是我们很重要的这样一个文章的这样一个链接啊, 然后呢,我们再找一下那个一字命题,对吧?是一,就说明这个文章,这这一次推文有多篇文章,然后 miss 加,等,于是这就是又出来了,然后呢,这里又有了这个 康等 icon 等于 i 了,在哪里?这里,对吧?看到没有?康等于 i 了啊,所以说我们就已经很清晰。 然后呢,就是我们想爬多少就翻到多少,我把它现在是翻到十一月十二号,我们随便翻多翻几次,对吧?假如说我爬够了,我爬到十月十号了,对吧?十月十号我不爬了,那么呢我就可以把它给 先停掉啊, ctrl c 把它停掉,停掉了。然后呢,我们来看我们的这个芒果 db 啊,这是我们的连接芒果 db 的这样一个数据库工具,我们把这个刷新一下, 这是哪个呢?这是这个笔盒这个表,看看数据是什么样的啊?这个原始数据就被我扒取出来了,看到没有?抬头带解释抗弹, 对吧?这是原始数据,当然我们要的其实是文章的链接,要的是这个数据,对吧?是每一篇文章的这个数据, 我们看下这个表,我刚不是建了两张表吗?就是这一张表,这是原始数据的表,这个是我们提取出来的文章的链接的这样一张数据表,再看一下这个, 对吧?这里就有很多了,这是第一篇推文,这是一篇推文的链接,这是第二篇 推完的链接,这是第三遍推完的链接,看看是不是很清晰啊?所以到这里呢,我们的爬虫的 第一阶段的工作就做完,是不是还是挺有意思的?

大家好,这期视频呢跟大家讲一讲通过德务 app 微信小程序的解析呢,我们来获取爬窗的接口 啊。 ok, 首先呢大家呢做一下相关的一些准备工作。第一个呢就是工具运行的环境啊,这里面包括骆驼 gs 和拍摄版本的话,最新的就可以, 我个人应该现在,嗯弄的是十四以上的版本,然后那个拍摄是三点九以上的版本。 另外呢再就是对卫星薄的处理工具,那么呢卫星呢实际上是有几种运行环境的, 一个是在我们电脑 pc 单上运行的,还有一个呢是在手机安卓或者是 后还是让运行的,那么他们包的处理方式是不一样的。呃,电脑上的包实际上是做了这个夹克加密处理的, 他只要单独做一下的,手机上是没有的,手机上的包呢下下来或者是电脑上的包进行这个托壳或者是解密之后呢,再用手机上的这个工具呢,就可以反变一层我们 能够看得见的,能够读得明白的这个小程序代码的。另外一个呢就是微信的开发者工具啊,因为我们导出来的保暖最终是要导到这个开发者工具里面去的。 另外还有一个就是安卓模拟器,推荐网易的木木模拟器,那么这个主要是一会可以从这个手机上模拟手机上获取这个微信的 程序小程序包,那么呢这个呢你需要安装模拟器,然后呢在模拟器里面再安装微信和这个安逸文件管理器, 另外呢要把模拟器设置成入的权限,这样的话呢我们再去获取微信包的时候,微信小程序包的时候呢就就没有问题 啊,至于这些环境啊,工具和模拟器的安装呢,这个我就不具体给出来了,因为这些东西基本上在网上都能搜到。 呃具体处理微信小程序包的工具呢,我到时候会放在一个网盘上可以供大家下载,其他的我觉得就自行去安装吧,因为我觉得呃既然我要弄卡通这一块 去找,就安装环境找工具,我就是一个基本的,是一个基本的技能啊。那我们现在呢具体就看看怎么找到德务微信小程序的那些包。 那么首先呢是我们看看这电脑端是怎么获取他的微信小程序的包 啊,这个呢就相对比较简单,就是在你的微信里面搜索德国 app 小程序,然后把它打开。呃另外呢我们必须得知道像德国 app 这种呢比较大一点的 app 呢,他实际上在进行小程序啊封装的时候是做了很多分包的啊,所以呢我们在 进小程序打开之后呢,呃为了使他那个粉宝也都能够缓存,在本地的话是要尽可能的多的去点一些界面上的连接的, 这样的话呢他的那些缝薄的呃才会呢在本地做完缓存,比如像这几道购买呀,监听啊这些搭的导航的地方啊啊都可以点一点,还有个人中心, 那么呢因为我们主要会去抓关于商品能力,是数据相关的啊,包括还有一些品牌分类相关的,比如说潮鞋是吧?耐克的鞋, 鞋子,你看这个时候会出现验证啊,验证的话在那个呃呃在那个结构上是四八五的一个 呃一个一个一个一个错误提示,然后呢我在我的公众号里面已经有针对这一块的处理了,那么进行了验证之后呢,可以选一个商品点进去啊,点进去了之后呢,然后再看一看他的 全部购买记录,然后呢其他的地方的话人尽量的随便点一点啊,点一点。 做了这么多 操作之后呢,就看看现在在电脑上怎么去找到得不得那些小程序包 到这来啊这来了,这是我已经已经已经已经打开的一个目录,那么怎么找到这个目录呢?这里面呢我们可以看到一下,这里面有一些报纸量,报名去搜一下就可以了, 收的时候呢要注意啊,你的微信的安装在什么位置啊?因为有一些他那个是安装在 c 盘的,有些是自己自己置顶位置,然后我们在这个地方搜一下, okay, 有点慢,我们可以看到收到这个包了,那么呢打开这个包所在的文件目录,那么这个里面呢可以看到了刚 app 的是主包,另外呢有四个真包 啊,实际上呢可能分包会更多啊,一会我们在后续可以看到到底有几个分包,不过呢也没有关系啊,有了这些包之后呢,我们已经可以做一些呃基本的操作了, 这些就是从呃 pc 上找到的德务微信小程序的包,我们把它复制到处理工具的耳区里面呢,是专门针对 pc 微信小程序包处理 的工具,有两个,一个是这个 ex 一的,这个 ex 一呢是可以直接通过选择嗯,安装在微信,安装在微信下面的小程序包进行解压的。 嗯,好,我们起一个窗口,然后来运行这个拍摄程序。 呃,其实这个命令比较简单,就是在这个拍摄后面结的是那个微信小程序的包,然后呢后面还有个微信 id 号啊,刚 app 这个呢是主播,我们先我们先来对他进行反面一样,然后这个微信的这个 id 号在哪找呢?这个微信 id 号就在我们刚才啊搜索到的这个文件加的这个地方啊,就是二六三前面的这个就是我们的微信 id 号,拿到这儿来 进行处理回测,然后这个时候我们看到生成了一个 dc 的,就是解渴后的一个新的程序包, 那么我们看一下呢,这个在这啊,这个进行了脱壳,或者是 啊紧密之后的这样的一个微信包,那么这个微信包一会就可以用手机端的那个工信呢和工具呢进行处理,处理成那个微信小程 许代码。那么这里的话,我们一次的把其他几个包也都解除了, 还有一个普罗达克的这个也是比较重要的包啊, 有一个 还有一个 word 的肯定答案相关的啊,这个包就是你可以不用打啊, 一个可拎的肯定要的包倒一下吧。 嗯,好,这里我们可以看到我们已经脱壳解密了一二三四五个包,那么我们再把这五个包呢烤到 考到那个手机,呃,进行反边一的这个工具里面,我们进了一个 apk 机的没落,把这些包都放在这个里面吧, 然后呢再来针对这些包,我们把它给反编一层微信小程序代码,嗯,这个代码代码大家看到了他 这是一个结实的程序啊,结实的程序的话呢,我们主要用到的是啊这个啊,所以我们在这再开启,给它开启一个窗口,然后 用肉的结实再来处理我们刚才烤过来的包,那么这里吗用肉的是吧?然后就是我们需要调用的这个 开始文件,然后再就是刚才 这个进行脱壳之后的文件,首先先把那个主包进行进行进行一下处理,大家可以看一下啊, 就开始进行的进行反变液了,那么在这我们看一个地方啊,看一个地方,实际上他这里面写了他这个小程序是包含十个包的, 呃,有十个分包的,实际上我们刚才只是考进来了几个呀?啊?考进来了四个分包,嗯, 那么呢没有关系,没有关系,我们一会把这个东西处理完了之后看看,呃,现有的这些包是不是可以做一些基本的小程序代码的处理, 看一下这个珠宝解反变液之后的目录结构。呃,大家可以看一下这里面。嗯, 呃的 app 点节省,这里面就可以看到我们配集一下包括的页面,以及还有一些我们的纱布派克机,就是我们的纸包都有哪样的一些,比如我们刚才看到的派克机,塞肯的啊,这个改康的我们现在是没有, 我们大哥都有了,是吧?我得有。那么呢这个呢,看一下我们的这个目录结构里面的话,实际上肯定是吧 water 这个还有普大哥的三四,我们这几个包都是有了,但是这个呢主包反面一出来的这个里面呢?三是文件是,呃是有残缺的,所以我们还需要对其他的分包呢,继续的进行 转变音,嗯,我们来对这个,嗯,拍神技吧,好,处理完了,看到又生成了一个, 看到这又升值了一个拍给己赛肯德的目录了,一会我们再来处理,把其他的几个也做一下, 那个挺多的。 哎呦,那肯定呀, 这个包呢,我们把它反变硬了之后呢,可以进去看一下普尔大哥里面就是一个普尔大哥的这样的一个目录啊,这个里面你们可以看一下,是跟刚才 这个文件的大小都不太一样啊,所以我们把这个盆大功能呢,直接这样来进行替换添加就 ok 了啊,然后还有我们的赛肯德的包, 把它摸弄一下,请替换。 哎呦, 那么目前呢,这个小程序基本上差不多了,我们能把它导入到微信开发在工具里面去, 那么在这里面呢,选择导入,然后选择刚才我们那个目录所 爱的位置,然后进行导入啊,选择一个车子号啊导入, 大家可以看一下,那么呢现在小程序在进行加载, 加上这个过程中,嗯,有些地方大家需要注意一下,需要注意一下,嗯,就是在项目配置这个 啊,在本地设置这啊,这个地方呢,一个是调调试基础库,这样注意一下啊,这个呢可能需要不断的切换版本试一下,我们可以看一下啊,这个比较高的版本 不行,是要刚才界面显示的,没有刚才界面显示的丰富啊,所以呢有时候需要调一下,调的话呢,稍微版本低一点吧, 本人十五十六的二点,一五一六的样子好像就可以了。嗯, 还有还有这个,这个也选上, 不选上的话,呃,因为有一些这个数据都是会出错的。那么在这个里面实际上呢我们也可以看到,实际上它显示的不是特别全, 不是特别全呢,有几个可能有几个问题导致的,第一个呢就是我们的他有十个风暴,我们现在只找到了四个,这是一方面,另外一方面呢就是本身德务他是做了一些 啊房产及处理的啊,所以有些数据他未必提得出来。但是这个呢我觉得呢不影响啊,不影响,因为有一些借口,我们利用现在的, 嗯,这些界面基本上是可以去呃,去去去去达成的。首先我们呢看一下搜索的,这个搜索也是我们平常接客中用的,发送接客中用的比较多的,嗯, 看一下。然后呢这个里面我们选一个 t 二是二七零,哎,这些就被拒绝了啊,这个就是他的一个防啊防彩机的一个机制触发的,但这个没有关系。那么呢有了这个,呃这个请求处理之后呢,实际上我们可以在我们 微信开发空气者的这个环境里面可以看一下。首先是不是可以看一下这个地方,这个地方的话呢 俩是我们发起来一个啊请求,发起来一个请求,然后呢返回一个四零三啊请求已被拒绝的一个结果,那么呢在这呢 这是请求的包,这个是请求的包,那么这个是呢瑞士棒啊回应的包。嗯,这里面呢就可以看到一些基本的交互,呃交互状况, 那么呢看接口,真诚交互的协议往来的话呢,实际上我们在这儿看一下,在这儿看一下,我们可以看一下这个利斯特, 这个红色的表示,反过来的结果不是两百啊,是这个,这个的话呢,大家来看一下,这是瑞士帮的结果啊,我们看一下请求, 请求里面大家可以看一下这个接口实际上是地址加上吗?加上一个对的,再加上一大串这个内容,那么这个内容呢,就是被得 在客户单进行了加密,加密完成之后呢,然后再发给服务端的请求,那么呢服务端呢? 是当时之后,嗯,如果正常的话呢,他也是返回一个呃对特的一个数据,然后呢在本地进行解密,之后呢再进行解析,再在界面上进行呈现的, 那么呢即便是请求被拒绝了也没有关系,因为呢目前我们已经有了一个得无微信小程序的客户端的一个雏形, 他本身能够跟德国的服务器之间进行交货,那么呢爬虫的原理无非就是去模拟客户单向服务单发起的请求,所以呢我们把这个 具体的焦点在聚集在他内部是怎么处理的,就是德务微信小程序内部是怎么处理的,我们看一下呢这个这两个地方啊,一个是这个地方,这个地方呢,呃,可以很明显的看到呢,是对 一些阐述进行处理的,比如包括扇啊,包括啊他的一些抬头啊进行处理的,然后处理完了之后呢,形成这个处理的过程就是一个那加密的过程,加密的过程之后呢形成了这个对头,这个对头呢,然后呢 在这个请求里面看对头,这个请求里面,哎二十九,你看这是二十九是吧?然后呢发往服务器,发往服务器了之后呢,服务器呢?直接给拒绝了啊,那么呢这里面呢, 就有两个地方是我们需要重点关注了,一个是进行阐述处理的地方啊,你看这告诉是在这个位置,我们跳过来看一下,嗯,跳过来看一下这个地方,是吧?下个断点, 这地方呢就是一个做 increase 的加密的一个处理的,处理完了之后呢,他会把他的这个地他是吧? 第一他把他的结果反过来,反过来之后呢复给了头部的请求头的 sks 啊,还有一个这个二人景 k, 这二人景 k 的话是用于那个返回数据进行解密的一个 k, 嗯,然后呢还有就是这个记,这个记的话就是刚才那个进行加密的这个对头, 然后这个地方他发起一个请求,发起一个请求就是带着对头的那个请求, 然后呢发完了之后呢,我们知道在这他是收到了他的一个四零三的一个拒绝的,四零三拒绝的话呢,这原则上来说他也要对返回的包去做解密和解析处理的。我们再点一下这个地方, 那么这样呢,我们可以看一下啊,是不是又有一个 decreepot 做呃解密的这样的一个 嗯地方,所以呢就到这到这这个地方呢,我们基本上爬虫的工作已经完成了一半了,因为已经找到了爬虫具体内部进行处理, 你的这个逻辑关系了啊,关于具体怎么去把这一部分功能给实现,那这题呢,我不在这一集去讲这个技术了,那么呢这里面的话呢,如果 做过单式代码调试的同学的话,我相信呢可以根据自己的能力啊,通过单点啊,通过跟踪代码呢,然后可以把它还原成自己熟悉的,比如加瓦或拍摄的这个代码,这样的话可以运用到自己呃的其他的程序里面去。

首先我们打开电脑上的八爪鱼采集器,然后在新建,这里点击自定义任务, 然后任务组就默认为我的任务组,然后采集网址是手动输入在网址这里,嗯,这里需要粘贴网址,首先我们打开三六零极速浏览器,然后输入京东,然后在京东官网上 输入小米手机,搜索小米手机,然后我们这里复制一下小米手机的网址,在八爪鱼采集器中,我们粘贴网址,点击保存设置, 这里正在打开网页, 正在识别网页数字, 全部识别好网页数据之后,我们这里点击生成采集设置, 然后我们点击右上角的采集,我们点击启动本地采集,启动本地采集数据保存在会保存在本地电脑上, 然后八爪鱼软件开始采集数据,现在正在采集, 我们大概需要采集两百四十条数据信息,现在已经采集二十条,等到已采集两百四十条的时候, 我们点击停止采集, 一般数据采集多于两百条比较有代表性, 我们这里确定停止本地排气,然后导出数据,然后去重数据,去掉重复的数据,然后我们通过 xl 导出,然后保存在电脑上我们的。

哈喽,大家好,今天跟大家分享一个非常好用的工具 payweight, 我们在做数据分析时需要数据,有的时候数据是需要爬取的,那 payweight 能够帮助我们 自动的写爬虫代码,还能够驱动浏览器进行各种自动化的操作,比如说点击输入,能够帮我们达到事半功倍的效果。比如说我们要爬取这样的一个电影的网站,里面有登录,这里有个列表,翻页打开 pptam, 那我们首先呢点击 termino, 在上面输入一串命令,它是来自动的去录制屏幕,也就是帮助我们自动的去写代码, 前面这一串命令是固定的空格,后面接着你的文件的一个名字,比如说我这里面叫 text 二,然后点 py, 然后点击回车,现在它自动的打开了一个浏览器,右面呢是它自动的生成的一个代码。那接下来我们所有的操作就会录制下来,在浏览 下期,这里面我输入入口的 url, 这是一个登录的页面, 我们看右边他就已经生成了对应的代码。那刚才 peter 帮助我们去做了一个模拟登录的一个行为,接下来具体要爬的详细内容就需要我们去在里面去填充解析的代码了。 先将它关闭,会发现它生成了一个 test。 二点儿以外,这是我们刚才自动录制下来的一些代码,那我们下面呢就可以往里面去填充一些代码了,那我已经填充好了,来运行一下, 我们看代码运行完了,这是图片保存成功,我们将图片保存到了本地,来到数据库来检查一下, 现在数据就已经存储入库了,说明他取成功了。我们来到代码看一下,这个都是固定的,那首先启动谷歌浏览器,接下来创建上下文对象,然后再新建一个页面,这个就是固定的代码,那加载登录页面,这是 go to, 进入登录页面,然后输入账户和密码,然后点击登录按钮, 然后下面这个函数呢,他是做了获取明细页的各种操作,那我们从里到外先获取各种明细的一个操作,也就是详情页,这个是获取详情页的操作,那底下这个是做了一个翻页,我只是翻了前两页, 每翻一页的时候我都新建了一个页面。然后呢汇总,拿到每个电影明细页的 url, 获取明细页的 ur l, 将它存储到列表里边,然后对列表里边的每一个 uil 进行爬取,那这个 detail 就是我们刚才去写的这个函数。将每个 uil 传入进来之后,然后配置,打开一个新的页面, 然后去 go to, 进入这个 uil 之后去找他的标题,这里结合了叉 pass 的一个语法标签。剧情简介,这就是我们需要的一些内容和返回一个数据的集合,将这个集合再存入到 odb 里面,将上面所有的对象关闭。 最后我们来回顾一下 pvt, 他是微软在二零二零年初开源的自动化测试工具,大家可能也听说过 slaym, 他俩功能非常相似哈,都能驱动浏览器自动操作。那么个人而言,认为 pvt 更简单, 尤其是在安装上配备的安装只需要两条命令, s lam, 各个浏览器都需要去安装它的驱动,不同的 浏览器还需要去安装不同的驱动,有的时候驱动的版本还会出现问题,如果你是新手,那我建议大家直接去学,陪陪他,再来看他的特点,优点是什么?他支持当前所有的主流浏览器,比如说谷歌,火狐,支持浏览器有头和无头模式, 跨语言跨平台,比如说麦克系统, linux, windows 都是可以的。安装配置简单,我们来看一下它的安装,第一个是直接去安装 pivert 杠 i, 后面加了一个镜像源,第二条命令是去安装对应的浏览器,这两条命令大家直接去安装就可以了。听到这里大家可能有一个疑问, 爬虫,我直接用筷子就可以了,为什么要用 penite 呢?那我给大家举个例子,有这样的一个特殊场景,就是你打开一个网站,你看到他的原代码,他是 gs 加密的,就是你看不到任何的文字的。那来给大家看个场景, 首先我们这是用一个软筷子,然后给他一个请求头,这里爬去的是五幺赵博,然后看一下他的啊 text, 他这里是一个加密,没有任何的文字的内容,那像这种情况,我们用这筷子就行不通了,这时候就可以用这个配味特你去破解他的啊,加密也是可以的,但是这种是相对复杂的,那么这个就是我们要用这个配味特他的一个理由。 我们今天的分享就结束了,今天主要给大家介绍了配味特是什么,有什么优点,他是如何使用的。如果你喜欢本次的视频,欢迎点赞收藏。