粉丝5.2万获赞38.2万

你现在看到的是耗时三千七百八十个小时制作二零二六年全新 python 数据分析入门实战教学,全长一百七十个小时四十分钟,内容包含了软件安装使用、 panda's、 nappy、 matplot、 live 等知识点,零基础也能成为数分高手。今天我们讲解的是第一章节第一个爬虫程序二用剑。我这地方有个 run, 走,你 看,这,来,我把它拉过来,这个拉过来,来,拉过来,你仔细看啊。嗯, sorry, 来,你仔细看, 这个是我在浏览器里面,对吧?输入百度点 com 得到的东西来,这个东西,这是我的这个什么爬虫,第一张, my 百度点 html, 对 吧?爬虫,第一张, my 百度点 html。 也就是说我们现在看到的这个网址 下面这个网址实际上是我们从百度这个网站上抓下来的,你仔细看,是一模一样,对吧?是一模一样的。那么接下来 诡异的问题就出现了,就是说,哎,我这面看到的这个,这个,这个网站,来看这我们看到的这个网页,哇,这,这个啊,虽然丑点啊,反正最起码能看我们看到的这个网页 他的本质。各位,是个什么玩意,是不?就这大堆字母串啊?因为我们已经运行出来了,我们运行出来的这大堆东西和你那百度的这个网网页显示的是一模一样的,对不对?那为什么? 为什么我们爬虫,各位啊,这个地方多讲一点啊,为什么我们爬虫拿到的是这堆东西,然后呢?浏览器会把它显示成这个样子?各位,我要告诉你一个,呃,你可能不愿意承认的一个一个事实, 我们的浏览器拿到的其实也是这堆东西,只不过我们牛逼的浏览器会把这一堆我们人看的很痛苦的东西把它运行成这个样子,把它运行成这个样子,不信你看啊,我把这个擦掉, 我把这个擦掉来,这个是我们看到的,对吧?这个,这个,百度的这个啊,网页,我们在一个空白位置,右键来显示页面原代码,走,你 来,各位请看,这个是整个网页的原代码,什么叫原代码呢?就是你在输入这个网址之后 啊,你,你这个时候输入完网址,一敲回车,他会找到百度的服务器,然后呢,百度的服务器会返回给你浏览器 这一堆破烂东西,就这堆你看不懂的这堆啊,你可以认为是乱码,也可以,是啊,如果懂得知道这叫 html, 对 吧?它会返回给你这堆东西,然后你的浏览器在后, 在在在,在后台默默地把这一堆东西给它运行成了这个样子啊,把它运行成了这个样子,所以我们看到的是 a, 是 这样子,但是它的背后,你要知道它里面其实是,哎 多了,他的背后其实是一堆啊,这大堆东西啊,这大的东西,当然你看这个东西不用迷糊啊,你不用迷糊,这个,呃,就就就百度嘛,搜索引擎嘛,他在这里面的内容可能会稍显复杂一点啊,但是普通的网页可能比这个要舒服一点啊,要舒服一点,所以 我们就成功的,各位,哎,成功的通过 python 的 一个程序,你看这才几行代码呀,对不对?哎,通过 python 的 程序,我们打开了百度的这个 ul, 然后呢得到了一个响应,从响应里面呢读取到了页面原代码,这个地方注意我们拿到的 是网页的页面文案啊,这个地方你要注意一点啊,所以我们成功的,对吧?写成了一个我们啊拍摄的一个爬虫的一个小程序。啊,小程序, 那各位你可以去拿着这一套程序去其他的网站上去试一试,也可以自己去,呃,去去搞一搞,对不对?然后把这几个单词呢,还有这几个,呃,每句话的含义呢?简单的去分析一下,尤其是纯小白啊,简单的去分析一下,然后各位给个呃,我要打个广告,下一小节非常的重要,各位 看啊,下一小节非常重要。这是这小节的啊,看,下一小节非常重要。下一小节我们会讲外的请求的全部过程的一个剖析,这一节必须要认真听。然后呢好好的去啊,去去理解一下,在你以后写爬虫的时候,这一节内容直观重要啊,直观重要。 好了,那咱们这小节呢,就说这么多,好吧,各位可以回去去简单试一下,对吧?并不复杂,并不复杂啊,一共就这么几行 time。 好 了,那本节呢,就到这里,谢谢各位。

今天分享一个网页爬虫,好吧,方便各位保存自己想要的一些资源。 呃,但是大家一定要有版权意识。我们这里快速拿一个网页,然后举个例子,这里已经点击播放了,因为它要获取网络波动的一些活动,所以先点击播放,然后我们在这个啊,这个网页是有反 反爬虫的,是一个 bugger, 我 们在这个前面啊,设置它永不在此处断点,永不在此处暂停,然后再点击网络,看它有没有爬取一些资源出来啊,这里是没有的,没有的,按理来说它应该会继续。我们点击这个 小三角形啊,我们再等一会,按理来说他这里网页应该是会卡了,但是目前我们看背景还没有卡啊,我们可以等一下,现在只能等待,只能等待,对,什么都没有变化。我们等一下,这个网页应该会卡起来 啊,还是没有卡,但是我们时刻在这个开发者面板这里,开发者工具这里注意一下吧。 好,这里卡住了,我们再回来看一下,我们在源代码这里,好,它没有卡住,在 recs 这里它没有卡住,我们在 network 网络这里来看一下它有没有爬到什么啊,也是没有 爬到什么东西,但是没关系,证明这个它停住了,说明它是有二次这个波动的。我们再等一下,因为我们刚才在 debug 这里设置了一个,我们在此处暂停 啊,现在好了,现在好了,那应该就能爬出来。我们再回来看一下这个 network 这里,你看这里,直接把我们要保存的这个网页上的视频啊。 media, 这里是 media, 已经爬出来了 啊,这个你点那个媒体啊,这里就是那个你要用的,那接下来怎么保存这个视频呢?你看下面出现了一个网址,所以不用复制,你直接双击 他这个左边出现的这个链接,就已经把这个视频的原地址给扒出来,然后这里你直接右键这里将视频就可以直接保存了。

pencil 爬虫教程第二章二点八, cookie 使用学 python 我 只看糯米哦,通过上期视频呢,糯米已经讲解了有关 cookie 的 基础知识点,那么本期视频呢,我们就继续深入学习一下爬虫是如何使用 cookie 的。 上节课我们说过, cookie 可以 让一个网站保存你的一些基本用户信息,等你下次重新访问这个页面,就不用再次输入账号密码了。 我们之前用爬虫去爬取网页数据的时候,都是直接在请求头中加了一个 user agent 的 信息,这样可以避免让网站服务器识别出我们是爬虫的请求。但是这些请求都是没有在用户登录的状态下发出的,因此我们无法拿到登录后的一些详细信息。 那么我们该怎么办呢?一个爬虫除了能模拟客户端,能不能也模拟一下用户登录呢? 当然可以了,我们只要在爬虫发出请求前,在请求头中加入我们的 cookie 信息,让网页服务器认为这次的请求是一个真正的用户发出的,这样我们就可以爬取一些登录后的数据信息了。 在莫米实际演示代码前呢,我们还是要先回顾一下 cookie 的 一些基础知识点,这对后续理解爬虫行为起到很大的帮助。 cookie 一 般分为两种类型,一种是临时 cookie, 它没有设置过期时间,只要我们关闭浏览器, cookie 就 会自动删除。 就像你访问一个网站,但是没有登录,这时候网站会给用户浏览器发送一个临时的 cookie 来记录所有的浏览行为,但是用户关闭浏览器再次重新登录这个网站,之前的浏览行为就会丢失。 另一种就是持久 cookie, 它设置了 expires 或者 max edge 属性,这样 cookie 就 会保存在本地硬盘上,直到这个有效期结束才会失效。就好比我们登录了一个网页,我们可能几天甚至半个月都不用重新登录, 直到这个 cookie 失效后,我们才需要重新输入登录信息,这时候服务器会返回一个新的 cookie 供浏览器使用。 我们知道 cookie 这么重要,它是由服务器生成的,那么我们可不可以自己模拟生成一个登录的 cookie 信息呢? 这是当然可以的,但是模拟一个登录可能要涉及到验证码、加密滑块、安全验证等,对于初学者来说难度还是挺大的,因此我们不如直接用 cookie, 这样省时又省力。 当然,如果你的 cookie 过期了,你需要重新登录,重新复制,所以更好的方式是使用 requests session 结合模拟登录。但是今天糯米先把 cookie 的 使用讲透,那么我们怎么去拿到浏览器中的 cookie 呢?糯米这里打开了一个百度页面,并且登录了自己的账号。 接着我们右键选择检查按钮,进入开发者选项页面,或者通过键盘上的 f 十二键也可以进入到当前页面。这里糯米选择了网络选项,也就是 network 选项卡 页面已经提示了我们需要重新加载页面,我们点击这个按钮或者按键盘的 f 五键,刷新一下页面。我们网上翻找主页面的请求,一般是第一个请求, 宝宝们看,这个就是我们想要的请求了,在它的右侧我们可以找到这次 http 请求的请求头以及网站返回的响应, 我们可以在 request headers 里面找到 cookie 一 项,我们可以直接双击它,全选复制这个文本,这样我们就拿到了想要的 cookie。 既然拿到了这个 cookie, 我 们该如何使用它呢?我们回到代码页面,这里糯米已经把这些代码写下来了,我们一步步看。首先我们要导入这 request 库,这里面我们就可以用到它的请求方法。 接下来我们把想要访问的目标网站写下来,用一个 url 变量保存, 这里就是最重要的一步,我们之前会在请求头内放一个 user agent, 就 可以让网站服务器识别不出我们是爬虫发出的请求。 同时呢,我们把刚刚复制的 cookie 也放在这个请求头中。下面的代码呢,就是我们发送一个请求,并且把响应的内容保存下来,写成一个 html 格式,那么我们运行一下看看结果如何。 宝宝们看,我们已经成功请求了百度页面,并且我们在左侧也能看到生成的 html 文件,我们可以在这里右键选择浏览器打开,这样我们就能跳转到百度的页面了,并且这里面已经有了我们的登录信息。 但是呢,有一些信息我们是拿不到的,因为有部分信息他是没有写在 html 文件里。在这里我们还需要关注一下 cookie 使用的注意事项, 我们不要轻易泄露自己的 cookie, 我 们的 cookie 里可能包含了登录凭证信息,别人拿到了你的 cookie 后,可能会冒充你登录页面做一些不好的事。 cookie 里还有 h t t p o n e 属性,有些 cookie 会被标记为 h t t p o n e, 这意味着它无法通过 javascript 读取,这主要是为了防止 x s s 攻击。有一些标记为 secure 的 cookie 只能通过 http 传输,爬虫也要使用 http 网址。 最后, cookie 有 过期时间,一旦过期我们就要重新获取。好啦,以上呢,就是本期的所有内容啦, 相信宝宝们已经掌握了 gucci 的 使用,我们的爬虫也能突破登录限制,抓取到更丰富的数据。下节课呢,糯米继续演示一下爬虫代码,实利用爬虫爬取视频素材,关注糯米,持续带你掌握拍 some!

做爬虫逆向总被封,请求直接四零三加密参数死活拿不到百分之九十,新手踩坑根本不是你代码写错了,是你没补环境。今天一分钟讲透爬虫里的补环境到底是什么?为什么必须我们本地用的是 node 环境,它是基于微八引擎的,那么 浏览器它也是基于微八引擎的,但它本质上来说会有一些区别。本地的 node 环境呢,就只会有一些类似的 api, 在浏览器当中呢,会有一些 boom, 也就是 window 以及 on document, 还会有一些类似的 a p i, 当一些 g s 代码它运行的时候会检测 对应的一些 boom 以及洞,但是你是在本地的 note 环境当中去运行,它肯定会没有这样的一些 boom 以及洞,就会去报错,或者去给你出一些假词, 那这个时候我们就需要去补上真实浏览器的一些环境,所以补环境它本质上来说就是补齐 no 的 没有,而浏览器它才会有的一些全局对象,属性方法、元气链等等。将我们本地的 no 的 环境给它伪装成真实的浏览器环境,它才能够去得到一个真的值,得到真值之后才能去得到正确的数据嘛。 那么这个就是我们为什么要去补环境的原因,目前市面上会有很多的一些环境代理框架,他可以去吐出来对应的一些属性方法的缺失,我们就可以去根据他所吐出来的这样的一些信息来去补上对应的环境啊,进而去得到正确的一个值,获取正确的数据。

一分钟写一个爬虫,把这首诗爬下来。先来复制它的网址,在 python 里定义变量 url 等于这个网址, 发起网络请求去访问这个网址,通过一去解析这个网址,得到对象,踢回到网页,选中这句话,右键审查 就能找到它对应的一个 diy 标签。选中这句话,右键复制,复制叉 plus, 回到 python, 通过 t 寻找叉 plus, 这样就能得到一个结果,我们叫它 a, 右键运行,这样就爬取成功了,你学会了吗?

第二十四天魔改下 e codex 以及代码混球,今天我们来看的是爱搜的这个登录接口,首先进入网站当中,右键去选择检查,打开开发者工具,在这里我们去输入一个手机号,随便输入一个啊,这个是 四三二一,好,再来去输入密码吧,来点击登录,在这里就会发登录相关的数据包,在这里呢有个 logo, 我 们可以看一下, 那么这个地方呢,我们可以看到他在这里的话呢,有个 pwd 啊, e 一 零 a d c f 八八三 e, 我 输入的密码呢是一二三四五六,他得到了这个密文值,其实已经很明显的是一个 md 五,那么我们主要不是看他啊,这里可以简单看一下这个 pwd 吧。 呃,它这里是一个叉圈数据包,那我们就可以去跟站在这里的话呢,其实它会有一个什么 promise 一 步回调啊, promise 一 步回调,上面这里呢一个是 cm 二,一个是立明,一个是 e, 两个呢是 e 点 export 导出,这这四个可以不用看了,直接往这里面看就行了。 呃,那么我们来先看一下吧,这个地方 l 点 request, 他 肯定是去做一些,就是这里肯定是跟那个那种什么点 shift 啊什么的,那么我们就可以往上面再看一下,比如说这里去直接找到这个位置,来去下断点, 下个断点在这里,我们重新去点击登录啊,断住了,断在了这个地方,我们来看一下这个 r r 的 话呢,在这里是 p w d 吗?然后这里的是那个输入的那个手机号,是吧? 那么 r 呢?是被传进来的呗,我们来往上面找一下啊,这个地方肯定点不累,他这里是一个什么 icon 参数,那再往里面找, 稍等一下,放太大了。好,那么现在这里呢,我们可以看一下这里的这个 t 是 什么 t 在 这里呢是那个对象,他也是被传进来了,还能往上面找, 还能往上面找,就找到了这个位置 s s 在 这里其实已经可以看到,他其实在这里就已经是生成的位置了,对吧?这个 w t 我们可以去测试一下,它其实就是那个纯正的 m d 五啊,一一零 adc f 播放三 e, 这里可以简单的去瞅一眼它里面的一个逻辑啊,对吧? m d 五, 这都不用去看啊,我们主要是来看后面的这几个,那么这里面的话呢,它是查询字母算数,一个 he, 一个是三,还有一个是这个什么这个值啊? ds 呢?很明显是时间戳嘛, 我们进来看一下吧,这里就可以在这个地方去下断点了,其他的断点我们可以先取消掉,可以在这个 点 shift 的 地方给他下断点了,来下张断点,我们重新去先过掉,过掉全部的,然后再来去点击登录,断在了这个位置来悬浮到这个 t 上面去,然后在这个地方去,进到第一个里面去啊, 这里呢是一个请求拦截器,我们可以看一下里面有没有这个深层的位置啊,它的 t s, h e 是 吧?在这里去做的拼接嘛, t 点 u r l 等于这一串,在这里拼接的三呢是 c, 然后这个 h e 呢?是这个 r, ts 呢?是这个 n, n 是 时间戳嘛?那现在我们来往下面再看一下,这个 r 和 c 是 在这里生成的呗,那就在这里向下断点吧,向上断点之后,这个 n 是 一个时间戳啊, 好,那就给它重新取消断点之后,重新给它点击登录,触发一次登录事件,让它重新去断住。 点击了吗?点击好,断在了这里之后,我们来看一下。首先这个 id 呢是一个 n, 它肯定是传了一个 d t 进去,所以这个 windows 点 h 里面它可能是接触了一个 d t 啊,在这里面呢是一个 混淆之后的代码。那再来看一下这个 s h 呢? s h 的 话呢,在这里呢是一个传入了这个东西啊,这个是应该是一个时间戳去拼接了,他给到了这个 s h 啊,都是指向的这样的一个文件,所以我把这个文件给大家拿到本地之后,交给了 ai 来去做分析,这里可以给大家看一下。 呃,这个地方呢是整个复制过来的一个文件啊,整个混淆文件呢差不多有两万多行。然后给 ai 的 一个提示词呢,在这里是说啊,这是一个路径调用该文件里面的 s h 函数,传入了这样的一个参数,得到了这样的一个值,帮我去分析并且还原算法。这个是已经处理 处理的一个绘画,他是先去按照本地的 excel 来去进行查看,然后他确定的这个是一个比较大的混淆包。嗯,然后这里呢是截取定位了, 嗯,来看一下 h 函数,这个 h 函数它这里我们刚刚应该也是用到了的啊,然后在这里继续去分析啊,它这里呢是通过什么上一去跑了两次,中间截了八位在拼接固定的颜值。 呃,他当时呢是需要缺这个域名,所以我把整个链接也给了他了。这个是那个链接啊,所以在这里的话他就是做了一个还原的 s h 啊,就这样的一个还原的逻辑就能够去得到这个 g s 的 代码了。 然后后续的话,我是给到了他啊,这个链接吗?这样的一个域名,他又去重新算了一下,就已经是能够去完全得到正确的一个结果了啊,所以这个是 后面我再让他去通过 python 代码来去还原,是吧,就能够去得到。对一个 python 代码可以给他看一下,在这里是他给我们出的这样的一个 python 的 代码来右键运行看一下呢,我就能去得到正确的一个这个值了。这个值是散值吧 啊?散置。呃,我们这里还可以让他去分析这个 he 啊,这个 he 方法呢,我们可以先让他下个断点,看他丢进来到底是什么。嗯?传过来的这个是什么?哎,这里下不上啊, 这个地方下不上。我们来看一下这个 h。 他 进去的话是在这个地方 他是用内嵌的一个方法啊,用内嵌的方法,我们还是得让他来看一下。这个 i 是 诺尔,然后他是一个 force, 会传入一个 dt, 所以 这个值呢,按道理来说他大概率 应该也是固定的,因为它传输的参数是固定的,我们来测试一下吧。同样呢也给到它这个 he 方法,呃,接下来又调用了 he 方法,传入了 dt 字串, 继续帮我分析还原,那继续帮我们去做一下处理 好,那么在这个地方呢,可以继续来去做分析,对吧?这里的话呢,是定位到了,然后,呃,基本逻辑呢已经是看清楚了,然后重点是转移到这个什么 se, host、 key 啊,把这一部分的逻辑给它还原出来,等待他继续去分析吧。 好,那么现在他这里呢,也是去把那个 he 的 也给他还原出来,我们来看一下,在这里的话是 he 的, 我们来右键运行看一下,也是能够去得到这样的一个结果的。

搞爬虫项目不要再手动分析了,手搓代码了啊,咱们就 ai 能够来轻松实现国内各种爬虫项目,今天就来给兄弟们来看一下我最近的 ai 逆向的成果,以及究竟消耗了多少的投费。牛逼! 关于爬虫逆向 ai 工作流的搭建,详细的文档已经给大家准备好了,需要的话可以进行自取。哈喽,抖友们大家好,最近有人在问啊,就是我们这个 ai 逆向它到底行不行,以及目前我的 ai 逆向的研究进度是到了哪些水平呢? ok, 首先我向今天的话给大家来呈现一下我目前所完成的九个项目,那么这九个项目的话,我全程都是通过 ai 来完成的啊,然后它里面的话也是有很多的内容啊,可以看一下,一个项目的完成周期,有短一点的可能是一两个小时,长一点的可能有七八个小时,最长的像 cfo 顿的心跳包,目前的完成时长差不多要三十多个小时。 ok, 那 么这里我们简单来看一下我的目前的整体的项目的完成逻辑。 ok, 这里的话我通过我的绘画啊来做了一个整体的一个理解,目前的话这个是我们专门针对像目前市场的,也就是我们的验证码这个板块啊来进行的 edit 的 一个使用。 当然除了这个验证码板块之外,目前像在 web 端的 js 逆向端,以及还有像我们的 app 端也在陆陆续续的进行一些啊它的一些更新。那么首先我们可以先看一下这个是目前我们当前的这整个工程的完成结构,里面分别有第一个滑块验证码,纯协议逆向 看啊,滑块第一极延四,目前这个极延四的话是有完整的实现了纯算的参数加密和它的补环境的参数加密两个逻辑识别才能云码以及轨迹生成, 然后还有就是云片验证码,还有一个蜂巢的瓦块拼图验证码,以及 v 五的 web socket 验证码,还有这个是前程,呃,这个是五 u, 呃,那个五 u 啊,前程五 u, 然后它里面的一个滑动验证码,阿里的二三幺,然后这个的话是我们的 c f 盾,也是同样的采用了 note g s 的 v m 补环境加它里面这些逻辑也是纯协议完成。 然后其次就是阿里的验证码,目前阿里云的话,我们是分别有完成的三个阿里的五感验证,有分别有 v 二验证, v 三验证,其次还有个是他们的阿里的官网的 nvc 智能验证, 呃,简单看一下啊。然后其次你可以看一下这个是我们的总体逻辑啊,目前在里面的话有整体的项目结构,而且都是可用的啊,并且是有完整的项目文档,并且都是已测试已通过来获取参数生成加密,提交验证,并且获取对应的 ok 以及对应的登录状态,完整的都是成品代码, ok, 那 么这个是目前我们通过就是在验证码端口所来完成的一些工作,各位感兴趣的朋友们可以好好去玩一下啊。这里的话有使用了很多模型,不只是用我们的 deepsea, 像有 v 四 pro 版本,其实也有使用到了 gpd 的 五点四,然后也用到了像 colod 的 一些模型, 然后在最开始的时候我们也用到像阿里的这个,给大家讲一下,它里面有个混合模型,就是这个极致版的混合模型,目前它具体是混合哪些我也没有了解过,你们感兴趣可以去了解一下。 可以整体来讲啊,是非常不错。那么这九个项目的完成到目前的话,我们大概总消耗的话,积分的消耗额度大家可以看一下啊,这个是九千,当然这个九千是包含了很多其他的,目前就光验证码端口的实现的话,其实说实话他的整体消耗可能只有将近才三千多左右的额度, 才三千多积分的额度,整体来讲还是非常可观的,如果朋友们感兴趣,大家都可以去动手去试一试,来完成目前市场的一些 ai 逆向结构,那么。

如何用 w s 画流程图解决对不齐,线不齐等问题?首先点细图,将标起表格、虚框、网格线都选项,便于观察。接下来点插入,点击形状, 选择要插入的形状,我选择插入几行,插入几行不集中,选中几行,点击对齐点水平之中,要往几行中写字, 选中矩形,右键选编辑文字即可。如果要调节文字或者矩形格式,分别在文本工具和绘图工具中进行设计。这三个矩形框间距不等。首先将三个矩形通过按 ctrl 键选中, 在对齐中选相对于对象组,然后点纵向发布就可以了。通过插入线条,观看线条长度,也可以发现对齐了。如何将三个矩形框水平对齐,全选三个矩形框,点对齐点相对于对象组, 点顶端对齐,点横向分布,这样三个矩形就等距。如何将三个矩形集中分布,全选三个矩形框,点组合,选组合,然后点对齐点相对一页,点水平集中就可以了。画的极限歪怎么办?点插入, 点行政点急线,按住键盘 shift 不 放,再用鼠标拖,画好后,先搜鼠标,再搜 shift 键就完成了。一副简单流程图完成有啥问题评论区告诉我。

pason 爬虫教程第二张二点九,抖音视频爬取学 python 我 只看糯米哦 宝宝们好,今天糯米又来给大家讲解 python 爬虫的相关内容了。通过上几期视频呢,糯米已经带大家动手制作了可以自动爬取网页小说以及网页漫画资源的爬虫程序,如果还有不会的宝宝们可以回看之前的视频呢。 既然要爬取相关资源,怎么能少了视频资源呢?今天杜米就带大家学习一下如何用爬虫去爬取想要的抖音视频资源。 在学习编辑程序前呢,我们还是要搞清楚这些视频资源是如何呈现在网页上的,我们要通过哪些步骤去获取到这些资源? 当我们想要在网页上看一个视频的时候,可以在浏览器输入对应的视频地址,按下键盘的回车。这时候我们的浏览器会向网站服务器发送一个请求,说明我们的用户想要看到这个视频。 服务器在接收到浏览器的请求后,会把用户想要的内容数据封装成一个响应返回给浏览器。 浏览器接收到响应后呢,第一时间并不会直接显示在显示屏上,因为这里面还包含了一些 html 代码数据,这些用户是看不懂的。浏览器在渲染了响应内容后呢,显示器才会呈现出我们用户看到的文字、图片以及视频内容, 这个过程非常快,糯米之前也讲过,因为有些内容他是不会第一时间加载的,而是一个预加载的状态,要等用户去点击或者滑动到相应的板块内容才会继续加载,这样有利于服务器的快速响应,提升用户体验, 那么我们的爬虫呢,就是要做到发出请求,接受响应,并且把响应内容中想要的数据提取出来。 我们平时想看一个视频,也会去搜索栏搜索相关内容,如果这里有我们想要看的内容的话,就会点击进去,看完可以手动点赞收藏,也可以保存下来。 但是有些视频这里是不支持下载的,这时候我们就可以用到爬虫去爬取下来。那么接下来我们就详细看一下抖音的视频在网页原码中的具体构成是什么样的。 糯米在这里直接用浏览器打开抖音的页面,同时我们在这个搜索栏搜索想看的内容,我们就输入一个美女视频吧,看看小姐姐心情愉悦一下。 好了,这里已经显示了很多漂亮的小姐姐视频了。我们接着右键选择检查按钮或者键盘,按 f 十二键进入到开发者页面,这里选择网络选项,点击这里的重新加载页面,或者我们按一下键盘的 f 五键,也能刷新页面。 宝宝们看这里哗啦啦一大堆交互数据就出来了,那么我们到底要看哪个请求呢?我们随便选择一个视频,复制一下他的名字,在左侧,这里用搜索框搜索一下回车这里我们就能定位到他的具体请求与响应数据了。 我们先看标头部分,这里的 url 就是 待会要用到的具体访问地址了,再往下查看它的请求头部分我们要拿到这里面的 cookie 数据以及 referer 数据,同时呢也不要忘记了下面的 user agent 数据, 之前我们讲过, user agent 可以 让服务器以为我们爬虫的请求是一个正常客户端发出的请求, cookie 呢则可以记录一些用户的登录凭证信息,这样服务器就不会因为你是游客模式而不去发送完整的数据。 那么这里的 refer 数据是什么意思呢?它是用来告诉服务器当前这个请求是从哪个页面链接跳转过来的,因为有些页面是要特定跳转才会出现的。 这就好比你要进入一个场馆看演唱会,在进入场馆前,保安会对你进行安检,看看你有没有携带危险品以及你的购票记录。这就像服务器对爬虫的第一重验证是不是一个真人客户端, 然后你通过了验证,下一步就是要拿到自己的票据,给到内场的票务检查,看看你的座位号是哪里。如果你没有具体的票据,票务就会很疑惑你是怎么进来的。 福气也是如此,如果你这次的请求没有带有复发率数据,他就会认为你这次请求来源不明,我不能轻易给你数据了。因此我们写代码的时候需要带有这三个关键数据。 接下来我们看一下右边的响应数据,这里面都是一个 jason 格式数据,但是我们不能直接去用它,因为抖音在这里加了一些限制,目的就是防止爬虫直接去爬取这里面的数据。那么我们怎么去做才可以绕过这些限制呢? 前面我们讲过,正则表达式可以匹配想要的文本内容,因此在这里我们就可以使用到正则表达式去完成。为了方便糯米把这里的响应数据复制到本地, 宝宝们看我们在这里的 video 下可以找到对应的视频地址信息,它存储在 play at drawer 下面的 url list 里面,但是这里有三个地址经过验证呢,我们需要的地址就是第二个, 因此我们只要拿到这里的视频地址链接再次访问,我们就可以直接保存这个视频了。好了,讲了这么多铺垫,我们就回到代码页面,看看具体用代码如何去实现的。在这里糯米已经把代码写好了,我们一步步来看。 首先呢,我们需要把用到的第三方库导入进来,接着下面这两行代码,就是说我们要用一个文件夹用来存储我们之后的视频数据,如果这个文件夹不存在,那么就会自动新建一个。重点来了,宝宝们看这里 糯米是用 input 输入方式来确定我们想要下载的内容,但是这里糯米还用了扣特去转换字母串,为什么这么做呢? 我们可以看到之前的请求 url, 这里面我们请求的是一个美女自附串,但是在 url 呈现的是一串乱码,这说明原本的自附串已经被转换格式了,因此我们同样也需要把请求参数转换一下格式。 接下来我们就把反爬三剑客放在这次的请求头中,也就是 user agent referee 以及 cookie 数据。 我们再看这一块,就是我们要正常发出请求,并且通过正则表达式去筛选出视频标题以及视频原始地址链接。 因为有些视频的标题含有特殊字体,所以这里我们就要定义一个函数,这个函数可以把我们的视频标题内所有的特殊字体去掉,防止后续保存视频内容出现问题。最后我们看这些代码, 这里面的逻辑就是让爬虫去一个个拿到这些视频原始地址链接,并且再次发出请求去访问,最后把得到的内容保存为视频格式。 宝宝们注意了,这里糯米写了,每次请求完需要等待两秒,如果我们爬取速度过快,是可能导致我们的账号被封禁的,所以我们一定要注意,不能过于频繁的去爬取。 那么糯米这里就运行一下,看看我们的爬虫能否成功拿到想要的数据。在这里的运行框中输入想要爬取的资源,就输入美女吧,回车我们等待程序执行。你看这些视频是不是在一个个保存, 同时我们在本地的文件夹里也能看到这些视频被保存了,我们可以随便点开一个,这个视频也能正常播放。好了,以上就是本期的主要内容了,我们也成功用爬虫去爬取到抖音的视频资源了, 本期视频有点长,但是内容还是很干货的,希望宝宝们可以通过这期视频自己动手把想要的数据爬取下来,下期视频更加精彩,我们不见不散啦!关注糯米,持续带你掌握拍伞!

你是不是收藏了一百个爬虫教程,却依然不知道自己处在哪个阶段? b 站上讲单点技术的很多,但讲完整学习路线的太少,今天这期我不教某个具体技巧,而是给你一份爬虫工程师的系统学习大纲,告诉你每个阶段的核心目标和避坑点,让你的学习思路更清晰,这个就叫专业。 今天给大家分享的是如何从一名零基础小白快速成长为爬虫工程师的速成路线图。你想要去成为一名爬虫工程师,首先一定要有爬虫基础,我们可以花两到三周的时间去入门这个爬虫基础,去了解它的一些基础语法,比如说变量数据、类型、运算符条件语句循环结构、 函数定义与参数传递这样的一些基础语法,再来去看它的一些数据结构。了解完前面的基础之后,我们就可以去面向对象编程了啊,去了解这个类与对象的概念,它里面的继承多肽封装以及它的一些魔术方法。 由于爬虫他经常会用到文件的操作以及异常捕获,所以我们要去学习文件操作以及异常处理,比如说什么 c s v jason test 这样的一些文本文件,通过串来去捕获异常。还有就是这个上下文管理器,入门完 python 基础之后,我们就可以去左手学习爬虫基础了。在学习爬虫基础之前,可以花一两天的时间去看一下 前端的一些基础,比如说什么 html 语法以及 css 等等。在学习爬虫基础的过程当中,我们要先去了解 h t t b 协议基础,它的一些请求方法,状态码以及请求头,响应头,还有它的 cookie 筛选机制等等。了解完基本概念之后 再去写代码,通过 request 库来去发送基本请求以及参数传递,定制请求头来去实现浏览器身份的伪装,配置,代理 ip 与使用,通过筛选、绘画、保持以及 cookie 来去处理身份问题。得到数据之后,可以通过正则 叉 plus, ps 四和一些其他的 cs 选择器来去提取数据,提取到数据整合好了就可以去做数据存储了。 c c v, excel 文件存储, json 数据存储, mastercard, 芒果 db 数据库存储,这都是我们所需要去学会的。学完了爬通基础之后,就可以去学习进阶的内容了,进阶的板块是 jessie 向,在学习 jessie 向之前,我们需要去有一定的 g s 语法基础,不然你在看它底层代码的时候你是看不懂的,可以花一点时间去看一下 g s 的 语法。当你有了 python 语法基础之后,你去看 g s 语法会快很多。在这个过程当中,我们会去了解更多的开发者工具相关的操作,抓包分析,断点调试, 执行,接收代码以及查看存储。有这样的一些调试基础之后,就可以去看对应的一些常见加密算法案例了。 md 五十二系列的哈奇算法, python 四编码与解码, a e, s, d, e, s, r, a, c 加密,以及通过 python 去实现 g s 加密逻辑。有了这样的一些案例基础之后,我们就再来去往更深入的案例去学习,比如说去学习逆向分析技巧,定位加密入口,比如说搜索关键词 啊,去通过跟战去打一些断点,通过后壳来去拦截 s t。 抽象与法术基础可以通过 s t 来去还原一些代码混淆啊,这里呢还有一些其他的混淆,可以通过 g s 代码混淆,预警混淆来去做处理,我们也可以通过 py x, e c, g s 以及 node js 来去执行 g s 以还有 g s r p y 来去纯拍摄执行 自动化来去调用补环境技术等等。这里写的比较简单啊,因为它这个补环境呢,其实会涉及到很多案例,那么补环境是比如说我们拿到了一套代码,想要在本地的 log 当中去执行,你发现它是缺一些浏览器的环境的,就需要去补上对应的浏览器的一些环境 来去让它代码能够成功的去运行。在学习 js 逆向的时候,我们需要去用很多的案例来去堆积我们的一些经验。目前国内的一些主流平台加密的话呢,拼多多啊,小红书啊, 抖音啊,快手啊,京东啊,验证码的话呢,会有一些啊,比如说逸敦啊,吉燕啊,速美啊,顶上啊这样的一些验证码,这都是我们所需要在这个阶段去学习的一些案例,这些案例他大部分都是开源出来的,有开源的文档以及开源的视频, 可以通过这样的一些文档或者视频来去学习。最后是这个项目实战爬上的框架,通过 scrappy 来去实现的反爬对抗,就我们刚所说的啊,验证码识别可以通过一些 ocr 识别以及达摩平台来去做,当你请求多了之后,它可能会 风控 ip, 那 你可以去搭建这个 ip 池以及浏览器指纹的伪装,通过行为模拟与请求频率来控制,至于动态渲染的话啊,这里我们基本都是通过一些自动化的。自动化爬虫呢,目前主流的用到的就是这样的一些自动化,还有一个是随身配件 可以去使用这样的一些自动化。至于企业级架构啊,什么消息队列、任务调度与监控、 oracle 容器化部署啊, squid 局域管理等等这样的一些技术。其实这个的话,如果说没有接触到一些大型项目的情况下,你可以暂时先不管它,那么这个就是我们整个学习爬虫的一个路线 图,当然还会有更深的一个技术学习,比如说,呃,安卓历象、 ios 历象以及 pc 端的历象,如果说大家想了解的话,我后面再去出一期视频来,去单独去讲安卓以及 ios。

这是新一代网页自动化与爬虫工具 playwrite 的 基础使用方法,与传统的 slenerm 相比,它速度更快,而且环境配置极其简单。 来看代码,首先我们调用 sync playwrite 并使用 chrome launch 来启动浏览器。通过设置 headless 等于 false, 我 们可以直接在屏幕上看到浏览器被打开和操作的真实画面。 接下来使用 page go to 打开指定的网址,再用 page title 获取网站的标题。最后,只需调用 page screenshot, 系统就会自动帮你把网页画面截取并保存下来。无论是日常的数据采集还是网页自动化测试,它都能帮你节省大量时间,快去体验一下吧!

三句话讲清楚今天要干什么?分析小说的内容是加密的,你用开发者工具复制下来,全是方块乱码,他靠一个动态字体把乱码画成汉字,浏览器看到的是人话,拿到的是天书,今天我写了一套代码,自动识别字体里面的每一个字,把加密内容还原成完整可读的小说。 牛逼,我们现在就来看一下这个网站,来刷新下这个页面,抓取到这个数据包,哎,看一下他这个预览的界面啊,您猜怎么着?这里出现的这个文字很明显跟你在这里看到的这个文本不太一样。哪里不一样?不一样的点就是在于他这里出现了一个这个方块的一个乱码, 这是什么意思呢?就是说啊,我们当前的这个文本它是经过了自己的加密处理的,那你想要去看的它这个解密的分析,那怎么去解密呢? 其实像我们这里看到的这种什么方块的这个东西啊,他都是有一个这个印刷表的关系的,他会把我们原有的,比如说最常见的三百六十五个这样的一个字母,对吧?比如说里面的这个汉字 汉好,他会转换成什么呢?他会转换成叉叉,叉好,就构建一个这样的一个印刷关系, 他会用其他的这个字来进行这个替代,那这个字当然是你看不懂的这个字好,比如说呢,他又会把这个,呃,就是有 把这一个字,把它变成是叉叉叉叉,就你完全看不懂这是个什么东西,对吧?所以说他在这里显示的是这个乱码,是一个这个方格的一个方格的这个符号,但事实上你在这个元素的界面当中可以来观察的更 直接一点,那我们点击进来,这你会看到啊,这里就很多的这个字母,它是缺失的吗?事实上这个缺失的这个字母,它对应的就是我们刚才看到的啊,是一个空格,这是一个方块, 就空格就是对应的这个方块。然后,呃,我们也可以在这个控制台上面啊,先看一下,如果是一个正常的这个空格, 我现在的话是打的是一个这个空格啊,就使用的是这个空格的按键,那么我看一下他的这个就是编码啊,三十二。 好,那么我们现在的话呢,就来复制一下刚才看到的啊,这一个就就复制这一个字母,好吧,来复制一下,看他是否是这个空格的符号,事实上他并不是这个空格的符号,你看很明显他们的之间的这个宽度,这个长度都不一样,对吧?并且呢,你再去看这个编码 是不是完全不一样,上面的话是三十二,这里的话是五八六五四啊,对吧?很明显就不一样。那么我们要去找到他的这一个映涉关系,这是最重要的事情。那怎么去找到他的这个映涉关系呢?其实也很简单,你在这里看一下他这个响应的数据, 那他会把这个映涉关系啊,会把它导入进来,然后我们可以去往后面去找 他一般会使用这个 script 的 这个标签啊,就把那个映涉关系把它导入进来,但这么找的话有点不太方便,对吧?那么你可以去从这个字体的一个筛选, 呃,这个面板里面筛选出来,你会看到他这个后缀叫做什么? w o f f 二,那我们在这个文档里面去搜一下这个 w o f f 二,这么去搜你就不就找到了他的这个映涉关系的一个导入的 导入的这个代码了吗?对吧?可以看一下啊,就长这个样子。好,我们现在的话呢,可以来对比分析一下。 ok, 看一下这个文件的名字是否是一样的啊?这前面这个 c d c 没问题,然后 d c, d c 开头的吧? d c 零二七一八九啊,一零 b a 四 cd, 好, 没有任何问题啊,这就是它对应的这个印刷表的关系,然后关于这三个这个印刷表之间的 这个差别是什么呢?就是一些这个大小,还有那个呃,粗细上面的区别,就这一些区别,对吧?一个大小,一个这个粗细上面的区别就不影响我们去 这三个文件,就不管你下哪一个,其实都不会影响到我们。嗯,就是对这个字体加密进行这个解密吗?他就关系是不变的,对吧? 但是有一个点啊,就是说我们如果说要去进行这个,就是把它进行这个解密的话呢,我们要去使用到一些工具,比如说这个 ocr 的 一个识别工具,识别到这个字体, 然后呢去把它的这个应用关系提取出来,那这个时候呢,可能说就要考虑到它这个粗细的程度了,因为如果你这个字体的话,它更粗一的话,其实是更容易识别出来的啊,所以这里的话我们就直接把它下载下来,好吧?当然呢,我这三个文件都可以把它下载下来,我已经是把它放到了我们这个本地中来了,大家可以去看一下,就这几个文件, 好, ok, 这几个文件,那么我是怎么写这个代码呢?首先的话就使用那个什么 ocr 的 识别技术,把它识别出来,当然识别出来的话它不一定精准,对吧?可能存在一定的这个偏差,那么存在这个偏差我是怎么去解决的呢? 我们可以去把它放到这一个上下文里面,因为如果说有一个位置啊,有一个位置使用了使用了喂的这个汉字,或者使用了嘚的这个汉字,那么在其他地方呢,他同样的话也会使用这个嘚的这个汉字,那么我把这个就是我把我映射出来的这个关系啊,也就是识别出来的 个灯,对吧?我去分析一下他在这个上下纹里面是否是合适?呃,在一个在一个位置的这个上下纹里面是合适的啊,那么可以。但如果说他是在十七个,甚至说呃,完全是百分之九十以上的这个位置都是合适的话,那说明这个印色关系是完全没问题的。 但如果说他只是在一个地方的一个位置是合适的话,那说明他这个印色关系就错的啊,所以说我们会做这样的一个自信度上的一个调整。好 可以看一下啊,就是这个运行的效果。来我这里的话,不仅是对一张去进行了这个解密,还可以进行这个全全文本的一个下载,就把多张的内容把它采集下来,就可以实现全本的这个下载啊, 编辑小说的一个字体加密完整的一个解密的版本,然后我们也是使用的这个字体音色表一个 ocr 识别的技术,再去使用到那个刚才所说到的那个知心六 视线度,然后这个话是,嗯,就是 cos 啊,就一些请求的信息,请求消息的信息。好,这里的话就是那个映设表的这个关系。 ok, 这里都是啊,然后使用到的是这个 ocr 的 一个识别技术。好, 那么这个地方的话呢,就是加载那个映设表,再往后面拉一下,这里是解密的,解密那个文本好进行页面抓取。当然呢,我肯定是在发这个请求,就是可以给大家去看一下, 我们发这个请求的时候得到的这个数据的话,他可能是一个 html 文本的信息,哎,右键复制,复制为半式格式,然后扔到这个,扔到这个节就是转换 c u r 命令的这个代码生成一下, 然后我们把它复制下来,就用这个工具好粘贴过来,右键运行下这个代码。 ok, 这里的话没有打印,那么我们自己手动补上这个打印输出的代码, 来右键运行一下。好,现在的话呢,就是已经打印输出来了,但是你看啊,这个字体还是一样的,对吧?就是有这个乱码存在,这个乱码的状态。好,我们把这个,呃,截一下图吧,等一下来对比分析一下。好, 你看他是把一整个页面的 html 文档全部下载下来,我肯定是要去对这个数据进行这个清洗,还有提取的,对不对?好,那么我们现在的话呢,就来看一下啊,就我呃通过这一个代码进行了数据清洗和提取之后,能够得到的这个小说的内容是长什么样子来,我没有截屏,先下这个代码, 这个如果是进行批量的下载的话会有点慢,我们先采集第一张,好吧,采集第一张给大家去看一下这个效果。好,那么他现在已经是把这个数据拿到了,而且呢,哎,你对比分析一下 这个小说的话,是不是就已经是提取出来了,并且啊,他已经解决了这个加密,他不再是这种方块的啊,而是能够清晰的看到他原本的这个小说的样子。 后面的这个代码的话呢,就是可以去进行这个批量的箱子啊,你也可以给大家去运行看一下这个效果。如果说大家需要这一份代码的同学呢,可以在我们这个评论区留言哦,你可以看一下啊,他把每一张的这个标题及 出来了,并且给你识别到这一张有多少个这个文字,还给你自动的进行了这个简历的一个分析,好,非常的简单,只要找到那个印色关系就可以了。