我们在使用爬虫的时候,通常要携带上这个网站的请求头,今天来教大家一个拍 come 的使用小技巧,使用它可以快速的构建一个网站的请求头。 这里呢就是我们要携带的请救头信息,我们可以把它全部选中,然后粘贴到我们的代码中,通常呢我们会把它放到这个 hidroc 亮中,他是一个字典 粘贴过来,粘贴完成以后呢,这里的数据格式我们需要进行修改,因为它是字典,需要以建设对的形式。猫号前面的我们使用单引号或双引号扣起来,猫号后面的同样的把它扣起来,注意每个后面还需要加一个逗号进行分割, 那么这里这么多,如果每一个都让操作的话,就是非常麻烦。接下来咱们就使用拍他们中的神经小技巧来进行批量的构造。如果你使用的是 windows 电脑的话,可以按一下 ctrl 加 r 键,如果是麦克的话,按下 ctrl 加 r 键。这个时候就打开了这个替换装口,我们想把这里的内容进行替换,给他替换成刚才我们想组织的形式。这里呢我们就需要使用正则表达式进行匹配了,看一下这里 有一个点和一个星号,我们点击他,接下来咱们就可以使用正则表达式进行匹配了。这里呢我们需要匹配两组,第一组是 key, 第二组是直,那么呢他们的规则是根据冒号和空格进行分割的,所以我们可以使用正则表达是括号点星归匹配到第一组,然后冒号空格再来一个括号点星匹配到第二组。 好,匹配完成以后,咱们就可以使用刀乐一代表第一组,然后刀乐二是第二组,我们第一组呢需要使用单引号给他包裹起来,然后冒号一样,口诀一样,第二组也是一样的刀乐二,注意第二组结尾处要有一个逗号。好,这样我们就匹配完成了。接下来我们需要点击这里的 replace 啊, 现在我们发现每一个前面都加上了一个单引号,后面呢也都是有单引号结尾出,还都有逗号,小伙伴你学会了吗?
粉丝2.7万获赞10.5万


这节课我们就通过一个爬虫的项目来了解一下爬虫的三个步骤,什么是爬虫呢?爬虫就是一个能自动从互联网上抓取你想要数据的一个程序。 爬虫主要可以分为三个步骤,我们简称为爬解唇。第一步是数据的爬曲,简单的来说是模拟 以浏览器向服务区发送请求,得到夫妻反馈回来的数据。第二步是将第一步得到的数据进行解析,提取出你真正想要的数据。第三步是将第二步得到的数据存储下来,可以存到文件,可以存到数据库。 下面呢我们通过一个简单的任务来了解一下爬虫的基本过程,这个任务呢非常简单,爬取豆瓣排行榜的电影名称, 只需要将这一页的电影的名称的数据扒取下来就可以了,下面呢我们就开始写这个程序。那么第一步我们是爬取数据,首先呢我们来分析一下这个网站,打开开发者工具,我们可以按 f 十二, 然后呢我们可以刷新一下,那我们在这里可以找到一个那边是文档的,我们看一下他反馈回来的数据, 从服务器反馈回来的数据,我们可以看一下,这个就是我们发送给服务器的请求,然后下面还有我们的 cooke, 还有我们关于浏览器终端的一些信息,这个我们等一下要用到。第一步是进行数据的爬取,主要分为两个步骤,一个是 向服务器发送请求,第二步将服务器得到的响应数据存储下来。应该怎么做呢?我们来看一下我们要请求的地址,是这个 可以将它复制一下,下面我们需要使用到一个请求库,在这里呢我们使用铝筷子这个库, 这个请求库使用还是比较简单的,但是这个库需要我们安装一下,我在这里已经安装了,安装的方法非常简单,我们只需要在这里呢输入 p ip 去安装我们这个库就可以了。安装好这个库呢我们就可以使用, 现在我们测试一下,这个时候我们会发现 得到是一个四幺八的代码,出现这个四幺八其实是客户端的问题,这里的问题是被服务器认定为不是一个正常的浏览器行为,所以没有返回二零零,在这里我们可以在请求头里面加入一个参数, 可以将这个复试一下。 好,我们现在执行一下。现在我们看到返回来的是两百,说明返回来的数据已经成功,那我们可以打印一下原代码, 这时我们发现返回来的数据就是正确的,跟我们这里呢的数据是一致的,现在我们将这个数据存储一下。 第二步呢是进行数据的解析,就是将我们第一步得到的数据进行处理,分析,提取想要的内容。数据解析的方法有很多种,通用的方法是用正则表达时, 还有一些第三方库,比如说俄罗克斯迈奥、 beautiful、 toparetrouprat 等等。今天我们就使用最基础的正确表达史,我们一起来看一下。 在这里呢我们首先需要分析一下这个元代码,我们需要的数据是每一个电影的名称,比如第一个今天营救,第二个是绅士们,第三个是悲惨世界, 那在这里我们可以搜索到今天营救这里有个胎头,那我们可以去使用正值表达师呢,去获取胎头里面的内容,使用正值表达师呢?在拍摄里面我们需要导入一个阿姨库, 阿姨裤是一个拍摄内置的正着表达式解析裤,那么在这里呢,我已经将这个正着表达式写出来了,如果之前你没有了解过正着表达式的话,可能会有一点看不懂,现在呢,我们来分析一下,这个正着表达是 这句,最终会匹配到我们这边的元素为 a 卡拉斯为 nbg, 最终可以得到他的里面的这些内容。然后我们使用阿优库进行变异,下一步我们就是进行解析数据,使用这个函数, 我们进去打印看一下, 这时候大家发现我们已经将电影排行榜的名字已经提取出来了,然后最终是一个列表。 第三步我们是进行数据存储,我们需要将第二步得到的数据存储下来,我们可以把它存储到文一个文件当中,也可以把它存储到一个数据库当中,文件的话可以存储为纯文本的 tst 文件, csvpdf 等等数据库,我们可以把它存储到买税口,芒果 bb, reds 等等。 今天我们就将它存储到一个纯文本 tst 文件当中。我们来看一下,我们这里使用上下文管理器之前,我们得到这个数据是一个艾特慕斯,一个列表,我们可以进行便利, 将每一次得到的这个名字呢存储到这个文件当中,现在我们执行看一下啊,这时候你发现我们这边已经得到了一个豆瓣点 tstyon, 点开看一下,这样就得到我们电影排行榜的电影名称,非常的简单。最后呢,我们来回顾一下 刚才的例子,是一个非常简单的,在实际当中呢,我们可能会遇到非常复杂的问题,比如说很多网站现在都设置了反爬虫的技术,比如说 需要模拟登录,然后会封锁 ip, 会封你的账号。如果你真要精通爬虫的话,必须要学习很多有关于反爬虫的一些技巧, 那么数据解析我们刚才使用的是最简单的正确表达时,当然呢,之后我们遇到一些复杂的数据解析的话,我们还可以使用到一些第三方库。这节课的内容就到这里,关注我,学习更多拍摄技术,感谢大家点赞转发,我们下节再见。

大家好,我是马农阿勇,那么这一期呢给大家讲一下我们如何来通过拍摄呢,编写一个程序啊,来批量盘取我们网页上的一个小说名称, 那么在这里呢就要用到配送的一个库啊,一个下载库,那这里我用的是什么呢?我们的锐筷子库啊,锐筷子 这个库呢是需要安装的啊,需要咱们控制台你输一个 ps 到一块死库就可以了啊。然后呢还会用到我们的 正则表达是库,那么如有快速的库呢?否则去下载我们制定的网页啊网页,然后我们按一这个库呢,他主要的解析我们网页这个内容。好,我们下面来简单给大家编写一下是吧? 那么首先呢我要调用我们愉快思库的一个给的方法啊,然后呢这里边呢要啥呀?指定一个 网址啊,通过一个网址呢,他能把这个页面呢下载到本地,所以我在这呢是不是打开一个豆瓣小说的这样的一个页面啊,大家看这个页面是不是有很多的小说名字是吧?好,我们就这样把每一个名字啊,我们把这啥呀,从程序把它下到我们的一个本地啊,下到本地, 那么首先呢我们拿到了小说名是吧,这是小说的网址是吧?我们把它复制下来,复制到我们的程序中。好,然后呢复制完了之后,那么他会返回一个对象,返回一个对象啊,返回一个我们页面对象,页面对象 在这呢起个变量名是吧?好,这样呢,他这个奖励下的内容呢,就放在这个对象中,那我们需要通过一个方法呢,把它拿到是吧?啊?我们就写个配置是吧页面,然后就调我们这个配置, obg 啊,这样的一个对象通过手, 那么呢他是太克斯的啊,这样的一个属性呢,他就可以把这个页面的内容啊拿,拿到,拿到,那么我们可以呢把这个页面呢一会给大家打印出来看一下。 那我们拿到了页面之后呢,其实拿到页面是拿到什么样子呢?其实拿的是这个东西啊,我们大家看一下,按电脑上的 f 十一键是吧? f 十一键,其实我每一个网页的一个一个一个, 其实对于说我每个网页啊,他的一个音乐呢,都是一个啥呀?背后都是啥?都是我们的 htm 的代码,我们可以点那个箭头是吧?打开我点一个名字是吧? 这个名字大看,也就是说我们服务器呢,对方发的是这样的一串代码,然后经过我们本地浏览器呢,把它啥呀?把它就是结实执行成这样的一种,也渲染成一种这样的一个页面,那么所以说我们将来下程就是下啥这样的一些代码,要说我们的每一个名字啊,他都 是啥呀?在对应的 htm 的代码中,那么大家看他的每一个这个什么标题啊?叫活着,是不是他这个呢?是不是也也有一个标题叫做街舞杂货店,是不是要是我写个程序能够把这个这都搜不出的名字的这个对的名字提出来是不是就可以了?好,下面我们来提一下, 那么首先呢他会用到我们的一个正在表达式,是吧?所以我在这写一个正在表达式的变量啊,用它类存放我们的正在表达式,好,我们正在表达式提取这个内容。 然后呢我们大家看他的这个解忧杂货店啊,他是这样的一个地址和一个名称,说他要那么看这个呢,大家发了没有?他们 这个数字是不一样的,他这个网址是一样的,是不是标题是一样的,但他后面的这个标题对的内容是不一样的,是不是?哎?所以我们在这可以点右键选择编辑我们的啥呀,一直贴埋了,然后呢我把这个东西干什么呢?把它 对吧复制下来,然后呢?所以我们的啥呀?正在表达时的一部分,好,因为他这个内,他这个页面的内容啊,他里面本身包含的双引号,所以对怎么说来说呢?我们只外面加个啥单引号,是不是啊? 因为我们正在表达,是呢,说不定就是个字不出啊,就是个字不出。好,然后呢我们这是我们需要的内容,我们可以做个哎,做一个哎,填一个点加,就是匹配我们 啊叠加啊,去批评,我们要这个内容,也就把我们关心的内容呢,我们这个小框括去了,里边写个叠加问号就可以了啊,然后呢这里边呢 他的每一个数字不太一样,是不是啊?因为每一个这个小说名字对的数字不一样,所以我们这个钢琴家具批评这个数字,这样我们是不是就写完了?好,写完之后呢,我们就调用我们正在表达式的一个翻到这个 方法啊,然后前面呢第一个参数传的是我们正在表达室,第一个呢传的是我们啥我们的页面内容,然后呢他会返回这个提取的值的一个结果啊,我们把这个结果呢把呢?我们我们使一个变量,是吧?他其实返回的是一个列表,好,这样呢我们就可以了, 然后呢我把这个数据呢,我们把它打印出,看一下我们是不是成功拿到这个利润,是吧? 大家看这个是不是很遗憾呢?啊?他显示的是有空的,没有拿到啊,没有拿到的原因是什么呢?他这个页面没有弹出来,所以我们这就没有拿到, 那没有拿到可能是啥?可能人家那个网站呢啊?他去检测我不是一个啥,他发一个一个一个浏览器,是不是?所以我自己呢做一个伪装 装,是吧?所以在这呢做一个伪造一个啥呀?图文件啊,伪造一个图文件啊,那么这个图文件怎么伪造呢?其实我们在这这是这个网络啊,我们点这个网络,然后呢我们刷新这个页面, 那么他会重新加载的页面,是不是他加载完之后呢?我们选择他对应的这个页面的一个网址,是不是?哎?这个里边有一个头,是吧?这是他讲的一个内容, 我们这里看个头,这个头文件里面有一个叫个什么呢?有一个叫个啊,我们看一下他应该是在下边,应该是在下边啊, 下面有一个用户代理,是吧?咱还有这个啊,有个用户代理,我把用户代理直接呢复制到我们的程序中啊,也就是把我的程序伪装成啥一个浏览器啊?我把这个呢放到这,我们的然后在这边呢构造成一个字典,是吧?他呢就做一个啥 我们的哎,所以我们的箭,是吧?这个呢后面呢是左右我们的直啊,左右的直,这样是不就完了?哦,这样就构造了一个呃头是吧?然后呢我在这个地方呢,给他一个, 把每一皂头呢给下他这个,给他这个方法的一个参数啊,传给他就行了啊。然后我们再走,我们看一下 打开是不是出来了,这样我们拿到了杰欧杂货店的活着追风的人呢,他的每个小说名字我们就轻松的拿到了 啊,大家看上面是不是拿到了啥呀?这个网页的内容啊,也就是我们从服务器发给我们的内容呢,他就是一串代码,但是呢他真正的数据呢,他就放在啥呀?这个代码中,我们看这里是搜啊,我们搜一个,比如解忧杂货店是吧? 然后你们看一下解忧会扯大看,然后往上走是吧?大看也就是我们通过 请求这页面的内容啊,它里面包含着啥呀?我们想要的一些数据,所以说我们只需要啥呀,通过正则啊去解析一下啊就可以了。好,这是这一节给大家分享的一个啊,批量排球,我们小说名称这样的一个例子。

好了,欢迎各位同学来到我们青春教育的一个 vip 免费试听课,然后本节课的话给大家带来的一个案例是爬去我们网站的一个 ip 代理,然后检测一下 ap 代理是否可用。为什么要给大家讲这一个呢?主要是原因在于啊,就很多同学在爬一些网站的时候,会爬的比较快,然后会导致一个 ip 被封了, 对,然后很多东西说 aip 的话,代代理到底怎么去用?是不是?今天的话也会教给大家怎么去使用好不好? 那么当然了,有些同学可能本着一个白嫖的一个本质,所以说我们先去采集免费的一个 ip 代理,看一下免费的代理的质量到底是怎么样子的,然后减爬取下来之后的话,可以检测一下这个 ip 代理是不是能不能够用, 如果说能用的话,我们就给他保留着,如果说不能用的话,我们就不要。好吧,那么今天爬的是哪一个网站呢?主要就是我们的一个, 嗯,快代理吧,这个还是不错的,哎,代理,他的快代理这个网站,就我们一些快代理的一些网站上面的话,他都会有一个免费的一个 ip 代理, 像我们 ip 代理的话,哎,像这个他都是给我们免费提供的,当然这个免费提供的话,说实话啊,质量不是那么的高,不是那么高,所以呢,但是究竟会怎么样的话,我们也可以去采集一下,像我们你要知道 差这么多数据对不对?像这么多数据的话,一般我们要去哪些取哪些数据?这个的话,我们要知道一个代理的一个结构是什么样子的? 代理的结构的话,我们一般啊,他是作为是这个样子给大家看一下,给大家直接复制过来,一般是这个样子的,对吧?我们的一个,呃,他是一个字典的一个数据 类型,然后的话有个 hgpp, 然后 hgps 是作为一个关键字的,后面的话就是我们那个 ip 和加上他的一个端口号,所以说,哎,这个的话也是我们今天要去采集的,所以说对于这上面来说的话,我们要采集哪一个?就是这 前面这两个数据是我们想要的,一个是 ip, 一个是端口,对不对?那我们到时候爬举下来之后给他传进去就 ok 了,然后检测怎么去检测呢?等会代码中当中也会给他去讲的。 那么首先的话啊,采集网站,采集我们网站上面的一个数据内容,那么肯定是要做的是什么呢?第一步就是要去 分析我们想要的一个数据是从哪里可以获取的。那对于我们这个快代理这个网站呢,其实比较简单哦,快代理这个网站还是比较简单的,为什么?因为 他是一个静态网页。什么是静态网页?就是我们想要的这些数据内容在他的一个网页元代码里面都是有的。比如说我们想要的一个 ip 和他的一个端口号,来我们看一下在哪个地方。 嗯,直接搜吧,搜的话会快一箱直接搜索复制一下这个 ip 啊,在这个页面 ctrlf 把我们那个 ip 给他粘贴上去。哎,在下面的话是不是都有我们相应的一个 ip 和我们那个端口号,在这个地方都是有的,所以说这金牌网页的话还是比较简单去获取的,那 简单归简单,但是的话我们还是要注意一些小的一些细节,就是我们把爬虫的一个代码实现的一个步骤,步骤的话就分为这简单的一个起步啊,第一步的话就是发送请求,对于目标王者 发送请求。第二个获取数据,这个获取的是服务器返回的响应数据内容, 也就是我们今天如果说我今天他我我想要的数据,对不对?在他一个网页元代码里面,那这个获取的数据的话就是获取网页元旦码里面的一个内容。那第三个的话,哎,解析数据就是提取我们想要的数据内容是什么? 想要的一个内容,哎,想要的数据内容,我们想要的是什么?想要他的一个 ip, 对吧?以及他的端口吧,因为我们返回出来的一个数据的话, 他相对而言还是比较多的,所以说不可能说我们所有的数据都是要的,我们只要其中的一小部分,那我们就要对他进行一个筛选过滤,加上提取,好不好?那第四步的话,哎,就是我们如果说按照常规来说 的话是保存数据,但是我们今天这里的话也可以,对吧?我们把数据保存到这一个 ip 的一个代理里面, 然后的话进行一个检测,这是按照我们常规去保存我们爬虫的一个基本步骤,就这次步了,还是比较简单的,那代码怎么去实现呢?也是非常容易的。那首先发送请求, 对于目标网址发送请求,那我们目标网址是什么?是就是我们导航栏这一个鱼儿地址,直接就给他复制过来就好了,谁给他复制过来? 然后呢?对于静态网站的话,我们爬虫啊,爬虫,我们所说的是一个模拟浏览器,对于我们那个服务器发送请求,重点在于什么呢?在于我们那个模拟模拟的话,那我们就要对拍成代码进行一个伪装,如果说你不伪装的话,会 容易被识别出来,不伪装,不伪装排身代码,可能啊,可能会被服务器识别出来,你是一个什么呢?爬,送脚本, 哎,爬上脚本,这也是我们常说的一个,哎,被反爬了啊,因为你的一个伪装的一个程度不太够,就是你就会被反爬,被反爬的话,他可能会得不到数据,或者说给你返回你 其他的一些数据内容,反正就不是你想要的那种。好吧,那这个伪装的话,我们就需要加上一个嗨的色请求头像,这个嗨的色请求头去哪里找呢?我们可以鼠标右键点击检查选择这个呢?是我靠刷新网页之后的话,对于静态网页啊, 对于进展网站的话,你可以随便找一个,找一个数据包,它下面都会有一个 requests, 这个 requests 的话就是我们所说 做了一个请求投,那它里面这么多的一些参数,我们主要是加哪个呢?哎,加一个 ua 就行了, ucaj 把它复制过来就可以了,我们一般通常的话就加这一个,对于简单的一些网站加这个玩意就行了,用户代理好不好? 那么接下来啊,发送请求,我们就需要导入一个数据请求的一个模块 input, 我们这个蕊块什么块? 对不对?这个模块的话他也是一个第三方模块,需要大家去 pip 零十度,加上我们这个 request 模块名字的,如果说不会安装的话,你们也可以加视频上方的一个学习交流群找管理去,要要相应的一个教程好不好? 那发送请求的话,我们直接用一个瑞士 boss 变量接收我们请求返回之后的一个数据,哎,嗨的是等于嗨的是把相应的一些参数都给他传进去, 像这一行代码的一个意思的话,就是通过我们 request 模块里面的一个 get 请求方法,对于什么呢?对于我们的一个 uld 只发送请求,并且携带上我们的一个嗨的是,哎,携带上我们那个 开的是请求头进行伪装,最后用我们的一个 response 变量接收返回的一个数据内容, 他返回的话,像这一个数据我们可以直接打印一下。这个瑞士棒是他返回的话,是我们的一个响应对象,瑞士棒是两百对,像我们在拍摄里面的话,这个监控号他表示的是一个对象的一个意思,然而两百呢?他就是一个状态码,表示的是请求成功, 哎,表示请求成功说明什么?说明我们对于这一个网址已经发送请求已经成,请求成功了,那么接下来的话,既然请求成功的话,我就要获取他相应返回的一个数据内容, 像你要获取他的一个网页元代码的话,那就是什么呢?那就是我们所说的一个瑞士棒色点上一个 tex, 这个的话就是获取他的一个网页元代码。来,我们直接回测一下, 回车之后他是不是就给我们返回了很多的一些数据内容?这一个数据内容的话,其实跟我们在导航啊,在网页上面看到这个网页原料码是一样的,而我们想要的这一个 ip 代理的话,他也是在这个里面有的,对不对?那我们就是这前两步就做完了,还是非常简单的两个步骤, 那么接下来的话就是第三步啊,就是第三步解析书卷提取我们想要的一个 ip 和我们这个段 反口,像我们获取到的这个 response 点 tax, 它返回的一个数据是什么?是我们的一个制服串数据内容是制服串,如果说如果这里有个小点啊,有个小点是什么? 如果你想要,对,如果你想要对于次服串数据直接提取,直接提取,那你干嘛呢?得用正则,用我们那个啊,一、正则表达式去提取数据, 表达是提取数据,对,那如果说我们想用 a 技能,说我们想用叉 pass 或者说什么呢?或者是 css 选择器,对不对?如果说你想用这两种方式的话,那就是需要,需要把我们获取下来的一个 html 字符串数据转一个数据类型,转成我们可解析的一个对象, 因为有转成最像之后才能调用叉八十或者 css 这个选择器。那这里的话啊,为了大家啊,能稍微区分一下,我也给大家用两种方式吧。那第一种方式的话,我们用正折来试一下吧,用正折来提取一下数据,正折的话,那我们首先得导入一个模块,导入我们那个正折表达式模块 表达什么快?嗯?卧槽,我们那个啊一这个模块的话,他是我们的一个内置模块,内置模块跟第三方库还是有区别的,因为内置的话大家都知道 他就是你安装了拍摄环境之后的话,是不需要再去进行安装的,好吧?第三方模块的话才是需要我们额外安装的。那正着怎么用呢?用我们正着里面啊,一点一个放到奥的一个方法这么取。

今天我们来给大家讲一下项目生成打包,在拍摄当中我们写好了功能以后, 我们要把我们这个拍审写的功能打包出来给其他人使用,因为我们在我们的电脑上还有拍审这个编辑平台,我们可以在上面写代码, 也可以在上面使用,但是如果我们把这个功能写好后,要给别人使用,当然不能让别人使用我们这个啊拍床变异平台,所以我们就需要把这个项目生成出来啊,生成成 ex 一的应用程序给其他人使用。 这个时候呢,首先我给大家介绍一下,先安装一个第三方打包的模块, 怎么安装呢?我们首先打开 cnd 命令啊,命令提示服务打开了以后,然后我们再复制这行代码,我提前写好了代码 运行这行代码呢啊就可以安装这个打包的模块,因为我已经安装过了,所以在这里啊就不能 现场给大家演示一遍安装,我可以用图片啊给大家看一下。首先呢我们输入了这个命令啊,输入了这个命令以后, 他就会下载模块,对不对?正常下载模块我们需要稍微的等待一下他下载,他下载好了之后啊,等待一段时 时间过后,他下载好了之后啊,我们又可以继续输入啊命令,这个时候就是啊,代表下载好了,对不对?下载安装好了这个模块以后呢,我们就可以进行我们的项目打包,那接下来我继续给大家讲一下 下面呢啊,我们就可以执行项目打包的操作,首先就是啊这个命令,然后加上斜杠 f 的参数,还有我们项目的路径,好, 项目的路径呢?我们可以在啊拍床的这个项目里面找到我们写的这个项目的文件,对不对?项目的这个文件,然后我们右键选择复制路径,这里有绝对路径,我们直接选择绝对路径。好, 选择好之后呢,我们把我们的项目的这个路径复制过来,然后再复制到啊,我们这个命令下,整体上来说啊,整行命令就是这样, 然后我们再复制在命令提示符里面。好,大家要注意这个参数,他是大写的 f, 如果你写上小写的 f 的话,可能就会错误, 大家注意一下,新手学经常会犯这种错误,就是输入命令的时候有一个命令不小心打错字啊,好,把整行命令复制完以后呢,我们按一下回车, 这个时候他就正在生成我们的项目,稍微等待一下 啊,差不多 多了。好,大家注意这个时候啊,他已经生成好了,他生成好了,那我们这个项目文件在哪里呢? 啊?大家注意看一下啊,他在这里最后面啊,倒数第三第四行的时候,他会提示你啊,这个项目应用程序已经生成在这个文件夹,对不对?大家可以注意看一下,注意看一下 他生成到了这个文件夹,我们就可以复制一下这个文件夹路径,当然我们也可以沿着这个文件夹的路径直接找过去也行,复制也可以。 好,然后呢,我就打开我的我的电脑是电脑,然后把这个录进复制啊,他就生成好,我们找到他以后呢,这个就是我们写好的这个人 物信息的系统,对不对?这样就生成好了我们的应用程序,这个就是我们写的人物信息系统,所以我们使用这个拍摄在写程序,写任何功能的时候,写好以后我们可以打包出来 给别人使用,对不对?那这样别人就可以直接使用我们已经写好的功能,对不对?方便其他人更好的工作,更好的使用这些功能。好,那这节课呢?啊?就讲到这里, 每天利用空闲时间学习电脑知识。

哈喽,大家好啊,然后接下来我呢给大家去讲一个天气数据采集以及可视化的一个实现。呃,那么在之前的话呢,我们先打开一个网站啊,这个呢是我们今天要去进行一个呃数据采集的一个网站,好吧? 呃,然后我们采集的呢是这个二三四五里面的天气王里面的一个呃各个城市的一个历史天气啊。然后呢 我们是打算把二零年到呃二一年所有的一个数据全部存下来,好吧。呃那么下面的话呢,我们就来开始去第一个步骤分析我们的一个数据啊,那我们先右键点这个检查, ok, 呃,来了这个 natual 以后呢,其实我发现通过我们之前那个分析呢,我们就可以发现它是一个呃动态的一个页面, 对吧?当我们点击上一页的时候呢,他会呃网页链接不会变化,然后的话呢会重新加载一些数据,对吧?那加载数据的话呢,我们总共有两个啊,第一个呢你可以发现没有任何的内容,那主要数据呢就存在我们第二个数据里面,那所以的话呢我们就可以直接去针对这个网页链接进行一个请求。 嗯我们可以来做一下啊,首先的话呢我们先把这个 input 模块给他去进行一个导入,那么呃网易链接的话呢,也给他复制下来啊。 啊?这个网易链接我为了美观的话呢,我可以把里面的一些字段给他,呃稍微的替换一下,好吧。嗯首先是关于这个城市的一个音符啊, ok 啊,还有我们城市的一个类型啊,包括呢像后面那些字段呢,我都需要去呃进行一些替换,好吧。 啊?这是我们那个日期啊年份,然后后面这个呢?啊其实可以发现啊,后续如果我要去采集这个二零年或或者这个二一年的一个月份的话呢,我就可以对他进行一个循环,对不对 啊?我们先使用 request 呢啊?点一个 get, 那你直接可以这里面是 get 吧。啊没错啊,是 get。 那么我们先把 usl 的话呢给他传进来,传进来以后的话呢,我们可以直接来一个 response, 好吧,来先看一下。呃像这种天气网站的话呢,一般不会有这些类似的一些反爬的啊,所以一般 一般情况下我们能够直接看到这个瑞士方是两百,然后呢我们点一个节省取出来里面的一个值啊,那么取出来以后的话呢,我们取到这个 data 这个键,好吧。然后呢取到他以后的话呢,我们就可以看 看到当前的一个。呃类似于是一半的网页内容。那针对网页内容的话呢,我们怎么去解析呢?哎?前面导入模块对吧?我们一般用的多的话呢,我是一个 poss。 呃然后我们使用这个 poss 模块的话呢,可以对他进行一个 嗯数据解析啊,点一个 status, 然后的话呢?嗯传进来,对吧?返回一个小写的 stack, 那么接下来的话呢,我们使用 status 去取他的一个数据内容就可以了。那首先的话呢,我们先取一层,一层取啊,先取 table, 然后呢取 tr, 好吧? 嗯拿到所有的 tr 以后的话呢,我们这里是 tr 啊 trs, 好吧,然后下面的话呢,我们就来针对这个 tr 呢进行一个循环啊? tr 印一个 trs。

哈喽,大家好啊,我是四月。然后今天的话呢,给大家去讲一个 path and 爬取百度图片的一个内容,好吧,首先先打开这个咱们的一个百度啊,去 呃搜索一些关键字啊,例如啊这个黑丝啊,然后我们可以点这个百度的一个图片 啊,然后今天的话呢,我们就去选择把这里面的一个图片数据进行一个采集,那么采集数据的话呢,选第一个我们就要先去呃分析这个数据的一个来源,好吧,我们可以选择右键点击这个检查来到 natalwalk。 呃,然后分析这个数据来源的话呢,我们去选择 不要刷新网页啊,刷新网页我们很难去找到这个数据来源,我们可以往下面去拉,你可以看啊,我们可以往下面拉。呃,拉的话呢,他会去加载一些 数据包,对吧?会加载一些数据内容。呃,当我们去点击到这个 xhr 的时候,就可以看到啊当前的一些请求了,好吧,我们可以你可以看到他们都是一样的,我们可以点击第一个就可以了。 呃,当我们点完第一个以后呢,里面会有这一些,呃,每一个的一些图片,对吧?包括像他的一个链接啊,这个图片链接你们可以复制打开看一看, 对吧?这就是这些,呃图片所对应的一个地址。呃,那么我们在请求的时候呢,就可以去针对这个链接地址进行一个请求,好吧,首先我们先把链接给他放过来。呃,放过来以后的话呢,接下来我们去真实的去请求,好吧,首先我们先去导入一个 request 啊,接下来使用 request 呢?点 get 还是点 pos? 可以看一下啊?是一个 get 的请求,对吧?首先我们先把网页链接呢,先给他放到上面, ok, 呃,把这个给大家截取下来啊,放到这个 uil 里面。呃。然后下面的话呢,我们去执行一个请求,那么请求的话呢,我们就放一个 eil, 等于 eil 试一下啊,看能不能得到一个响应,好吧,先看一下这个响应的状态码。呃 response, ok, 呃。顺便点一个 tis 的话,点先点一个 tis 的,待会呢我们去取值啊,然后发现现在并没有得到任何的一个数据,对不对?嗯我们在这里面的话呢,请求的时候呢把自己的一个伪装给加上啊,首先的话呢是关于咱们的一个 uv, 呃,来一个嗨的死, 既然你如果没就如果你没拿到数据啊,不管他的一个状态码是什么样子,反正呢该加的东西呢给他加上就可以了。呃,还有咱们的这个 refer house 的, 还有包括像这个 cookie, 好吧, cookie 也给他拿一下吧。哎呀,呃,把这几个我们该放的东西呢给他放进去,然后呢选中我们要替换的内容,好吧,统一的给他换成他们的一个字典类型的一个格式啊。呃,那这个是点心啊引号, 好吧,给他换成这个字典啊, ok, 点击全部替换。呃点完以后的话呢,我们把嗨的死给他放进来,嗯,嗨的死等于嗨的死。 ok, 那么这样的话呢,我们可以获取到他的一个呃数据内容,对吧?这样是没什么问题的啊。

如何获取豆瓣热门电影的数据?哈喽大家好,我是乐乐不分的程序员小飞,欢迎来到我的拍层爬虫系列,咱们开始之前,你需要准备好浏览器和拍层的环境爬虫最重要的是先分析代码只是最后一步。浏览器输入豆瓣电影的地址,按下 f 十二,进入调试模式, 然后点击一下网络,再刷新一下页面,然后我们在下方能看到一些网页请求数据资源的记录,包括一些代码资源,数据资源,还有图片资源。点击废弃 x hr 来筛选页面的数据请求。我们要从这里找到最近热门电影的请求,通过比对请求的返回和页面的内容就能找到了。 a few moments later, 我们找到了热门电影的请求接口,现在对他进行分析。我先去看一下他的请求的 url, 找到他请求的一些参数,最重要 要的是分析返回的 jason, 我们可以看出他 jason 里面的一些开头,一些头图,然后整个 jason 是一个有个 subjects 数组,它里面大概有五十个内容。我们把请求的 url 和请求的角色安全者复制好,待会我们要在代码里面使用。 现在进入我们的编码阶段,将请求网址和 u z n 等都复制到我们的代码里面,并且通过 requests 点 get 方法去发送请求, 将返回的结果转化为 jason, 并且去循环获取 subjects 当中的元素,打印电影元素的标题,评分和图片,我们月薪看下效果,赶紧去试试吧!

学爬虫前必须先了解的基础一、浏览器发送 http 的请求过程众所周知,爬虫的前提就是先能正常访问到你要爬的网站,不出现各种四百零三请求被拒、四百零四找不到网页等报错。那么怎么避免呢?首先我们要了解一下浏览器发送请求的过程。 发送请求的方式一般分为两种, gapos 请求主要是用来向网页请求获取到数据,获取到的数据主要是展示给你看的,就比如我们点开淘宝这个网站,他给你呈现出来的各个商品就是你通过该请求访问出来的。 pose 请求主要是用来给网页发送数据,就好比淘宝的登录,你输入账号密码后,点击登录的时候就会向网页发送一个 pose 请求,网页通过你给他发送的这个账号和密码来决定给不给你登录账号。二、 atp 请求携带的数据知道了 atpp 请求的两种常用情况之 后,再说说请求的时候到底是如何携带数据的。首先你可以随便点开一个网页,按一下 f 十二,进入后台管理系统,你可以看看不同网站的嗨的都是不一样的,百度比较倾尽人意,基本没有什么嗨的数据,以后爬他数据的时候就可以简单很多。 如果有一些网站爬不到数据,就可能是网站验证了你发送请求里面的嗨的数据。如果网站验证的数据里面,你有一个是没有给他发送过去的,你就有可能获取不到数据。 比如网站可能教验了一下库品,而你正巧发送的请求中没有携带库品,那么网站就有可能给你报四百零三等错误,让你获取不到数据,懂了吗?懂了。

这里是幺三零幺零幺,大家能看到我桌面吗?呃,刚刚呢,让大家安装一下对吧? 呃,安装之前呢,咱们简单先回顾一下啊,就是 scrapping 是一个什么样的框架,它是 使用 python 开发的,开发的主要进行数据采集的一个应用程序框架, 核心使用它来进行爬虫程序的快速开发。 由于了底层使用了 twisted 一步模块,所以在进行数据采集下载 实效率非常高。就这样一个东西啊,安装的时候呢,需要注意什么情况呢?乌斑图或者说 mikos 下了直接安装什么东西了,安装我们的 scrapping 就可以了, 就是在有完善的 python 环境的基础上 直接安装就可以了。但是 windows 下需要注意, windows 下注意安装分两步进行,分哪两步进行呢?第一步,先安装 scrappy, 安装 scribe 的手了,建议大家可以使用管理员身份用行就是管理员身份用行, cmd 窗 孔这样的情况呢,可以尽量避免出现一些呃,由于权限啊等等这样出现的问题,通过 pip instal scrappy 直接安装,或者说 easy install scrappy 安装就可以了。安装完成之后呢,我们还需要安装 win 三二,这是个什么东西呢? 因为盘中程序在 windows 里面操作的时候了,可可能会调用 windows 底层那些模块,所以说说了需要安装一个,需要安装一个配风三二模块, 安装这个模块呢,用于 scrapping 模块,可能调用温底层 操底层 c 操 c 库进行函数操作。那这个东西呢,同样通过配文三二,哎,是叫配文三二,这还是叫个叫什么文三二来着,我在这里呢给大家写了一下 pipe 文三二, pipe 文三二 这个东西啊,这个呢也要安装一下,安装成功之后呢,我们的程序才能正常执行,如果这个东西没有安装的话,程序 scrappy 操作没有任何问题,但是 scrappy 项目是用行不了的。说一下,如果 ps 注意,安装完 scrappy 之后,可以正常的进行 scrappy 项目的开发,但是用行在 windows 上用行项目会出现问题, 如果出现 when, 如果出现类似于 when ever 这样的问题, 请安装下面的模块,就是咱们这里的 win 三二模块。 ok, 这个安装完成之后,也就是大家刚刚做的一个操作,这个安装完成之后呢,第二步 项目开发,项目开发里面的了创建 scrappy 项目创建 scrappy 项目呢,通过执行命令,通过执行如下命令来创建 scrappy 项目,执行了一条什么样的命令呢?可以通过 scrappy starter project, my spider, 或者说后面了咱们就是 spider name 这条命令呢,通过 scrappy 命令 加上 starter project 选项,创建一个名称为 spider name。 爬虫项目,就这样一个意思,那我们在开发的过程中通过哪里开发了?在 p y charm 中, 直接用行工具中的 c, m d 终端窗口 执行如下命令,创建一个爬虫项目。 在这里给大家简单的先看一下,看完之后呢,说一下里面需要注意的问题啊, scrappy starter project, 然后呢就创建一个 my spider, 好吧,这里呢需要注意注意什么呢?关于终端窗口, mini 窗口和还有一个东西叫 share 窗口,这几个啦在不同的地方出现的意义不一样。 note 系统中有终端窗口,有命令窗口,他们都指带的是 cmd 窗口, ok, windows 里面呢? windows 的新系统中,比如说 win 十,它里面也有 shell 窗口。 shell 窗口呢,它指带的是 power shell, 在这个窗户里面可以执行常见的 linux meaning, 仅此而已。 那这个窗口在哪里找到呢?可以在我们鼠标螺到桌面的最左下角右键点击,这里是不是有个 window windows power 呀?点开 windows power, 大家就会发现弹出这样一个窗口,稍等一下啊, 大家看一下,这里是不是弹出一个这样深蓝色的窗口呀?里面呢,有 windows shell, 大家在这里可以执行 l s, 大家可以看一下 l s 命令呢,这个命令大家知道是在 呃 linux 面的命令对不对啊?在 windows 上本来就没有 l s 这个命令,但是在 powershell 这个窗口里面呢,就可以执行这个命令,来查看当前文件夹下的所有文件,这样能看明白吗? ok, 另外呢,我们终端窗口这里说一下啊,终端窗口呢,它有一个英文单词叫 tomel, 嗯, tomelow 是这样写的吗?来打开看一下, tomelow 是吧? n a l 是吧? tomelow 这个单词在其他系统里面也会出现,比如说乌白图系统中,这就是我们的 linux 或者 unix 系统了。好吧,在这样的系统里面呢,我们经常会提到终端,终端其实说的就是 shell, 在这样的系统里面说的就是 shell, 它指带的就是我们的 shell mini 窗口。 所以呢,大家在乌白图系统里面,如果搜 tomel 的话,就可以打打开试药窗口,这能看明白吗?然后在 mcos 系统里面了, michael s 系统里面呢,它同样呢也称之为终端,它同样打开呢是摄像窗口。 ok, 只有在我们的 windows 里面是不一样的。 windows 里面,咱们的终端窗口是命令窗口, c m b 窗口,也叫 p 处理命令窗口。 c m d 里面执行的命令了,也称之为批处理命令,就是批量处理的命令。 ok, 这个呢,有一个大概的印象就可以,那我们在 p y charm 里面了,运行 p r a charm 的终端, p i charm 的里面的终端窗口,执行下面的命令,我们先打开我们自己的项目,打开自己的项目之后呢,大家可以看到下面是不是有个 tomel 呀?这,以前的时候我们经常用 run, run 里面是不是用行的用行窗口呀?嗯, ra 是用行窗 口。 python ctrl, 这是 python 命令行窗口。大家看到这里是不是有三个尖角符号呀?呃,就三个,大于号。这是 python 的命令窗口,特名老师命令行窗口。 然后呢, cd 到 cd 到咱们的五点, make d i r dyson 零七 c d 代词,零七,这是不是创建了一个文件夹,并且进到一个新的文件夹里面了呀?呃,在这里给大家说一下啊,以后呢,大家在操作这些命令的时候,对于常见的命令了,不光要认识自己,还要会 写。可不能说等到面试的时候,人家说来列举一下你常见常经常使用的一些命令吧,如果说不会用这个就很尴尬了。 那进来之后呢,我们先创建第一个程序, scrappy, 当然我是已经安装好了的 scrappy start project my spider, 通过执行这行命令来在 dis 零七下面创建 my spider 爬虫项目。 ok, 回车稍作等待。 大家可以看到下面是不是说 new scrappy project my side 创建了一个 scribbage 项目叫 my side, 是 my spider 是吧? using tablet directory, 它使用了一个, 是不是模板的意思啊?他通过这个指定的指定的目录下面的东西创建了我们的项目模板。然后呢?项目在哪个地方呢?在 dis 零七下面有个 my spite, 看到了没有? 在这里呢,说 you can start your first spider with。 说你可以开启开始写你的第一个盘中程序,通过下面的命令先进到这个文件夹里面,然后通过执行 scrappy general spider example example to come。 这是通过命令直接创建一个盘中程序,当然我们第一个,因为我们是第一个程序,我们手工给大家创建一下,看一下有什么有什么操作方式。好吧, 创建好项目,人家提示的这条命令是通过命令自动创建爬树程序, ok, 自动创建了爬树程序,我们只需要修改一下就可以直接使用了,当然我们手工先操作一下。大家对于 爬出程序了有一个比较深刻的了解,我们在进行后续的操作,大家首先了先了解他的项目结构,这个项目结构了和我们摘购项目的项目结构是不是特别类似啊?在外面有个 maysbad, 里面是不是还有个 maysbad 啊?嗯,然后跟 maysbad 同级的, 大家注意跟买 spy 的同级呢?是不是有个 scrafty cfg 啊?打开 scrafty cfg, 大家在这里可以看到里面有个 setting settings, 有个 deploy settings, 什么意思呢?这是我们的项目设置文件,这这个配置用于指定我们盘中项目设置文件在哪个地方? ok, 这是指定详细设置文件的位置。 接下来 deploy。 deploy 什么意思呢?发布爬虫的时候会把这个项目发布到什么地方去?我们现在是 project, 叫 maxi 的,买 spy 的,是吧? 也可以指定一些 uid 纸啊,这些通过 uid 纸来调用爬虫子操作,各种各样的操作方式都有,这是项目配置文件。那 my spider 呢?是我们爬虫的核心模块,我们以后所有的开发都要在 my spider 下进行进行,在它里面呢? inlet 就不说了吧, items 里面是做什么的呢? defied the field for 什么什么乱七八糟的上面了。 defied here the models for you spider scrapped item 什么意思呢? the model 是什么模型的意思呀?说,我们在这里定义模型给你爬取的项目, 我们是不是爬取下来的数据就是爬取下来的各种各呃,各项数据啊,把我们各项数据了分装成 ittom 对象,在当前的这个类里面进行定义,也就是最后我们爬取了数据, 都是零散的数据,对吧?零散的数据要在这个文件里面把它组合成一个一个的对象。好吧,这是定义爬去数据组合成的对象类型的地方。 middlewear 是什么意思了? middlewear 是定义各种各样的中间键的地方,大家可以看到在一个 middlewear 里面了。 my spider middlewear, 这是一个我们自定义的中间键,是吧?它里面都有什么方法呢? from drawer this method is used by by scrappy to create your spider。 说这个函,这个函数呢,主要用来在你的 scratchy 在创建这个爬出程序的时候就去执行的一个东西,默认执行的 process spider input called called for each response that guns through the spider midway and in to the spider。 这是在什么时候调用了 response 开始响应数据的时候进行处理? process spider output。 大家可以看 process 是进程处理的意思,是吧? spider 是程序的意思,就是爬虫的意思。 process 处理爬虫 input 响应响应,进入程序的时候处理。 alt 返回数据给爬虫的时候进行处理。 exception, 当爬虫出现异常的时候执行的处理 request, 当请求开始执行的时候进行的处理。这是不是所有的中间键都会执行的一些东西啊? 就是当你在做什么事之前或者之后要执行的函数,是不是都在我们的中间键里面可以写啊?这是 mediever papa lies 是什么意思了?这里可以看到有一个 my papa lie, my spider popline 是一个简单的拍生类型,对不对啊?它什么的东西呢? define your item popline here don't forget to addo popline to the item popline setting。 啪啪啦一了,主要用来进行数据的最后一步的操作,就是我们那张画的这张图里面啪啪啦一是不是在这里啊? 最后一步进行数据数据的验证,重储等等这样的操作。那在定义的时候呢?我们这里定义好了自己的 popline 之后呢?要在 cit 配置文件里面有一个 itempoplines, 把我们的 popline 交给 scratchy, 它就知道说你定义了一个 papa line, 可以进行数据处理, ok, 如果我们不在 sentence 里面配置的话,这个 papa line 是无效的。这个当然后续的时候再说 sentence 呢,就是我们的设置文件, 项目设置文件,这里有包车内幕。然后呢, spider models 就是我们的当前的爬树模块,然后 new new spider model 是创建了一个新爬树模块,下面呢? robot text oba, 这什么意思了? robots text 什么意思啊?看聚焦, 我怎么听着这么陌生呢?什么叫聚焦?什么叫焦点?我搜一下淘宝,大家看一下 robot, 嗯, 哈哈哈哈,输入的格式不正确, 看一下下面这个就是 robos 协议。你们看看,这只是一个文本文件是吧?文本文件里面的 user a 证它,百度 spa, 它 允许谁爬去的?允许百度搜索的 article 允许你爬去。 o s s t m l 允许你爬去。 production 不允许了。 desert 老师不允许对吧?根木路允许吗?不允许,这是什么? 谷歌爬虫对不对啊?谷歌爬虫允许的东西就多了, article 允许, o s h t 庙允许, prodat 允许, spu 允许,店铺允许, oversee 允许,累死他允许,只有跟梦露不允许。太过分了,淘宝竟然只允许百度爬这两个, 然后人家谷歌游戏爬这么多,再往后并搜索对吧?并搜索是不是游戏也挺多的呀? article os html product s p u 店铺。哎呀, 看这是英文是吧,这好像拼音吧。所以说不要看那些说啊,谁谁谁从哪里出来的,或者说什么公司说就有多高大上。对于开发人员来说,你的公司再 low, 你的公司再高大上,开发的程序是一样的, 这是什么?三六零是吧?三六零呢?通用爬冲就是三六零,搜索用的爬冲,它只允许两 art 口号 o h o s h t m l, 这是什么呀?一搜一搜也只允许两,这是搜狗是吧?搜狗允许三个 底色,老师不允许。雅虎搜索允,允许的还比较多是吧?然后其他的全部都不允许。这,这是 robo 的协议吧,他意思说 robo 的协议没有 错误,里面了所有的协议格式是这样的。那 robo 的协议是用来做什么的?限制通用爬虫 不允许爬去就是现实。通用爬虫的爬去规则对不对啊?那我们 scrap 里面默认是不是遵循 robo 的协议啊?如果一旦遵循 robo 的协议,就会发生什么事,有一些数据不允许爬去了,所以我们在实际操作的时候,这这个会改成什么呀? false, 因为我们用 toscrippy 在开发的时候经常用于开发聚焦爬虫,聚焦爬虫就会忽略肉包的协议。 ok, 好了,再往下呢,大家看一下,里面有各种各样的配置选项。 default request hyder 了,什么意思啊? 请求头吧,我们请求头直接在这写一下,是不是在请求头里面就包含了呀,就不需要自己再设置了吧。 ok, 再往下 download middle wears 下载中间键 extensions 扩展 item pipelines 这个看懂了没有?如果我们自己写了 peplus 之后呢,一定要把这个注视放开, 放开之后把自己写的 papa line 写到这里,后面是一个零到一千的整数,表示他的优先级。 ok, 再往下呢,还有一系列其他的各种各样的设置,这个呢,后续的时候大家再看,现在大家知道我们通过手工,就是我们通过命令好创建了一个盘珠项目,他大概文件结构是什么样子了吗? 也就是我们在这里了创建好项目文件结构如下, 咱们尽量慢一点,争取大家一遍把这个东西就该学的都学会好吧。 my spider, 这是项目根目录, 里面呢,会有一个 spiders, 这是爬虫程序所在的目录,里面写各种各样的爬虫程序。 哎呀,这里还有个东西,上面是不还有个 my spy 的呀?嗯,咱们把这个写到下面吧。 上面这里了还有个 my spider, 这是爬虫模块儿,以后 的爬虫程序开发都在这个模块中。 ok, 和他同级的了。还有一个东西 和他同级的了,有一个 scrifi 点 c f g, 它是项目配置文件。这个 c f g 什么意思呢?它是 configure 的意思,是配置的意思。 ok, 其他的几个字母 c f g 在它里面。 item c p y, 这是采集的数据定义分装模型内的模块儿,也就是了我, 我们将采集的数据了定义成分装的模型内,是不是采集的数据就可以分装成对象了呀?这里面就是定义这种类型的模块。再往后呢,我们需要关注的是 piper nice d p y, 这是采集的数据最终呢,采集完成之后进行数据验证存储的模块。 再往后面呢? middle where step p y, 这个是中间键定义的模块儿,然后后面还有一个什么东西呢? sentenced p y, 这是项目设置模块,项目设置为 模块和配置文件,一定要分清楚,配置文件是用来配置信息的,设置模块是用来设置参数等等各种各样的数据的。好吧,这两个要分清楚。大概呢有这样几个。大概呢?有这样几个模块,大家可以看到 autumn, metalware, paradise, sentence, 包括 speed 是不是都有了呀? ok, 都有了之后 我们呢爬虫基本的 scratch 项目就创建完成了。 创建完成之后,下一步我们进行做什么操作呢?看一下啊,这是不是创建 scrappy 项目呀? 下一步就是我们即将要进入第三步开发爬虫程序。那在开发爬虫程序之前了,大家先把这个项目创建出来。 ok, 创建出来之后咱们进行下一步操作。

今天呢咱们用爬虫实现一个在线翻译的功能,咱们输入任意的中文呢,能给他翻译成英文,比如说呢咱们输入 python, 哎,他翻译成蟒蛇啊,比如呢我们再输入这个 dog 狗啊,他就能给我们翻译成哎狗,哎,是不是很好玩? 来我们看看这个背后的原理啊。呃,这边呢有一个在线翻译网站啊,我们这边呢如果输入一个猫啊,他就能帮我们翻译成猫啊,嗯,我们如果呢再输入其他单词呢,他也能帮我翻译啊,所以呢咱们就是用它提供接口呢来实现这个翻译啊。啊,首先呢我们要找到这个接口, 好,来,我们按一下 f 十二键,咱们从抓包开始。好,我们再次输入 dog 这个单词啊,我们会发现他发送了很多数据包啊,我们每个数据包呢,我们查看一下,其实呢我们最终发现啊,这个 v 二这个数据包 里面的数据呢是最丰富的啊,它包含了所有词典啊,所以呢这个 vr 就是咱们今天想要的这个宝藏。 呃,接下来呢咱们就要找这个加密参数了,在这个 v 二这个接口里面呢,我们发现 sin 这个神秘参数啊,他每次呢会随着翻译的单词不同呢而发生变化,而且呢这个数值呢啊,说实话咱们也看不懂, 而这个 token 啊里面还有 token 这个参数呢,他却保持不变啊,所以呢咱们初步判断啊, side 呢,这个就是加密的参数。好,那下面呢咱们用拍子呢构建一个 request 请求啊, 我们发现啊,当我们去掉撒引参数的时候呢,他请求就失败了,所以呢撒引啊,就是咱们今天要破解的这个参数了,然后呢就是要寻找加密函数的入口了,就是我们想知道这个撒引是如何产生的 啊,我们可以通过搜索来找啊,比如说呢,咱们搜索 side 加冒号,这时候呢我们看到有很多结果,那么哪个是真正的加密位置呢?其实啊,最开始我们谁都不知道,那我们都给他打上断点, 我们再次输入 dog, 我们终于找到了啊,这个 b 方法啊,运行后的值呢,就是这个 sin 的值啊,现在呢这个加密入口呢就已经找到了, 下面呢我们看看 b 方法具体是什么,咱们通过点击这个方式 location, 咱们就能看到这个 b 函数啊,好,那么我们下面呢就要在本地啊来实现啊,这个 b 函数一模一样的方法。 好,我们现在在拍插里面新建一个 gs 文件啊,把这个方法呢给他复制过来啊,然后呢咱们再调用它, 好运行的时候呢,肯定会碰到一些错误啊,但是呢咱们不用担心啊,咱们就按照这个提示呢来补充这个缺失的这个变量和方法。好运行到最后呢,我们还发现啊,缺少一个 g g k 的值啊, 好,那么我们把这个 jk 的值呢从网页中呢给他取出来啊,然后放到代码里面再次运行,哎,这次呢结果就正确了, 最后呢用 python 调用这段 g s 代码啊,实现模拟加密,把输入参数呢改为动态获取,这样子呢就能翻译任意的单词了啊,比如咱们输入 python 啊,翻译后的结果呢是蟒蛇 啊,就这样呢,咱们成功的用爬虫的 gsn 项技术呢,实现了在线翻译。我是拍瑞,关注我,我们一起学爬虫。

先用 vs code 打开这个拍文件,然后按 f 运行起来,之后按照提示输入关键字数量和保存路径,按下回车即可开始下载, 最后按 q 键退出。现在就可以在文件家中找到下载的图片啦,两百张,一张不少。

好,欢迎各位同学来到我们青春教育的一个复位咨询课啊,然后我是本节课的一个朱元老师,我叫自由,对啊, 然后这节课的话给大家带来的一个东西的话,是关于我们啊,大家会经常做的一个爬虫,基本的一些报错啊,给大家实现几个常见的一个报错吧,并给大家做一个简单的一个解决,好吧, 那么首先的话我们就去做一个网站采集的话,这个的话就不用多说了,我们先导入一个蕊块,是模块给他一个网址,对吧?那我们就以抖音视频这一个为例啊,我们给个网址,给网址之后呢,我们可以直接啊去获取向他的数据,直接去发送请求, 等于 request 点上一个 get, u l 等于 u l 啊, u l 对,等于我们那个 u l。 然后呢我们直接不认测,打印一下 下这个瑞士棒色,看一下,我们大家都知道啊。呃,我们打印之后的话,他返回的是一个两百,对不对?他返回的你们大家都是看到他是一个两百,两百的话表示的是一个状态码, 是表明了什么呢?表明呢?我们请求数据是成功的,但是啊,这里有一个问题,是什么呢?就大家会经常遇到的, 就如果说我想要获取他这一个王的原来码的话,他按照正常的应该是这么个样子的,对不对?那我这里直接打印一下他的一个王源的码,瑞斯棒是点上一个 tex 给大家看一看 啊,看了之后的话,你会发现我们得到的这个数据啊,跟我们实际上的这个数据完全不一样,所以说这个也是大家会经常出错的一个地方,他是什么意思呢?呃,就是你看到了一个状态嘛, 两百对吧?表示的是请求成功不代表你得到了数据,不代 表你得到了数据,是吧?那为什么没有得到自己想要的数据呢?有些人说了,哎,我们这里是没有加一个什么呢?防盗链不配,没有加一个,嗨的是我们的一个伪装,对不对?那我这里就给他加一个伪装,那很多同学又会问呢,对吧?这个嗨的是伪装,是从哪里找的 伪装的一个请求图。去哪里找?在开发式工具里面,我们直接去抓报一下,鼠标右键点击检查,选择 no。 我靠, 然后呢?清空数据,刷新数据,我们请求的网址是这一个请求是这个网址,那我们就在这里面去找他相关的一个数据。那我找,哎,我加个 ua 啊,我再加个 ua 是吧? ua 的话我们给他 复制过来,复制过来之后我们再运行一下啊,再运行一下?对啊,再运行之后的话我们没有传进去,他是没有效果的我们没有传他没有效果,所以说我也得给他传进去,你放你,你定一栋东西的话,你一定要传到这个请求里面,不传的话他没有用的啊。 来我们再运行一下啊,再运行一下。我们这里的话给大家写一个啊,常见问题吧。常见问题啊,第一个。是啊,第一个的话啊,请求请求的一个状态麻。两百不代表 不代表你获取到了你的数据,解决方法的话是什么呢?加我们的一个 hits 请求头啊,加 hits 请求头,这里的话又出现 第二个问题了,出现第二个问题了,报错了,他报的是这个错误,是吧?这一个错误是什么意思呢?说明你的一个 hats, 他是一个什么?我告诉大家, hats 的话,他是一个字典的一个数据类型,我们直接复制过来的话,你一定要把引号加好,一定要把引号加好,你不加引号的话,他是个集合, 对吧?是个集合他就会爆出这个错,所以说这个嗨的是里面的一个参数,要加我们那个引号,好吧?接下来第三个错误,那我们加引号就加,好吧,哎,我给他加引号, 是吧?加引号的话,哎,来运气,哎,这里又报错了,又报错了,这个错误是什么呢?来给大家再解释一遍,这个错误的话我们可以翻一下,我们把这个错误信息给大家翻译,看一看,他是一个什么意思呢?标题中返回制服或前导空格无效 用户代理,用户代理是哪个? uza 军事用户代理。说明前面这里是有空格,要把我们的一个就是我们的这个哈的是请求投入里面不能留空格,对啊,留空格 啊,这个空格的话是指这个地方不能留啊,这个前面不能留,就引号里面不能留空格,这前面这个空格是可以留的,可以留的。来,我们再运行一下,再运行之后的话还是这样子的,对不对?还是这样子啊?第三个。