粉丝66.5万获赞749.6万

为什么每当你们想要观看一些导播小电影时,经常会遇到网页打不开,加载慢,无法下载,又或者需要会员才能观看的情况?其实这些都是那帮搞程序的故意留下的陷阱,为的就是让你们帮平台完成不可告人的秘密。但这些设定对于我来说都是儿童玩具。用我说的这个技术, 不仅能一键快速下载所有的资源,业余时间还能利用它做外包,每月多赚一台 max 的钱,它就是 paison 的爬取技术。什么是爬取技术?它就像是网络世界中的一个虚拟机器人,其作用是帮助用户突破各种互联网限制, 无限制的下载各种所需资源,例如之前提到的小电影资源。一旦你学会了 python 爬虫技术,你会发现用代码控制这些事情非常简单,而且一旦你熟练掌握,就会有很多和你一样的老司机需要人帮忙爬取各种资源,你就可以借此机会接点私活,相不相你自己品。这个技术的入门教程就在左下角,感兴趣的话赶紧去看看。

大家好,今天我们来进行一个非常有趣的实战,批量爬取全部小说。我们知道一部小说它的结构是固定的,就是分很多很多的章节, 然后每个章节点进去的话就是该章节的正文,所以说我们思路也是类似的。第一我们找到这个小说的目录页,得到其中所有章节的链接的地址。本节课我以八九文学网上面有一个叫龙王传说这么一本小说的爬曲进行演示, 这个页面呢就是他小说的一个首页,里面的话就是包含了所有章节的那个链接。同时这一步我们先爬取到这本小说所有章节的链接,然后第二步我们依次爬取每个章的小说的正文, 比如说他的一千八百六十八张龙身之心的话,就处于这个链接,如果观察这个链接的话,会发现首页是这么一个地址,零杠 九开头,然后他每张的正文的链接的话就是零杠九后面跟上了一个具体章节的 at 喵的一个链接。打开抠门浏览器,我们进入这个八九文学网,在这个页面中我找到了龙王传说这本小说,我点开就会发现他就是零杠九这个 ur 的地址, 然后这本小说我们往下翻,就会发现他所有章节的标题的列表,每个章节点进去的话就是这个章的正文的地址。接下来我们依次看一下小说首页的页面结构,以及每一章节正文的这个结构内容,便于爬取 在这个小说首页,我们右键点检查看一下他的编码,点开的里面看到有一个他的插下的是 gpk, 所以说我们需要做一个编码的处理,关掉,然后我们在一个具体的 章节的态度上点检查,我们上下一翻一看,就会发现他所有的章节的这个标题都处于一个表格的滴滴这个标签里面是个链接, 这个连接的内容呢就是这一张的标题,他的链接就是零杠九下压线一个 a t r 的格式,然后我打开具体的一张, 进入这个章节的正文了,以后我们进入正文右键点检查,往上拉, 你会发现他的内容呢都处于这个 d i v id 等于康等他,他在里面,所以说我们可以查找这个 d i v 标签,他的 id 等于 cont, 那么他的内容呢?就是这一章节的这种内容,这样的话我们就探索完了这本小说以及他每张的页面的结构,我们来进入开发,打开拍照目,我们 进行代码的编写,我们创建一个拍给机,比如说叫做 novo, 小说里面创建一个拍摄文件,我们叫做闷。 在这个函数中我们就按结构来写两个函数,第一个函数我们实现小说首页的爬取,就是得到它里面所有的粘贴的链接。 第二个函数呢,我们就爬取某一个章节去的正文,这样的话我们先调第一个函数,得到一个批量的链接,然后挨个调取第二个函数,得到了每一节的正文。我们先来写第一个函数,就是获取小说所有的章节的链接, 我们第一幅 get。 那我开始 如他幼儿 等于,也就是这个小说的首页的地址,我们粘贴过来,然后呢我排给他内容 r 等于,我们先 airpodry 快词 为快词点 get 入他幼儿。然后呢我们使用 bdossopp 进行他页面的解析,伐木 bs 四 apod beautifulshop 直接让 super 等于 beautiful 阿典 pass 解析器写成 at 二点 past, 这里注意编码需要处理一下,二点一扣定等于 gpk。 然后呢我们就可以看一下它里面滴滴 这个标签下面的所有的链接,我们可以放 d 音受谱点放到 滴。然后呢在滴滴的下面我们可以查找链接,也就是我们的章节的标题, 宁可让他等于滴滴点放的 a, 如果 note 零克肯定了,也就是说这个滴滴下面他没有链接,那么就认为他可能不是我们张家的标题,我们就略过去。然后呢,我们 pernt 令客 打印一下,我们先看一下这个函数能不能执行调右这个函数,我们右键运行一下,你会发现他完美的打印出了所有的章节的链接,这链接的号 呢,就是这个正经的 ur, 他的内容就是正经的胎头。那这个时候第一个函数我们可以安排让他返回两个内容,第一个就是他的 ur, 第二个是对应的胎头,我们怎么做呢? 第一套来等于一个类似他,然后这里的 pro 呢,我们可以改成第二点啊,喷的一个圆组,第一个元素呢,我们写成另刻号符。第二个是另刻点 get 他,也就是这个链接的标题,他的文本。这里有个问题我们需要处理一下,那就是这个 ur 是没有带域名的,所以我们把它给加上去,比如说我们把前面这一段给加上去,拼出来一个完整的链接, 百分之 s 带上这个联系地址,为什么直接是百分之 s? 是因为他前面已经带了这个斜线,我们只需要直接附在后面就可以了,然后呢不能忘了把他的内容给返回维特,对,他 这个时候我们就挨个可以便利这个内容,开吧他因他的所有的列表,然后我们挨个打印每个章节的信息 重新运行,这样的话你会发现他就返回了一个列表,这列表呢每个元素呢都是两个子元素,第一个是每个正文的链接,第二个是每个正文的标题, 所以说我们就可以实现第二函数,第二函数就是抓取这个标题定的正文对付 盖头, come on, come on 的就是抓取某一个章节的皱纹,我们传一个参数,那就是这一章节的油饵。 然后呢我们进入正文的抓取, r 等于为快速词点 get ur, 然后设置下编码啊,点音扣点等于 g b, k, 接下来把它放受谱里面进行解析,然后我们就可以获取他的卡顿的复制下上面的内容受谱的解析,然后呢我们就可以 reand 受谱点放的 d i v 标签,这个 id 呢等于 catet, 我们获取他的纯文本内容 getttex, 这样的话这个章节的本身的正文我们就得到了,那么这个时候在这里的话,我们就可以挨个便利这一章节,获取他的链接标题以及正文的内容。我们这里做一个输出, 我们把每个章节分拆成一个太子文件进行输出,所以怎么办呢?我们可以这样做,这里普通的开普通,我们变成一个 ur 开头,然后等于这个开普通,然后位子 oppo 用泰斗作为文件名,百分之 s 点泰克特,泰特写入模式,爱子 iphone, 我们 iphone 点 rap 写什么内容呢?就是 get 坑的,真这样的话, 这个代码其实我们就写完了,我们实现了什么事情呢?就是第一步抓取这个小时候所有的章节的信息,把他的链接抬到。第二步呢,我们便利每个章节获取他的正文的内容,我们先随便写一个 不瑞克来看一下能不能写出成功点。运行,运行结束,我们看到目录下就多了个文件,是最后一章节的内容,我们点开里面刚好就是这个小说这一章的正文的内容,这样的话 我们就可以挨个的进行爬取了。这里为了跟踪我们爬取的进度,所以说我这里做一下爬取进程的打印,我们先把这个列表组成一个变量,里面 能否开不了死,我们让他等于,然后编令的时候就变成这个能否看到的死,这个变亮,我们想打印牌子的进度,我们可以有两个变亮。第二是偷偷看他等于 这个总数的数目,然后呢我们加一个变量,叫做 idx 等于零,就是扒去第几个了,那么每次我们就可以打印一下 idx, 以及偷偷看等,就可以看到我们扒掉第几个了。当然在开始的时候, idx 需要加等于一, 代表爬取了一个,我们把这个博瑞克去掉,然后点开始重新运行,开始运行程序之后,这个代码就挨个的爬取每一个章节的内容,并且我们在这里点这个同步 这个目录星空 nice 的,你会发现它里面的章节内容在不停的添加,就是爬去具体的章节的内容,往下拉点进去就是这一章的正文的内容,这里我就 停掉了。通过这种方式我们就通过几十行的代码完成一本小说整体的爬去。这里我有两个函数来实现,第一个函数我输入一个小说的首页,我们爬去他对应的每个章节的链接以及标题。这第一个函数的作用 我们得到一个列表了以后我们第二步就是挨个辨立每个章节的链接,以胎套得到他对应的页面的正文,也是很简单,用快词和 btossop 很简单就能实现。这个目录下我们也看到我们爬取了很多很多的小的章节,当然这个函数大家可以改一下, 就把这个 iphone 给写在外面,这样的话我们可以按顺序把所有的内容写到一个太字里面。本节课这个小说的爬曲也让大家暂时认识到了派赠爬虫的美。 如果我们有些网站想看小说,但是他弹广告什么的非常不方便,我们可以自己爬取,把他内容得到下来,放到自己的手机里,慢慢的进行品味。本期的内容到此结束,谢谢大家。
