trae cn如何爬虫

今天给大家带来一个 python 爬虫来获取这个 vip 视频的一个案例。好，那接下来看程序啊，程序的话在这啊，一个写好了代码，点击运行走，它会弹出一个这样的界面，这里提示一下，仅供学习啊，不可用作他用。 好，那么接下来我们首先选择一个你喜欢的平台，比如就以爱奇艺为例，点击爱奇艺，那进入了他的官网是吧？接下来我们选择，比如像电影吧，想看电影，在电影分类里边自己选一个电影。嗯，这个不封追影吧，就这个吧。 ok， 那 么这个的话呢，首先会想看广告，那我就不看了啊，我甚至连会员都不想看，更别说看广告了。 接下来在这边我们复制一下这个视频的链接，然后呢粘贴到这个地方， ctrl v 粘贴，粘贴完之后点击播放 vip 视频就可以了，开始播放，那他就开始了，免费的，来，我快进一下啊。 哇，会干嘛？玩蹦极啊？行，那这就是我们今天的案例，谢谢大家，我们下次再见，拜拜。 男的，快叫我密码，爱你 ktv 让你快睡。我的是个贪污的多男的吧，男女，我会对我方便，你看见给你买一单车嘛。三天呐，都看到这个，我的小三都快离了，你怎么离我那么近？

欢迎来到爬虫，本期教大家如何利用 python 获取网页的 h t m l 资源信息。第一步，下载第三方模块 request， 它是 python 最流行的 http 请求库，因为是第三方的缘故，所以我们需要额外安装， 安装的方法就是使用 python 的 解释器，打开左下角终端，输入 piping start request 下载并安装。 安装成功后，我们需要新建一个编辑环境，然后使用 import 方法导入 request 库。接下来通过 request 点 get 方法就可以发送 get 请求了。 get 请求是 http 协议中最常用的一个请求方式，简单说就是向服务器索要数据的操作。我在这里呢，请求获取的是豆瓣的二零二五电影排行榜，这里需要把对应爬取的网页复制在 get 请求之后。 为了能获取响应的内容呢，我在前面复制了一个叫 response 的 变量，现在可以把这个 response 打印出来看看。 现在打印出来的是 response 对 象，也就是存放我们爬取内容的列表名，后面跟着的数字是 http 状态码。我们也可以通过 startcode 属性来查看返回的状态码。 状态码还是四幺八四幺八，它并不是一个表示成功的状态码，大家记一下，所有四开头的状态码都表示没有获取成功，大家呢，可以通过这个网页来查看获取的具体 http 状态码是什么意思， 这里状态码显示我是一个茶壶，也是比较有意思的一个状态嘛。之所以会遇到这种情况，是因为该网页在用这个状态码回应我们的爬虫。遇到这种情况呢，大家不要灰心，我们可以通过一种方式把我们的程序伪装成浏览器， 现在我们创建一个名为 reply 的 字典变量，字典里头写上 http 请求头 user agent， 后面跟上我们网页客户端发出的请求信息，作为 user agent 的 值。不过要怎么样获取我们的网页客户端请求信息呢？ 我们随便打开一个网页的任意界面，点击右键点击查看，在里边找到 not work， 点击进入，这样你就能看到浏览器帮你发送出去的所有 http 请求头，不过点击 notwork 的 时候要刷新一下，不然你是看不到的。我们点击任意请求，然后找到并展开 requestheadass， 找到 usagent， 然后呢，把里边的信息复制出来，放在我们的字典里， usagent 的 后面伪装成浏览器发送请求， 然后我们就可以把这个 reply 作为传入 get 里面， had 是 这个侧显参数的值。现在我们再运行一下试试看， 大家看到现在是零四，已经变成两百了，两百呢表示数据获取成功，这个时候响应题里面就会储存到服务器返回给我们的数据，这个时候咱们去打印 response， 点 text 就 能获取到那个页面的 html 源码。再运行一下，看看 这个 html 源码，上面就会有我们想要拿到的信息。看不太懂的朋友们呢，可以回顾一下我的上一期视频 是怎么依靠 html 源码组成网站的，看完了你就能熟悉 html 源码的组成结构。好了，我是韩川，我们下期见。

欢迎来到爬虫本期教大家如何用 beautiful soup 解析 html 内容。在上个视频里，我们发送了 get 请求，得到了网页的 html 内容后，就可以从中提取数据，获得我们想要的信息了。 如我们想要获取这里的所有电子书对应的标签和价格，就可以在我们获取网页的 html 内容里查看。那么问题来了， html 内容里可能非常复杂，手动挖掘率又极低，信息体量一大呢，我们的挖掘率就会限行递减。 但是不要担心， python 里有个叫 beautiful super 的 库，可以用来做 html 内容解析。它和 request 一 样，是个第三方需要额外安装的库。 安装方法是在终端或 cmd 输入 pip install bs 四，如果你是 mac os 系统的话，可能要输入 pip install bs 四，如果显示 successfully installed bs 四高零点零点二就表示安装成功了。 安装成功后，使用 from import 方法引用 b s 库的 beautiful super 模块。现在安装和引入都完成了。继上期视频，我们通过 request 的 方法完成了网页 html 内容的获取，并且储存在了一个叫 response 的 变量里。 那么下一行就是把这个储存好的变量传入 beautifulsuper 的 函数构造中。因为 beautifulsuper 除了能解析 html 内容之外，它还能解析一些其他类型的内容，所以我在后面放了第二个参数，去指定解析器， 把我们下载的网页内容呢丢给 beautifulsuper 解析。到了这一步，我们就可以打印出所有的网页信息了， 但是我们要获取的是网页书签的价格。所以在第八行我把解析好并复制给变量名 soup 的 html 的 内容和标签翻到奥放在了一起，它能够根据标签属性等找出我们想要的元素。 括号里的第一个参数是 p， 表示寻找 p 标签。第二个参数传入 artist 复制为一个字典键词队，对应的就是我们想要找的属性和值。那应该怎么样确定我们要找的标签属性和值呢？打开网页， 右键点击我们获取的网页页面，点击检查。在代码查询中点击左上角标签，然后把鼠标挪到你要查看的原代码标签页面上，屏幕的右边就会显示以上代码。现在我们可以看到价格代码的标签是 p 以及它的属性和值，分别是 class 和 piece， color 属性填完后返回一个可叠的对象，也就是说我们可以通过负循环依次操作提取我们想要获取的各个对象。 现在我们打印对象就能获取到储存在屁标签的价格信息了。那如果我们只想要数字，不想要这些 html 标签信息内容咋办呢？ 我们可以直接打印对象的迅速性，他会把标签包围的文字返回给系统，把价格输出出来，结果看着还不错。 那如果你觉得前面的货币符号很烦的话，我们还可以通过切变操作获得所引值大于等于一的所有。剩下的支付串 爬虫这项技能呢确实要求你能够随机应变，这样才能够爬取到你想要的内容。下个视频里我会教大家爬取更难的网页页面，让大家都能学会举一反三的爬虫技能。我是安装，我们下期见。

然后我们看一下这个模板的代码该怎么去使用，也就是说我们可以复制一下我想要去采集的当前的这个页面的它的这个链接，我们可以去复制一下，然后呢直接把它粘贴到我当前的这个代码当中，我们直接右键运行一下这个代码， 好等待他进行执行。那其实我们在这里面去看到的这些就是文章的内容，他不会去包含我们想要的这个标签的一些数据，那这里呈现的就是我们的目标提取出来的这样的一个数据信息， 所以说就不需要自己去写这个数据提取的逻辑了，也可以大大的增降低我们的这个工作量，可以提升这个效率。你看这里你邮件运行出来的跟我们去使用这个 cosai 工具 拿到的数据，它是不一样的，这上面的话就是它会包含很多的这个标签的一些数据信息啊，但是我们直接使用这个 cosai 的 话，其实要方便非常多的，这里的话就没有 这上面的这个开头，以及还有这个 a 标签的这样的数据。好，那今天的话就给大家去介绍分享到这里。