pyasa 爬虫教程第十三集叉 pad 语法教程我们每天都面临着海量的网页数据,如何从这些数据中快速准确地筛选出我们需要的信息呢?使用正则表达式筛选数据,语法太多又太复杂, beautiful super 四面对复杂的网页,解析起来又很慢, 叉 pass 就是 我们最好的选择。叉 pass 全称为叉 mail pass language, 意为叉 mail 路径语言,它通过路径表达式来筛选数据。什么是路径呢?就像大家在电脑中存放文件的时候一样,在电脑中文件存放的位置就是用路径来表示。 叉 pad 也是通过这样的路径表达式。例如一个基础的 html 网页源码长这个样子,使用叉 pad 来选举网页中的 d i v 元素,我们就这样做。网页中所有的元素都是从 html 元素开始的。 使用叉 plus 筛选元素也是从 html 元素出发,依次找到 body 元素,然后再找到 div 元素。在 python 中使用叉 plus, 通常我们需要使用到 l 叉 mail 库,所以我们需要先导入库,然后再解析我们的网页源码。 这一步大家可以理解为把元素摘取下来,等待我们使用之后,就可以使用叉 plus 语法来查找我们想要的数据啦。 使用叉 plus 语法查找到的元素以对象的形式返回,如果有多个对应的元素,也会以列表的形式,例如在这里我们有两个 diy 元素,所以在列表中就返回了两个对象。 通过这样的方式,我们每一次都要从 html 元素出发。为了语法更加简洁,叉 plus 还提供了让我们直接选举元素,例如使用两个斜杠就可以直接选举某个节点, 还可以使用艾特符号来选举属性,并且我们可以使用中括号来表示想要筛选哪一个具体的标签。 例如在这里我在中括号里面写上艾特 class 等于 content, 那 么就表示我想要筛选的元素是这个 class 名为 content 的 d i v 标签。 除了使用属性来筛选之外,我们也可以按照顺序,比如说这个 class 名为 content 的 d i v 元素,在整个 html 中属于第二个 d i v 标签,我们就可以在这个中括号内写上。二、 筛选到了元素之后,我们想要得到里面的文字内容,那么我们就可以在后面写上这个 test 方法。值得受益的是, test 方法获取到的文本会将文本中所有的换行符也显示出来。 x pad 之所以好用,除了使用自己写的 x pad 语法之外呢,绝大多数浏览器都支持一键复制, x pad 非常适合初学者哦。我们可以打开浏览器, 在浏览器中打开开发者模式,然后使用小箭头来筛选想要查找的数据。那找到这个元素之后呢,我们就可以右击点击复制,选择这个复制 x pad 语法。那么练习时间,我们来练习一下这个 x pad 吧。 今天要做的就是抓取豆瓣 top 二百五十的电影名。首先我们要打开这个网页,在这个网页中有豆瓣电影,前二百五十名的电影, 一页应该是放不下这么多的,一共每一页有二十五个,一共有十页,大家可以看每一页的网址都不相同,第一页是 start 等于零, 第二页是这个 start 等于二十五,那么一共有十页,我们需要获取到这十页的原始 html 代码,首先我们来复制这个网址,多复制几页的啊,大家来找一下这个规律, 现在我复制了三页的这个网址,大家找一下规律,基本上就是这个 start 的 值是不一样的,那么我们想要抓取这十页的内容的话,对这个值进行一些处理, 那么获取到网页的原始 html 代码,首先我们需要导入一个库来发起请求,也就是这个 request 库,然后今天我们需要使用到叉 plus 来解析网页源码,所以呢我们也来导入一下这个 l 叉 mail。 导入之后呢,我们来抓取网页的原始代码,因为呢一共有十页,每一页的 start 值不一样,只有数值的变化,所以呢我们可以写上一个负循环, 用 i 来代替里面的值。第一个值是起始值,我们都是从零开始的,一共是有二百五十个电影名, 但是最后一页的差值是二百二十五,我们依旧是要写上这个二五零,因为运行它并不包含这个结束值,所以呢我们要写上这个二百五, 每一页的不长是二十五,所以我们再写上不长二十五。那么我们发起到的请求就是这个样子的 url 使用 force genie, 每一次的 start 值,我们都用这个 i 来代替,我们得到了每一页的 url 之后呢,我们再来写上这个 hears 模拟浏览器来发起请求, 这个 healers 我 们可以在这个浏览器中点击检查,然后在网络选项卡中重新加载整个页面,然后在这里的标头内找到这个 user agent, 然后复制进去。 复制进去之后呢,我们就可以发起请求啦,只用一个变量 response 来保存发起请求得到的响应内容, 然后我们将响应内容解析,也就是解析 html 源码。解析之后呢,我们就可以通过叉 plus 语法来获取我们想要查找的元素,在这里呢,我们来获取电影名, 我们来看一下电影名是在什么位置。刚刚我们讲到,我们可以使用这个小鼠标找到这个我们想要抓取的电影名,右击点击这个复制,然后复制完整的叉 pad 来获取电影名。我们使用 print 语句来打印这个 names 好 运行这段代码可以看到我们抓取到了元素,但是并没有二百五十个电影名的元素。我们来看一下里面的文字内容是什么样的。可以看到我们确实是抓取了电影的名称,但是仅仅只有一二三四五六 七八九十,正好是美食业的第一个电影名,因为我们第二个电影名就与这个叉 plus 不 相同了,那么我们每一个都要去复制粘贴吗? 显然这样子做的话就比较的繁琐了,所以最好我们在筛选的时候需要自己找规律,使用自己写的叉 plus 语法。那么我们来观察每一个电影名称都是放在哪里的呢? 首先我们来观察这个消声卡的救赎,它是放到一个 class 名为 type 的 span 标签里面的,但是在这个下面我们就可以看到这个消声卡的救赎的英文名也是放在这里的。 显然如果我们只需要抓起这个中文名的话,这样子筛选并不能够精准的筛选,那么我们就需要找上一集, 上一集是一个 a 标签,而它的属性中只有这个和符,我们可以看到每一个电影名它的和符属性都不相同,那么我们又无法精准的筛选,我们就再往上面找一集,可以看到这个 class 名叫做 h d 的 d i v 标签, 是不是很眼熟?除了这个霸王别姬,我们刚刚找到了这个肖生克的救赎,它的电影名也是在这个 class 名为 h d 的 d i v 标签里面的, 那么我们就可以通过这个结构来找到电影名。首先我们需要找的就是 d i v 标签,并且呢这个 d i v 标签它的克拉斯名必须叫做 h d。 找到了这个 d i v 标签之后,我们可以看到肖生克的就属这个电影名,在 d i v 标签下面的 a 标签里面的 spin 标签下,所以我们接着来写这个成绩关系。 而 span 标签呢,可以看到除了有电影的名称之外,还有电影的英文名称和一些我们并不想要的东西,那么我们还要精准的筛选,那如果我们只需要中文的名字的话呢?我们也可以选择只需要第一个 span 标签, 那么我们可以这么写,然后写上 test。 现在我们来运行一下这段代码,看能否成功地抓取所有的豆瓣电影呢?可以看到已经开始下载了,一共有一二三四五 六七八九十十个列表,对应的就是十个网页中的所有电影名。 在网络爬虫和数据提取中呢,叉 pad 是 解析 html 结构提取目标数据的核心工具之一,也是最快最准确的。那么以上就是今天的所有内容,你还有任何的疑问吗?
粉丝21.3万获赞69.7万

你现在看到的是耗时三千九百五十六小时制作的二零二六全新数据分析实战教学爬虫篇,全长一百四十二小时三十三分钟,内容包含了爬虫概述、 web 请求、过程剖析、 request 实战抓取等知识点,零基础也能成为数分大牛。今天我们要讲解的是 xbox 入门。好的,那么接下来咱们就进入到了一个全新的解析方式,就叫叉 plus 解析 啊,那叉 plus 解析呢?是呃我们未来在写爬虫的时候经常能够使用到的一种解析方式,它比之前的 r e 也好,比那个 beautiful soap 也好啊,既高效,而且呢写起来还简单 啊。那叉 plus 它本身的含义是什么呢?叉 plus 是 呃在 h 啊 xml 文档中搜索 内容的一门语言啊,这个东西有点像谁呢?有点像那个政策表达式,他呢也是以表达表达式的形式来去解锁内容啊,就那个政策差不多也是写写一堆类似于类似原字母啊,但他原字母要简单的多, 就是这样的方式来去解锁叉 ml 里面内容。而 xml 呢,又是是什么呢?是 html 的, 你可以认为是,呃,对,就包含的就是啊,你写反了,应该是 html 是 html 的 一个子级 啊,一个子级对吧,就是说你你你 html 能处理,那么对于他儿的 html 而言也是肯定能搞定的啊。 那么在正式的讲解叉 plus 之前,我们得先了解一点点啊,一点点关于 x m, l 啊,或者说关于叉叉 plus 里面要用到的一些个概念性的问题啊。我们在这块来给各位复制一段这个东西啊,复制一段这个东西, 但是这里面还啊它跟叉啊,就我现在写的这段东西,它跟那个真正的叉 m l 还是差一些东西的,比如说一些头的信息,好吧,这里面我没有给头的信息,就看这些玩意儿就可以了。那么在这里面我们管 book, id name price, author 跟 nick, 就 这些东西, 就是每一个东西都称之,为什么呢?称之为节点啊,叫节点。在叉 m l 里面,它有个固定的词儿叫节点。那这个 book 啊,又被称为 id 啊, name 啊,还有 author 啊,它们的负节点 啊,他们的父节点。而那个 id name price 呢,又被称之为不可的子节点。也就是说这里面是存在父子关系的 啊,存在父子关系的不是 author, 就是 nick 的 的父节点, nick 呢,是 author 的 子节点。那这里面 id name price, 他 们三个,还有这个 author, 他 们四个之间又互为同胞节点啊,也可以称之为兄弟节点,他都都挨着啊,都挨着。那么这里面其实仔细琢磨的话,其实就是层级的关系,就谁包着谁,那谁就是谁爹, 你看懂吧?谁包着谁,谁就是谁爹。比方说这个,这个,这个不可就是它的负节点嘛,对不对?那这里面 author 包着这个 nick, 那 它呢,就是它的负节点,对吧?很简单的一个道理,那这个东西存在的话啊,我们用叉 plus 解析,就可以按照节点之间的关系来去查找某个节点 啊,用节点的关系来查找某个节点,比如说我想找 price, price 里面的这个一点二三,那我就可以干嘛呢?因为整个文档最外一层是什么?是不可,那我就直接找谁,从文档的根去找 不可,然后从不可里面去找谁呢?不可的儿子里面去找 price, 对 吧?这个就像那个文件夹路径是一样,像我们这个文件夹路径是一样的。我想找这个 a 美值,对吧?从爬虫,爬虫里面找第二张,第二张里面找 a 美值, 对吧?一层一层的去找,对吧?带个杠,一杠一杠一层一层往里面去找,对不对?所以这个其实就是一种叉 plus 的 语法规则,这就是叉 plus 的 语法规则,那也就是说它是靠着节点之间的关系去查找的我们想要的内容,当然它也可以通过属性来查找,像 beautiful 那 样也可以啊,也可以。 ok, 那 这是我们之前要啊,在学习叉 plus 之前要了解到的一些个啊 概念性的问题啊。然后接下来就是我们 python 里面,对吧?想用这个叉 plus 就 跟我们用 r e 似的,对吧? r e 我 会写了,但是还不够我们,呃,怎么在 python 里面使用上这些个啊,非常神奇的正则表达式呢?那我们用 r e 模块,那到了这个,这个这个叉 plus 这块,我们需要安装这么一个模块啊, 安装叫 l 叉呢模块,把它装 p i p 逻辑一样的 miniso。 l 叉呢啊,把这个模块去安装了,你如果需要国内的语言,嗯,哎,好吧,这个地方啊,再说一遍怎么安装?找到你的 terminal, 然后 p i p miniso 啊,这个地方是 l 叉呢?那我这个地方是已经是,呃安装过了的,如果你没装过的话,你可以把它装一下, 装完了之后,哎,我们用这个 l 叉 m l 里面的一些个功能就可以,对吧?使用叉 plus 解析了,而且呢,特别简单啊,特别简单。好,那接下来我这块既然已经装完了,那咱们就正式的去学习一下,对吧?这个,这个,这个叉 plus 啊,那在学习之前,对吧?他是解析什么呢?是不是解析这堆东西?你就解析这个 s m l 的, 那我得先准备一些 s m l 东西,对吧?那我之前说了他可能会有一些问题啊,我们在这边哎,在下面啊,呃,我看看啊, 下面这地方,来,我们把这段东西呢给它弄过来啊,我们把这段东西给它弄过来。来, 这是我提前准备好的一个就是 s m l 的 一个文档啊,一个大的文档。那呃,我起个 s m l 吧啊,然后我们需要首先导入啊,导入这个东西 e c 啊,导入一个叫 e c 的 东西啊,因为这个 e c 里面才包含了叉 pass 的 功能,叫 e c 点 x m l 啊,这个东西的对象点啊。叉 plus, 它是有这个叉 plus 功能的,所以这里面我们得借助一锤来去干这件事。那我现在一锤有了,我的这个节点的东西呢?也有了,那接下来我们就可以把这个节点干嘛呢?生成一个一锤里面的,对吧? x m l 的 对象, l 的 对象,对吧?那这个地方我 准备一个 tree, 等于一 tree 点,我现在要加载的是什么?是 x m l, 所以 点 x m l 啊,它还有很多种方式,比方说我加载 html, 比方说我我 pass 来 pass, pass 是 什么?加载一个文件,你看算什么?加载一个文件都可以啊,我这个地方加载的是叉 ml 啊,叉 ml 来叉 ml。 好,那也就说我们成功的把这些个内容啊,但有点长啊,一会来看把这些内容给他加载成一锤的一个对象,好吧,加载过来之后,那么一锤 对象点叉 plus 就 可以正常的使用叉 plus 的 功能啊,使用叉 plus 的 功能了。那么接下来咱们就来看一下这些节点啊,先看一下我给的这个这个节点,这个节点有个不可,就是我的根节点,那么我找所有的东西都得什么?是不是得从根去找去啊,对不对?那我找这个不可节点来找节点。杠 不可啊,杠不可,它的意思是来这个杠表示到同级关系,那么这里面的第一个杠你可以认为是什么呢?是根节点 啊,从根节点去找一些东西,那我们看一看有没有查找到任何内容啊?来,我把这个收一下啊,那在这地方我们来 result 等于 print result, 来,右键走 来,我们发现有东西,对吧?你甭管是哪,有个 element, element 什么意思?就节点啊,节点,我们成功的找到了一个节点,并且我这里面确实有一个不可这个节点,对吧?好,再往下,我从不光有这个不可,还不行,我想找这个野花 啊,我喜欢这个野花,野花香吗?对吧?那找这个野花怎么找?说不可里面的内幕节点还不行,我想找这个野花 啊,我喜欢这个野花,野花香吗?对吧?那找这个野花怎么找?说不可里面的内幕节点里面放着有个野花呢,对不对?那怎么办?看那往往下找,把这个注射掉啊, result 等于 tree 点叉 parts, 来找谁呢?找这个 book 里边的谁是不找刚才我说的那个叫 name 的 那个节点。来,往下再看一眼啊,找 book 里面的 name, 这个节点 name 里面放着我要的内容,那么我们看一眼。现在先看一眼有没有东西啊,来这个时候右键搜, 哎,很明显还是有个节点,但是老师你这个鬼东西就有点有点,对吧?耍流氓了,你刚才这个玩意也是打印这玩意,你这个东西也打印这个玩意,对吧?这就不公平啊不公平。我现在想看到 name 节点里边的这个文本,我想看里面的字,我想我想让你把字给我弄出来。那字怎么弄出来呢?注意,在这里面我们需要借助这样的东西来看看啊,试一下 来,在这个地方我们加上一个杠,因为我们要找的是内幕节点里边的东西,所以肯定来个杠,那这个杠里边我想要啥?我想要文本,你直接写这个不行, 你直接写它是不是相当于不可里面文内幕内幕里面有个 tax 的 节点呢?对不对?但我很明显我这个地方并不是想找 tax 的 节点,对吧?我并不是想找这玩意,我想找的是文本内容,那么叉叉 pass 里面我们需要这样做啊,这样做,那么也就是说 tax 的是哪? 来,我们试验一下,看看野花遍地香有没有这个野花遍地香就出来了,对吧?很神奇啊很神奇。哎,突然之间我们感觉,哎,这种方案是不是比我们之前的那几种方案是不是都好啊?对不对?他从根一层一层的去找,而且呢,用起来好像还不错,对吧?好像还不错, ok, 那 这是我们想拿到文本需要这样做。 那如果说我想,呃找的怎么讲呢?就是想找 nick 啊,想找 nick 里面的东西啊,想找 nick 里面的东西,那么这时候我你会发现啊,不可里面要找什么?找 also also 里面找 nick 那 这里面 nick 太多了, 对吧?这里面 nic 太多了而这有 nic 这还有 nic 对 不对?那我们来试验一下啊它会产生什么样的效果。 result 等于 tree 点叉 pass。 来我们这地方找 book 里面的 name。 不是 name 啊,那那个词叫 author 是 吧?作者啊 author author 里面找 nic 对不对?那那可来我们这个地方如果直接打印的话还是 element 啊。我想看这个文字,对吧?我把所有的文字弄出来啊方便咱们测试啊方便咱们测试这个地方我们右键逆行 对吧。周大强周芷若周杰伦蔡依林来,记住这几个这几个结论啊。来往上拉往上拉看着 allure 没错 allure 里面那个那个那个那个,对不对?来周大强周芷若周杰伦蔡依林各位有没有这个惹了惹了有点难受啊惹惹惹啊。热走 来往上拉看是不?没有这个热热热,所以你会发现,哎你现在找不着这里边的这个那个, 对吧?你找不着这里面的这个那个那我还想要他怎么办?我是不是得找从找得找他的负节点就 div 啊,从 div 里面找哪个所以这个时候你会很自然的会想到,哎我可不可以这样做找 div 对 不对?哎 sorry。 是 os 里面的 d i v os 里面找这个点,你看 os 里面找 d i v d i v 里面找内存,对不对? os 里面找 d i v d i 里面找内存,对吧?一切都是那么的合理对吧?哎我这个键盘好像连点了都 来,各位请看是不是热热热就出来了,但是我还不满足你现在直接给我拿到热热热了。我希望周大强周芷若周杰伦蔡依林这几个人都热,那就是什么意思呢?我要把这几个人和下面的热热热全都拿出来,全都拿出来,那这个时候怎么办呢?各位看好, 意味着如果想拿那个东西,意味着我这个 alter 后面如果直接指定 d i v, 那 么他直接就蹦这里来如果直接指定内克,那他又蹦上面这里面来了,对吧?那就这就很烦这就很烦,这就出现两种情况了,对吧?那我就这么干看好了,我把这个 d i v 改掉, 干掉干掉之后来 author 中间这个地方放两个杠。来,我们来跑一下啊,走,来,各位看,周大强周芷若周杰伦,蔡依林热热热热,来,注意看啊。我在这个,那这里面我再放一个。这个玩意 啊,聪明的小伙伴应该已经 get 到我要说的是什么了,再放一个一二三,用剑走 看,一二三全都拿出来了,那么这里面这俩杠是什么意思?从奥斯里面去给我找 nic 来从奥斯里面去给我找 nic。 直接找的儿子,是不?他这是啥?这是孙子这个是啥?这是重孙子, 对吧?那成功的一次性的把他的儿子孙子重孙子都给拽出来了,那这个什么意思?是不是后代, 对吧?他的后代的东西全部给他定了啊,给他定了,对不对?那这这这就比较狠啊这就比较狠。但是,哎呀,我觉得这样还不够好我觉得这样还不够好。我希望,哎,你能不能在这个后代里面,我想要这个啊,还有这个,我想要热一和热二 哎我想要热一和热二,哎。这个 diy 这个 spa, 好 吧,我起个名叫 spa, 哎,我这个时候再拿的话,各位啊,我在看呢,注意看啊,我这个时候想拿热一和热二,那么此时你正常到 alter 里面去找 diy, alter 里面去找 spa 没毛病,但是你一句话想把它提取出来就麻烦了,对吧?你看我如果写 alter 啊, alter 里面找什么? david, 对 吧?或者 alter 里面去找 spa, 这都没问题,对吧?然后在里面去找那个啊,这这这,这个是不变的, 来,这个是不变的,对不对?那也就说这个位置除了这个位置以外的都是一样的,那么这个位置能不能让他是任意的东西, 如果这个地方就是就是放啥都行,有点像咱们那个这个正则里面的那个点是不就完美了,对不对?哎,如果放个点的话什么都行,那这 diy 也行, spa 也行,它俩不就出来了吗?对不对?哦, ok, 那 么我要告诉你的是,咱们的这个这个叫叉 pass 也允许这么办,看着啊,在这写上一个星, 写上一个心,这个心他表示的意思就是任意的节点,任意的节点通配符来,任意 的节点叫通配符,你要理解,就跟咱俺们东北那嘎达打打那个打足字的时候有一个东西叫会儿, 哈哈,叫会儿啥都行,走,看热一和热二就出来,那这个节点是不是啥都行? d i v 也匹配,死板也匹配, 知道吧?哎,那这就是我们用叉 plus 哎能够拿到的一些的内容,对吧?能够搜索到我们节点里面的内容啊,这个是比较简单,那如果我想把下面这两玩意也拿出来,我想把这个整个这个 book 里面所有的内个全拿出来呢,也简单。各位, result 等于 tree 点叉 part, 来这里面儿,我来一个 book 里边儿的所有,哎 sorry, 所有的 make 里面的 text, 这是就所有的全出来,对吧?子孙嘛,后代嘛,要不要? sorry, 走,看周豆腐,周大强什么乱码七糟的是吧?都出来了,胖胖沉胖胖不沉,胖胖沉胖胖不沉。然后前面儿, 呃,臭豆腐对吧?这这第一层的那个都出来,对不对?哎,我们发现这个叉 plus 是 吧?处理起来这种东西确实得行,用手啊,确实得行,用手。好,那这是咱们关于叉 plus 解析的第一讲,各位可以把这些东西去练一练,去试一试,然后下一章节咱们接着聊叉 plus, 好,那接下来咱们接着说这个叉 plus 解析。那在上课之前,我们先看一下我准备好的一个,呃, html 文件啊,那这里面呢?其实就是一个网页啊,里面有这个 啊, u l l i 啊,还有这个超链接啊,然后还有 ol, 还有 d i v 等等,反正就把这页面弄的,呃,多一点东西吧。那多点东西,然后我们上上这里面呢,去查找一些我们想要的东西啊,先把这个网页给它跑一下 啊,跑一下啊,虽然丑一点啊,但是确确实实它是一个网站。那我们想从这个 html 文件里面想提取到内容的话呢,用叉 plus 怎么来做对吧?哎,主要是咱们这节课要讨论的东西。首先第一件事, from l china import e tree, 对 吧?把它弄进来,然后我上节课讲过这个 e tree 呢,它可以直接去加载一个 html 文件,那么这个时候除以等于 e tree 点啊,这个是 plus, 对吧?把那个文件弄进来,那文件呢?叫 b 点 h t m m, 那 把这个文件读出来,那这个时候接下来我就可以从这个 tree, 对 吧?点叉叉 s, 对 吧?从里面去提取到一些内容,我们先提取 h t m l 那 result 等于来 print result 啊,直接来拿这个 result 的 结果,哎,我们发现有一个节点对不对?但这个时候 我们现在其实拿着 ltm 没什么用啊,因为我的目的肯定是想从这个网页里面提取到,比方说百度啊,谷歌啊,搜狗啊这些东西,对不对?那比方说我现在想拿到这三个超链接里面对应的三个文字 啊,三个文字,百度、谷歌和搜狗。那我想拿这个东西的话,我如果通过叉 pass 的 手段来获取,那么根节点是什么?是包的?从包的里面呢?找到这个 u l, 然后找 li, 然后找这个 a 标签啊,注意这个地方有一个坑啊, 这地方是这样的啊,是这样的一个关系啊,那这个时候从 htm, 然后找 body, 然后找 ul, 找 li, 我 们尝试一下啊,看看好不好用来 result 等于 tree, 点叉 pass, 然后我们找 htm 里面, body 里面, ul 里面, li 里面的 a 标签来看一眼,效果走 来一二三,哎,这一面恰好是一二三,那我想拿文字的话怎么办呢?直接后面跟上一个杠 text, 对 吧?杠 text 来走 百度,谷歌、搜狗,就是成功就拿到我们想要的东西了,对不对?那有些时候我们其实啊,并不希望说把这三个都拿出来,哎,我想要其中的某一个,那怎么办呢?哎,那这个时候可以由这样的第一种方案来去处理,比方说,哎,我在这个地方 l i 啊,我取第一个来,这个时候我们运行一下,走 来看,只有百度出来了,那么一就是第一个,来数一下,第一就是第一个,百度就出来了,所以这里面其实,嗯,有为我们之前作为程序员的一个准则啊,程序员一般数数都是从零开始数的, 嗯,对吧?那这个地方叉 pass 的 顺序是从一开始数啊,从一开始数的,那么这样的话咱们就可以单独拎出来数,第一个,第二个,第三个,对不对?哎,就能够提取到我们想要的内容了,那这个中括号表示的是所以啊,中括号表示 所以啊,在这个地方如果给数字的话,是,所以啊,是数字是,所以。那么再往下回,接下来我们来思考一个问题啊,我现在,哎,我现在想拿到和服的值是大炮的这个 a 标签, 可好?我的需求,我想拿和服的值是大炮的这一个标签,哎,那这个时候我们想解锁, 去想想去解锁它的话,我们其实可以这样来做啊,前面的前面都一样, html 里面找包得找 o l, 然后找 l i, 然后呢?找 l i l i 里面是什么? a 标签,但是这个 a 标签有一个特殊性,就是我要求的必须是括号等于大炮,对吧?那接下来我们来写这个程序啊, 我把这个挪动挪右面去,挪右面去方位,我们去观察,对吧?这样的话就,呃,很容易看到这个节点关系了,是吧? ok, 那 result 等于 tree 加叉 pos h t m l 里面找包,得找 u l, 哎,不是,是 ol, 对 吧?是这个东西啊, ol, ol 里面呢,还得找 a 标签, a 标签要求的是和负的值,必须是大炮的这个 必须是大炮的这个,那这个怎么办呢?啊?怎么办呢?我们可以在这块加一个中括号,继续做筛选,但是中括号咱们说了,直接写一写数字是缩引的意思,第一个,第二个,第三个,对吧?但这个地方就不一样了,我们还可以这样来做,写个圈 a herf, 它的意思是在 a 标签里边的属性,属性啊,圈 a 等于属性 herf 属性的值必须是谁呢?大炮, 哎,必须是大炮,我才会把你解锁出来。这个地方有点像什么?像咱们之前讲的那个,呃, beautiful soup 啊,它的那个规则 a 标签里面有什么特殊性啊? her 的 值必须是大炮的 a 标签,哎,我才把它拿出来,拿出来之后还是我想要文本,对吧?来看一眼,走 来,成功的提取到了大炮,对吧?那我们就找到了这个节点,所以我们通过这种方式也可以做对属性做一个筛选,所以这个地方来中挂号啊,圈 a 某某某等于某某某,那这个呢?是属性的筛选 啊,筛选,属性的筛选, ok, 那 再往下我们接着来看啊,接着看,接着看呢,还有这样的一种规则,比方说我现在想让你把这里面的 li 哎里面的每一个 li 做一个, 呃,怎么讲呢?做一个便利,哎,我希望你能把这个每一个 l i 呢做一个便利,那这个时候我就可以这样来做,首先找到所有的 l i, 对 吧?找到所有的 l i 就是 ol 里面的啊,所有的 ol, 那 这时候可以这样来做,来 ol 里面的 ol list 等于 tree 点叉 plus, 找谁呢?是不是找这个,这个,这个 h t m l, 对 吧? h t m l 里面的包的包的里面呢?再去找这个 o l 啊,找找这个 o l, 然后 o l 里面找来找 li 啊,对 li, 那 么这样的话,我这个里面这个列表里面实际上就放着是不这三个标签啊, 对不对?放着这三个标签来,我们把它 o l 里面这个列表里面实际上就放着是不这三个标签啊, 对不对?放这三个标签来,我们把它拿上去啊?拿上面去就是一下。那有这三个这个这个这个标签之后呢?我通常情况下是需要循环的啊,后立印 o l 那 这个列表,然后我们去打印一下 l i 对 不对?来右键走, ok, 我 们能发现一二三三个节点,那对应的应该是这个,这个和这个节点,对不对?那我现在接下来的问题是,这个看好啊, 从每一个 li 中提取到什么呢?文字信息,从每个 li 里面去找 a 标签,从 a 里面再找这个文字信息。我希望的是看到的是飞机、大炮和火车。那这个时候我们从 li 再去点叉 plus, 是吧?可以继续去寻找,但是这个时候由于你现在的这个 li, 他 已经不是什么整体的根节点了,听好啊,他不是整体的这个文档的根节点了,他是在这个节点上继续去寻找。听好这句话,继续去寻找,来, 在 l i 中继续去寻找。那么此时它是一个什么?是个相对查找,它是一个相对查找,那么用相对查找的时候记着这一点就可以了。我们 从这个位置想再往里面去找,那么我们得去用这么一个东西叫点杠,那这个点杠表示的是当前节点,那么从 l i 出发,当前节点是不是就 l i 了? 那么从 li 里边再去找,找谁呢?找这个 a 标签, a 标签里面我想拿到比如说他的文字信息,飞机两个字,那我就可以 pass, 哎,这也就拿到那个那个那个文字信息了,那也就说这里面有一个特殊性,就这个点杠啊,这个点杠表示的是相对查找,那么相对查找的时候就相对于你当前的这个标签到底是谁?当前的标签是 li 好 了,那就从 li 往里边再去找啊,往里边再去找。来,我们来试验一下,走。 哎,我没打印东西吧,对吧?这没打印东西,来 pro 一下, pro 来,走你啊,飞机,大炮啊,大炮,火车,对不对?一个一个的就拿出来了啊,就拿出来了,但是我现在感觉好像还是缺点东西,我想干嘛? 我希望你现在找到 a 标签,哎,我希望你把 a 标签的和服的值给我拿到,那我们可以这样来做啊,我把这个干掉啊。 来 result 二等于 l i 点叉 plus, 注意啊,这是相对的查找,对吧?相对的话就可以这样点杠啊,然后找到 a 标签,注意接下来的操作。我想找的是 a 标签里边的和 f 的 值,注意看,我说的是 a 标签里边的和 f 的 值,那里边就得这样。 那我写 andrew 是 不是也也不行?那 andrew 的 话相当于是 a 标签里面套了个 andrew, 对 不对?那我找的很明显不是这种东西,那我想找到它属性值,那可以这样做,加上一个圈 a, 对 吧?咱刚才不讲过吗?我们想表示属性的话,用谁表示?用这个圈 a 和圈 a 表示的是属性,所以这个时候我想拿属性的值,就可以通过这种方式直接去拿来,我们来看一眼效果, print result, 二来走 看这地方,飞机,大炮,火车,对吧?成功的就拿到了这些东西啊,拿到了这些东西,所以我们想拿属性, 拿到属性值,那么通过圈 a 啊,这属性去拿,去拿去,去拿我们想要的这个数据, ok, 那 这是我们啊,想拿属性,可以想来拿, 那么还有一种情况是比较啊,怎么讲呢?比较特殊的啊,还有种情况比较特殊,还可以啊,不单单可以是这样,这种方式就是就相对的路径去寻找,还可以一次性的拿到这里面所有的 a 标签的属性的值。注意啊,我拿上面这个, 我想拿这个 u l 里面所有的 a 标签的和服的值,那我还可以一句话把它搞定,注意看 print 来叫 e 锤或者锤 点叉 pass, 那 我们去找谁呢?找这里面的 html, 哎, h t m l 里面的包的 里面的 u, l 里面的 l i 里面的 a, 然后啵加上一个二,这样也行,这样的话也行,因为在这里面这三个节点是不是都符合这个叉方式, 对吧?都符合这个叉 plus 的 规则,那只要是 html html 里面找谁找谁找 u l u l 里面找 l i l i 里面找 a, 那 正好它的这个路径是符合我的这个叉 plus 的, 然后我找他们的谁括号的值,那这个时候出来的就是 一堆,看那一个链接,两个链接,三个链接就都拿出来啊,都拿出来了,那么这两种方案可能会有,呃,不同的地方可能会用到两种不同的解决方案啊,你要想明白啊,都可以啊,都可以。 好,那这是咱们要聊的关于叉 plus 的 第啊怎么讲?第二讲吧,对吧?一些的基本的语法规则这都是讲语法啊,都是讲语法,然后接下来讲一个小技巧啊,讲一个小技巧,你会发现这个李嘉诚啊还没使上呢, 对吧?李嘉诚还没使上,那我不可能平白无故的往这写个李嘉诚在这,对吧?我现在想当李嘉诚。注意了,如果我的页面极其的复杂 极其的复杂,你现在只只是包在里面哐叽直接怼那个 diy 对 吧?如果嗵嗵嗵嗵好几十层 diy 你 数起来是不是也头也头疼对不对?那有没有好的方案呢?有,从这从这啊,这是我的页面对不对?那右键注意看啊,右键然后有一个叫检查, 哎,检查的时候它会默认进到 element 这个节点啊,或者说看好前面有这么一个箭头 点一下这箭头,那比方说我想找这个李嘉诚,好找到李嘉诚,你看我一动的时候你会发现右边大眼在动,看见没?哎,我把它选选择到李嘉诚上,然后点击一下走 看点击完之后右边就会给我选中这个节点,并且我鼠标在这悬浮,哎,进行移动的时候你会发现他跟左边是一一对应的,换句话说什么意思呢?就是你这一边的内容 哎,你这一边的内容是通过这行代码出来的啊,那再再反过来的话就这行代码表示的是这些东西对不对啊?也就说它是一个动态的一个效果啊,它是一个动态的效果,并且啊这个地方正好是这个节点。那我想拿它的叉 plus 怎么办呢?右键 copy copy plus 看到了吧?这这这都可以,我选择 copy plus 来走点, 点完之后来过来,到这边来来,我们直接 for each 来几点?叉 plus 来弄起来,那它会告诉你是 html 里面的 body 里面的 div 第一个, 对吧?那这不 div, 这不就是两个 div 吗?这是第一个对不对?哎,你会发现这个玩意,哎,好像有点意思,对吧?我预习一下啊,走 来看,也能检测到我要的东西,然后 pass, 对 吧?该补齐的补齐,哎,哎,也 ok, 对 吧?也 ok。 然后还有一个技巧啊,还有一个技巧,比方说我想找大炮的叉 plus 来,这是大炮 copy 叉 plus 来,各位看着啊。接下来就有意思了,来 copy 叉 plus 对 不对? l 里面包的包的里面 o i o l 里面的第二个 l i, 来找 ol 里面的第一个 l i, 然后找到它的 a 标签,是吧? a 标签确实是我要的那个大炮,那么这个时候我想 拿飞机大炮和火车怎么办呢?我说把这个具体的哪一个干掉,是不是就飞机大炮和火车了, 对吧?哎,走,仔细看,飞机大炮,火车,对不对?所以这个东西可以干嘛呢?就是你可以在这面,哎,复制过来,把那叉 plus 复制过来,然后呢,你自己再做一点点的微调 啊,做一点点的微调,然后你再去哎处理,就是呃,它的这个逻辑,哎,就就就就,很方便啊,很方便。所以咱们的这谷歌浏览器的这个 f 十二啊,程序员的这个开发啊工具,你还是把它多练练,多熟悉熟悉啊,里面很很多非常非常棒的功能啊。 好了,那这个关于这个叉 pass 的 一些个功能以及这些小技巧,对吧?就跟各位聊到这啊,然后下一小节咱们进入到实战阶段。

pyasa 爬虫教程第十三集叉 pass 语法教程我们每天都会面对海量的网页数据,怎么才能快速又准确地从中筛出我们需要的信息呢?有人会想到用正则表达式,但正则的语法太多了,又复杂。也有人用 beautiful soup 四, 可一旦网页结构复杂,解析起来就特别慢。那有没有一种方案既比正则好写,又比 beautiful soup 四快呢?叉 pass 就是 最好的选择。 叉 pass 的 全称是叉 ml pass language, 也就是叉 ml 路径语言,它的核心就是通过路径表达式来筛选数据。那什么是路径呢? 很简单,就像你在电脑里存文件,文件在磁盘上的位置就是路径,叉 pass 也是这个意思。举个例子,假设我们有一个非常基础的 html 网页源码,如果我们想用叉 pass 来选举网页中的 d i v 元素,就可以这样写,网页中所有的元素都是从 html 元素开始的。 使用叉 pass 筛选元素也是从 html 元素出发,接着找到 body 元素,然后再找到 d i v 元素。在 python 中使用叉 pass, 通常我们需要使用到 l x m l 库, 所以我们第一步要先导入库,然后把网页源码解析成 l x m l 能够识别的结构。这一步你可以理解为把网页的元素摘取下来,等待后续使用 之后,就可以使用叉 pass 语法来查找我们想要的数据了。使用叉 pass 语法查找到的元素以对象的形式返回,如果有多个匹配的元素,就会以列表的形式存放。比如,如果页面上有两个 d i v 元素,列表中就会返回两个对象。 每次都从 html 开始写完整路径,有时候会显得啰嗦,为了让语法更紧凑,叉 pass 也提供了一些简写方式。比如用两个斜杠就可以直接选中文档里的某个节点,不用管它在哪一层。用艾特符号可以选属性,还可以用中括号来指定要筛的是哪个具体的标签。 比方说我在中框号里写 add class 等于 content, 意思就是我想要筛选那个 class 名叫 content div, 标签除了按属性筛,还可以按顺序筛,比如那个 class 名为 content div, 标签是整个 html 里第二个 div, 那 我就在中框号里写个二。 筛选到了元素之后,如果想获取里面的文本内容,会保留原来的换行符, 这一点在实际使用时很有用。叉 plus 之所以很受欢迎,除了语法本身灵活之外,还有一个很重要的原因,绝大多数浏览器都支持直接复制叉 plus 对 初学者非常友好,你打开浏览器的开发者模式,用小箭头点一下你想要的数据,找到那个元素之后,右键点击复制,选择这个复制叉 plus 就 可以得到了叉 plus 语法。 好了,说了这么多,接下来就是练习时间了,我们来实际动手操作一下叉 pass 吧。首先我们来看一下这二百五十本读物到底是放在哪个地方呢? 在这个页面中,我们可以看到一页是放不下二百五十本书的简介的,所以一共分了十页,而每一页的网址都不相同。 在这里,第二页他的 start 值是二十五,第一页是 start 等于零,那么每页都不相同。到第十页我们再来看一下, 可以看到是二百二十五。那么我们想要抓取这些链接里的书单,我们首先就需要先使用上 request 库, 然后这一次我们需要使用叉 pass 来解析网页源码,所以导入一下这个 l x m l。 那 么我们一共要抓取到的有十页网址, 我们需要对这十页网址进行一下分别抓取,我们来观察一下这些网址有什么特点,这是我随机复制的三页的网址,那么在这里我们可以看到除了 start 后面的值不相同之外,前面都是一样的,说明我们只需要修改这个 start 值就可以成功抓取这十页网址了。那么我们就可以利用 for 循环 写上 rand 零二百五十到二十五,零表示起始值是零,那么我们第一页的起始值是零, 第二个二百五十,因为一共有十页,虽然最后一页的网址是二百二十五,但是 range 函数是包含起始值,不包含结束值,所以我们还是写上二百五十。第一页跳转到第二页,数值之间的差值是二十五,所以我们设置不长尾二十五, 那这样我们就可以得到了这个完整的 u l 是 这个样子的。得到了网址之后,我们写上 headers 来模拟浏览器发起请求, 在 header 里面写上 user agent, 写上请求头之后我们就可以来发起请求了。我们使用 request 的 模块来发起请求, 然后将响应的内容保存到 response 这个变量中。最后我们也要利用 ltrimel 来解析网页中的原始内容,那么我们就需要写上解析后的东西, html 等于 html, 使用叉 ml 中的 html 方法来直接解析网页中的原始代码。 解析了之后呢,我们就可以利用叉 pass 来取名,那么我们写上一个变量 names, 在 这里我们来看一下我们的叉 pass 语法应该怎么写呢? 首先我们在网页浏览器中观察一下每一个书名是放在哪一个标签里面的,我们使用这个小鼠标,然后移动到这个书名上,可以看到这个书名是用一个 a 标签来包裹的,那我选择一下另一本书,看一下是不是也是用这个 a 标签包裹的呢? 同样也是用 a 标签包裹的,那么我们只抓取 a 标签,能不能获取到所有的小说明呢?答案肯定是可以的, 但是我们肯定会多一些多余的标签,比如说我查找一下这个页面中可以看到除了这个说明之外,还有一些乱七八糟的,比如说这个登录啊,注册了,然后下载豆瓣客户端啊,这些呢都是额外我们并不需要的数据, 所以我们想要精准地筛选到数据呢,我们就需要再更加精细地筛选,既然 a 标签不能够直接筛选到, 那么我们就找到包含它的上一级标签,可以看到这个书名是在这个 class 名为 p l 二的 d i v 标签里面的,那我们看一下每一个书名是不是都是在这个 p l 二的 d i v 标签呢? 可以看到不管是这个论语还是这个绘影片,都包含在了这个 class 名为 p l 二的 d i v 标签里面,那么我们就需要在这里写上,先找到一个 d i v 标签,并且呢它的 class 名必须是叫做 p l 二,然后呢找到下面的 a 标签, 找到 a 标签之后呢,我们就可以提取里面的文字了,那我现在来打印一下,看能不能成功获取到书名。 可以看到我们确实成功地获取到了书名,但是呢,得到了一些反斜杠符,这是为什么呢?因为在这个网页中,我们可以看到它给我们加入了一些特殊的符号,比如说这个按的 n, b, s, p。 这个意思呢,就是加入了空格符,可以使用那个字母串隔断过滤到反斜杠。还有一个方法就是我们可以发现在这个 a 标签中呢, title 也正好是这本书的名字,那么我们可以直接抓取这个 a 标签的属性, title 就 可以获取到干净的书名了。 现在呢,我们就得到了干净的数据了。在爬虫中,正则表达是筛选数据适合纯文本的快速匹配,但是对嵌套结构无能为力。 而 beautiful soup 虽然适合初学者快速上手,但是在复杂文档或者性能要求高时显得笨重。所以叉 pass 才是我们在网络爬虫中最常用到的筛选数据方式。好了,如果你还有什么疑问,欢迎在评论区留言,我们下个视频,再见!拜拜!

本视频耗时三个月,制作共计五十分钟,一口气带你速通拍档爬虫动画教学,通俗易懂,讲解精练,绝无废话,看完让你能光速入门爬虫,我们开始吧! 写一个爬虫程序总共分几步?这个过程可能比你想象中更简单。第一步是获取网页内容。我们会通过代码给一个网站服务器发送请求,他会返回给我们网页上的内容。 在我们平时用浏览器访问网页内容时,本质上也是给网站服务器发送一个请求,服务器返回网页内容。只不过浏览器还会进行一个额外的步骤,就是把内容渲染成直观优美的页面,给用户进行展现。 而用程序获得的内容,因为没有渲染步骤,所以我们看到的更加原始。第二步是解析网页内容。 我们在上一个步骤可以获取到整个网页的内容,但那太多太全了,很可能不是我们想要的。 比如说一个商品界面,我们可能只对商品名和价格感兴趣,至于活动信息、用户评价等内容,我们都不需要,所以需要对内容进行解析,把想要的数据提取出来。 第三步是储存或分析数据。这一步骤如何执行就取决于具体需求了。比如,如果你一开始是为了收集数据集,那这一步骤可能就是把数据储存进数据库。如果你一开始是为了分析数据趋势,那这一步骤可能就是把数据做成实时图表。 如果你一开始是为了仪情监控,这一步骤可能就是用 ai 做文本情绪分析, 这些步骤适用于一个网页内容的情况。当然,我们还可以给一串网址,让程序一个个去爬取,或者让程序以某个网址为根,顺着把那个网页上链接指向的地址也爬取一遍,总之任你定义。 那关于爬虫,一直流传着一句话是,爬虫玩的好,劳饭吃的早。难道这门技术真的是越学越有盼头?但其实技术本身是中立无罪的,就像刀具,不犯法就看怎么用。 爬床作为一个便捷且低成本获得数据的方式,应用非常广泛。但同时你必须遵守一些规则,包括不要爬取公民隐私数据,不要爬取受版权保护的内容,不要爬取国家事务、国防建设、尖端科学技术领域的计算机系统等。 除了以上红线之外,你还要确保自己写的爬虫是一只温和善良的虫。第一,他的请求数量和频率不能过高,否则可能无异于 ddos 攻击。 ddos 攻击就是通过给服务器发送海量高频的请求,让网站资源被耗尽,无法服务其他正常用户。 第二,网站如果做出了明显的反爬限制,比如有些内容要登录后才可查看,或是有验证码等限制机器的机制,就不要去强行突破。 第三,你可以通过查看网站的 robots, 点 txt 文件,了解可爬取的网页路径范围,这个文件会指明哪些网页允许被爬取,哪些不允许被爬取,有些还会专门列出针对搜索引擎爬虫的许可范围。 在确保了解和遵守以上规则后,你就可以放心大胆的学习爬虫了。针对爬虫的各个步骤,我们需要掌握哪些知识呢? 在获取网页内容方面,我们先学习 http 请求,因为我们会通过发送 http 请求来获得网页内容。接下来我们会学习 python 的 request tool, 通过它我们就可以用 python 代码简单优雅的发送 http 请求。 在解析网页内容方面,我们会学习 html 网页结构,因为发送请求后获得的内容很多情况下会是 html 格式。然后我们会学习 python 的 beautiful soup cool, 它能帮助我们解析获取到的 html 内容,帮我们真正想要的信息提取出来。 至于最后一步,储存或分析数据,由于具体做什么因需求而异,所以这门课只涉及前面两个通用步骤,然后小小剧透一步。我之后也打算制作数据分析相关课程,如果你有需要,可以期待一下。 在了解这些之后,终于要开始学习具体知识了,我们下个视频见。 我们将通过发送 http 请求来获得网页内容。 http 是 hypertext transfer protocol 的 缩写,意思是抄文本传输协议。 它是一种客户端和服务器之间的请求响应协议。比如说浏览器就可以被看作客户端。当我们在浏览器地址栏输入想访问的网址,按下回车后,浏览器就会向该网站的服务器发送一个请求,然后等待服务器返回给浏览器响应。 http 实际上有不同的请求方法,最常见的两种是 get 和 post。 get 主要用于获得数据, post 主要用于创建数据。 比如说我们进入一个网页,浏览器会发送 get 请求得到网页内容。当我们提交账号、注册表单时,浏览器会发送 post 请求,把你的用户名、密码等信息放到请求主体里,给到服务器。 由于爬虫程序基本上是在获得数据,所以我们发送的请求大部分情况下用 get 方法。除了方法类型,一个完整的 http 请求例子长这样,它呢由三部分组成,请求行、请求头、请求体。 请求行会包含方法类型、资源路径和协议版本。资源路径指明了你要访问服务器的哪个资源。比如下面这个网址里,第一个斜杠表示资源路径的根,所以根后面的 movie top 二百五十就是要访问的资源的路径。 有时候除了资源路径,我们还可以在这里给出查询参数,比如说下面这个网址里,问号后面的就是查询参数,可以传递给服务器额外的信息,不同信息之间用 and 符号分割, 比如通过 start 参数等于七十五,豆瓣的服务器就知道。 ok, 咱们返回给用户的页面,内容从排在第七十五的电影开始往后展示。 请求行里的最后一项是协议版本,指的是 http 协议的版本,比如 http 一 点零, http 一 点一等。请求头会包含一些给服务器的信息,比如 host、 user agent、 accept 等等。 host 指主机域名,主机域名结合请求行里的路径资源,可以得到一个完整的网址。斜杠前的这部分是域名,斜杠后的是路径问号后的是查询参数。 usaid agent 呢,用来告知服务器客户端的相关信息,比如请求是浏览器发出来的还是其他东西发出来的,如果是浏览器的话,类型是什么,版本是什么等等。 accept 是 在告诉服务器客户端想接收响应数据是什么类型的,接收多种类型的话,可以用逗号进行分割,如果是星号、斜杠,星号,表示啥类型都行。 最后,请求体里面可以放客户端传给服务器的其他任意数据,但是 get 方法的请求体一般是空的, 那在服务器接收到 http 请求后,它会根据所有这些信息返回 http 响应。 响应也由三个部分组成,状态行、响应头、响应体。状态行包含了协议版本、状态码、状态消息。协议版本咱们前面讲请求的时候提过,可以是比如 http 一 点。一 状态码和状态消息则是对应的,常见的状态码和状态消息有这些,二开头的表示成功,请求已经完成处理。三开头的表示重定向,需要进一步的操作。 四开头的表示客户端错误,比如请求里面有错误或请求的资源无效等等。五开头的表示服务器错误,比如出现问题或正在维护。我们在不小心输入错误的网址后,一般会来到一个展示四零四的页面,这个四零四就是 http 状态码。 响应头会包含一些告知客户端的信息,比如 date 生成响应的日期和时间。 content type, 返回内容的类型及编码格式,比如 text, html charset 等于 utf 杠八,说明类型是 html, 编码是 utf 八。 最后呢,响应体里面就是服务器想给客户端的数据内容,比如如果前面说内容类型是 html, 这里就应该是 html 内容,我后续会对 html 进行讲解,现在先知道它大概长这样就行了,里头有非常多的尖括号。 当我们要如何通过 pad 去构建和发送一个 http 请求呢?又要如何获得 http 响应呢?请见下回分解,我们下个视频见。 pad 的 request 库,让我们可以通过 pad 代码去构建和发送 http 请求。首先呢,由于这个库是第三方库,并不是 pad 自带的,我们要先安装它, 打开编辑器,在终端输入 pip install requests。 如果是 mac os 系统的话,可能要输入 pip 三 install requests。 如果执行后有一行显示 successfully installed request, 说明已经安装成功了。 如果显示 requirement already satisfied requests, 以某某路径,说明你之前安装过 requests, 也无需再安装了。 但如果显示找不到 pad, 说明你的电脑上还没有 pad。 这个 pad 包管理工具,你可以去到这个网页,按照针对不同操作系统的指引进行安装,然后再用 pad 安装 requests。 安装成功以后,咱们就可以在 pad 程序里引用和使用这个库了,引用就用 import 语句。使用的方法非常简单,我们想发送 get 请求,就用 get 这个函数参数传入 url。 需要注意的是,我们平时在浏览器地址栏输入网址时,前面的协议名比如 http 或 http s, 不 需要我们手动打进去,浏览器会我们自动加上。 但在代码里作为参数传入时,我们需要手动包含前面的协议名,才能构成一个完整的 url。 如果你把 get 返回的东西 print 出来,它会发现它是一个 response 类的实体,代表着服务器发回给我们的响应。 响应时里包含的属性有 status code, 即 http 状态码。如果状态码等于二百,说明请求成功。如果是四零四,你就得检查一下传入的 url 是 不是有问题,因为状态码表示资源不存在, 我们在请求成功时,响应题里面才是我们想要的信息,所以需要根据状态码判断到底成没成功。 但相比用状态码一个个范围去判断,更简单的方法是,我们可以用 responce 类的 ok 属性,如果 ok 属性为 true, 说明请求成功,否则说明失败,代码会简洁很多。那如果请求成功,我们想查看响应体里面服务器返回的内容。 response 类的 text 属性会以自创创储存响应内容,所以我们可以直接通过它获取。你可以用 h d d p books 点 toscrap 点 com 这个 url 自己试试。这是一个专给练习爬虫的网站,请求成功的话, response 实例的 text 属性打印出来会长这样。 你可能说,什么玩意,这都是,这些都是网页的原码,下个视频我们会了解 html 结构,到时你就能看懂这些乱七八糟的东西了。总之呢,通过这短短几行代码,我们已经成功获取到网页的内容,完成爬城流程里的第一步了,鼓掌! 这里再说一些关于 requests 的 补充内容,上回书说到 h d d p 请求的请求头会包含一些给服务器的信息,我们用 request 库的函数发送请求时,这些信息会自动被生成,不需要我们手动传入。 但如果我们想指定某些信息进行更改的话,可以额外传入一个叫 headers 的 参数,它的数据类型是字典里面的各个建职队,就对应了我们要传入的各个信息。 这在什么情况下有用呢?一个例子是可以帮我们把爬虫程序伪装成正常浏览器,咱们正常用浏览器浏览网页的时候,浏览器会发送 get 请求,并且请求头的 user agent 会自动带有浏览器类型及版本,还有电脑操作系统等。 用代码发送请求的话,就不会带有这些浏览器相关信息。服务器可以通过这点判断进来的请求是来自浏览器还是程序。 有些网站只想服务于真正的用户,所以会根据 user agent 拒绝来自程序的请求。这种时候可以通过篡改 hadas 的 user agent 的 属性,把代码发送的请求伪装成浏览器请求,你学会了吗? 下个视频里我们会一起实践,通过发送 get 请求,拿到豆瓣电影 top 二百五十网页的源码,我们稍后见。 在这个视频里,我们会一起实践通过 python 的 requests tool 拿到豆瓣电影 top 二百五十页面的源代码。 首先呢,打开你熟悉的 python 编辑器,我呢就用 pycharm 进行演示。第一步是安装 requests 这个第三方库,打开编辑器的终端界面,输入 pip install requests, 如果他返回的信息里面有一句 successfully installed requests, 说明安装成功了。第二步呢,是引入 request queue, 新建一个拍档程序, 我就叫它 scrap 豆干点 p y, 第一行写上 import requests, 那 接下来通过 requests 点 get 这个方法就能发送 get 请求。第一个参数传入我们想爬取的页面链接, 那我这里就把豆瓣电影 top 二百五十的链接复制过来。然后为了能获取到响应的内容,我把响应复制给一个叫做 response 的 变量,那现在就可以把这个 response 给它打印出来,看一看 右键运行,那它打印出来呢,是一个 response 对 象后面跟着的数字表示 http 状态码。那我们呢,也可以通过对象的 status code 这个属性来查看返回的状态码是什么。 那状态码还是四幺八?四幺八并不是一个成功的状态码,因为所有四开头的状态码都是表示客户端错误,以至于说我们这边发送的请求存在问题。 那如果你想知道具体的 http 状态码表示什么意思,可以通过这个链接来查看文档。 那四幺八呢,是一个很淘气的状态码,他的信息是我是一个茶壶,表示服务器不想服务你,不想理你的这个请求。 但我们这个请求好像并没有什么问题啊。那其实呢,是豆瓣在用这个状态码回应爬虫,因为他呢希望服务正常的浏览器,然后忽略掉所有爬虫程序的请求。 那遇到这种情况呢,可以绕过去的一个方法,就是通过定义请求头,把程序伪装成浏览器。那我们可以新建一个叫做 headers 的 字典变量。 那请求头的 user agent 的 里面呢,会给服务器提供一些客户端的信息,所以我们就要去指定 user agent 的 值。 那现在问题是让这个值等于啥呢?我们可以从浏览器发送的请求里去抄作业。咱们回到浏览器,进入任意一个网页,右键点击检查, 然后进入 network, 然后刷新一下网页,这样呢,你就能看到浏览器帮你发出的所有 http 请求。那咱们可以点击任意的请求,然后展开这个 request header, 找到 user agent。 然后呢咱们要把冒号后面的这段信息给它复制下来,然后呢回到程序,把它复制成我们刚才复制下来的值,然后呢我们就可以把这个 headers 作为传入 get 方法里面 headers 这个可选参数的值,然后咱们现在再运行一下试试, 那这个时候状态码就变成了二百哒哒,那二百呢,表示请求成功,所以这个时候呢,响应题里面会储存服务器返回给我们的数据,那这个时候咱们去打印 response, 点 text 就 能拿到那个页面的 html 源码,运行下再看一看, 那这个 html 源码上面呢,就会有我们想要的关于电影的信息, 当然这个时候呢,这些 html 可能看的你一头雾水,这没有关系,因为下个视频里呢,我们会学习 html 网页结构,从而理解服务器返回给我们的 html 源码,我们稍后见。 一个网页有三大技术要素, html、 css 和 javascript。 html 定义了网页的结构和信息, css 定义了网页的样式, javascript 定义了用户与网页的交互逻辑。 我们爬虫时最关心的是网页上的数据信息,所以主要是和 html 打交道。一个最最简单的 html 长这样,每个被监控号包围的都是一个 html 标签, 最开头的 doc type html 用来告知浏览器这个文件类型是 html。 接下来有两个 html 标签,其中没有斜杠开头的是起始标签,表示开始。有斜杠开头的是闭合标签,表示结束 起始标签。闭合标签连通它们之间的内容可以被看作是一个 html 元素。 htmail 标签是 html 文档的根,所有的其他元素都要放到这个元素的里面,也就是在它的起始标签和闭合标签之间。 当前这个 html 是 个空的,没有任何文字或图片信息,我们可以往里填入些内容。 body 表示文档的主体内容, h 表示一级标题,也就是最大字号的标题, p 表示文本段落。 这个 h 一 和 p 都在 body 起始和 b 和标签之间,那它们之间的关系就是这个 h 元素和 p 元素都属于 body 元素的子元素,而 h 元素和 p 元素因为处于同一层级,所以它们之间是兄弟元素。 这也对应了在文档主体里有一个标题和一个文本段落这样的信息结构逻辑。那这个 html 长啥样呢?它长这样非常平淡无奇,气质普通的一个小网页哈。 如果你想知道自己写出来的 html 长啥样,最简单的方法是用编辑器写一个以点 html 为后缀的文件,然后把文件拖进浏览器或者是右键,选择用浏览器打开, 因为咱们第一行能告诉浏览器这是个 html, 浏览器就会进行渲染,最终给我们展示左边这样,而不是右边这样的内容。 当前这个网页看起来十分的朴素,如果要看起来好看,还需要配合 css 增加样式。但这毕竟是个爬虫课,不是个前端课,我们的目标是爬取信息,而不是学会做个好看的网站。所以主题回到 html htmail 元素远不止我们看到的这些,实际上有非常多的类型。在浏览器里点击右键,然后选择显示网页源代码,你就能看到当前网页的 html 源码长啥样。 你也可以点击右键选择检查,点一下窗口左上角的小箭头图标,接下来点击页面上任意一个东西的时候,你都可以看到它对应哪个 html 元素。 在你试玩的时候,十有八九会看到很多不熟悉的 html 标签。下个视频里我们将一起看一些常见的标签,帮助我们更好地理解 html 网页源码。我们稍后见 上个视频里我们说 html 定义网页的结构和信息信息可以有很多不同的展现形式,比如标题、图片、链接、文本等等。所以这个视频里我们一起了解一些 html 的 常用标签类型。 标题标签包括 h 一、 h 二、 h 三、 h 四、 h 五、 h 六标题文本被起始和闭合标签包围,数字越小表示标题层级越大,或者直观来说,数字越小,标题的字号越大。 但因为 html 只定义信息,不是所有时候都和外观绑定。举个例子,我可以通过 css 让 h 一 的字号和 h 二的字号一样大,所以严格来说,还是应该从信息逻辑的层面以层级去区分这些标题标签,而不是字号。 文本段落标签是屁,文本也被起始和闭合标签所包围。不同的屁标签之间会默认进行换行表示,不同段落文章、评论等信息都可以用屁标签表示。 如果你直接在文本段落标签里换行,网页显示的时候换行并不会起作用,只会多一个空格。如果需要换行,你可以用多个屁标签,或者也可以用 b r 标签在文本段落里强制换行。 bl 标签就是换行标签,而且它有一个特点是只有其实标签,没有配对的闭合标签。这和大部分 html 标签不一样, 我们除了可以给文本段落加换行,还可以格式化内容。比如可以用 b 标签包围文字内容进行加粗,用 i 标签包围文字内容变成斜体,用 u 标签包围文字内容加下划线。 但文字并不是信息唯一的格式,要在网页上加图片,我们可以用 i m g 标签,注意它和 bl 一 样,也是没有闭合标签的。这个标签需要我们指定一个属性,是 s、 l、 c。 source 表示图片的路径, 它的值可以是一个指向图片的链接,也可以是路径。但总之呢, s、 l、 c 属性一定要给一个值,才能知道图片来自哪里。除了必须有的 s、 l、 c 属性,还有一些其他属性可以指定,比如说 width 设置图像宽度, height 设置图像高度等等。 a 标签用来添加链接,这个也是非常非常非常常用的,因为用户可以通过链接在不同网页之间跳来跳去, 在起始和闭合标签之间放上链接,对应的文字,展示给用户的就不再是原始直白的地址了。 这个标签有一个我们必须指定的属性,叫做 href 值就是目标要跳转的 url 地址。它有个可甜可不甜的属性,叫做 target, 用来指定链接页面的打开方式。 target 的 值默认为下划线, self 表示直接在当前窗口跳转链接, 我们也可以指定为下划线。 blank 表示在新窗口里打开。 div 和 span 标签都是容器,它们本身是不包含任何内容的。也就是说,一般我们会让其他元素被这两个标签包围,作为 div 元素或 span 元素的紫元素。 这样做的作用有很多,比如说当我们想给多个元素加上红色背景时,就可以把 css 样式直接运用在某个容器上,而不是一个个元素上。 它们之间的区别是, div 是 会计元素,独占自己的一块一行,最多放一个 div 元素。而 span 是 内链元素,不会独占一块一行可以有多个 span 元素。 接下来还有表示列表的标签。 o l 定义的是有序列表。 o l 其实就是 ordered list 的 简写,意思是列表里面的每项是有顺序的,可以用数字依次表示,那 o l 只是表示列表。列表里面的每项元素要用类标签, 类是 list item 的 简写。像这样我们就定义出了一个有三项元素的有序列表。 和有序列表相对的是无序列表,对应的标签是 ul, ul 是 on order list 的 缩写。 无序列表的元素一般不会有数字在前面了,而是点或者小横杠等表示没有顺序,列表里面的每项元素也是用力标签。像这样我们就定义出了一个有三项元素的无序列表。 我们要学习的最后一个网页常见信息结构是表格,它的相关标签比较多,所以我们逐步讲解。 table 是 用来定义表格的标签,它里面一般会嵌套一些和表格相关的元素。 t head table head 表示表格的头部,比如一般是表格的第一行 t body table body 表示表格的主体。在 t head 和 t table row 定义表格行, 那光有行还不够。每一行里面会有一个个单元格,所以在 tr 里面我们会放 td table data 表示一项项数据。所以一个完整的表格用 html 表示的话会长成这样。 你可以为表格加上一些属性,比如 body, 默认表格是没有边框的,如果要加边框,可以指定 body 这个属性的值为每个数字。比如说一。 那除了有些标签独有的属性之外, class 这个属性可以被运用在所有元素上,定义元素的类的名称。类可以帮助我们分组, 比如说一个网页上可能有多个文本段落,那我们可以通过 class 等于 content 和 class 等于 review 来区分,看哪些文本段落是文章,哪些文本段落是用户评论。 这些你都学会了吗?没有学会也不要紧啊,下个视频里我们会通过实践练习这些 html 标签,我们稍后见。 在这个视频里,我们会一起实践写一些常见的 html 标签。那一般写 html 我 会用 vs code 这个编辑器,因为打开速度很快, 你呢?可以用任意编辑器,甚至系统自带的记事本也可以。不过编辑器呢,还是相比记事本来说有很多好处,比如说能高亮代码检查拼写、自动格式化等等。那我们先要新建一个全新的 html 文件, 它可以叫任意名字,结尾用点 html 作为后缀。 html 文件开头是一个声明文件类型的标签, 冒号 doc type html, 这样浏览器就知道要去渲染 html, 展示给用户。然后其他的所有元素呢,都要被 html 标签所包围,作为 html 元素的紫元素,这个 html 就是 整个文档的根。 那接下来 html 文档可以有自己的 head 元素以及它的 body 元素, 那我们一般会给紫元素,也就是被其他起始和闭合标签所包围的元素前面加上缩进, 那缩进就是空格,一般约定俗成是两个或四个,那通过缩进呢,层级关系会更加的清晰,因为紫元素前面的缩进会多于复元素,而兄弟元素之间的缩进呢,应该是一样的。 那 head 标签定义文档的头部,我们一般会往头部放一些关于网页本身的信息,比如说 top 抬头能定义网页的标题是什么?这个标题不是像 h 一 hr 的 那种会展示在网页里的标题,而是展示在浏览器选项卡上的那个标题。 那如果我现在点开一个浏览器,然后把这个 html 文件给它拖进去,就可以看到,虽然主体全是空白的,但是网页标题已经在这个标签上展示出来了,这就是我刚才打的这个标题。 那 body 呢,是用来放文档主体内容的,所以上个视频里见过的那些标签,我们都可以往这个 body 里面放。那我们首先要看的是标题标签, h 一定义一级标题, 然后 h 二定义二级标题。 那回到浏览器刷新一下,可以看到这两个标题已经显示出来了,字号的大小呢,说明了他们之间的关系。那我们能定义的最小的标题呢,是六级标题, 那七级标题其实就不存在了,你可以尝试一下 回到浏览器刷新一下,可以看到六级标题呢,还是有点加粗的意思,七级标题已经就是正常的文本了,所以七级标题这个不存在的,我们给他删掉。 那你要记得是每一次改动 html 以后呢,回到网页的时候,要刷新一下这个效果才会被更新。那当然呢,你也可以安装一些能帮你实时更新的插件,那这个不同浏览器用的插件名可能不一样,我就不展示了,毕竟你手动刷新也是管用的。 然后文本段落呢,用的是屁标签, 那可以看到呢,即使我们在这个屁标签里面换行了,回到浏览器刷新一下,这个换行也是不起作用的。如果你真的想换行呢,可以用两个屁标签, 那另外一个 p 标签里的文本段落呢,就已经是另起一行的。那再或者呢,你也可以用 b r 标签,这个标签呢就是来专门帮我们换行的。那下一步呢,我们可以尝试一些用来格式化文本的标签。 b 标签呢,可以用来加粗字体,然后 i 标签呢,可以把文本变成斜体。 然后右标签呢,可以给文字加下划线。 咱们回到浏览器刷新看一下,也可以看到呢,这个就是加速的效果,斜体的效果,以及加上了下划线的效果。那咱们如果想给网页加图片的话呢,可以用 img 标签, 那 s、 l、 c 呢,是一个我们必须要指定的属性,它的值是指向图片的链接或者路径。那我这里复制一个图片的链接过来, 刷新一下,图片就已经出现了,但因为现在这个图片呢,它有点大,我们可以用 width 或者 height 属性去指定图片的宽度或者高度,让它可以稍微的小一点。 那这个 p x 呢,是一种计算机图像长度单位,它的意思就是像素再刷新一下它,这个图片呢,确实是变小了。如果我们想添加一个超链接,就用 a 标签, 那 a 标签呢,一个必须要填的属性是 hash, 它的值呢是我们要跳转的目标网页的 url 地址, 然后我们可以在起始和闭和标签之间放上文字, 这个文字呢就会显示在对应的网页上,就比如说像是这样子,那需要注意的是啊,咱们一个完整的 url 呢,前面会有 http 或者 http s 这个协议名,不要把它给省略掉,因为省略掉以后就不是一个完整的 url 了。 那现在回到网页,如果咱们点击这个链接,那也可以看到呢,这个网页会在当前窗口被打开。那如果你想要在新的窗口去打开这个链接的话呢,我们可以去指定一个 target 属性,然后让它等于下滑线 plate, 现在刷新一下,回来再点击一下试试。那可以看到呢,这个新的链接就已经是在新的标签页里面打开了, 那接下来呢,我们要看的是 div 和 spin, div 和 spin 都可以当成其他元素的容器,那比如说呢,我可以把前面这些啊,所有的元素全部放在一个 div 里面, 那因为这些呢,全都变成了新的这个啊 div 元素的紫元素,所以我要调整一下缩进,这样子他们呢就能更明显的显示出来,说这一些都是 div 元素的紫元素。然后为了展示 div 其中一个作用,我来加一下 css, 因为咱们这门课其实不涉及 css, 我 只是想更明显的展示出来 div 的 作用,所以这块呢,如果你发现自己不能理解非常正常的, 那我这里在做什么呢?就是我是想把这个 div 里面的 html 元素都给它加一个红色的背景色,这样子呢,会让这个 div 元素的范围更加的直观一些。咱们回到这个网页刷新一下, 大家可以看到呢,这个 deep 它是独占一块,所以一行呢只能放一个 deep, 那 span 就 不一样了, span 是 一行可以有多个,比如说我再回到咱们的 html 代码,我可以让这一行里面就有两个 span, 比如说像这样,然后我给 span 也加一下不同的背景颜色, 我分别给这个 span 呢设置成了呃,海蓝色和紫色。回到这里看一下,那可以看到和 deep 不 一样, span 的 话呢,是一行可以有多个的。那接下来呢,我们来练习一下列表 有序,列表的标签是 o l, 表示 ordered list, 然后列表里面每一项都用 li 这个标签, li 就是 表示 li 的 item 的 意思。 那咱们现在刷新一下,可以看到每一项前面呢,都自动加了数字来表示它们之间的顺序,那无需列表的标签呢?是 ul 表示 on ordered list。 那 列表的每一项还是用 li 标签? 刷新一下,那你看到的每一项前面就不再是表示顺序的数字了,而是不表示顺序的小圆点。 最后我们来练习一下表格,因为表格相关的标签它有点多,但只要理解逻辑呢,就不难记忆。 首先 table 标签,它定义了表格本身,那一个表格可以有头部和主体,头部的标签是 t head, 表示 table head。 然后主体的标签是 t body, 表示 table body。 有些表格它是没有头部的,那你其实不写这个 t hat 的 标签也可以,那在头部或者主体里呢?每一行的标签是 t 二,表示 table row。 如果你准备有几行,你就写几个 t 二。 那假如说我的这个表格的头部是只有一行,然后在表格的主体里面呢,我准备放上三行,我就写三个 t r, 那 每行里面就是数据了,你也可以看成是单元格,咱们希望每行里面有几个单元格,我们就写几个 td 表示 table data。 那假如头部我希望有三项数据,也就是第一行里面有三项,然后接下来主体里面的第一行, 我准备往里填充三个单元格, 然后第二行呢,我也希望有三个, 那如果你希望每一行它里面的那个数据数量不一样,这也是可以的。比如说最后一行,我希望两个数据就 ok 了。 那回到这个网页再刷新一下,那你看到那表格已经成功的展示出来了,但是因为这个表格它没有边框,不太好看,我们呢可以给这个表格加上个边框,那方法呢,就是我们可以给这个 table 一个叫做 dory 的 属性,可以把值设为一。那现在呢,这个表格的边框就已经出现了,你的值设置的越大,这个表格他的边框就越宽,比如说我改成五 回来,哎,这个边框就宽多了,那我改成五百,这都是可以的。当然了,这个就显得有有点大病了,我给他改回来, 好恢复正常。那在上个视频里呢,我们还讲了一下 class, 你 呢是可以给任意元素加上 class 来定义元素的类。比如说我把这个表格给它加入一个 class, 叫做 data table 类呢,在结合 c, s, s 和 javascript 的 时候会很有用。那你现在呢,了解一下即可。 你也不需要记得关于这些标签的所有细节,因为爬虫的核心呢,不在于 html, 而是在于从 html 里面成功把我们想要的信息给它提取出来,这要如何做呢?请见下回分解。我们下个视频见。 在发送 get 请求得到网页的 html 后,我们就可以从中提取数据,获得我们想要的信息。 举个例子,如果我们想得到这个网页里所有书对应的标题和价格,就可以在这个网页的 html 里面去找。但 html 内容可以非常复杂,手动挖信息效率极低,信息一多就不知道要找到猴年马月了。 pad 有 一个可以用来做 html 解析的库,是 beautiful zip, 它和 requests 一 样,也是第三方库,不是 pad 自带的。所以第一步仍然是先安装 在终端或 cmd, 输入 pip install b s 四,如果是 mac os 系统的话,可能要输入 pip 三 install b s 四、 如果执行后有一行显示 successfully installed b s 四,说明已经安装成功了。如果显示 requirement already satisfied b s 四,已某某路径,说明你之前安装过 request, 也无需再安装了。 安装成功后,下一步是对这个库进行引入。 beautiful soup 是 我们要用来解析的类,要从 b s 四这个库引入的话,就写 from b s 四 import beautiful soup。 现在安装和引入的准备工作都完成了,假设我们已经通过 request 库里面的方法发送 get 请求,得到了这个网页的 html, 并且作为矩阵储存在一个叫 content 的 变量里, 那么下一步就是把这个内容传入 beautiful soup 的 构造函数里。然后因为 beautiful soup 除了解析 html 之外,其实还能解析一些其他类型的内容,所以还需要有第二个参数去指定解析器。 解析 html 的 话可以传入 html 点 parser 调用 beautiful soup 这个构造函数后,我们会获得一个实力对象 beautiful soup, 把看起来复杂的 html 内容解析成类似于这样的树状结构,让搜索和修改 html 结构变得更加容易,比我们自己解析原始内容要有效率的多。 那我们知道对象有自己的方法以及属性。这个 beautiful soup 的 对象具有非常多的方法和属性,可以帮助我们获取想要的信息。 如果我给这个对象复制为 soup, 那 打印 soup 点 p, 你 就能看到这个 html 里的第一个 p 元素,即文本段落元素。 如果解析后的 html 数长这样, p 里面可能还有其他标签的话, soup 点 p, 会把第一个 p 标签连带里面的所有内容一并返回。那打印 soup 点 img, 你 就能看到这个 html 里的第一个 img 元素,即图片元素。 但咱们不是只想找到第一个出现的某类型元素,而是网页上所有的书名和价格,这咋办嘞? 那就需要先分析一下想要的信息的特点,这个时候浏览器的检查功能就非常有用了, 通过查看每个价格可以发现信息都被储存在 p 元素里面。但因为页面可能有其他 p 元素,为了不把不相干的也提取出来,我们还需要利用其他特点。比如说在这个网页里,所有价格元素的 class 值都是 price 下划线 color, 那 么我们只要能够调用某种方法找出所有 class 属性值为 price 下划线 color 的 p 标签就解决了。 beautiful soup 对 象有一个叫 find all 的 方法,能根据标签属性等找出所有符合要求的元素。第一个参数传入 p, 表示找 p 标签,然后可以传入可选参数 atters 赋值为一个字,点键值对,就对应你想找的属性和值。 比如我们想找 class 属性的值,为 press 下划线。 color 的 元素就这样写, find all 会返回一个可迭代对象。意思是说我们可以通过 for 循环依次操作返回的各个对象。比如如果打印各个对象,就能看到那一页所有的储存了价格信息的批标签。 但还有一个问题是,如果我们只想要数字,不想要那些乱七八糟的 html 标签怎么办?毕竟那些标签也不是啥实质性信息。 那我们可以选择打印对象的 string 属性,而不是直接打印对象。 string 属性会把标签包围的文字返回给我们。如果我们想要更纯净的数字,不要前面的货币符号,用一些字母串操作方法也能轻易完成。 比如说通过切片操作,能获得所隐值大于等于二的所有的剩下的字母串。由于不同网页上信息的特点都不一样,爬虫这项技能确实要求你有时候要随机应变,去提取出自己想要的信息。 那通过这一坨代码,我们已经成功获取到页面上所有的价格。接下来,如果我们想挑战把这个网页上所有的书名也提取出来,要怎么做呢?这个难度比前面的价格更大一些, 因为如果你检查页面上的书名,会发现我们没办法找到书名信息的共性,它们都在 a 标签里,但网页上还有其他 a 标签,它们虽然都有 hash 和 title 属性,但不同书的属性对应的值是不一样的。这就有点不好搞了。 这个时候如果我们换个角度寻找共性,可以发现所有书名都是 h 三元素的子元素,那解析条件就变成了,我们要找所有 h 三元素之下的 a 元素。 那流程可以拆分成三个步骤,第一个步骤,找到所有 h 三元素。第二个步骤,找到每个 h 三元素下的所有 a 元素。第三个步骤,提取 a 元素里的文字。 要找所有 h 三元素,和刚才找 p 元素是差不多的,区别就在于我们不需要额外传入 x 这个可选参数了,因为这次不用根据属性筛选符合条件的元素。 find all 会返回一个可迭代对象,所以我们用 for 循环去迭代各个 h 三元素这个 type 对 象,我们可以继续用相同的所有 a 元素,然后再去进行一轮 for 循环。 得到各个 a 元素对象后,就可以通过 string 属性获取 a 元素里面的文字内容了。打印出来就能够得到所有书名标题, 这个过程是由它曲折,但爬虫需要我们能和网站斗智斗勇。另外,由于这个网页里所有 h 三里面只有一个 a 元素,所以我们也可以用 find 直接找第一个 a 就 行了。 find 返回的并不是可替代对象,而直接是第一个对象,所以第二个负循环要删掉,能稍微把逻辑简化一些。那下个视频里呢,我们会一起练习爬虫实战的解析步骤,提取出豆瓣电影 top 二百五十的所有标题,我们稍后见。 这个视频里,我们要一起通过实战获取豆瓣电影 top 二百五十的所有标题。 那第一步呢,是回到编辑器安装 b s 四这个第三方库,那我们打开编辑器的终端界面,输入 pip install b s 四, 那如果它返回的信息里面有一句 successfully installed b s 四,说明安装成功了。那第二步呢,就是从 b s 四这个库里面引入 beautiful soup, 那我呢就在咱们之前练习已经创建好的这个 scrap, 豆瓣点派这个文件的第二行写上 from b s 4 import beautiful soup。 那 如果你跟着前面关于这个 get 请求的练习,已经成功拿到豆瓣电影 top 二百五十豆这个网页原码的话呢,那就可以继续跟着往后做, 我们可以把这个响应题里面的内容用一个叫做 html 的 变量来储存。那接下来呢,我们想把这个 html 给它传入 beautiful soup 它的构造函数里面, 原因是我们就想从这个 html 里面搜寻我们想要的信息。然后第二个参数呢,我们要写 html 点 poser, 那传入这个的意义在于呢,我们需要指定 html 解析器,说明呢是在解析 html 内容,那这个构造函数呢,会返回给我们一个对象,我可以把它赋值叫做 sum。 那我们在对这个对象做任何解析操作之前呢,我们还是要先分析一下想提取的信息的特点,所以咱们回到这个网页,右键点击检查,然后我们可以点击任意一个标题看一下, 那可以看到呢,所有的标题啊,它们呢都是一个 span 元素,并且它们的 class 值都是 title, 那 我们就可以根据这个条件去提取这个信息。回到编辑器, 咱们呢就可以用 beautiful soup 对 象的 find all 方法。第一个参数呢是传入标签名,我们要找的就是 spend 标签。那第二个参数呢,是可选的,我们想要指定 atis, 也就是我们想要根据元素的属性来提取, 那具体是什么呢?那就是我们希望这个元素的 class 属性,它的值是开头。 那根据这两个参数呢,我们就达成了我们要的目的,也就是说找到所有 class 值为 title 的 spend 元素,然后我们可以给它赋值,叫做 all title。 那 这样呢? all titles 里面呢,就有我们想要的所有 class 属性为 title 的 spend 元素,然后这个 find all 呢?因为它返回的是一个可迭代对象,所以我们还是用 for 循环去迭代这个可迭代对象。 你可以先把这个 title 打印出来,看一看它长什么样子,咱们运行一下看看。 可以看到呢,确实是所有的这个,呃, class 值为 title 的 span 元素全部被我们找出来了,就是我们想要的标题。 但是因为我们其实只对这个文字感兴趣啊,我们对周围的这个 html 标签不感兴趣,所以呢,其实咱们想要的是它的 string 属性, 现在再看一看,那确实是周围的这个 span 标签就已经没有了。 那打印出来呢,发现一个问题是,它不只把标题给提取出来了,还把这个电影的原版标题也给提取出来了。 那咱们回到原网页上,那可以看到呢,这个电影它的原版标题 class 属性也确实是 top, 但问题是我们对它的这个原版标题不感兴趣啊,就比如说这个它的原版意大利语标题,我们也看不懂啊,我们想要的只有它的中文标题, 那这怎么办呢?我们还是再分析一下这个信息啊,所有的原版标题他前面都有一个斜杠,那我们要做的是我们只要找到不带斜杠的标题就行了, 那这个其实就是很简单的一个 if 判断就能搞定的啊,咱们先给他这个标题做个块,附个值, 然后只有当斜杠不在这个标题字母串里面,我们才把这个标题给它打印出来,再运行一下看看。 哎,这不就搞定了吗?现在呢,我们获得的呢就是只有中文标题了,那当前呢,我们只剩下一个问题要解决了,那就是我们想要的是豆瓣电影 top 二百五十,但是呢,通过这个链接啊,我们只能拿到第一页, 也就是排名前二十五的电影。那要解决这个呢,其实也不难啊,我们看一下第二页, 可以看到它的链接,和第一页相比,就只有这个查询参数, start 的 值变成了二十五, 也就是说在这一页里面,电影是从缩影二十五开始的,那我们照计算机里面的缩影二十五,也就是啊生活里面排序的第二十六,所以这个值和它从第几个电影开始是能对应上的,那以此类推啊,我们去到第三页, 它的链接呢,应该 start 的 值就变成了五十。把它用编程的思维来想啊,就是我们想要有一个变量,比如说这个变量叫做 startnone, 它呢要能依次等于零二十五、五十七十五,以此类推,一直到二百五十。 那这就是一个完美的可以用 for 循环结合 range 的 例子。那咱们要在哪里写呢?因为每次的链接都不一样,所以我们 for 循环可以先写在上面, for start num in range, 那 最开始的数字是零,然后我们要的最后一个数字是二百五十。那需要警惕的是啊,这个 range 的 结束值永远是不包含在最后输出范围里面的, 那你说我们有二百五十个电影,最后一个放了二百五十,那不就是不包含最后一个电影了吗?其实不是这样,因为他的这个链接里面也是根据计算机锁影,那我们知道这个负循环里面结束值呢,是不会包含在最后输出的范围里面的。 但是呢,因为我们的第二百五十个电影,他的锁影值是二百四十九,所以咱们这里写二百五十其实是符合需求的。 然后 round 值的第三个参数呢,表示不长,也就是数字一次增加多少。那我们呢就写二十五,因为它每一页上面是有二十五个电影,那我们这里可以先打印出来看一看,这是不是我们想要的,把下面这节给他注视掉,运行 正正好好,从零到二百二十五,每次增加二十五。那这个呢,就是我们想要的最后一页,你可以实验一下看一看啊,最后一页是不是正好包含了到结尾二百五十的这个电影 啊?现在我们可以确认,确实这个最后一页呢,他的这个链接就把前二百五十的电影全部包括了。那接下来呢,我们要做的就是要更新一下链接,咱们这些所有的呢都要放在循环里面了, 好把这个给它删除掉。那怎么更新链接呢?很简单啊,就是在它的这个链接后面加上问号,然后 start 查询参数的值要等于咱们当前 start number 等于的数字,那这里呢,我们就可以用 f 四个串去格式化, 然后放它就等于 start number 当前的值。 ok, 那 咱们现在可以再运行一下, 那可以看到他当前呢是在一页一页的读取啊, 那现在呢,程序执行已经结束了,我们可以看一下我爱你是不是最后一个电影。哎,确实是, 那通过这短短的一段程序呢,我们已经把豆瓣电影 top 二百五十完整的名单给他获取出来了。鼓掌,小花,那怎么样,这个爬虫任务你也成功了吗? 经过这么多节的学习和实践,你应该已经掌握了爬虫的核心,能完成大部分基础的爬虫工作了。如果要继续精进的话,你可以学习正则表达式, 正则表达式可以帮你在解析内容时,通过更加精简的代码,根据自定义规则匹配一个或多个目标字幕。你还可以学习多县城,让不同县城同时爬取多个页面,增加爬虫程序的效率,缩短爬取大量网页所花费的时间。 那总之,爬虫是一个可以不断修炼和提升的技能,随着你遇到的不同,网页结构越来越多,技能也会愈加娴熟。当然,经验增加的同时,也得时刻留意最开始我们说的关于爬虫的红线,千万别从入门到入狱。 在成功获取和解析数据后,针对数据的处理也有很多相关技能可以学习。如果你想把数据储存起来,可以学习数据库。 如果你想从数据中得到更多信息,可以学习数据分析。我的数据分析课程也已经上线了,欢迎戳评论区了解,我们后面见!

今天我们来学习 power 网易数据提取的神器 spa。 做爬虫的同学都知道,拿到网页 html 之后,怎么精准提取我们想要的数据是最关键的一步,而 spa 就是 目前最灵活最高效的提取方式。 首先我们需要安装依赖库, power 本身没有内置 spa 解析功能,我们用最主流的 l x m l 库来实现。打开终端,输入 pip install l x m l 就 能安装。安装完成后导入 ip 模块就可以开始使用了。 实际开发中,我们都是先通过 request 库获取网页的 html 内容,再用 spa 来解析。这里的流程很固定,先用 get 请求拿到网页,把响应的 text 内容存下来, 然后用 add 一 点 html 括号,把字符串转换成 spa 可以 操作的树形对象。这一步是所有 spa 的 基本语法规则。然后是各种节点选择方法,最后是实际开发中的常见场景和技巧。 type f 有 两种路径写法,绝对路径从根节点 html 开始写,非常长而且脆弱。相对路径用两个斜杠开头,从任意匹配的节点开始找,灵活很多,这里强烈推荐大家永远使用相对路径。最基础的节点选择就是用双斜杠加标签名,比如双斜杠 d 会找到页面里所有的 d f 标签, 双写杠 a 会找到所有的超链接。我们把结果存在变量里,打印长度就能看到找到了多少个节点。 实际开发中我们很少直接选所有标签,都是通过属性来定位,最常用的就是 class 和 id, 属性写法是中括号艾特属性名等于某个值,比如选 class 为 content 的 diff, 或者选 id 为 nav 的 导航栏,这样就能精准定位到我们想要的区域。 定位到节点之后,我们最想要的就是里面的文字。用 text 括号函数就可以提取节点的文本内容,比如提取 he 标题的文字或者 p 标签的正文,这是爬虫最核心的需求。 除了文本,我们还经常需要提取标签的属性值,比如 a 标签的链接地址, in 的 标签的图片地址。写法很简单,直接在节点后面加艾特属性名就可以了,比如艾特 whf, 拿链接,艾特 src, 拿图片地址。 很多时候网页的 class 是 动态的,或者一个标签有多个 class 值,这时候精确匹配就失效了。这时候我们用 contents 括号函数做模糊匹配,只要属性里包含我们要找的关键词,就能匹配到。比如匹配 class 里包含 item 的 diff, 或者文本里包含 parton 的 标题,非常实用。如果一个条件不够精准,我们可以用 and 连接多个条件,比如同时满足 class 为 card 并且 data type 为 article 的 diff, 这样就能过滤掉其他不相关的节点,定位更准确。 有时候我们会找到多个符合条件的节点,想要选其中某一个就用缩影。注意 the path 的 缩影是从一开始的,不是零。比如中括号一就是选第一个, let's 选最后一个,非常方便。 实际爬虫中我们最多的场景是提取列表数据,比如新闻列表、商品列表。写法很固定,先获取所有的列表向节点, 然后用 for 循环便利每个节点,再提取每个节点里的具体内容。这里注意,提取子节点的时候,用点斜杠开头表示,从当前节点开始查找。给大家举一个最常见的例子,批量提取页面里所有的图片链接,运行代码就能搞定。 双斜杠 ing 艾特 s r c, 直接拿到所有 ing 标签的 s r c 属性,然后循环打印出来就可以了。 这里有一个新手最容易踩的大坑,所以越界。如果 spa 没有找到任何节点,返回的是空列表,这时候直接取中括号零就会报错,所以我们一定要做空值处理。推荐两种方法,一种是用三元表达式先判断再取值,如果列表不为空,就取第一个,否则返回默认值。 另一种是用 try accept 补货异常,这样程序才不会崩溃。 好了,今天我们把 spa 的 基础用法都讲完了,从安装导入到各种节点选择,再到实际场景和注意事项。其实 spa 还有很多高级用法,比如轴选择、正则匹配、处理动态内容等等,后续我会再出视频详细讲解,关注我,学习更多爬凤爬虫技巧。

泰森爬虫从零开始学第六期 x pass 实战案例。同学们好,我是马克老师,那这一次我们在前面的过程中已经学习了叉 pass 它的一个基本的一个了解,大概知道它是个什么东西, 这一次我们就利用这个叉 plus 来去做一个案例,那我们可以看得到这是一个电影信息抓取的一个案例。那好,首先我们先打开这个 f 十二来去看一下他的一个数据,数据从哪里来?来,首先右击检查一下,在这里我们应该是没有内容的,我们先去新刷新之后回到刚才的这个 里面,可以先去这个叉叉里面看一下,我们就点击全部去看一下他的一个文档。 来,我们来看一下这里面有没有我们想要的。这里其实是可以直接去看,也可以直接去搜索,已经看到排行榜了,对不对?啊?看到了,这是多少?二六是七位数吗?三百二十二万吗?是吗?看的我有点眼花,估计你们看的会有点眼花。三万两千三万三十二万 三十二万多,三百二十二万六千二百六十六人评价, 对吧?希望让人自由。是什么东西啊?是他是吧?肖生哥的救赎是吧?好,我们来再看一下。啊,那他的标题是什么东西?来看一下 标题是肖生克的救赎,对不对?没问题,对不对?好,那我们可以看得到,那在这里面是有我们的数据的,那现在问题来了,假设我们现在去请求他没问题,请求他请求完之后我们得到的是什么? 就这些大图,那这些东西你要吗?你说老师我要不要?不要没什么意义啊,没用。好吧,就我们不要他,那不要我们是不是就得使用一些东西来把我们想要的东西,比如说这个标题给他提取出来,有没有问题? 没问题啊,所以说这个时候我们就用到我们的叉 plus, 那 这里,我们可以去锦球头里面去看一下他的一些啊。藏所,这里看起来好像是没有什么可疑的东西啊,没有什么奇奇怪怪的,因为什么这些东西好像之前都见过,都见过。 那好,对于这样的网页就比较简单了,我们其实可以右击直接去复制他的一个 c u i, 他 有一个转码在这里,我们可以直接粘贴进去上面吧,在这里来直接粘贴,粘贴之后我们直接深层 python 把它端过来之后干掉,之后来到这里再粘贴,粘贴之后再去覆润泽,来看一下能不能拿到我们的数据,搞了半天,看了半天,数据没拿到,你在你坑吃就干上了是吧? 啊? yes, 你 是不是点什么?点配色运行去看一下。好,那这个时候我们还要不要去看?没必要什么,搜索一下肖申克的救赎是吧?肖申克啊, 在这里啊,没问题。来,我们再去看一下他下面的一点内容,还有霸王别姬对不对?来,再往下滑一下,看一下还有没有什么新的内容发现。还有什么?比如说导演某某某,主演某某某,地址在哪里?多少人评价?我就不数这个几位数了,数的我眼睛有点痛,我这个眼睛确实不太好。好, 那现在我们拿到了,重点是我们如何去使用这个叉 plus, 对 不对?有同学就要说了,老师你上节课简单给我们讲一下这个叉 plus 它是什么结构的,那这玩意怎么用是吧?那在这里我们需要一个模块,它的模块名字叫 l 叉 ml, 来,我们首先去 from from l 三秒去 input, 它里面有一个叫一锤的,来一锤,这个东西拿过来之后我们要去做一个操作。什么操作?你要把你拿到的这个 html 传给这个一锤,点 html 它会进行一个什么操作?大家可以理解为它会给这个东西进行一个渲染,你们可以怎么这么简单的理解?我们得到一个对象,这个对象就可以进行叉 plus 的 一些操作了。 来,比如说此时此刻我再获取个 h t m l 一个对象,好,这个对象就可以进行点叉 plus 来获取刚才这个里面的一些详细信息了。在这里我们可以先去看一下网页结构,或者说我们可以直接用工具去看一下数据,对不对?来, 比如说现在我回到我们的网页在哪来着?网页在哪来着?在这个是吧?来,过来, 在这里我们随便找个工具对不对?来看一下,比如说现在我去点一下他是这个玩意,你不用跳转,怎么给我跳转啊?是这个,来,等一下我重新打开,这怎么能跳转是吧?一不小心就点出去了是吧?好,来这里我们可以去看一下,是这个玩意,是不是?我们打开我们这个工具 进行一个点击,此时此刻你发现没?这个东西已经出来了,对不对?我们把它拿过来,我们先去进行提取,我们先去看一下来,那此时此刻我们可以 h 听没有点上叉 pass 是吧?我要的是这个玩意吗?我要的不是他,我要把我们刚才拿到的粘过来。好,粘过来之后呢,发现非常的长,不知道从哪个盒子开始举起的,我们待会写呢,可以没必要这么长,但是也看你自己,你想怎么写就怎么写。我们现在在定一个 i e s, 我 们获取到这个数据之后,我们去点 print 一下,看一下它是个什么东西来, 不是 es 好, 是他来三一走,我们来看一下是这个玩意,是吧?看到没,他是个什么 element, 什么玩意对不对?我告诉大家,这个时候你要注意了,你去获取它的时候你要注意个点。 来,同学们,此时此刻我们拿到这个东西之后,有个问题,我们需要获取的是不是它的文本?来,此时此刻我们也可以怎么样用 f 十二来去检查一下它,对不对?去看一下来。 点击完了之后,到了这里再可以去瞟一眼,那这个玩意我现在是要获取他的文本,注意是这一点,我如果要获取他的什么这个东西,标题是不是他的什么某个属性,对不对?那现在他在中间的一段文字的 获取的就是它的一个文本,注意就是它的一个文本,那好了,文本我们应该用什么?是不是还要加一个 t x t t x t 对 不对?是这个意思,我们来试一下,可不可以来下把线 t e x t 是 这个玩意,看一下能不能行啊?运行来,同学们,肖申克的救赎 是不是拿到了?问题来了,来,此时此刻我如果用这种方法把剩下的不知道多少条数据是不是拿到了?好,问题来了,来,此时此刻我如果用这种方法把剩下的不知道多少条一个个全部拿到,你们觉得可以吗? 可以,对不对?但是麻烦麻烦,这里我不看,我不知道多少条,但是忽略看一下,二十条得有,对是有的啊,这个时候你说这种工具现在能帮助我们吗? 帮助不了了,那这个时候怎么办?我们要自己去看了,来,这个时候我们可以打开一个对应的开发者工具,还是他来我们点一下,这个时候我们要去看一下,比如说在这里对不对?数据是在这里的,再往下去看,来,我发现点 这里怎么有个立标签,是吧?我先把它给它关一下,如果我发现这里打开之后这里很多,来打开这里很多,那我把这个关一下,这个能关吗?关了也没了是吧?我一个个去关,是不是?我一个去看好,发现这也是其中一个立标签有没有问题?好,我们来看一下,来点开, 点开,好,一个个点,点完之后发现个问题,阿甘正传,那这个是什么?这个是泰坦尼克号,注意看左边这里,我点过去之后他是不是有个关圈,再看上面这个霸王别姬,再看这个 千与千寻,是吧?来,这个是千与千寻。好,那大家现在想一下要做什么事情?我是不是先要把这个全部取到, 这点能不能理解啊?我现在要做的是把这个取到,我不管你是什么东西,你是个啥我也不管,反正这一块我先要拿到它,这一块有没有问题?没问题啊,那这个时候我们是不是可以对应的去把它拿到这里?其实你们可以右击点击复制,它是有一个复制叉 plus 的,是可以直接复制的, 大家可以直接复制过来。那在这里我们先把它拿到,我我我就,我就不管这些了,先拿过来,全部拿到,拿到了,但是注意它这个里面有一个什么,有一个双银行,那我们外面要用什么?用单银行去进行一个什么包裹啊?单银行好,是这个玩意再来运行,这个时候其实我们可以去看一下它的长度,是不是这么长,是不是? 看一下多少条运行,看一下,发现长度是一的吗?同学们,这长度对吗?不对不对,是不是不对?好,那这个时候我们就可以去看了,来,再回到刚才的一个位置 来,是这个位置对不对?那其实我们可以去自己去写一下这个语法,我们可以自己去写一下语法,他是个什么玩意?我不管,我直接这样去写,来,我先全区搜索他干掉,复制的不对,大家一定要学会自己去看,来全区搜索是这个玩意吗?你老师这是啥?我不知道,别管写,写来是 o l 一个中框,我要去找 找谁?我现在先不知道,我知道他有个克拉斯对不对?克拉斯我是知道的对不对?克拉斯等于谁?不知道,过来之后发现是个玩意,来粘过来,哎呦,粘多了怎么复制成那个元素了?那我不粘,我直接写 g g r a d 有 个下划线是吧? v a e w 对 不对?拿到它之后我们再去看我们要获取什么?它下面所有的立标签没问题,来下划线,不对,斜杠立标签。好,此时此刻我们再去看行不行?二十五,有没有问题?没问题。那这个时候你就可以用工具去看一下这个东西它到底对不对了?来用工具 回到我们刚才的页面,回来输入,看到没?是不是全部选中了?问题啊?没问题了,在网页上面也没问题,我们的长度也是二十五了。那此时此刻我们获取到这个玩意之后,大家可以去看一下它是个什么玩意,对不对?好,我们再来看下一步怎么处理。 那这个时候我们就不用去打印一下他一个 type 对 不对? p e y p e。 看一下啊,这玩意他到底是啥很重要,是啥?决定我接下来怎么操作对不对?我打印一看发现怎么样?发现报错了,是不是啊?这个是我打印错了还是他什么原因?来,我们可以去看一下,来, 我先把它干掉来,再去改一下,没问题,是历史的意思对不对?那他是历史。现在同学们一个列表里面有我们所要的数据,怎么办?一个列表里面 是我们所要的数据,有办法吗?没办法了吗?肯定有办法,对不对?我们现在是不是可以便利每一条数据,在精确的取出每一条数据的每一个内容? 比如说我现在便利第一条取出肖生克的救赎,便利第二条取出霸王别姬,便利第三条取出阿甘正传,便利第四条取出千与千寻,可以吗? 可以的。那好,那现在怎么做?来直接一个负循环对不对?负阴什么阴?这个 i c, 我 们现在就可以通过这个 i 去进行点叉 pass 来。比如说我们现在获取一个标题,我们现在先获取一个标题,有没有问题?还是先获取什么? 先获取标题就叫 title 是 吧?来 title 或者我们 title list。 为什么?因为我们肯定可能不是一个 title list。 丽 i 点叉 plus 是 吧?来 i 点叉 plus, 这个时候你不能让他随便写,他不一定准的。这个时候我们是自己去看吗? ok, 我 们可以自己去看,可以的,这个时候甚至你们可以去找一下它的每一个 r plus, 它是不是固定的,是吧?我们还是一样右击检查,我去看一下。比如说我现在要到消声卡的救赎,是不是?我看一下啊,它里面是什么?它的一个 div class 是 hd。 好, 它里面有一个 class title 的, 它的文本是消声卡的救赎,有没有问题?没问题。那我们再看下一个是什么样的?我们再去看一下。来,下一个往下走一点, 再打开之后再打开,我一定要找到这个对应的内容,是不是?好,来,再看,我发现它的里面也是一个 div, 克拉斯叫 hd, 也是一个克拉斯叫 table 的 霸王别姬,里面不一样的是外面这层几层好像一样的,对不对?一样的。来,再看第三个来 打开再走。好,到这里了,对不对?那我们再去看这里面有没有他对应的 hd, 是 不是?找一下啊?我发现这里也有个 hd, 对 不对? hd 下面也有一个泰坦尼号,也有个 title。 好, 我现在并列二十五条数据,每一条是不是都有这个 title? 而且我通过一样的 hd, 一 样的 title 可以 拿到不一样的标题,有没有问题?很清晰了?清不清晰? 你说这个时候我不清楚,那呵呵,不太好说了,这个时候就很简单了。来,我们就直接去写是吧?怎么写来,首先呢,我知道它是一个 diy, 班前下面有个 diy, 是 吧? diy, 它里面有一个 class 啊,它这个也是 class 啊,但是它这个 class 不 对,不叫抬头,它叫什么?它叫 h d 是 吧?很好记,下面有一个,有没有 a 标签?看一眼,有个 a 标签对不对?有个 a 标签。好, a 标签留下 啊,别走,来,再看 a 标签下面是一个什么标签?不认识对不对?不认识,不管,写上来你不认识,你就别管他写上好,写上再往下走是啥?好?泰坦尼克号对不对? 我是不是可以直接获取他下面所有的一个 txt? 可不可以?可以的,来我们获取,接下来我们甚至可以后面再去打印他可以打印没有任何问题,你再去打印他也是可以的,比如说我们在这个时候不认字,是吧? 这个玩意点绿色好,三二一运行。同学们,您看啊,肖生克的救赎、霸王别姬、泰坦尼克号、阿甘正传、千与千寻、美丽人生、星际穿越,这个杀手不太忍,对不对?好,你看这个里面包括看好了,除了这些我们要的东西以外,是不是还多了一些我们 不要的奇,奇葩,奇奇怪怪的东西,对不对?有没有?有,这个时候大家就可以去看了,比如说如果说我获取底下的所有内容,那他是一个什么东西?你们是不是可以去看? 没问题,看完之后其实你们就知道了,他其实也是一个,好像是一个什么,这个啥来,这个框是啥?是啥?是列表,对不对?那好,我可不可以只去获取他对应列表的第一个?可不可以?比如说我现在在这里去加一个什么?加一个零 获取,第一个这是个列表,注意是从零开始的,所以这不是在叉 plus 里面写的,所以不用从一开始去取这个元素,而是我们拿到这个列表之后取它的定零的元素,也就是这个标题有没有问题?这里不要搞混了,一个是叉 plus 的 一,一个是列表拍成它自带的零来 标题,拿到了对不对?这个时候你再添加到哪里去,写入到哪里去,这是你的事情了好不好?那同样的方法我们是不是可以去找刚才所说的各种地方没问题?比如说我们再去看 来回到我们刚才的网页再来看一下,比如说现在这里面有个有没有什么好看来再找一下有没有什么我们要的?导演要不要?要不要?要是不可以拿,它是某个 div b d 里面的,什么? b d 里面的 p 标签 可以拿,可以来再看一下有没有什么要的。失去才是永恒吗?这是什么东西?好像是短屏,能能拿在哪里?来说一下,发现也在 b d 这个 diy 盒子里面, b d 这个 diy 这盒子里面之后在哪里来?是不是在这个 p 标签里面?第二个 p 标签对不对?里面这个 s 开头都不知道是什么东西的, 拿不拿得到?拿得到,那同样的来链接,这个是链接,这个是链接吗?不知道,这个看起来像是不可以点进去看啊,对不对?他是个什么玩意来,比如说来再看有没有什么新的东西,有吗?评价人数对不对? 来,这个 diy 叫什么名字?没名字我是不是可以直接写干 diy 进来之后找到谁?第四个这个玩意能不能拿也能拿评分,九点五分能不能拿也能拿,我们是不是可以这样的方式把所有的东西全部一一拿到,有没有问题?能不拿得到 当然是可以拿得到的。那最后我们来看一下一个完整的代码是怎么样的?一个结构略微修整了一下,加了个类,而且这个类写的不是那么完善,你看到没?是我们刚才的写法没问题,电影编号,电影图片,电影名称拼接电影名称,获取电影信息。那这里用了一些这个对应字母串的方法, release join 这些方法我希望大家还记得,这都是字母串的知识了,我就不多讲了好不好?获取电影评分是不是?我们刚才说的什么直接拿这个玩意对不对?甚至都不用找盒子了?来,刚刚说的评价人数是不是 class b d 里面的第一个盒子,再去取 对不对?获取短屏,直接去搜索 p 标签对应克拉斯它的一个名字,获取它里面那个文本对不对?最后把这些内容去进行一个 csv 的 写入就可以了。来,我们运行看一下最终结果 o 不 ok。 来, 其实大家能知道第一条的数据是怎么去拿的之后,那其他的是不也就一样了,没有什么很大的区别,大家只需要在这一块多去尝试一下就好了。完了,我靠,这开个小文件把我电脑开卡了,来,在这来, 是它没问题。好吧,那这个案例大家可以去进行一个简单的练手,包括大家可以尝试自己去写这个叉 plus, 把所有的元素全部提取出来, 可以去尝试一下,内容是非常简单的,包括叉 plus, 它也是我们一个必须要掌握的技能之一,所以希望大家可以去尝试一下。好吧,那这节课的分享也就到此结束了,希望大家喜欢,再见。

我们今天继续学习 x path 入门。好,那接下来咱们接着说这个叉 path 解析。那在上课之前,我们先看一下我准备好的一个,呃, html 文件啊,那这里面呢?其实就是一个网页啊,里面有这个 啊, u l l i 啊,还有这个超链接啊,然后还有 ol, 还有 d i v 等等,反正就把这页面弄得,呃,多一点东西吧。那多点东西,然后我们上上这里面呢,去解锁一些我们想要的东西啊,先把这个网页给它跑一下 啊,跑一下啊,虽然丑一点啊,但是确确实实它是一个网站。那我们想从这个 html 文件里面想提取到内容的话呢?用叉 plus 怎么来做,对吧?哎,主要是咱们这节课要讨论的东西。首先第一件事 from html import e tree, 对 吧?把它弄进来。然后我上节课讲过这个 e tree 呢,它可以直接去加载一个 html 文件,那么这个时候 tree 等于 e tree 点啊,这个是 pass, 对吧?把那个文件弄进来,那文件呢?叫 b 点 h t m l, 那 把这个文件读出来,那这个时候接下来我就可以从这个 tree, 对 吧?点叉 pass, 对 吧?从里面去提取到一些内容,我们先提取 h t m l 那 result, 等于来 print result 啊,直接来拿这个 result 的 结果, 哎,我们发现有一个节点,对不对?但这个时候我们现在其实拿 l t m 没什么用啊,因为我的目的肯定是想从这个网页里面提取到,比方说百度啊,谷歌啊,搜狗啊,这些东西,对不对?那比方说我现在想拿到这三个超链接里面对应的三个文字 啊,三个文字,百度、谷歌和搜狗。那我想拿这个东西的话,我如果通过叉 pass 的 手段来获取,那么根节点是什么? l t m, 对 吧? 那 html 里面是什么?是包的,从包的里面呢?找到这个 ul, 然后找 li, 然后找这个 a 标签啊,注意这个地方有一个坑啊,这地方是这样的啊,是这样的一个关系啊,那这个时候从 html 找包的,然后找 ul, 找 li, 我 们尝试一下啊,看看好不好用 来 result 对 tree 点叉 pass, 然后我们找 html 里面 body 里面 u, l 里面 l i 里面的 a 标签来看一眼,效果走 来一二三,哎,这面恰好是一二三,那我想拿文字的话怎么办呢?直接后面跟上一个杠 text, 行吧,杠 text 来走 百度谷歌搜狗就是成功就拿到我们想要的东西了,对不对?那有些时候我们其实啊,并不希望说把这三个都拿出来,哎,我想要其中的某一个,那怎么办呢?哎,那这个时候可以由这样的第一种方案来去处理,比方说,哎,我在这个地方 l i 啊,我取第一个 来,这个时候我们运行一下,走来看,只有百度出来了,那么一就是第一个来数一下,第一就是第一个,百度就出来了,所以这里面其实,嗯有为我们之前作为程序员的一个准则啊,程序员一般数数都是从零开始数的, 对吧?那这个地方叉 pass 的 顺序是从一开始数的啊,从一开始数的,那么这样的话,咱们就可以单独的拎出来数第一个,第二个,第三个,对不对?哎,就能够提取到我们想要的内容了,那这个中括号表示的是,所以啊,中括号表示, 所以啊,在这个地方如果给数字的话,是,所以啊,是数字,是,所以,那么再往下各位,接下来我们来思考一个问题啊,我现在,哎,我现在想拿到和服的值是大炮的这个 a 标签, 哈哈,我的需求,我想拿和服的值是大炮的这一个标签,哎,那这个时候我们想结 去,想去解锁它的话,我们其实可以这样来做啊,前头前面都一样, html 里面找包得找 o l, 然后找 l i, 然后呢?找 l i, l i 里面什么? a 标签?但是这个 a 标签有一个特殊性,就是我要求的必须是括号等于大炮,对吧?那接下来我们来写这个程序啊, 我把这个挪动挪右面去啊,挪右面去,方便我们去观察,对吧?这样的话就,呃很容易看到这个节点关系了,是吧? ok, 那 result 等于 tree 点叉 pos h t m l 里面找 body 找 u l, 哎,不是,是 ol, 对吧?是这个东西啊, ol, ol 里面呢?我们去找 l i, 并且呢 l i 里面还得找 a 标签, a 标签要求的是 herf 的 值必须是大炮的,这个 必须是大炮的这个,那这个怎么办呢啊?怎么办呢?我们可以在这块加一个中括号继续做筛选,但是中括号咱们说了直接写一写,数字是缩引的意思,第一个,第三个,对吧?但这个地方就不一样了,我们还可以这样来做,写个圈 a herf, 他的意思是在 a 标签里边的属性,属性啊,圈 a 等于属性个数属性的值必须是谁呢?大炮, 哎,必须是大炮,我才会把你解锁出来。这个地方有点像什么呢?像咱们之前讲的那个,呃, beautiful soap 啊,它的那个规则 a 标签里面有什么特殊性啊? herf 的 值必须是大炮的 a 标签,哎,我才把它拿出来,拿出来之后还是我想要文本,对吧?来看一眼,走 来,成功的提取到了大炮,对吧?那我们就找到了这个节点,所以我们通过这种方式也可以做对属性做一个筛选,所以这个地方来中挂号啊,圈 a 某某某,等于某某某,那这个呢?是属性的筛选 啊,筛选属性的筛选。 ok, 那 再往下我们接着来看啊,接着看,接着看呢,还有这样的一种规则,比方说我现在想让你把呃这里面的 li 哎里面的每一个 li 做一个,呃,怎么讲呢?做一个便利, 哎,我希望你能把这个每一个 l i 呢做一个便利,那这个时候我就可以这样来做,首先找到所有的 l i, 对 吧?找到所有的 l i 就是 o l 里面的啊,所有的 l i list 等于 tree 点叉 pass, 找谁呢?是不是?找这个这个这个这个 html 里面的 body, 是 吧? body 里面呢?再去找这个 o l 啊,找找这个 o l, 然后 o l 里面找来找 l i 啊,对, l i。 那 么这样的话,我这个里面这个列表里面实际上就放着,是不是这三个标签啊? 对不对?放这三个标签来,我们把它拿上去啊,拿上面去录制一下。那有这三个这个这个这个标签之后呢?我通常情况下是需要循环的啊,后立印 ol。 那 这个标签之后呢?我通常情况下是需要循环的啊,后立印 ol, 对 不对?来右键走, ok, 我 们能发现一二三三个节点,那对应的应该是这个,这个和这个节点,对不对?那我现在接下来的问题是,这个看好啊, 从每一个 li 中提取到什么呢?文字信息,从每个 li 里面去找 a 标签,从 a 里面再找这个文字信息。我希望的是看到的是飞机、大炮和火车,那这个时候我们从 li 再去点叉 plus 是吧?可以继续去寻找,但是这个时候由于你现在的这个 l i, 它已经不是什么整体的根节点了。听好啊,它不是整体的这个文档的根节点了,它是在这个节点上继续去寻找。听好这句话,继续去寻找。来, 在 l i 中继续去寻找。那么此时它是一个什么?是个相对查找,它是一个相对查找,那么用相对查找的时候记着这一点就可以了。我们 从这个位置想再往里面去找,那么我们得去用这个东西叫点杠,那这个点杠表示的是当前节点是不是就 l i 了? 那么从 li 里边再去找,找谁呢?找这个 a 标签, a 标签里面我想拿到,比如说他的文字信息,对吧?飞机两个字,那我就可以 pass, 哎,这就拿到那个那个那个文字信息了。那也就说这里面有一个特殊性,就这个点杠啊,这个点杠表示的是相对查找,那么相对查找的时候,就相对于你当前的这个标签到底是谁?当前的标签是 li。 好 了,那就从 li 往里边再去找,往里边再去找。来,我们来试验一下,走。 哎,我没打印东西嘛,对吧?这没打印东西,来 print result, 来,走你 啊,飞机,大炮啊,大炮,火车,对不对?一个一个的就拿出来了啊?就拿出来了,但是我现在感觉好像还是缺点东西,我想干嘛?我希望你现在找到 a 标签,哎,我希望你把 a 标签的 herf 的 值给我拿到 啊,把 a 标签的和 f 的 值给我拿到。那我们可以这样做啊,我把这个干掉啊。 来, result 二,等于 l i 点叉 part, 注意啊,这是相对的查找对吧?相对的话就可以这样点到啊,然后找到 a 标签,注意接下来的操作,我想找的是 a 标签里边的和 f 的 值,注意看, 我说的是 a 标签里边的和,和的值,那里边是不得这样,那我写和是不是也也不行?那和的话相当于是 a 标签里面套了个和,对不对?那我找的很明显不是这种东西,那我想找到它属性值,那可以这样做,加上一个 a, 对吧?那刚才不讲过吗?我们想表示属性的话,用谁表示?用这个圈 a her 啊,圈 a 表示的是属性,所以这个时候我想拿属性的值,就可以通过这种方式直接去拿来,我们来看一眼效果, print result 二,来走, 看这地方,飞机,大炮,火车,对吧?成功地就拿到了这些东西啊,拿到了这些东西,所以我们想拿属性, 拿到属性值,那么通过圈 a 啊,这属性去拿,去拿去,去拿我们想要的这个数据, ok, 那 这是我们啊,想拿属性可以这样来拿 啊。那么还有一种情况是比较啊,怎么讲呢?比较特殊的啊。还有一种情况比较特殊,我还可以啊,不单单可以是这样,这种方式就是就相对的路径去寻找。我还可以一次性的拿到这里面的啊,我拿上面的, 我想拿这个 u l 里面所有的 a 标签的 herf 的 值,那我还可以一句话把它搞定。注意看 print 来叫 e tree 啊, free tree 点叉 pass, 那 我们去找谁呢?找这里面的 html 来,下面 h t, m, l 里面的 body 里面的 u, l 里面的 l, i 里面的 a, 然后倍儿加上一个 r 啊,这样也行,这样的话也行,因为在这里面这三个节点是不是都符合正差函数, 对吧?都符合这个叉 plus 的 规则。那只要是 htm, htm 里面找谁?找包的包的里面找谁找 u l u l 里面找 l i, l i 里面找 a, 那 正好它的这个路径是符合我的这个呃,叉 plus 的, 然后我找他们的谁 forf 的 值,那这个时候出来的就是 一堆他俩一个链接,两个链接,三个链接就都拿出来啊,都拿出来了,那么这两种方案可能会有。呃,不同的地方可能会用到两种不同的解决方案啊,你要想明白啊,都可以啊,都可以。 好,那这是咱们要聊的关于叉 pass 的 第啊怎么讲?第二讲吧,对吧?一些个基本的语法规则,这都是讲语法的啊,都是讲语法,然后接下来讲一个小技巧啊,讲一个小技巧,你会发现这个李嘉诚啊,还没使上呢, 对吧?李嘉诚还没使上,那我不可能平白无故的往这写个李嘉诚在这,对吧?我现在想拿李嘉诚注意了,如果我的页面极其的复杂, 极其的复杂,你现在只只是包在里面哐叽直接怼那个 diy, 对 吧?如果咚咚咚好几十层 diy, 你 数起来是不也头也头疼,对不对?那有没有好的方案呢?有,看这看这啊,这是我的页面,对不对?那右键注意看啊,右键,然后有一个叫检查, 哎,检查的时候它会默认进到 element 这个节点啊,或者说怎么来也行,摁 f 十二,然后你点那 element 也行,然后看好前面有这么一个箭头, 点一下这箭头,那比方说我想找这个李嘉诚,好找到李嘉诚,你看我一动的时候,你会发现右边大眼在动,看见没?哎,我把它选选择到李嘉诚上,然后点击一下走 看,点击完之后右边就会给我选中这个节点,并且我鼠标在这悬浮,哎,进行移动的时候,你会发现他跟左边是一一对应的,换句话说,什么意思呢?就是你这一边的内容, 哎,你这一边的内容是通过这行代码出来的啊,那再再反过来的话,就这行代码表示的是 这个东西,对不对啊?也就是说它是一个动态的一个效果啊,它是一个动态的效果,并且啊,这个地方正好是这个节点,那我想拿它的叉 plus 怎么办呢?右键 copy copy plus, 看到了吧?还可以,什么 copy for 叉 plus, 你 知道吧?这这这都可以,我选择 copy 叉 plus 来走点,点完之后来过来,到这边来吹点叉 plus 来,弄进来看,它会告诉你是 html 里面的 body 里面的 div 第一个,对吧?那这个 div, 这不就是两个 div 吗?这是第一个对不对?哎,你会发现这个玩意儿,哎,好像有点意思,对吧?我运行一下啊,走 来看也能检测到我要的东西,然后 max, 对 吧,该补齐的补齐,哎,哎,也 ok, 对 吧?也 ok。 然后还有一个技巧啊,还有一个技巧,比方说我想找大炮的叉 plus 来,这是大炮 copy 叉 plus 来,各位看着啊,接下来这个有意思了,来 copy 叉 plus 对不对? l t m 里面,包的包的里面 o l o l 里面的第二个 li, 来找 ol 里面的第一个,第二个 li, 然后找到他的 a 标签,是吧? a 标签确实是我要的那个大炮,那么这个时候我想 拿飞机大炮和火车怎么办呢?我说把这个具体的哪一个干掉,是不是就飞机大炮和火车了, 对吧?哎,走,你看飞机大炮,火车对不对?所以这个东西可以干嘛呢?就是你可以在这面,哎复制过来,把那叉 plus 复制过来,然后呢你自己再做一点点的微调 啊,做一点点的微调,然后你再去哎处理,就是呃,它的这个逻辑,哎,就就就就,很方便啊,很方便。所以咱们的这个谷歌浏览器的这个 f 十二啊,程序员的这个开发啊工具,你还是把它 啊,多练练,多熟悉,熟悉啊,里面很很多非常非常棒的功能啊。好了,那这个关于这个叉 pass 的 一些个功能以及这些小技巧,对吧?就跟各位聊到这啊,然后下一小节咱们进入到实战阶段。

欢迎来到 xpath 高级篇,今天我们讲位与筛选汉轴运算,这是 xpath 最强大的部分,也是区别于 css 选择器的核心优势,学会之后再复杂的页面结构也能精准定位到目标元素。 xpath 的 高阶能力分为两大块,第一块是位与筛选,写在中括号里可以按位置、数值、逻辑条件过滤元素,比简单的属性匹配灵活得多。 第二块是轴运算,可以全方向便利节点数,父子兄弟、祖先后代自由跳转,处理不规则结构,特别好用。 先看最常用的位置,谓语 x pad 下标,从一开始写数字就是选第几个元素, last 代表最后一个克制肾可以配合大于小于选范围,处理列表的时候不用全部取出来再切分,直接在表达式里就能指定位置。 位于里还支持逻辑运算,是痛实满足或是满足一个就行,那是取反多个条件可以自由组合,比写多各种挂号更灵活,能实现很复杂的筛选规则。 位与还支持数值比较,大于小于等于都能用,比如筛选价格大于多少、数量小于多少的元素,处理数值型数据特别方便,注意属性值默认是字母串,比较的时候会自动转数值。 位域里还能用很多内置函数,康统计子节点数量、 sin length 判断文本长度、 normal space, 清理空白再匹配,灵活运用这些函数,可以实现很多特殊的筛选需求,应对各种奇葩页面。 接下来讲轴运算,当你只能通过子元素的特征定位,想往上找副容器的时候,用轴运算就特别方便,先看向上方向的轴, parents 是 直接负节点, ancestor 是 所有祖先节点, ancestor 是 self 包含自己同级方向的轴是兄弟轴, preceding sibling 是 前面的所有兄弟, following sibling 是 后面的所有兄弟,后面加数字就能选第几个兄弟。 处理表格列表,这种同级结构需要前后关联,查找的时候特别好用。向下方向的轴差是直接子节点, the 三点是所有后代节点。 其实我们平时写的单斜杠就是差轴的简写,双斜杠式的简写,明确写出轴名,可以更精准的控制查找范围。 我们来看各赠送实战,这里有各比较复杂的商品列表,我们要筛选出价格大于一百的商品,提取商品标题,并找到它上一级的分类名称。首先要筛选出价格大于一百的商品,然后用轴预算网上找分类名称是实际向目里很典型的场景。 最后说五个新手最容易踩的坑,第一,位与下标从一开始不是零。 第二,轴预算后面要写节点类型,不能直接写标签名。第三,多个位与市且的关系顺序不影响结果。 第四,数值比较,要注意类型,非数字的属性比较会出错。第五, ancestor 会返回所有祖先既得加条件限定,不然会拿到很多多余节点。 到这里 xpath 核心语法就讲完了,下一期我们讲赠汉实章案例,感兴趣的可以点赞关注,跟进更新。

做一名拥有零位粉丝的科技区博主,从今天起,我将用一辈子的时间为我的零位粉丝讲解全世界最受欢迎的编程语言以及 aigc 创作工具。而今天我要讲解的第一套教程便是 python, 本视频耗时三个月制作,制作时长超三百分钟, 陪你系统的学习 python 编程,这应该是目前全网最良心的入门到进阶的 python 教程了,哪怕你是零基础也能学会。相信大家偶尔会在各大视频平台刷到那些靠 python 实现自动化办公、爬取数据、制作小游戏的炫酷作品。 那么这些实用又有价值的 python 项目是如何实现的?我们又如何在编辑 python 代码时保证逻辑的严谨性,同时又能精准地控制程序的运行效果?从这些视频开始,我会从零教大家来学习 python 编程,从 python 基础环境的搭建,讲解到需求分析、代码编辑 这道调试运行的技巧和最终的项目实战落地,带,大家由浅入深的从零开始学习 python 编程接单或者自己开发工具,实现你想象当中的功能。除此之外,本系列视频中用到的 python 学习工具, 实战案例、原码练习题、代码模板、学习路线,还有目前 python 的 热门应用方向,自动化数据分析爬虫,我都会整理起来放在置顶评论里,有需要的伙伴可一步获取,下面就开始吧! ok, 那 接下来咱们来看一下叉 plus 解析啊。首先,叉 plus 呢,它是一个呃可以从 xml 文档里面提取内容的一个全新的编程语言啊,并且呢,它也是像正则表达式一样,也是一种呃叫表达式语言,所以呢,叉 plus 它写起来的时候呢,会非常的干练, 它的代码呢,非常的简洁,而且呢,非常简单啊,它的使用的场景呢,是比这个 r e 也好,比 beautiful 也好啊,都要容易,而且呢,非常非常的简单啊,这个东西我只能够简单来形容,它没有其他的语言。 然后首先在了解叉 plus 之前,我们必须得熟悉两个概念,第一个概念就是我们现在所拿到的页面代码叫 html, 对 吧?而 html 它又是 xml 的 一个子集,那么你想啊,叉 plus 能从能从这个 xml 里面提取东西, 对吧?而且呢,这个这个 html 又是 xml 的 一个子集,对不对?那说白了就相当于这样一个关系 啊,你这是 xml, 然后呢,你这里面是 html, 对 不对?我叉 plus 对 你的这个外面这个这个 html 都都有用,那对你里面的 html 一定是有用的,所以我们通过叉 plus 是 完全可以从 html 里面提取内容的啊,这是第一点,第二点就是我们必须要了解一点点的啊,关于呃,这个这个这个 html 的 一些基本的语法知识,那这种东西 各位咱们也写过这么多爬虫了,这种东西应该看着不太陌生了,对吧?像 html, 对 吧?但是很不幸,它不是 html, 它是 xml 啊,那你看差不多嘛,都是这个尖角号开头,尖角号结束,对吧?这是一个不可这样的一个标签,然后呢,这个地方是不可标签的扩围,中间呢,被被被包裹起来了,被标注,被标记起来了,对吧?那这种东西听好了,到了 xml 里面叫啥呢?叫节点 啊,叫节点,叫标签,一样的概,概念都是一样的,这个叫呃,节点,那并且呢,这个里 book 里面还有什么 id 呀? name price 呀? author, author 里面还有 nick, 对 吧?这种东西全都叫节点 啊,全都叫节点。那么在这里面节点与节点之间还是有一定关系的,比方说这里面 book 就是 id 的 什么负节点, 对吧? id 呢?就是不可的子节点,他们之间互有父子关系,对吧?就谁包着谁,谁就是爹,对吧?就这么简单。那 os 就是 nic 的 爹, 对吧?那不可能又是 os 的 爹,那换句话说,不可就是 nic 的 爷爷辈,对吧?就一层一层一层往下往下找,就是,呃,其实就是就是就是父子节点的一个关系啊,然后这里面 id name price, 他 们之间呢?又被称之为呢叫兄,就兄弟,叫同胞节点 啊,同胞节点,因为他们都是属于啊不可节点的子节点,对吧?所以这是呃一些个基本的 xml 的 概念啊,就是 xml 里面所有东西全都叫节点,不叫标签了,对吧?在 html 里面这不叫标签吗?对吧?就现在就是换了个名啊,其实还是那个玩意儿 啊。 ok, 那 知道这些玩意,接下来咱们就可以去学习叉 plus, 简单吧,是吧?很简单的东西。那叉 plus 想要用的话,在 python 里面想要用的话,我们推荐用 x l x m l 这个模块啊,来去学习,那我们可以在这个,这个,这个 python 里面,对不对? 那我们可以在这个 python 里面,我们打开这个 terminal, 然后在这里面我们可以输入 pid, 然后 initial l x m l, 对吧?一安装就可以了啊,安装就可以了,安装完了之后我们就可以用它了,那用它的话需要我们导入一些个模块,导入一个叫 e c 的 东西,但是这个 e c 呢?很烦人,有一些人的电脑可以直接这样 from l x m l import e c 啊,比方说,哎 啊,比方说,老师啊,我的这个电脑就是可以这样导入的,对吧?有些小伙伴写这个代码就报错,就不好使。如果你的拍叉里面写这个代码不好使的话,你可以考虑这样做。 from l x m l import html, 对 吧?导入它,然后一锤,等于啊 h t m l 点一锤, 好吧,这俩玩意是一回事,是一回事。好吧,那我这个电脑上这个好使,那我就这个就不用了啊,你如果说不好使的话,你可以考虑这种方案啊,简单注视一下,这是如果拍叉母报错,可以考虑这种导入方式啊。 好了,接下来这个一锤捣进来之后怎么用啊,对不对?用叉 pass 也好,对吧?用一锤也好,你必须得干嘛?是不是准备一段呃,这个 s m l 啊,或者 html 让它去解析才行,对吧?因为终归咱们是为了去解析里边的数据的,那我得先准备好原文件。那在这块 啊,我们准备了一段 html, 这叫,这不能叫 html 啊,过来,我一会改了它,它不叫 html 啊,这个应该叫 x m l, 是 吧?好了,准备好了一段这个 x m l 来,干掉它来,这是一段 x m l 都一层套一层,一层套一层的一个节点啊。你你拿回去之后,先把这个节点之间的关系先去看一遍啊,先去看一遍,然后 接下来我就可以对它里边的内容做一个解析。那解析的话注意了,一锤点你点,你会发现这里面有 xml 啊,有 html 啊,对吧?还有一些其他的功能,对吧?你有兴趣呢?可以看一看我这个地方,我告诉你,你能用到的 就这两个,而且你以后用的最多的是这个啊。那 html 什么意思?是不是把你东西扔进去, 对吧?把你的 html 扔进来,但是此时我说了,你现在拿到的是什么?是 xml, 并不是 html, 所以 咱们现在,呃,做练习我们只能用它啊,只能用它?暂时啊,只能用它,所以此时 此时练习只能用 xml 啊。那把我刚才准备的这段东西啊这段字幕串扔过去,让它去解析,解析的话一定能得到一个解析好的一个对象,就像那个 beautiful soap 一 样, 对吧?你把那一大堆的呃这个这个页面代码扔进,扔进去之后得到一个对象,从这个对象里面去提取东西,对吧?那这个对象 e t 来点,我们就可以用叉 plus 去解析了啊。去解析了,所以叉 plus 在 这才出来。 那解析的话,接下来我们先去。呃,学这么个玩意啊,就是我想从这些节点里面拿到内容的话,注意我得从哪找呢?从这个根节点开始啊。从根节点开始,那先找这根节点。根节点的话怎么去找?用杠表示的是根 啊,用杠表示的是根,那在根节点里面我们找谁?找?不可,找不可。那此时我应该能拿到一个根节点,是吧?来 result, 等于我们 print 一下这 result 啊。 print 一下 result, 来,右键走看。我们得到了一个叫 element 的 东西,对吧?得到了一个叫 element 的 一个东西,那么此时就可以证明我们真的找到了一个叫 book 的 一个节点,并且他告诉你了这个节点叫 book, 对 吧?所以这个东西你们你要记得,第一个杠表示 根节点啊,它表示根节点是没啥用的,对吧?根节点有个毛用啊,我想要的,看着啊,比方说,我现在想拿这个 name, 内幕里面的这个文本,哎,我想要他,那此时从根节点出发,不可的儿子有一个叫内幕的东西,对吧?所以此时我们可以这样来思考啊,他的思考逻辑是, result 等于 e t。 点叉 pass 啊,找到根节点里面的 book, 哎,这 book 的 不是目标,是找 book 的 儿子里面有个叫内幕的东西, 那不可的儿子里面我叫内幕的东西。那么各位不可的儿子里面我叫内幕的东西,我要的是野花遍地香这几个字,那此时我们先看一眼内幕能不能拿到,对吧?来,走, 你看内幕是不是拿到了,对不对?所以这个时候我们又知道了这个啊,在叉 plus 中间的什么呢?这个杠表示的是儿子 啊,一个杠就是一个儿子,知道吧?那我们找到了这个内幕节点,那我想拿内幕节点里面的文本怎么拿?我目的是是要文本,那是要文字啊,那怎么拿呢? 看着啊,来,再出来一个啊,这个地方可以找他里边的什么呢?哎,文本啊,文本, text 加上一个括号,所以这里面又来个新玩意,太克斯的括号表示的是拿 文本啊,拿文本来试验一下。走,看,野花遍地香是不出来了,各位啊,但是你要注意一个点哦,叉 pass 默认返回的是个什么玩意,是不是个列表啊?那我就想拿这里边的字,那怎么办呢?取第零个是不就完事了?各位,来,走 啊,野花遍地香就出来了啊,也还还是挺简单的,是吧?这个东西,然后接下来我想找,呃,整个不可里面所有的内克标签, 哎,所有的内克标签,那么仔细看啊,这里面,这里面有有四个内克,这里面 dna 里面还有一个内克,这个 partner 里面是不是还有这这大堆内克啊,对吧?所以此时我想找到所有的内克标签,那怎么办呢?各位看好啊,我们可以这么来做 哎,可以这么来做,来 result 等于啊。 e t 点叉 plus 来,我们找到不可肯定是不可离的,对吧?不可里面所有的内克标签就这么拿啊所有的内克标签就这么拿,那一共有多少个?来,我们先人人工先数一下啊,一个两个三个四个五个六个七个,对吧?来数看看是不是七个, 一个两个三个四个,然后是五个六个七个八。哎,怎么数了八个呢?我看看啊,一二三四五六七 啊,这还一个。 sorry, 这个臭豆腐搁这块也迷糊了我,是吧?八个啊,八个没错的。那么也就说此时我们用这个杠杠,两个杠,这样两个杠表示的是子孙后代 啊。子孙后代,所有的子孙后代,懂吗?所有的子孙后代,那不可的,所有的子孙后代里面找那个啊,但是如果此时我现在再给你加一个限定,我就想拿到孙子辈的那个,对吧?这个爹辈的不要, 那这是爷爷辈的吗?是吧?爹辈的不要,我要的是孙子辈的,是吧?孙子辈的这个内科,那此时重孙子辈的也不要,我就要孙子辈的,那那此时我们数一下,一个两个三个四个,对吧?然后这还有两个 六个,一共六个啊,但是此时你会发现这个东西很棘手啊。棘手在哪呢?他的爹是 out, 他的爹是 partner, 对吧?这这两个玩意不一样对吧?那你总不能写两个呀,写两个那成啥了,对吧,就就很很麻烦了,很麻烦了,所以我们可以考虑这么做,来 e t 点叉 pass 直接 来我们找不可里面的爱谁谁的儿子的那个 啊,这个爱谁谁就很有意思了,各位不可的儿字节点里面谁都行啊,这里边的 name 也行, price 也行, nick 也行, alter 也行,谁都行,但是必须得是这个谁都行的后代里面的 nick 啊,后面有 nick 的 才可以。那你看啊,这里面 不可里面儿子节点他他他他是不都算呐,对不对?但是在这一层里边有内克的是不是只有 alter 和 partner 呢才有,对吧?所以这里面,哎,我们我们先跑一下吧, 你看一二三四五六来我们来数一下啊,应该是六个来一二三四五六,对吧,这六个就出来了, 但是有人有人说啊,这样可能看的不太清楚,我想看看文文本本写的很清楚,对吧?啊?什么周大强啊,周芷若呀,周杰伦蔡依林对吧?只要没有臭豆腐和惹了就 ok, 你 试验一下吗?拿文本吗?很简单直接 text 对 不对?走, 周大强周芷若周杰伦蔡依林胖胖沉胖胖不沉是吧?这这里面就没有那个啊臭豆腐了对不对?所以此时你发现,哎,这个东西还是蛮简单的,对吧。那又来了个新玩意,叫什么呢?叫香香,表示的是通配符啊,如果你强行的把它翻译过来的话叫谁都行, 懂吗?就是不可里面的谁都行,爱谁谁,但是他的儿子里面得有 nick 才可以 啊,才可以啊,这是我们讲那个通配符这样的东西啊。 ok, 那 这是我们啊聊关于这个,呃,就是就是叉 pass 些基本的一些个啊代码的编辑,你看这个东西多简单呐,各位, 对吧?这个东西比那个 r e, 虽然都是表达式,他比 r e 要爽多了呀,对吧? r e 是 个什么玩意? r e 就是 个渣渣是吧? r e 就是 渣渣。那么接下来咱们再再再把它难度升级一下,升级一下,我发现这块有有有一个很有意思的东西,周杰伦和蔡依林,他俩都是那个标签, 对吧?都是那个标签,并且都同属于奥 sir 的 节点,对不对?那接下来我们找到这个奥 sir 里面的 nic 的 节点的话,我们怎么找呢? e t 点叉 pass 来,我们可以提取。不可里面有个 alter, 是 alter 吧?不可里面有个 alter, 是 吧? alter 里面找 nick 对 不对? alter 里面去给我找 nick, 但是此时我们拿到的这个 nick 应该是一堆,来我们看一眼, 对吧?周大强,周芷若,周杰伦,蔡依林,对不对?但是我现在想把他的范围缩小,我想要周杰伦,我喜欢周杰伦,那怎么办,对吧?这个周杰伦有什么特点呢?他的 class 的 值是 j o y j o y, 怎么就 j o y 去了? j a y 是 吧? j a y 啊,偶像不能不能随意诋毁啊,我想拿周杰伦 这个标签,那此时他的特点就是他的 class 的 值是 j a y, 那 么此时是不是要加上一个属性的一个控制啊, 对吧?那接下来咱们来控制一个东西的属性来,我们可以在这块,哎,内克对吧?内克,标签加加控制吗?那控制下他的属性,加上一个中括号,哎,中括号表示的是属性的一个控制,那 他的哪个属性要控制呢?控制一下他的克拉斯的属性值,必须是谁呢? j y 才可以,其他的我不要,所以这个地方加了一个属性的筛选。来,各位走, 看周杰伦就出来了,对吧?因为只有周杰伦符合这个这个 y 啊,所以这个地方又多了一个玩意啊。中括号表示属性筛选 啊,属性筛选,那么这里面圈 a 是 属性名,然后呢?等于值啊,这是控制一下你的这个这个哪个属性等于什么什么值。这个这个东西上来是不跟这个 beautiful soul 一 样? beautiful soul 就是 find 找某一个什么是吧?标签 啊,找标签的话,咱们这里头找的是内克,对吧?内克,然后要求他的 a t t r s 等于这里面得写个克拉斯,克拉斯的值必须是 j y 的, 对吧?放在 beautiful soul 里面应该是这样来写,对不对?但是你看到了叉 plus 里面搞定,对吧?一个表达式搞定啊,不需要这么复杂了啊,不需要这么复杂了,所以此时你发现叉 plus 确实比那个 beautiful soul 要好用的多啊,比它好用的多。 那么接下来我们来看一个这样的一个事啊,接着往后看,我现在拿到一堆那个这堆那个呀,他们里面看看啊,这个那个好,没啥拿的,我拿帕特那里面的那个。好吧,我拿帕特那里面的那个。奈,此时定位到他啊, 来 result 等于 e t 点叉 pass 来,这地方,我们找 book 里面 partner 里面的 nick 来,应该没写错。 partner partner, 对 吧?来,走 好了,此时一个两个,对吧?我想拿这两个,呃节点的 id 的 属性,咱们说拿它的这个后面的这个,呃,咋说呢?这个这个,这里边的文字我们用 text 加括号,小括号是不是能拿到了?那我现在想拿 id 值, 对吧? id 值怎么拿呢?我们可以加上一个杠啊,我想在内克里面拿东西加上一个杠,所以此时这个杠又不是儿子了啊,又不是儿子了。那找他的圈 a, 找他的 id 的 值,找 id 的 值,所以这个地方来, 哎,点错了啊,来这里面最后一个杠 啊,表示拿到什么呢?这个这个内克里面的啊, id 的 内容啊,但是这个杠好像始终给它翻译成里面的好像是可以通顺的,是吧?不可里面的帕特纳,帕特纳里面的内克内克里面的 id 属性 对吧? id 属性,所以这里面主要说的是也是这个圈 a id 啊,圈 a 属性啊,这样的话可以直接拿到 属性值啊。直接拿到属性值,那我想拿和服的值怎么拿?是不是直接不是让他写个和服就可以了啊?但是很不幸我现在的这个案例里面没和服,是吧?试试 id 好 不好使。 p p c p p b c 啊, p p c p b c, 对 不对?我们想要的数据也就能提取到 啊,所以我们说用这个叉 plus 是 吧,提取起来是真的爽啊,真的爽。各位,它比这 beautiful soap 比这个什么东西都要爽。它只要一层一层去数节点就可以了啊,一层一层数节点就可以了啊,很简单的一个玩意啊。 好了,那关于叉 plus 如何的去提取这个这个内容咱们基本上就完事了啊,能用到的功能也就是这么多, 也就是这么多,对吧?很少还有些其他的很复杂的东西,好吧,那接下来咱们就,呃准备去上 html, 咱们现在用的不是 s m l 吗?对吧?那接下来准备拿一对 html, 咱们来试一试这些东西在 html 里面好不好使,是吧?好使的话咱就可以干案例了 啊,就干实战了啊,不好使的话,咱们看看哪个地方还有些出入啊,应该是没啥问题的,就是这玩意。 ok, 好,那接下来咱们接着说这个叉 plus 啊,那在上一节中,我们已经学会了如何用叉 plus 来提取叉 ml 里面的东西,对吧?那接下来咱们来看一下 html 如何来进行处理啊?因为咱们在网页上啊,我们能够 通过 requests 能够拿到的其实就是 html, 对 不对?那我们重点其实在他身上啊,首先我先准备一段 html 啊,来把这段 html 拿过来, 哎,就假如说我们现在前期的爬虫已经准备完了,对不对?已经抓到了,呃,这些个页面元代码了,对不对?那接下来我想在这个 呃页面元代码里面去提取我想要的内容,对吧?那怎么来进行提取?哎,这个是关键,那叉 plus 怎么来?去用啊?这叉 plus 怎么来用?首先你得把这个玩意加载到叉 plus 里面去,对吧?那所以先弄出来一个 e t 等于是不是 e 锤,然后点 h t m, 对吧?之前咱们上一节聊的是 xml, 对 吧?那现在是 html 了,对不对?然后把把这个 html 的 内容给它加载进去,加载进去之后我们用 et 就 可以进行数据提取了,那 et 点叉 plus 对 吧?去提取内容,那提取什么内容呢?比方说我现在想提取, 呃,这个,这个吧,我想提取它,注意啊,我只想提取它啊,这是上一节漏掉的一个支点啊,我想只想提取它,那么它在哪呢?我们是不是得从这个 html 出发,然后找到包的?包的里面有 u l, u l 里面找谁?是不是找这个 li 啊?并且这第几个 li? 各位, 这是第一个,这是第二个 li, 对 吧?我只想要它啊,我就看谷歌不顺眼,我就想要它,那怎么办?从 html 出发,然后找到包的, 哎? body body 里面呢?去找谁?找这个叫 u l 的 东西,从 u l 里面再找 li, 对 不对?但是此时你要知道我拿到的应该是个列表啊,一个 li 的 一个列表,哎。我们把它打印一下, 来,右键,右键走。这,这什么玩意?来右键走, 看着吧,一个两个,三个,对不对?也很正常啊,因为你这里面就是三个 l i, 对 吧?都提取到了,那我就想要这个怎么办呢?哎,有这么一种方案啊,我们可以在这个叉 pass 里面可以直接跟上中括号 啊。直接跟上中括号。写写写,写几个呢?你是第几个就写写第几个就可以了,比方说我选第二个,那就第二个走, 是吧?这个东西那现在看不出来是吧?那我希望是找找到里边的 a 标签, a 标签里边的文本都给我崩出来,对吧?把文本崩出来,那就能看到,看谷歌, 对不对?哎,这时候谷歌就出来了。所以这个中括号可以选择第几个?第几个啊?我们有的时候页面太复杂了,可能需要,呃具体的去锁定第几项第几项?那可以在这个叉 pass 里面啊,跟上这个数字啊,这样的一个记,第几项这样的一个效果啊,之前的这个,呃,讲 sm, 这会把它忘掉了啊,把它忘掉了, 哎。啊, ok, 那 把它收掉,那收掉,收掉之后呢?我们接着来看啊,你看这个东西其实和这个 sm 差不多啊,都是一样的啊,语法规则都是一样的。那么接下来我想拿到这个页面里面,怎么说呢? 呃,所有的 a 标签啊,并且呢,我希望能够拿到啊,这个 url 和这个名称,它俩是一对 一对,一对一对出现,哎,一对一对出现,那么此时我就可以这样去做。各位,首先定位到页面中所有的 l i, 对 吧?这是 l i, 这是 l, 所有的 l i 里面都套着 a 标签呢,对吧?都套着 a 标签呢,所以我就可以这样来考虑 e t 点叉 plus 来定位到页面当中所有的 l i, 直接杠杠 l i, 对吧?就前面,我不管了,前面什么 html 啊,什么包的啊,我不要了,就在页面里面就给我找 l i, 直接找 l i, 那 此时我应该能拿到一堆 l i 来 l i list, 对 不对?那我就可以对它进行循环呢? for l i in l i 的 list, 对 吧?拿到这个列表,然后此时我们拿到每一个 l i, 从 l i 出发,我是不是还可以进一步提取, 对吧?从 l i 里面继续叉 plus 去提取谁提取 a 标签,并且拿到 a 标签的和服和 a 标签的文本信息,对吧?那我就可以这样来考虑啊,直接 l i 点叉 plus, 我 想提取到当前的这个标签里边那些东西,注意点杠,这个表示的是相对的一个。 呃,怎么说呢?查找啊,相对查找相对于当前这个节点,那么点杠就是当前的节点,所以记住这里边的点杠 表示当前节点,那当前节点是谁?就是 l i 啊,对吧?你提取到的是一堆 l i, 所以 此时点杠就是这个 l i, 那 么从 l i 出发,我们去里面找什么?找 a 标签,我想要 a 标签的贺幅,那就写圈 a 贺幅,我想要 a 标签的文本,那就直接 text, 对吧?就完事了。那我比方说我在这怼上一个啊,这个叫 haf, 这个呢?来,在这怼上这个是文本,那,那它俩就都拿到了,对不对?那都拿到了,打印一下吧。来,这个 tax 对 应的是这个,呃,这个,这个 ul 对 不对?来,走 看,我就拿到了百度,然后是这个,谷歌是这个,搜狗是这个,对吧?一对一出来的,那我还可以进一步的去处理一下,然后取第零个,哎,取第零个走, 看我想要的数据是不是一对一对出现了,对不对?为啥要一对一对出现?各位想象一下,如果这个地方,哎,他他都是一个,这不是一个个的 链接吗?对不对?我想进一步的提取这个链接的内容,那是不是可以在这块都要拿着这和服继续进一步的去提取啊?对不对?就是后续的爬虫工作可以继续的展开,并且一对是一对,互相的互不干扰啊?互不干扰。所以这种逻辑在我们 后面,我们真正要写爬虫,写到实际案例的时候,那基本上都是这样的一个结构啊,所以要能看懂啊,要能看懂。首先我们循环的时候,这里面有个这个东西叫点杠啊,各位,点杠表示的是当前这个节点啊,当前这个节点?当前节点是谁? li 吗? li 从哪来的?从这来的?那 li 是 谁? 就它,对吧?一层一层的要会往前推和往后推啊,这能看得明白啊?那这就是关于叉 pass 如何来处理 html 的 一个语法逻辑,再结合着咱们之前讲的叉 pass 的 一些个基本的语法,咱们基本上就可以拿着叉 pass 去干几乎任何事情。各位 啊,几乎可以去做任何事情啊。 ok, 那 咱们这个就。呃,说到这,那接下来咱们准备开始上实战。

你想攻击淘宝,于是你打开它进行抓包,拿到 a p i 之后,你开始写脚本,抬升爬虫。既然这么简单爬取淘宝数据, 警告本视频教学只为交流分享技术学习,禁止用于其他任何用途,所获取的数据均为公开数据,内部零基础入门笔记以及大量参考案例和更多技术学习交流。甩八百八十八,学习更多带走 咱们。今天是对淘宝商品公开数据进行对应的获取,如果你在该平台该店怎么提高店铺的商品曝光呢?可以在商品条上面进行对应的改进,能发现这些商品的标题都很长, 其实是一些磁条的堆积,客户在搜索的时候,只要搜索了内容,在你的磁条中,你的商品就能够被搜出来,被看见。比如说在这个地方我搜索是卫生巾,那么它下面所出现的就是全部带有卫生巾的一些磁条商品,包括价格,也可以进行相应的 或者说相似商品价格的收集,进行分析,调整自己定价,这些是策略上为我们带来的便利。我们可以通过爬虫去收集当前这些商品的标题以及价格,进行对应的词云图的分析,比如说在标题上面进行词云图的分析,哪些 词条用的更多,哎呦,我就把我的商品将这个词条也加上去,我们的价格呢,就进行一个可说话的图形绘制, 通过各种图形的特征去合理的进行我们的定价。所以现在我们通过爬虫的技术获取当前淘宝页面的数据,当然是指定数据,这些都是可以直接去搜索的,我们今天所使用到的 技术是追星配置的一个自动化,和我们传统的 request 是 不一样的, request 是 模拟请求,它是模拟,而追星配置是实打实的通过自动化启动浏览器。所以说在某些加密数据上面, request 呢,还需要去进行 j s 逆向的一个分析,但是追星配体可以在一定程度上面去绕开对应的反爬和加密,因为它是实打实的去启动浏览器,打开浏览器,而不是一个虚拟的请求。 那我们去看一下追星配置是如何去使用的。首先我们要通过 p i p style 去下载一下追星配置这个模块,通过 p i p in style, 然后把模块名称呢复制下来,在终端中执行, 打开终端,将咱们的 p i p style 复制粘贴下来, 按住回车键,它就会开始对应地下载了,下载成功之后会出现一个 successfully, 代表下载成功。我们下载好这个模块之后,就可以去使用这个模块。第一步,导入模块, 导入模块通过 for recent page 导入一个 浏览器,你可以理解为因为我们是自动化打开浏览器,自动打开浏览器,那么浏览器呢?有很多品牌,比如说三六零浏览器,比如说谷歌,比如说火狐,对不对?这些都是浏览器,那以谷歌浏览器举例,以 谷歌浏览器举例,我们导入谷歌浏览器。导入成功之后,下一步就是启动浏览器,也是创建浏览器对象,创建浏览器对象代表着自动 启动浏览器,我们这里呢是谷歌浏览器通过所导入的浏览器加小框进行一个实体化对象,我们右键运行的时候,你会发现它会自动打开一个谷歌浏览器的右键运行,走 啊,看到没有,它就自动打开了一个谷歌浏览器,那我们打开这个谷歌浏览器呢?用一个变量对它进行一个接收,比如说 p a g。 后续我们打开浏览器之后,下一步的行动就是打开我指定的页面,哎,我们把我们对应要收集数据的这个网页的页面给它复制一下, 通过通过 url 链接跳转指定页面,跳转指定页面,如何把这个 url 写进去呢? 我们的编辑是浏览器对象,通过点叉子符要用 get 扩展函数将 url 传递进去,它就会自动跳转到这个页面,哎,我们刚刚的那个链接呢?再复制一下 ctrl c、 ctrl v, 它就能够自动打开这个页面了,我们再去一起看一看,走好,自动打开谷歌浏览器,自动跳转到了我们的数据页面, 然后下一步就是数据获取了。如何去进行对应的数据获取?我们先需要确定咱们的这个数据呢?在哪个数据包里面,通过监听的方式获取到数据包,我们通过 f 一 上打开开发工具, 刷新咱们的页面,进行数据刷包。啊,在这个里面呢,我们搜索一下,比如说我在这个地方搜索一个 这个叫维达悬挂回车啊,我们可以搜索到对应的数据在哪个数据包中,点击一下之后会在我们右边这里呢,去进行数据包的定位,找到标头,这就是咱们的数据包,我们可以在响应里面去确定一下, 确实是有这个数据的,对不对?然后我们就回到标头如何去获取这个数据包?我们的 request 方式是直接向这个数据包的 url 发送请求,但是自动化,不是的,自动化是监听啊,我们再打开这个 页面的时候,这里呢是模拟的浏览器,不是,他是直接打开浏览器向这个页面发送请求,所以我们向这个页面的后台服务器发送请求的时候,后台服务器他就会传递数据包过来,我们可以在打开之前进行一个数据包的监听。数据包 监听,监听 通过咱们的浏览器对象点操作图,要用 listen start 开始监听,我们的监听目标呢?传递进来也就是我们的这个数据包,当然可以不用复制完整的 u r, 复制一段就行,比如说我就复制这一段, 复制 url 的 一部分内容。那所谓的数据包今天指的是咱们呢在发送对这个页面发送请求要跳转到这个页面的时候,后台服务器会将数据包传递过来, 而在数据包的传递过程之中进行对应的监听,只要出现了数据包,携带我监听内容的数据包就会被获取到,这就是数据包的监听。 我们可以给监听呢设置一个等待时间,等待监听 到的数据包贴机点 listen waiter, 监听时间 time out, 什么时候超时?比如说我们监听一个五秒数据包传递时间的话,五秒已经很长了, 如果说五秒还没有数据包,那我就需要去思考一下,我上面这个数据包监听是不是有问题?是不是找错了,没有这个数据包数,数据包里面没有这个链,这一部分链接内容对不对啊?同样的还有一个问题,就是我们的监听一定要在打开的前面, 因为如果你先打开再监听的话呢,就可能会导致有部分数据包没有被监听到啊,所以我们先准备监听再去打开页面, 现在如果说在等待时间监听到数据包,就会获取这个数据包内容,我们通过一个变量进行存储, p a, c, k e, t b, 获取到目标数据包, 获取到目标数据包了之后呢,我们就可以对这个数据包里面的数据进行对应的提取,它的提取代码也不一样了,获取数据包数据啊,我们通过数据包对象点操作,要 response 响应点播,这就是获取数据包的数据,这样代码是固定的,当然前面这个数据包变量呢,你可以随意去改变,我们可以用一个变量对它进行一个存储。 dat, 输出一下 dat 数据包中的数据。第一天, 好,我们右键运行来看一下,走,看一下能否监听到我们的数据。 好,现在呢咱们这个数据就已经对应输出出来了,当然它输出的内容很多,我们看一下能不能获取到我们指定的数据呢?我们就按 ctrl f 搜索一下,我们就搜索一个内容,比如说这个清风精装,搜一下,看一下它有没有清风, 哎,精装是不是有这个数据?清风精装对不对?它价格有没有呢?我们来看一下价格上面的话,我们去搜索一下它价格是一十六点零九,我们看一下有没有一十六点 六点九零还是零九来着,再看一眼一十六零九零也有, 所以说现在我们就可以呢把这个数据包里面的数据进行对应的解析了,也就是我现在所输出的呢,是我们当前这个数据包里面的全部数据, 并不是我想要的,我只想要我的目标数据,也就是标题和价格的话呢,我们就需要进一步进行数据解析,所谓的数据解析就是从这些大量数据中提取出我们的目标数据, 这就是数据解析,它可以在一定的程度上面帮助我们进行最开始所说的针对于你商品磁条的一个设置以及价格的设置。好,那我们今天这节课的学习呢就到这里了。

叉 plus 懂了之后,我们再来改造一下这个代码,再复制一份版,这个叫 css, 再来一个叉 plus, 把这里面所有的 css 全部改成叉 plus。 先来看前面找 li, 这里我们就可以直接过滤出一星评论,或者没用数量大于十的评论。有两种思路,第一种就是先找一星评论,然后往上找 li, 接着找每用数量大于十的评论,也往上找 ui, 最后把这两个列表合并去重,每一个 ui 都有一个唯一 id, 可以 通过这个 id 去重,但这种思路比较麻烦,要定位两次, 还要多一步去重。我们选择另一种方式,直接找 ui, 只不过找 ui 的 时候把条件一次性加进去。那条件怎么写呢?来看一下评分元素,它是一个 span, 把这段复制一下 条件,这里我们就用点表示当前节点,也就是 ui, 然后往下找所有的 span, 这里继续给 span 加条件,用 containers 来过滤。 class 命名里必须包含这个字,当然我们要的是一星, 这样就能找到所有一星评论的 ui 节点,可以打印一下它的长度,然后 excel 直接结束程序,后面还没改,先不要运行, 数量是零。第一页没有异性评论吗?来看一下,确实没有,那第二页呢? 也没有,第三页有,那我们就用第三页来测试, 现在就有了,而且有两个异性评论。 ok, 这是第一个条件,接着用 o 来连接第二个条件,这次我们要获取回应数,也是十遍,要找类名包含这一段的, 可以基于刚刚的条件来改。内屏要包含 reply account, 为了看得清楚一点,可以换行写, 这里找到回音节点还没完,我们要的是这里面的数值,要去掉图标和文字。叉 pass 提供了一个函数叫 translate, 类似 python replace, 文档里我也更新了,你可以看一下。这里我们就要拿到 spend 文本数据传给 translate, 这是第一个参数,第二个参数是需要被替换的制服, 注意这里它是按制服替换的,不是按制服串,它会把这里面每一个制服单独替换,这一点和拍摄不一样。 然后第三个参数就是要替换成什么,我们就替换成空制复串,这样拿到的就是纯数字了,但还是制复串形式的数字,要比较的话还要把它转成数字,可以用函数 number 把它的结果转成数字,最后用 number 的 结果做比较。只要大于十的来跑一下,一共三条, 这里有一条异形的,同时回音数也大于十,这里还有一条异形的,正好三条。 到这里我们就拿到了所有满足条件的 l i, 这一步就过滤掉了大多数评论。接着我们就便利每个 l i 解析具体的数据,当然要先拿到完整评论,因为后面还要在完整评论里过滤关键词,把它放前面来 id 后就不用改 url, 就 不能这样拼接了,因为后面还有参数,可以导入 url 脚印,用 url 脚印来处理。 当然这里也要改成叉 plus 语法,用了 div 元素,我们就直接选中 div, 并且 class 要等于这个值, 再读取它的 text 文本。 ok, 现在我们把 break 改成 ctrl 六。把这三条评论都抓下来,你会发现只有一条,后面两条都是空的,来看一下咋回事儿, 看到了吗?第二条评论,它的内容不是直接在 diy 里里面又套了一层 p 元素,所以这里获取文本的时候就不能是只取直接至极了,要用两个斜杠表示子孙后代,所有文本我都要, 这样就都拿到了,那之前的 c s s 选择器应该也有问题。这里提取文本的时候应该用空格表示后代选择器,把它拿过来试试看 也是可以的,如果不要这个空格就提取不到了。其实在 type pass 里,除了这种方式提取后代文本,还有一种方式, 它提供了一个 string 函数,可以把这整个 div 节点直接传给 string, 效果和刚刚 text 一 样的。只是如果这个 type pass 选择的结果有多个字, string 只会取第一个字转换。我们是在一条评论里找完整内容,所以肯定只有一个 div, 这样写就没问题。 既然是 string, 就 直接拿到所有的文本数据了,就没必要 get all 了,用 get 就 行,既然没有多个,也不需要用 root 来拼接了。还有就是这个 string 函数也有转换的作用,如果结果是 long, 则会被转成空字旁。 ok。 完整评论拿到之后,接下来就需要做判定来看题目,要筛选出包含这些关键词的评论,可以单独写一个函数来做,叫 hit keywords 给我传一个需要匹配的文本,关键词列表可以单独放前面来, 这里先判断一下,如果 text 为空,就直接返回一个空集合,然后就是查询里面是否有关键词,可以用正则来查,效率高一点来导入 ie 模块。正则也是讲过的,拍摄基础片和 gs 基础片都讲过, 如果不熟悉的话可以回看。这里我们先创建一个正则对象,避免每次重新出此话,只要满足这里面任何一个词语就命中。 这里面就用 keyword pattern 点一个 find all 查找 text, 把查找结果转成集合,过滤掉重复的关键词。 ok, 再回到主逻辑这里,拿到完整评论之后,就调用 hit keywords 判断一下,看看有没有关键词出现,如果没有就直接看停留,没必要继续了。来跑一下,还是有三条对吧?说明这三条里都命中了关键词,那我们只留一个关键词试试看, 第三条好像没了,对吧? ok, 接下来就可以真正保存数据了,这个打印和 continue 就 不要了。 先来看 name, 要找 class 包含 other name 的 节点,改成 type pass, 就 要用 containers 过滤除 class 包含 other name 的 节点,然后提取它的文本,但这样写不行,前面这里只是条件,并没有指定节点。先来跑一下,看看打印 name, continue 就报错了,说叉 plus l 无效的表达式。来看一下圆满 是 span 元素,那这里就要选中 span 节点,而且要从当前节点开始选,因为这个 name 和完整评论不一样,完整评论这里拿到的是一条评论,所以可以直接两个斜杠开始。 而这里的 name 用的是 review, 它是从页面源代码里拿到的 ui 节点,如果也这样写的话,那就变成了从根节点找所有的 span 了,而且你还只拿第一个,那前面的过滤就没有意义了,可以来跑一下看看。 看到了吗?三个是一样的,都是页面上第一个名字,加上点之后就可以了。 还有一种方式就是这里可以不写 span, 因为主要是后面这个条件,过滤嘛,就可以用星代替表示任意节点,只要类名包含 under name 就 行。这个懂了之后,后面的改写就简单多了,这里也要改成 contents, 任意节点就行。读取 class 属性,读取 a g 三的文本, 最后把它们整理成字典, 好像还差一个完整评论,对吧? ok, 接下来就是翻页,拿到所有满足条件的评论。先来写翻页功能,可以写成生成器,就叫 etepage urls。 这里一共有七十五条评论,每页十条,一共就是八页,那这里偷偷参数默认就等于八,然后循环八次,从一到偷偷加一 url 的 参数可以改一下, 这里就 year, 用 for mac 拼接。再来一个提取 l i 的 生成器,就叫 e t l i s。 传一个 page url 进来, 这里就请求 page url 提取页面上所有的 l i e r 的 每一个 review。 再来一个数据解析函数 hash review, 传 review 进来,不满足条件就 return long, 有数据就 return data。 最后来一个数据流,把这些生成器组合起来,就叫 data stream。 先拿到每一个 p g l, 然后拿到每一个 review, 接着调用 pass review, 拿到 data, 如果有 data 就 get 出去。最后再来一个 make 方法,便利 data stream。 在前面准备一个 react 列表,这里每拿到一个数据就添加进去。题目要求不是统计点赞数吗?那我们再来一个变量 to to use for。 每拿到一份数据就把点赞数累加进去,然后可以打印一下每一条数据,便利的时候把缩印也拿一下吧。从一开始 这里就打印 index 两个字,复框又对齐,然后打印一下星 际尾数, 点赞数 以及胎拓,最后循环完毕,打印一下共命中多少条 符合条件的评论点赞总数, top useful 来泡一下, 一共十四条,点赞总数五幺七七。这就是答案,来,提交上去。

前面我们有个视频讲过 xpath, 但是比较基础,今天开始我们花己个视频来详细讲下。 xpath 是 一个强大灵活的解析工具,能够处理复杂的 a c 猫结构, 它是近接触聚采集的核心技能,解析速度快,定位精度高,学会之后处理复杂页面会轻松很多。 xpath 全称是 xml 文档设计的节点查询语言, 因为 html 和 xml 的 结构高度相似,都是嵌套的标签结构,所以 xpath 也完美适用于网页解析。它的核心逻辑就是把网页转换成一棵节点树,我们通过写路径表达式,就能在树上精准找到想要的节点和内容。 理解 xpath, 首先要理解节点数的概念,整个 html 文档是一棵到过来的树,最顶层是根节点,往下层层嵌套, 每个标签都是一个元素节点,标签里的文字是文本节点,标签上的参数是属性节点,节点之间有父子兄弟、祖先后代的关系, xpath 就是 靠这些关系来导航查找的。 和其他提取方案相比, xpath 有 三个不可替代的优势,第一是性能强劲,因为底层是细语言实现的 l x m 解析器,处理大页面速度比 b s 快 好几倍。第二是定位能力强,复杂嵌套动态生成的结构也能精准匹配。 第三是表达能力丰富,条件筛选模糊,匹配全方向便利,都支持很多 css 选择,其做不到的事他都能做。 xpath 的 能力覆盖了网页提取的全流程,可以分成四大类,第一是元素定位,按路径找到目标标签。 第二是内容提取,拿到文本内容和属性值。第三是条件筛选,按属性位置文本内容过滤元素。第四是节点便利,父子兄弟前后方向自由跳转,处理不规则结构特别好用。 用 xpath 提取数据有标准的五步流程,第一步,用请求库拿到网页源码。第二步,用 xml 把字串解析成节点数。第三步,编辑 xpath 路径表达式。第四步,执行查询,拿到结果列表。第五步,清理数据输出结果, 整个流程清晰固定,熟练之后效率非常高。 xpath 的 语法体系非常完整,我们后续会分模块详细讲解,这里先给大家做个总览。基础部分是路径符号,用来表达层级关系, 筛选部分是谓语条件,用来加限制。规则提取部分是核心函数,用来拿内容。高级部分是轴运算,用来做节点便利。还有字母串、数值类的辅助函数,处理数据的时候很常用。 xpath 的 应用范围非常广,不只是网页提取,最核心的场景是各类网站的数据采集,电商资讯、招聘网站都能用。其次是自动化测试, selenium、 playrite 都支持 xpath 定位元素, 还有 xml 配置、文件解析、接口返回的 xml 数据提取、文档结构化处理都能用到它。 最后说几个新手对 xpath 的 常见误区,第一不是越难的方案就越好,简单场景用字母串反而效率更高。第二不是路径写得越长越精准,层级太多,页面一遍就失效。 第三不是只能从浏览器复制 xpath, 自己手写的才更稳定。第四,它不是只能和 xpath 语法。 接下来的系列教程,我们会循序渐进拆解 xpath 的 每个知识点,先从基础路径进语法开始,讲清楚核心符号的用法, 然后是属性匹配和内容提取,接着十条键筛选和谓语函数,再到高级的轴运算,最后是综合实战案例, 跟着系列学完,就能熟练掌握 xpath 的 大部分使用技巧。以上就是 xpath 的 完整概述,它是网页提取进阶的必学技能,性能强、定位准,应用广,虽然上手文件稍高,但熟练之后收益非常大。 后面我们会逐个拆解每个功能点,把每个语法和技巧都讲透,感兴趣的可以点赞关注,跟进后续更新。

一天一个干货拍送分享课程及涉及的所有素材,留下打卡学习即可全部带走。今天我们讲网络请求过程。 哈喽,各位好,我是大爱老师,那这这一小节啊,给大家介绍一下网络请求的过程,那这个过程是我们写爬虫必须要了解的过程。嗯,哎, 第一步,我们平常在看这个图啊,电脑上通过客户端,这个客户端一般指浏览器嘛?是不是去输入一个域名,这个域名这里用一个百度做决定,要发送给你做 d s 服务器东西。好,我写一下, 一杠一网络请求过程 第一步,第一步是一般是通过浏览器浏览器上一个域名,把把域名啊域名 发送给了 d s 服务器。那同学问了,这个 d s 服务器是啥?我们先来了解一下 d s 服务器, 我们先思考一个问题,那你在网络海洋当中,他怎么去标记台电脑呢?是通过什么啊? 那同学可能会想到一个 ip 地址了,是吧?那 ip 地址怎么理解呢?类比到生活当中,咱们要做一个定位的话,平时定位通过什么?你要精确定位,是不是要通过一个叫做精纬度啊?是不是通过一个精纬度, 比如说东京,东京一百度,北纬十度,通过这个呢,可以精确定位到某个地方,而且这个位置呢,是独一无二的,你不可能定位到别的别的第二个位置了,经纬度。 而 ip 地址啊,它就有类似这样一个定位的功能,是不是我们就这个地方举例啊,百度服务器它的一个域名 ip 地址, 百度服务器的域名是幺点幺点幺啊,我们举个例子,那你想我们平时去访问百度都是用这个幺点幺点幺去访问它的吗?那不是咱们平时访问怎么访问的啊?是不是在地址栏去输入三 w, 三 w, 百度点开就去访问它,是不是? 那你看你通过这个访问跟我们利用这个幺点幺的访问有什么区别?那有什么区别?你想,你想,就好像点外卖一样,我们平时点外卖,你不要写一个地址吗?是吧?那么那个地址啊,你怎么写?正常人写的话,他肯定是写一个具体地址, 比如说长沙市岳麓区有某某小区几栋几零几,对吧?但同学可能他这么写,他说我的一个地址是在啊,北纬, 北纬,北纬北纬十度,然后呢?西京,西京一百度,哎,你在后台写一个这样的这样一个地址,那么那个快递小哥能找到吗?他找不到 啊,他找不到,因为这个地址你觉得是给给我们正常人去看的吗?那肯定不是的,是不是正常人看的,他就是个具体的地址。你像某某小区啊,某某小区在几栋几零几,是吧?那这个地方,哎,回到我们的这个 ip 里面了, 你这个 ip 跟刚刚那个百度三 w 百度的域名看一下,很明显啊,这样一类比的话,我们这个域名啊,这个域名是给谁看的?是给人看的吗?是不是给人看的 ip ip 域名? ip 域名 有三 w, 百度,百度点看,而那个 ip 地址呢?是给机器看的,机器看的,看的这个 ip, 嗯,幺点幺点幺, 那他怎么知道你这个域名对你是这个 ip 呢?对这个 ip 呢?这个就是 ds 服务器这个作用,他就通过你这个域名去解析出你相对的 ip 地址,是不是啊?好了,给大家讲了一下 ds 服务器这个作用啊。来, 那你我们平时访问某个网站的时候,你可以通过 ip 去访问,也可以啊,也可以通过这个页面去访问,都能够访问同个同一个网站,是不是? ok, 好, 我们回到这个图, 那么现在你发送给 d f d s 服务器之后,把这个域名发送给 d s 服务器之后,我们该讲了,它会解析对应的 ip 码,是吗?好,看这个箭头,一箭头返回过来,返回一个 ip 地址,那我们这个机器拿到这个 ip 地址之后会干嘛?它就会对这个 ip 去请求发起请求了, 是不是?你像这个幺零幺零幺,他就访问百度了,向百度的服务器去要数据,是不是?第三步,拿着,呃,拿着 ip 去请求, 那么百度的服务器它收到什么请求?假如这个请求是没问题的话,那么它就给你返回相对的一个数据了,是吧?那么这个数据呢?一般一般情况下它会包含这个 h d, m j, s, c s 跟这个勾 b g, 大家可能还不止这些啊,可能不止这些。 第四服务器,服务器返回返回数据,其中包括 h 三秒,这个 z, s, c, s, s, 这些其实都是前段的一些数据,前段的一个内容,好吧, 哎,这个过程呢,大家理解一下啊,理解一下,为什么我们在地址网址栏输入个 url, 它能够返回这么个页面呢?中间呢?其实会做这四步的操作,就在一瞬间完成了,是吧?啊?我们平时通过浏览器呢,它自动帮我们做这四步的一个操作, ok, 嗯,好。那么网络检测过程就先给大家介绍这个地方了,同学们如果说有什么疑问的话,有什么问题可以在评论区讨论呢?

同学们大家好,今天给大家带来一个使用 python 编程技术来实现呃,免费观看 vip 视频的一个案例。这里的话呢,我们是由两个模块呃所构成的,第一个是 tiktok, 这个库的话呢,是一个 python 内置的库, 它的作用就是可以创建图形界面啊。我们学第一个程序,比如 hello world 是 吧?你运行它都是在终端里显示的,但这个呢,点击运行代码,它是有窗口界面的,就是有这种界面。好吧,用 tiktok 模块可以创建带有 g i 图形界面的一个程序。 其次第二个是 vivo bros, 这个的话呢,也是一个自带的酷,不需要安装。这个酷的作用是什么?它可以帮你直接打开浏览器,用代码的方式直接打开你的电脑上浏览器,好吧,是这两个功能。好,我们再来看这个代码,这个代码的话呢,就是做了一个简单的窗口界面实体化。呃,然后的话呢,我们 给这个界面添加相关的一些标签,比如说像这个输入框啊,这个左边的提示,右边的按钮,还有下面这四个按钮,以及这一个文字,对吧?以及相关的标签文字等等的。所以的话呢,这里就添加这些相关的文字啊,就是它一个界面设计, 再然后的话就是我们这三个按钮的功能,这三个按钮功能是什么呢?来,你打开界面,在这里的话呢,会有三个按钮,是不是爱奇艺、腾讯和优酷?那么这三个按钮分别是什么?分别是使用 vivo bros, 就是 我们那个浏览器的酷,他会帮你打开浏览器吗?是不是?然后的话呢,把网址往这一填,也就是说他会在浏览器里直接打开这个网址 啊,再就是进行,是是我们这个视频的一个播放,那么是借助这样一个接口网站来进行实现的。好吧,只要填这个对应的网址解析就行了。好,那接下来我们来试下效果,好吧,来打开这个页面啊,在这边我们随便选择一个网站的视频,比如说我们就以腾讯为例,点击腾讯视频 啊,找部电影吧,你像这个飞驰人生是吧?喏,首先的话呢,可以看到啊,进来之后 你需要先看广告三十秒,其次的话呢,想看完整内容,你要开 vip 对 吧?嗯, 首三月,每月一个月十六块钱,反正就是要花钱,那我不想花钱怎么办呢?嗯,没关系,不想花钱看这些。复制,把这个电影的网址复制一下,复制完之后的话呢,把这个网址粘贴到这里,然后点击右下角这个播放 vip 视频的按钮点一下, 那么他就会进行解析,然后呢,哎,进行观看。好,这边我们就点击播放就可以了。 ok, 这个可能有点慢,快进一下,有时候快进到五分钟。嗯,我觉得他是那种长得显得特别厉害的那种,我俩往那一站,冷不丁给人感觉好像他是五连冠,哈哈哈哈,有的人啊。 ok, 好, 我停着啊,停了 可以看到呢,这里就能直接播放是吧?你想看的话直接播放就好了,就点这个按钮就行了,非常简单,非常简单就不需要你开会员了。好吧,你看左边这个,这广告还没看完,这广告还没看完,有点尴尬啊。然后呢,这个是之前来快进一下的,刚刚是五分钟吧,是这样的吧?啊?快进一点 五分钟啊,对吧?是这个吧?所以啊,所以如果说你想要观看啊这种 vip 视频的话,那么可以通过这个程序来进行实践,好吧,非常简单。好的,那这就是我们今天这个程序的案例。

今天给大家带来一个用 python 爬虫来采集 vip 视频的这样一个案例,接下来我们来看看它的一个程序的运行效果。嗯,首先运行我们这个代码, 运行之后会出现这样一个弹窗提示的吧?就是,呃, vip 追踪器是吧?下一步我们选择一个视频平台,你自己可以选,比如爱奇艺,腾讯视频或者优酷视频,我们这里腾讯视频为例吧,点击腾讯视频,他会在浏览器直接打开腾讯视频的官网啊,并且的话呢,我们接下来选择一个电影分类吧。 好,然后选择,比如说这个,这个浪浪山小妖怪。好,首先进来之后呢,大家可以看到啊,这里首先第一步是要求 vip 可以 关闭广告,其次的话就这个看完整视频需要开通会员是吧?但我并不想开会员,那怎么办呢?来复制下它的网址, 然后找到我们刚刚的软件,把网址粘贴到这里,接下来我们点击播放 vip 视频,点一下, ok, 那 么这样的话呢,他就直接会把这个视频解析,然后呢并且抓起来给你看,好吧,好,那这个我们就可以试着播放一下,点击的话,那这里你可以把口哨关掉,那这个弹幕关掉啊, 对,开始播放是吧?我们选择快进一下吧,我就不等了,这个太慢了,我祖爷爷的帐篷 给我弄死他俩,等我饶命啊啊,声音停了,开,开了喏, 呃,他就开始播放了,对吧?这边的话呢,还在刚开始,所以我们可以通过这样一个程序来获取到 vip 的 一个视频。好吧,行,那这是我们这个程序的一个案例效果,你自己可以把那个需要播放的视频放这里边,然后点播放就行了。 ok, 非常简单。