post抓包数据分析教程

好了，大家好啊，今天呢这节课呢，我们来认识一下这个装包工具飞的人啊， 然后的话呢，我们通过飞的了啊，来认识一下 htp 的请求和响应啊，以及他的一个 get 和 pose 的这个协议的一个区别啊。 来我们看一下，我们首先我们打开我们这个淘宝啊网页，然后输入用户名和密码，然后点击登录 好了，这登录进去了啊，然后呢，这边就是我们的一个装包工具飞的了啊，我打开的时候是这样子飞的了啊，这里面 这些东西就是我们刚刚抓的抓下来的一个一些包啊， 一些请求啊，我看一下啊，我们找到我们的一个请求，我们的请求呢，我们是有个方法的啊，大家看一下，这里面呢有 get 有 pos 的，我们看一下 pos 的请求啊，我们主要看 pos 的请求 啊，这是整体的是吧？ 这是他的一个整体的一个盖朗，对吧？这是 pose 的请求，然后再看一下我们的这个，这个是他的一个，我们可以看一下啊，他的一个 hone 的啊， 是不是然后这个参数没有的，是吧？这是没有参数的啊， 我们要找到有参数的，有参数是我们输入什么呢？我们输入的这个用户名和密码啊，放在这个参数里面 rabra， 对吧，这是没有的，没有我就找到找到这一条啊， 他一定有的，我告诉你们一定有的啊，看到没？这就这就有了吗？对不对？有了，有了参数了啊，你看我前面的这个 boss 请求都没有参数，没有参数就就不算啊，我们最主要的话呢，要有参数啊， 你看这个对吧， 我们主要的参数啊，你看这这前面都是没有参数的，对吧？他是为零，我们找到这一条，这一条是有参数的。好，我们看一下他的一个参数， 放大一点啊，这个参数是什么呢？我们看我们输入的用户名和密码，这是一般是加经过加密处理的啊， 这啊，你看啊，你看这后面 api 是一个登录登录接口，对吧？跟了一个登录接口啊，看到没？ 一个 url 再搭一个 api 登录接口，看到没？ new log， 是吧？这个登录接口，然后的话呢？这个登录接口下面的话，他他会有这个，嗯，这是他的一个状态码 啊，然后我再看一下，你们再看一下他的一个啊， uid 和 sid， 这两个是他的一个什么呢？用户和密和密码，我们输的用户密码，但这个的话是是经过加密的，我们看不到的，对吧？我们看不到啊，你看都经过加密处理的啊， 好啊，这个就是我们用 pos 的请请求我们，我们我们搞搞到的一个接口啊，我们这个接口，我们做的这个 api api 就是接口，对吧？我们的一个登录的一个接口啊， 然后的话呢？他出了这个，还有一个，这是他的一个请求头啊，请求头的话呢？他包括什么呢？我们 hos 的主机，对吧？一个一个叫域名，这个阿里云 cs 点 com， 对不对？然后这个连接协议啊，连接他的保持啊， keep， keep alive， 对不对啊？这些我们都不用管，内容反馈的内容长度啊，对吧？这就是要求服务器的啊，要求服务器的通知服务器的啊， 这是我们告诉福气，我们用的是什么什么浏览器，对不对啊？你看对吧？五哥，对不对？ 这些我们都不用管啊，这是告诉服务器，这是我们说的，我们告诉服务器的一个语言，对吧？可以接受的语言中文，对吧？啊？我们可以接受的，他会 一个压包的，呃呃，这个压缩的方式及这一步，对吧？好，这个从电箱的一个地址，对不对啊？然后的话呢？呃，其他的我们都不用管啊， 然后这个包里包里是他的一个紧急数据，这个数据是没有的啊，没有的，他都他的一个数据，他他都放在这里的啊，他就是他的用户名和密码，最主要是输入了用户名和密码，对不对？已经放到超速里面去了。 这个是这个是原始的啊，原始的， 你看我们发出去的就发出过去的，就是这么一个东西，对吧？下面这个 是空的，他请求体，他的玻璃是空的，请求请求体是空的，是没有的啊。然后的话呢？这个你看我们第一行第一行是什么？他的一个请求行，对吧？他是一个 pose 的，对不对？ pose 的方法，然后的话啊，这个是他的一个，呃，地址，对吧？ ul 地址啊 啊？然后后面的话肯定还是有的啊，后面我们可以看到他他的一个协议， 那有点小了啊，我们可以把它复制下来，我们可以把它复制下来看，对吧？ 我们可以把这个全部复制下来 copy 一下，对吧？然后复制复制到我们这个记事本里面 好了，你看这这就可以看得到了啊，对吧？你看这后面这个是跟的是一个参数吗？对吧？这个这个符号跟的是一个参数吗？对吧？ u id 啊，用户名啊，对吧？ 啊？ s i d 啊？密码对不对 啊？ pid 啊啊？验证码对吧？ 这是参数，后面是它的一个协议，看到吗？ atdp 协议啊，一点一版本， 对吧？这是他的一个请求。什么？这，这就属于请求行，下面呢就是一个请求头啊，请求头，奥斯特啊，他的域名连接什么之类的啊？这请求头主要是告诉，主要是告诉服务器啊。 啊？我是谁？我，我能够接受什么样的一个消息啊？什么样的格式？你仿佛给我的一个东西是个什么样的格式啊？他的有什么样的限制啊？内容长度啊，什么之类的，对吧？ 啊？语言啊，用什么语言啊，对不对？这就是告诉福气的啊。然后铁球体他这个固化在空空行，下面，这个固化是没有 看到没啊？这就是 pose 的请求，然后我们再看一下这个 get 请求啊，好，我们找一条 get 请求。 get 请求的话呢？我把这些东西删掉啊，我清除一下， 我们清除一下啊，好，清除这个东西，我们再看一条 get 请求。 get 请求的话，我们就通过这个搜索啊，这个行李箱拉箱，拉杆，拉杆箱，这个东西啊，在淘宝里面搜索进行搜 好，搜一下他就抓包了，对吧？这个就抓了，抓了很多很多很多包啊，很多请很多请求，然后的话很多请求的话呢？我们再看 看，找到那一条电池的请求，找到他的一个查询的这么一个接口啊，查询的接口看是哪一个哪一个？你看这个显示是这个。好，我去，我去看一下这个这个请求。 嗯，他有一，他，他也会，他也会有一些参数，看到没，对吧？这个对吧？这个就是我们的一个行李箱拉杆箱，对不对？ 看到没？行李箱拉杆箱，这是我们啊，这个参数是我们输进去的一个参数，对吧？啊？ 这是他的一些库克，库克也是输入的一些东西啊，这个我们都不用管，然后的话，这个是他的一个请求头，请求请求投啊， 挺牛头的话，你看这个是他的一个主体，也叫玉米吗？对吧？嗯， 然后啊，然后的话呢？呃，我们还有什么呢？这是他的一个原始的一些数据啊，我看一下他，他也没有，他没有，他也，他也他，他是没有这个请求体的啊，没有他的一个包体的请求请求出去的，因为 get 吗？是不是？ 我看一下啊，对吧？我们把它复制下来，复制下来呢，我们也先进一个文件，对吧？ 我们就放在这下面吧，放在这下面吧，你看这是 get， 我们上面是 post 啊，那 getpost 啊，对吧？这是 他的一个 ui 地址，对不对？这个是他的一个参数，对吧？他问号后面接的就是他的一个参数啊，这个按的就是第一个参数，第二个参数啊， 对不对？ 然后这个是他的一个协议 hdp 一点一，对吧？版本啊， 这就是该死的请求。 然后盖子，我们看一下他，他会有响应吗？对不对？盖子，他会有响应啊，你看他响应，他会返回一些数据， 我们看他返回的一些东西，这是 pose 啊， repose 返回的一些东西。 好了啊，那么我们这节课主要是讲这些东西啊，主要让大家知道认识一下这个，嗯，装包工具啊，以及我们这个 get 和 boss 啊，两个请求的不一样的地方。

今天我给大家介绍抓包工具，非得在这使用，它是一个非常好用的抓包工具，可以将网络传输、发送与接收的数据进行拦截、重发、编辑、转存等操作，也可以用来检测网络安全。 菲特勒尔是通过改写 app 代理，让数据从他那通过来监控并且拦截到数据。当然菲特勒尔也很屌，在打开他的一瞬间，他就已经设置好了他的浏览器代理了，当你关闭的时候，他就帮你把代理还原了，是不是很贴心？ 想要抓到数据包，要确保 ctrl fafe 是开启状态点 flcout tic f 开启后在左下角会有显示，但是 也可以直接点击左下角的图标来开启或关闭找报功能。 stex 是请求的性能数据分析， expx 是查看数据内容。 奥特瑞斯邦德尔是允许拦截指定规则的请求。 come on poss 是自定义请求发送服务器， fux 请求过滤规则，他们来是请求享受时间。下一期我们讲菲特勒如何设置解密 htbs 下的网络数据。

今天我们讲一下采集器的 post 方法，采集写了一个测试接口， 如果是 get 方法的话，它返回这个 data 就是空，如果是 post 的话，就返回简单的测试数据，我们来测一下效果， 这里呢我们就简单的直接测试内容采集，采集到 data 就行， 请测试内容采集忽略失败，我们主要看这个请求，就是 get 请求。 我们现在在这个高级设置里面勾上启用 post 请求，然后我们把这个网址给复制过来， 这里只要包含这样的字符串，就使用 post 请求。我们再测试一下， 已经是 post 了，数据，也对，有 data， 有些站点可能就不能使用 get 方法去抓取，所以加了这个支持 post 请求的新功能。 网址采集里面其实也可以使用 post 方法， 在翻页里面就是获取这个翻页的时候它有 post 方法，网址采集时可能首页使用 get 方法翻页使用 post 方法。网址采集和内容采集默认都是 get 方法，但是网址采集的翻页可 可能就用 post 方法，所以这里有一个 post 方式，这里就新加一项，就是让其他的页面也可以通过 post 方法获取，获取的时候这个请求参数，比如说这后面有参数， 我们把它放在这里， 请求头部地址还是这个 a p i 这个参数被放到这个请求内容里。 当前版本就是增加了这样一个支持 post 请求的新功能。

老哥说电脑，分享电脑技巧，大家好，我是老哥，今天给大家介绍一款网络抓包工具，不需要任何设置，打开就可以抓包，下面我们来看一下，就是桌面的这个工具， ig gtp 给 bug， 我们双击打开 可以看到这个抓包工具这个时候已经启动，嗯，这个抓包工具支持抓取 it t t p 和 it t t p s 的请求链接，包括 get 和 pos 的都支持。我们随便打开一个软件这个六六工具箱，可以看到这个六六工具箱请请求启动之后请求了一个 get 方法，就是请求了这个东西， 然后左边有请求的呃信息，右边以及对应返回的一些值，这是可以看到我们这边支持应用程序的过滤，然后包括请求的一些信息的过滤，还有 get 或者是域名等等。 再比如说我们随便打开一个呃软件，大家打开这个可以看到他请求的也有一些呃，有 pose 的了，有 get 的等等，有有各式各样的域名呃，我们直接去过滤也行。另外呢，这个呃他也支持一些呃添加自定义过滤规则， 还支持调整嗯，这个界面的一个主题颜色。这个抓包工具呢，对于小白来说还是很方便的，上手很容易，只要双击就可以使用，然后里面也支持搜索。 嗯，如果大家需要这个工具的话，可以直接从六六 top box 点 com 六六工具箱里面直接去下载搜搜索 i g t t v debugger 就是这个，其实这里面已经有了，在这里搜也可以 a g t v 第八个，然后找到这个之后，点击这个立即下载就可以下载到，可以看到里面有对这个工具的一些介绍，另外这个工具箱里面还有各式各样的一些其他好用的工具，这些工具都是免费的，差不多有，嗯，二百来款吧， 大家可以收藏一下。这个网站今天就讲到这里，视频制作不容易，如果大家觉得视频对自己有用，麻烦大家关注一下，我给视频点个赞。

这一章节呢，我们要制作一个 pos 的一个测试软件，那我们打开维修 c 六这个开发软件，我们通过创建新项目，新建一个项目类型，呃这边选择呢 c 效果语言， windows 的一个平台和一个桌面的一个项目类型，对方呢会在下方会显示出这个选项。 window 创题应用点 matelops 选项，我们用这个呃项目模板点击下一步。 呃位置呢，我们可以选择我们上一个 方的片刻，哎，就程序已经出来了，就是有空白的，因为我们什么都没有做，我们停止调试。下一步呢，我们要进入这个文件夹，然后这个界面中，我们把已经准备好的一个 pos， 一个接口的一个方式给塑料进来。 并且呢在这个项目中呢，我们点击右键添加键，往上把 pose 的这个呢添加进来，我们双击打开它就已经其他成功了。 我们在这个方案的设计窗口呢，我们要添加两个组件，一个是按钮组件啊，我们点击这个按钮的时候，我们要去获取接口啊，获取完所有的数据之后呢，我们要显示在这个叫 facebook 的部件上，这边呢我们点击小三角会显示一个叫摩天籁这个选项，我们打开这时候呢文本就不是一行出现了，他会是多行的显示，同时我们拓展一下这个尺寸，这个随意了，大家开心起步。 哎，好嘞，我就这样吧。然后呢，在这边可以进行对这些参数的，而且组建参数的一个设置，其实我们名字不叫奥特曼，我们改成 boss， 有自动就改完了啊，我们双击这个按钮，可以进入到呃编程的一个界面，这个这是他的一个设计窗口，这是他一个背后一个程序窗口。好，我们想一下。好，等一下，我们现在就是要把 pose 这个接口可以在这边运用到，那我们需要呼叫一下这个接口， 我们了解一下 哦。嗯，这一步呢，我们需要看一下这个 boss， 因为 我们需要把颜色，这个颜色的名字给复制过来，到这里，然后保存一下，这时候呢他们就是可以在同一个环境中给认到了，然后再看一下。好，这边就看到这个叫 pos 的了，被认到了， 我们定义了一个 boss 是这个的一个方式。然后呢我们现在还需要两样东西，第一样是地址结果的地址，第二个是结果的一个请求参数。我们回到之前的一个页面中，我们来查找一下他的两个参数， 这个方式已经教过了，这边不重复再提及啊。这边我们找到这个时间的一个结构层数，我们复制下这个域名，这边呢我们新建一个军的一个定义。 嗯，你怎么就这样说？哎呦，问吧。好，把这个地址给复制进来。好，这边我们还是要请求参数，我们这边定一个 方法呢，是这个方法我们加一块图案， 里面的参数呢？是 我们看一下，在这里。呃，一个叫 ft id， 我们把这个复制一下。呃，这边到这里，这边的格式呢？大家不要把它记住，到时候有需求的话呢，就再看一看这个代码就可以了。 好，就这样一个格式，这边来看一下。 ok， 我们有一个请求的地址和一个请求参数，让我们来进行请求。刚才我们也双击这个按钮，他是会晕，当我们点击按钮时，他会运行这里的一个弹法，让我们来请求一下。 嗯，我们来看一下这个叫 faceboos 问题，当我们点按钮的时候，这个窗口的参数会从这边显示出来。 bost， 这边的结果，第一个叫 boss， 还有好，这边的话呢，他的一个参数呢，是要进行一个转换角色，就是这个方式转换 更换一下。好，就这样一个简单的单码，我们来点击月薪一下， 这边就是爱怀的指法，这边我们可以稍微感动一下，把年级，比如说定位高三，那就十二 进行点击，哎，也是，生成了就没问题。好，我们来测试第二个地址，我要复制一下这两个，把一改成二。我们回到刚才的一个浏览器界面里面， 这边就是过去所需要按的一个结果了，我们同样复制这个运营机制进行切换。 下面是请求的一个参数，这个呢是不变的，第二个呢也是不变的，这上面是多了一个备胎的一个参数，我们这边多加一个参数， 这边就好了。我们回到设计界面窗口，我们复制一下按钮，这边我们看一下啊，这边叫第一个借口，叫破丝袜，第二个借口 我叫 bost， 双击 pose 的这个借口，然后这边也可以复制一下，把相应的一直给改了。把红绳启动一下，我们点击 post， 他就获取了 potte 的一个数。点击 pose one 的时候是 pose one 的， 回到这个窗口，我们可以打开一下这个 spa 的那个界面，选择这个啊， 过去，过去，过去完之后呢，这边就可以进行查看了，莫斯文，好，那这一节呢，我们就已经做好了一个简单的 pose 的一个小程序。

给大家分享一个抓包的一个神器乌龟手，它可以用于咱们线上的调试，这个是他的一个官网，咱们按照他的步骤安装就行，为大家演示一个非常实用的功能， 那么我可以在命令窗口里面输入这个命令啊，进行启动，启动完了之后他会提示我们可以输入这个 ip 进行访问，也可以输入这个地址，访问了之后那就是这样的，我在我在这个地方就拿着我的这个地方，我可以点 ct 默认，我给大家演示从头条这个玉门进行抓包，这他的官网，那么我怎么抓包呢？这时候你可以看一下，我去访问他的时候， 居家的一个 gs， 就是咱们这个 gs， 那我把这个 gs 复制一下呢，就可以放到或者这个入里面，打开它，那么这个地方是我 真正的屠杀他夫妻上的 gs， 那么我可以把这个 gs 下到我本地啊，应付到我本地这个目录下也可以什么呢？还有一种方式，就是第二种方式，就这个是他默认的这个前缀，然后我去应付到这个 gs 上面，那么这个 gs 在哪呢？ 就在 win 里面，我可以新建这个，就这个 gs， 我新建这时候我可以把这个 gs， 我可以复制一下他，我把它复制完了之后，我把它靠背到这个里面啊，我给他加了一个代码，我自己的代码啊，我保存之后放完这个空调的官网，你可以看一下， 他会弹出来，大不了前段你说有的时候我们项目上完线之后啊，你会发现这个线上的这个效果和咱们实际开发环境的不一样，把线上的带环境的导弹本体，那么咱们就可以一步一步的进行调试，我还可以把这个 css 给他硬着过来，比如说这个 cs， 我靠背到我本地，我本地的就是，就是这个 cs 吗？那么我可以进行修改，怎么修改呢？这个 cs， 那么我打开之后，这就打开他的 cs， 对吧？他的 cs 他默认的话，他是他这个背景是白色的，对吧？我给他改成红色了，那我就刷新这个，看到没有？ 他都变成红色了。如果是移动的话，我们可以给他注入啊，注入微康生，这个怎么样注入呢？比如说我们先把这个微康生的这个圆码引用到这个地方啊，凡是带这个前缀的，就 gs 这个前缀的，那么就会在这个地方新建这个代码，就是 拷贝的这个微抗皱的原码，那么我还要怎么实力化一下？在这里面我打开，然后我点保存，可以看一下，刷新一下，对吧？右下角你看就有微抗皱这个了啊，是吧？ 这个如果咱们调试的话，可以在线上，由于是移动端，那么我们可以注入这个维康手，在这里面就可以看我们的请求， 非常的方便，还可以注入咱们的 as 贴门，怎么注入呢？会以 ac 贴门开头，然后我们这个拍的到，我们的 atm 拍的到我们的贴门，就在这地方加了那家的，我就在这上面加了一句话，来个 div， 咱们看运行的效果，转型看到没有？那上面加了的 dna 了，对吧？在这个地方看到没有？那么有的时候我们还可以解决什么呢？还可以解决跨域的问题。在这个地方，那么我把这个一二三的 ct 去指向头圈的这个玉门浏览器里输入这个一二三，那么也会跳到头圈， 看到没有，非常的方便。如果大家有这种线上调线上问题的需求，不妨试一下这个，如果大家有更好的，可以评论区留言。

你用过浏览器 f 十二装包工具吗？怎么分析数据呢？ f 十二我没用过，搞错了再来。嗯， f 十二用过的，因为 f 十二是浏览器自带的一个装包工具，比较方便也比较灵活。所以呢，我们工作中会经常用到， 比如访问某些网站有异常的时候，通过 f 十二抓取些豹纹分析具体问题。 f 十二主要针对的是 htvp 协议和 htvs 协议，那么 它可以去确认我们的网络数据包的一个状态，以及通过分析请求豹纹和响应豹纹里面的一个内容，从而能分析出来请求数据和响应数据是否正确，也可以分析出来问题是前端问题还是后端问题。

两分钟就能学抓包，今天呢给大家带来的是抓包技术啊，讲的一个怎么去抓网络，网络当中数据包，那我今天给大家带来的抓包工具呢，叫 vishaka， 打开之后就是这样的，我现在真正上网用到的网卡是他，然后双击就可以了。当我们打开之后呢，大家可以看到这个抓包网，他这里会有这样一个界面，这个界面他会给你去展示你现在电脑收到和发出去的 信息，就是收到和发出去的平均很多，然后这里呢会显示分组，这个分组呢就是显示你到底发了多少个， 所以目前我电脑现在发了四千五千多了，是吧？在网上涨的人还不停的交付消息吗？不停的交付报管，所以这么多消息，然后这边有个滚动条件，可以看到中间交付很多很多很多消息呢，这每一个都是平均，每一个都是报，所以我们要分析网络报名，要 分析这么一个东西，说两句话这么多，我怎么分析啊？啊？当然这很多都是长得差不多的，你要看到的就是看到其中一个挑出来的，大家看一下啊，其他东西差不多比较具有代表性， 然后呢下面还有一种叫你看，这种就不一样，叫欧巴 cq 啊，这个豹纹他分成几块，第一块，第二块，第三块，第四块，第五块，是吧？后面还有第六块，就分成这几块给大家看，这这每一块他到底是什么？

通过抓包写了一个实名认证的接口，我们复制一个假的身份证号粘进去，然后写一个假的名字，就叫张三吧， 然后发送请求，注意是一个 pos 的提交。嗯，现在我返回了无该编码提供的实名认证记录，就说明这个身份证号和这个呃，真实姓名是不匹配的。 嗯，那我们找一个真正的身份证号试一下吧。我们百度搜一下，我们搜一个身份证信息公开。啊，这里有一个失信 被知情人就用这个蔡兴国， 我们粘进去试一下，然后身份证号把它粘进去， 然后点击发送。嗯，他提示身份证号码和真实姓名一致。

十秒教会你浏览器中如何抓包！很多软件测试同学经常分析不清楚前端问题还是后端问题，那么抓包就是你分析问题的第一步来安排。 比如说我们现在想要点到客户管理，然后去抓他的一个请求的话，我们可以首先右击，然后检查，当然你也可以直接按 f 十二，然后点到 natalwork network， 然后去点击客户管理， 点击客户管理大家可以看到这里边的所有请求就抓到了啊，当然你想看哪个接口，只要根据你的接口文档去分析就行了，可以看到害的里边就会有对应的请求的一个 url， 包括啊参数啊，包括一些参数，然后再一个就是 response 里边就是他的一个返回，你想想去看这些神话的话，这样去看也可以看到他对应的子弹 啊。比如说我现在又要想抓商业智能对应的列表中可能存在的一些接口，你可以先清空，先把它清空，避免就是接口混乱，清空以后再去点商业智能，那么此时你想要看到的各接口就看到了。

ok， 那么这边的一些按钮，这个按钮是用来进行抓包操作的 capture api request with postman， 通过 postman 来进行一个抓包的操作，但是呢这个功能我们一般会很少去使用它， 因为一般来说用其他抓包工具会很好用。之后我们会在复路的课程当中给大家来讲解这样的一些 附属的啊操作方式，而这个呢是进行的设置的按钮。好了，了解了 pose man 一个基本的构成之后，那么接下来我们需要去学习的就是如何去发起一个请求，现在呢我们用一个最简单的 请求的例子，接口请求的例子来学习如何去使用 pose 麦进行接口的请求，以及得到对应的一个反馈结果。那么首先我们看到 一个简单的案例，一个天气 api 的接口，首先呢大家可以在 网页上面去访问一下三 w 点天气 api 这样的一个网站，那么我们需要去使用的就会是天气 api 这样的一个网站给我们提供的一个查询天气的接口，在这个位置， 首先大家在进行接口测试的时候要做的事情啊，先去获取到这个接口的基本信息，那么查看一下 api 的接口文档， 在这一个接口文档当中呢，我们就能够看到我们需要去请求的这个接口 api 的地址，那么 看到下面这些信息，第一个 get 这个表示的是这一个接口请求时使用的 hp 协议的方法，而后面呢就是经常说到的 uil 我们所需要去请求的这 一个接口的地址。首先要做的第一个事情， pose 的面当中为我们提供的这个接口请求面板里面，上面大家看到的这一块，就会为我们提供一个选择 hp 协议方法的这一个下拉栏，大家可以根据自己所使用的这个接口 使用的 hep 方法来进行选择，那么我们这里要用的就是 get 方法，对不对？接下来把 ul 地址我们需要去请求的这一个天气 api 的地址贴过来 之后呢，查看一下 get 参数当中的内容。那么在这一个参数当中，大家会注意到列表里面有一个必填的选项， version， 这样的一个参数是必须要我们填写的，那么在下方啊，在我们的 u l 栏下方，大家会看到一系列的设置选项，他认识里面就是用来填写参 参数的。而在 version 这样的，在我们的 get 这样的一个方法当中呢，如果填写的参数会直接拼接到 u i 当中，现在大家会看到我敲了一个 version 之后，用一个问号连接了 version 这样的一个单词，对吧？ 加上 w 啊，必须指定的这个 v 一，那么现在我们的接口的请求地址变成了 api， 后面跟上一个问号，加上 version 等于 v 一， 用这样的一种见值对的形式将参数给添加到 uil 当中，而问号呢，表示后面跟上的都是一系列参数。好了，现在我们的一个接口请求已经基本拼接完成，点击一下这个 sand 的按钮来进行发送的操作。

大家好，呃，今天这一讲呢，我们来继续我们的这个 v ipod 系统的呃网页自动化控制的讲解。 这一讲呢我们讲的主要内容呢？是啊，学习如何抓取数据。前面呃教程当中呢，我们通过一个案例，就是贴吧的一个发帖的案例，然后我们学习了一个最呃基础的如何做一个 自动化的一个案例的一个教程，他其中呢我们学习了很多的动作输入、点击啊，啊， cook 啊， 嗯，以及访问网址啊，循环啊等等等这些动作。大家呢把这个视频呢要从头看，因为每一期和每一期呢都是有关联的。好，今天这一讲呢，我们来学习一下如何抓取网页数据啊， 抓取网页数据呢，在网页操作当中呢是也是很重要的啊，所以呢我们系统呢提供了 两种抓取方式，第一种呢是分割采集，第二个呢是正德采集，等一下我会呃分别的来给大家讲一讲。这一讲呢我们还是通过一个例子来讲，这样的话，大家通过案例的话能够 首先形成一个需求，然后根据需求呢，然后再进行一个需求分析，需要用到哪些东西的时候呢，我们就就能联想到。好，今天我们学一个什么样的例子呢啊？举个例子，比如来说 啊，我们有一个这样的需求，比如说我们在百度当中呢，我们想要知道某一个关键词，对吧？然后呢他对应的这个网址，比如说这个关键词是我们自己的，比如我们是卖呃生产绞肉机的企业， 是吧？我们卖饺子机，然后我们的域名的网址呢？是假如说是这个，假如说是这个， 好，我们把它记下来啊，假如说是这个啊，我们想要知道呢，这个饺子机这个关键词在百度当中， 在百度当中他的排名是多少？我们查询他的排名，这时候就涉及到一个采集的一个问题，对吧？我们想要查询的话，就得采集出来， 呃他每一条数据，然后他对应的网址，然后他还有他的标题，然后我们再去采集到列表以后，然后再去从列表当中再去查询这个关键词，饺子机这个关键词以及这个网址啊，这个网址，因为关键词就是他 这个网址，他的排名是第几？好，这个我们来做这个需求，首先第一步先要做他的话，我们启动这个软件，然后添加一个新项目，叫做百度排名查询好，浏览我们项目就选浏览器项目，然后点创建就行。 好，创建完以后呢，这个时候是呢一个基础的一个空白脚本，然后我们点这个脚本文件，这里呢有这个，然后我们呢首先第一步看完要访问这个， 把这个剪切出来啊，我们先把它放到，放到桌面上，放到桌面上，然后呢第一步我们就要访问百度，对不对？访问百度，然后呢我们其实访问百度的话，直接 这个访问百度，其实有捷径啊，等一下我再说啊，然后右键访问网址，我们之前讲过啊，然后点创建动作备注，我们就不加了，然后测试 好，这就已经打开了这个百度，对不对？然后呢这里我们再输入关键词 饺子机，然后把输入进去，点测试好，然后再点什么呀？百度一下，其实他自动就出来了，已经出来了，这呢，但是他出来是有延迟的，所以我们这里可以加一个倒计时，给他 倒计时时间呢，我们设置一个五秒吧，长一点，我们从头再试一下，先访问了百度，然后输入， 然后倒计时，还有十五秒以后呢，我们现在就有这个，就已经出来这个搜索结果了，对不对？然后呢我刚才说了有一种捷径是什么呢？其实他就是一个网址嘛，我们右键属性，我们看一下啊，这个他就是一个网址，对吧？ 然后呢他的关键词呢？就是 w、 d 和这个，我们直接把这个地址其实复制过来，右键访问网址粘过来， 我们来看一下啊，比如说我们现在点到其他地方去，直接访问这个网址， 就直接到饺子机了，对吧？这样省了我们去操作了，因为我们是要做教程，所以要把每一个细节都要给大家讲清楚，这样的话也便于大家学习。好， 然后我们直接来来做采集，那如何做这个采集呢？我们采集什么呀？肯定要采集这个标题，加上他的这个网址，对吧？咱们采集呢？我看啊，这个是广告，广告，我们先从不是广告的部分开始啊， 我们采集的话肯定不想要要广告，对吧？啊？比如这一部分，好，我们先来右键， 这个页面好像已经夹死了啊，等一下，好，右键， 为什么会假死呢？等一下，好，右键，右键以后呢？我们连审查严肃，就是看 看一下他，这个你这样指过来就可以了啊，这个这一部分你看看 diy， 是吧？ diy， diy， 他其实是，他其实是你看这样的一个列表的一个结构， 是吧？然后呢我们直接看他的这个特点，你看每一个开始呢都是 return， 点 杠 o p， 点 c content， 然后 new p w p m d， 就这个，嗯四，我看 i d 二六六。然后这个我们怎么如何做采集呢？我们首先在这上面右键，我们看一下大概的这个 结构啊，大家看不懂，没关系。然后直接右键或者是扩选这两条，我们扩选最好是比如说我们想要采集这个这个标题这一部分，是吧？我们直接扩选 两条，这样两条两条也好，三条也好，开始都破了也可以，然后我们其实是为了便于这个去区分，然后再右键有一个 公共动作，然后这有个彩泥动作点，他啊这个是这个部分呢，就是刚才我们扩选的这个原码，大家可以看原码，然后呢我们看一下分割代码， 这个是什么意思呢？我来学习一下啊。就比如举个例子来说， 他呢这个代码当中呢？比如说我们从这里先从这里学习吧，比如做一个最简单的啊，做一个最简单的，然后这个是一个 drv， 对吧？然后 比如说这里的 t r t l e title 等于一啊，然后呢 再这样还有一个这样的结构，好，二三四 五六好看，这个是一个原始的数据，他想我要想我们想要把这个数字采出来的话，怎么采集呢？我们就需要对他进行一个分割，分割的意思是什么意思？就说我们通过一个代码， 一个一个字符，然后呢我们可以把它这个分成分成呢一条一条的，就说我们把它每一条都独立出来，而不是一个整个的一个字符串分成六条，对吧？这个怎么分呢？ 我们可以用这个他的这个里边关键的一个代码，比如说我们通过查找 drv 这个标记，我们就可以把它分成啊， 标记可以分成二，通过他分吗？就说通过他去分割，分成二三 四五，是不是六？好，那一怎么没了呢？因为呢我们默认的会放弃首条，如果想要这个首条的话怎么用呢？都可以 在前面，在前面再加一个 drv， 再测试的话，哎，这个一就有了，对吧？就说顶上这个手枪会默认去掉这个以后我们用的时候再说。好， 这是一个分割的意义，分割的意义呢就是说通过一个代码把它分出来，分出来以后，然后我们想要取出一二三四五六，对吧？怎么取呢？ 这时候呢就用了，需要用到一个截取，就说这个一的前面呢是什么呢？我们需要去原版当中去这条当中搜，开头等于这是他的截取的开始部分，那后边结束部分呢？是一个冒号，一个 大于号，是吧？括号就是这个小中括小括号。然后呢我 我们来再测试一下啊，这个时候呢我们就会把中间的部分结一出来，就是一二三四五六，对吧？这个呢大概就是一个分割采集的一个原理，那同样的用到这个， 用到这个，你看我们在这里做一个，这是一个安卓原码，是吧？安卓的原码，我们在这里浏览器变量这里，然后填一个网页原码，好 好，这时候出来的是网页的这个圆满，对吧？我们想要分他怎么分呢？我们这样看是不太方便的，那么还是用这个数据线 是大元素， 你看一下啊，这个你看他每一条其实也是 d、 r v 开始，然后刚才我说了吗？你看我们对比两条就知道了，其实都是一样的，他是这样的，那这样的话我们分的话就好办了，我们就直接用什么呀？用他这个， 用它的这个，它这个里边包含的这个特征哪个呢？就是 d r v class 等于 result c， 是不是这个 class 等于 result three content 啊？用这个你看每他，其实他每一条数据，每一条数据都都有这个我们可以与他为分割点，这样的话就把每条数据就能分出来，我们把这个开头全删掉， 这个删掉，然后点测试的话，看到这个出来了，是吧？然后我们点双击打开以后来看一下， 这个是他的每一条数据的每一条数据的分割以后的这个元代码。然后我们找刚才这个是几六，我从下边看啊？八这里看，然后我们看这里边有没有我们包含的标题？是有的， 有这个标题，对吧？好，有这个标题。然后呢我们来直接踩这个标题，踩一个标题，刚才我说了怎么踩呢？我们就找他前面，我们需要踩的这一部分的，他这个前面这个是标题吗？海苔，这是简介吧？然后我们看 标题， 这有一个 title， 是吧？ title， 好，从这个吧我们找到了一个这样的信息，好用它开始部分，这是 title， 测试一下啊， title 以后啊出来是这个，然后它的结尾呢？也是一个引号，是不是？然后我们加一个引号，再测试一下，这样的话我们就得到了它的六个标题， 我们对比一下啊。第一个是馒头包子机，馒头有竖线的，这个包子机，馒头机不是这个啊，这个对吧？正好我们过滤了他的广告。啊，这个我本来还想跟大家说怎么过滤， 他既然都自己过滤了，那我们就一会再说吧，他包的馒头机是不是？然后第二条呢？是包子机， 饺子机全自动速冻饺子机，这个是个视频，是这个是一个其他的，他们他没有，你看他自动把这踩出来了，饺子机全自动速冻饺子。如果我们采集的这个这个不是很干净的话，也就说我们找的这个分割代码可能不太好，然后这个我们再重新找一下就行。 好，这个既然分割出来了，那就比较简单了。然后下一步呢，我们我们忘了创建一个列表，我们在这里拖一个列表过来，然后是 百度搜索结果结果我们有两列啊，第一列是标题， 第二列呢是网址，你需要采两列，那采集两列的话怎么做呢？ 我们已经踩出来了一列了，对吧？然后把这个结果呢？存到哪里呢？结果存到 列表，然后标题当中点串串这个规则，然后如果我们想同时又存标题、存网址的话，我们需要在这个动作里创建多个规则，就是两个规则。刚才呢，我们这个是已经采集了一个什么呀？ 我们把这个开头删掉，这个删掉，然后点测试，等一下。好，这个呢？ 嗯，这呢？然后刚才我们踩的是他的吧？现在我们需要踩他的 url， url 的话， url 的话，我们看一下 url， 这个 url 的话 是这里，对吧？这里这个才是我们需要用的 url， 所以我们需要把它前面， 你不能用它作为这个开始点，你这个的话，你从你从这个网页里查的话，对吧？ 他是很多的，你看都都都很多的，你不可能以他作为这个开始点，如果你以他作为开始点的话，会有什么结果呢？我们看一下啊，开始不会用他，然后呢？你的这个刚才那个网址， 这你你结尾部分呢？你用这个 a 是吧？你用这个 a， 你这样的话，你你采集出来的肯定不对，对不对？因为呢你要选这个截取的开始点呢，就要 就要有他的这个特征，就是说你搜索的话，他肯定是是能搜到他搜到你需要的这个位置，而这个是不对的，我们怎么裁呢？ 这样复制多多一点点啊，也不能太多，像这样吧，这个呢，你保证你看你在这个网页当中搜，你肯定哎，找到的就是他，这样才行。你选的这个，这个这个点是要是要对的好，然后 开始部分点测试的话，我们看到， 嗯，大家可以看到啊，这个已经出来了，是吧？然后呢我们再踩他的， 他的结尾呢是杠 a 是吧？杠 a 把它截出来。好，这就是一个网址，这个斜线用不用截呢？看大家的需要了，如果他都带斜线的话，我们可以在这里加一个啊。不不不，去除也没关系， 这个存到哪呢？存到这个网网址里啊，然后这两条规则创建完了就可以确定了，我们跑这了，怎么点？下边来这个单，这个我们把前两个删掉， 不从头的话我可以把它删掉。好，你踩下试试啊，看这里会不会出结果。踩击，哎，大家可以看到这个结果就出来了，对吧？每一个标题呢对应一个网址，这就出来了，然后呢 这个呢就是这个采集，然后还有一种采集方式，我们清空一下，我们再右键 界面有点延迟，等一下吧，右键然后有一个，还有一个采集，然后有一个正则采集，我们看这里，这里有个万能采集的一个正则采集，正则采集呢，这个需要我们了解，有一种采集方式叫做正则表达式， 我们在百度上看一下，因为这个需要学习一点专业的编程知识，所以我们不太建议大家，如果大家懂的话，可以啊，这块如果你不想学的话，可以跳过这这一部分，我说的这一部分啊，这么多 正则采集，对吧？正则采集，然后这个是什么呢？大家可以去百度去学一下正则可以去用来用一定的，嗯，规则来抓一定的我们想要的数据，比如我们可以从一个无序的网页当中抓这个手机号啊、微信号啊， 网址啊，他有一定的规律，我们可以通过一些正则来抓他啊，这个我们等一下再来讲啊，我们继续我们下面因为有一些大家不需要学，所以，但是呢有些人，嗯他有一定的编程基础，他呢想要了解这个正则，那我们在 详细的来讲。好，现在我们呢继续先来做我们的这个，一会我们再来视频的后面呢，我们再来讲一下这个正德怎么踩好，踩完这个以后呢，我们踩踩一下，踩完以后我们想要对比一下刚才我说的这个，我们没有完成我们的需求呢，对吧？我们的需求是要查他的排名是第几， 怎么做这个呢？他在网址当中其实是已经有了吧？应该我们看一下啊，他是第几个？ f f 开头的这个， 对吧？那我们是肉眼看见了，对吧？我们想要机器帮我们算出来他是排名第三，那怎么做到呢？我们需要用到一个， 需要用到一个什么呀？邮件需要用到一个。嗯，方法就是让他从第一条开始 列表，第一条开始循环一条一条一条一条往下运行，每切换一条呢，我们就要去做一个判断，判断这个网址当中是否包含我们的这个 网址，如果包含的话就证明呢他就是我们要的这个条，然后我们把它输出是第几条就行了。这个怎么做呢？嗯，我需要用到一个 第一步呢，我们需要什么呀？需要把它切换到列表呢？把它切换到第一条，对吧？首先呢我们右键有一个列表，操作切换列表，把它切换到 要切换的表呢？是百度搜索结果。把它切换到什么呀？第一条，然后加入规则，好比如说他现在在最后一条呢，然后 把它切换到第一条。切换到第一条以后呢？干嘛呀？然后我们进行一个判断，怎么判断呢？我们用一个右键有一个 逻辑判断的这个动作，然后呢我们把这个他的这个网址取出来，怎么取呢？有一个这个插入代码，然后呢这有一个获取列表值，对吧？然后获取的是百度搜索结果的网址。 获取到以后呢？然后呢我们这里把它去包含。包含什么呀？ 这个就是判断它是不是包含它 评论， 嗯，没打就掉了。判断是否包含网址好，判断是否包含网址啊？ 如果包含的话怎么了？我们就输出右键有一个运行日志。输出什么呀？找到 排名啊，后面排名第几呢？我们先不写啊，一会，因为我们现在还没有做这个累加运算好，就是意思就是说我们找到了就让他输出，我们找到了，然后就停止运行，就见有一个 脚本停止啊，找一下这个停止跑哪去了啊？这脚本停止运行好，找到以后就停止，然后如果没有找到的话，就是判断找到了就停止，如果没有找到没有找到怎么办呢？ 这里呢？我们这里前面我们加，最好加一个日日啊，这样的话我们一会方便动作跳转用。这个日日呢？就是 从这里开始，哎，找到了他就停止，如果没有找到的话，我们可以直接在外，直接在外边写啊，没有找到的话怎么办呢？没有找到的话我们就切换一下，对吧？切换下一条，然后 再去找，对吧？切换下一条，然后列表这有个切换列表，百度搜索记录。切换什么呀？下一下一条。那切换到什么时候停呢？就是到最后一条停，我们就把它勾上，切换到最后一条停止，或者勾上，然后联系加入规则。 好，这里呢我们直接打切换下一条，下一条 好，切换到下一条。比如他刚才是在第一条呢，是吗？切换的话就变成第二条了，然后呢我们再动作调转， 动作跳转，然后让他循环。为什么要加这个日志呢？我们像跳到这个日志这里，这样的话我们比较清楚能看见啊，循 这些他怎么循环的呢？他就是从这跳到日志，然后去判断，判断呢，当前指向的这一条是不是包含我们需要的网址，如果包含的话就停止，如果不包含的话就换下一条继续循环，这样的话就是一个循环的一个 一个操作来查询我们的这个地址，那这里我们就是查到了，我们就算查到了，他应该是排第几呢？我们这里需要用到一个加的计算，对吧？所以我们在在他循环之前呢，首先进行一个变量的一个操作啊，变量复值这里呢我们 定一个变量的排名，变量等于什么呀？等于排名一是吧？排名一好，我们确定，初始的话 绘画变量，好，我们执行一下，这时候呢排名这个变量呢是等于一的， 然后呢我们开始，对吧？这就开始检索了，开始检索以后呢判断这个网址在不在，你看他是不包含的，所以他跳过了，然后呢切换下一条， 哎，如果包含他就进来了，对吧？但是这里切换下一条的时候呢，以后呢我们需要对这个变量呢，需要对这个变量呢 加一。怎么加一呢？我们需要把这个变量这个复制一下啊，复制 ctrl c 复制一下，然后粘到这里，在这个循环之前， 然后让这个变量呢？这个变量怎么调用的？是这样排名加一，大家记住啊，这样是这样做的，排名等于排名加一，就是他自己加一确定 是吧？确定，然后循环循环。好，这时候他找到了，找到了以后呢，我们就输出排名，对吗？排名，排名多少呢？把变量输出来， 这样这样直接打也行，这样直接插入代码，然后这里呢有一个变量， 众多变量调用，然后点插入，这也可以确定就行了。好，这个排名找到网网址排名三，是吧？ 就这样他就一个这样的一个操作，我们从头再演示一下啊，采集完这个数据之后，从这里开始先切换到第一条，然后呢初始化一个变量，让他等于一，然后呢开始判断没有的话换下一条， 然后用变量加一，再循环，再判断没有的话再切下一条，再加一， 哎，直到找到，然后输出，找到网址排名三，然后停止运行，这就是一个整个的一个逻辑，大家呢 自己下来按照我这个练习一下啊，就是通过一个这样的一个教程，让大家明白啊，这个逻辑判断的这个用法和变量负值和变量自加的一个用法。 好啊，今天这讲我们就先讲到这里，我们主要学习了一下采集的这个方法呢，就是分割采集。那下一讲呢，我们会简单的来叙述一下这个正德采集怎么做 同样的这个教程，这个叫，呃，案例啊，用正则怎么做这个呢？如果大家有兴趣可以看啊，如果大家就是说，嗯， 觉得学习这个正则的话太难的话呢，可以跳过，嗯，其实用一个常用的这个分割采集就已经能实现我们的需求了。好，这一讲我们讲到这里，感谢大家，谢谢。

get 和 poster 在传输上基本没有什么区别，二者只是 http 协议中两种异曲同工的请求方式。我们知道 http 协议是基于 tcp ip 的应用层协议，所以无论 get 还是 post， 用的都是同一个传输层协议， 所以在传输上可以认为基本无差别。他们的区别有什么呢？第一， get 请求通常是向服务器获取数据使用，比如 查询，而 pos 请求一般是向服务器提交数据使用，比如添加或者修改表单。第二， get 请求如果带参数，参数会拼接在地址栏的 u i l 上暴露出来，而 pos 请求请求参数会放在请求体中。也基于这一点，我们认为用 pos 的传输敏感参数会更安全一点，就比如 传输密码。第三，这个请求可以被缓存，告诉请求不会被缓存，这个怎么理解呢？这里我们要先知道，通常改成 pk 缓存只适用于不改变无存数据的请求 类的请求。结合刚才说到， get 通常用于获取数据，一般不去做更新服务端数据的操作，所以他符合 http 缓存适用于不改变服务端数据的请求这个原则，所以我们说 get 请求可以被缓存。 第四， get 请求由于参数是分在 u i l 后的，所以导致该请求下传输的数据长度受限于 u i l 长度，也就是说 get 请求的传输数据长度是有限制的，而 pos 请求理论上没有长度限制， 因为其请求数据是放在包底上的。最后，纠正一个误区，不是获取数据只能用 get， 只是通常 get 用于获取数据，这可以认为是一种约定，并非规定获取数据。实际上十二条后端支持用 post 也完全没问题。关注丽塔，每天进步一点点。