首先我们先把电池和导线的金属线连接在电机的铜片上,黑色导线连接在电机左边的铜片上,红色导线连接在电机右边的铜片上。 我们把二号板拿出来,然后把一号板安装在两块二号板上, 把电池盒安装在一号板上,电池组装完成,拿出来三号板,把电机组拿出来,穿过三号板, 我们把打头轴,黄色皮带轮还有橙色固定圈拿出来。把打头轴穿过黄色皮带轮的大孔,在另一端用橙色 固定圈固定紧,不需要流剪线。另一个也用同样的方法安装好, 安装好的放在电机侧边,用七毫米的粗纹螺丝把黄色皮带轮安装在电机的转轴上。 把五厘米的转轴橙色固定圈也安装一下, 我们拿出来固定圈,铁轴还有车轮, 将铁轴穿进去,然后安上固定圈, 把两个车轮按上去, 调整一下橙色固定圈,让他们之间没有缝隙。 把橡皮筋拿出来,安装在黄色皮蛋轮和五厘米滚轴上, 这里可以注意一下,这个是套过滚轴的,再翻转过来,拿出来铁轴,固定圈还有轮轴。将铁轴穿过两块二号板的圆孔,还是需要橙色固定圈固定一下, 固定圈离二号板之间留一毫米缝隙,如果不留缝隙会导致转动阻力增大。我们安装完之后调整一下这个铁轴,还是跟上面步骤一样 翻转过来,我们拿出来铁轴和固定圈,和上面的步骤一样,在连接处用铁轴穿过去,然后用固定圈固定一下,固定圈固定完成之后一定要记得调整一下距离, 然后我们拿出来五号板,用橙色固定圈把五号板固定在二点一厘米打头轴和七厘米铁轴上,固定圈离五号板之间留一毫米空隙,不留空隙会增大阻力,导致机器人不动。另一边也是同样的步骤, 最后我们 将螺丝安装在两块二号板中间,固定一下, 大致已经制作完成了。现在我们拿出铁丝,将铁丝穿入前面的圆孔,然后将铁丝缠绕一下,这个可以随意。 然后我们把双面胶剪开,粘到泡沫球上,另一边粘上眼睛,两个是一样的操作方法, 最后将泡沫球插入铁丝一端, 另一个也是同样的,将泡沫球插入铁丝中,然后实验就完成了,大家看看最后的效果。
粉丝8982获赞7602

哈喽,大家好,今天给大家介绍如何使用 pool 奥特妹子去做一个简单的爬虫,爬虫其实指的就是批量去网上获取一些数据,那么今天就以这个招聘网站作为例子,去抓取一些我想要的数据。 好的,首先还是新建流,给他起个名字, 好,稍等让他加载出来。好的,那么他出来以后我们第一件事情就是让他打开一个嗯,浏览器,我们来找一下浏览器自动化 启动新的这个浏览器实力,那么要告诉他一个网址,网址的话我们可以把这个复制过来, 这边会出现个知识点,我们直接把这样复杂的网址输进来,他会报错的, 我们可以。呃,对,他没有点保存就已经报错了,他说值无效,那么无效的原因其实是因为他这里面出现了百分号,那么如果有关注过这款软件或者看过我其他几个视频的观众可能就知道,因为这个百分号在帕瓦奥特曼特里面指的就是变量, 就被他框起来的,是会作为变量来运算的,那么这么密密麻麻的百分号,那当然他这个网址就是会爆错的。 然后我们要做的一个动作就是把这个百分号替换成两个百分号,就把一个百分号替换成两个百分号,这样就没有问题了,全部替换, 然后再把这个数据粘回来保存,那么这样子他就可以启动这个 h 浏览器,然后会直接打开这个网址, 好看到没有问题。那么接下来我们要做的事情就是外本数据提取,在这里面选择从网页中提取数据, 那么我们要做的一件事情是在这个窗口打开的状态下,去点击我们要提取数据的网页,好,它会自动跳出来一个新的窗口, 那么这个新的窗口我们先把它放在一边,接下来我们要去右击我们想要的数据,比如说这个只为名是我想要的,然后右击它,哎,这个网址好像有点卡住啊, 现在可以了。然后呢,你可以点击就右键,以后他会出来这么几个选项,我们需要点击提取元素值, 那我需要他的文本刚才没点到好,行政专员,你会发现他就已经出现在这个窗口里面了。那么接下来,比如说我想知道他是什么时候发布的,然后这个岗位的月薪是多少, 然后他大概有一些什么样的要求,以及这个企业的名字。这个邮件又点不到,好, 看看能不能点到。这个好像把鼠标放过来,他这个民营公司什么的就被遮住了,哎,问题不大,就先这样,然后这个申请 请职位,我看能不能提取一下。这好像提取不到,那么就先这样子吧,然后看一下这个福利待遇啊,看看能不能提取出来,哎,也可以。好, 那么这样子我们就提取了这第一行的这个岗位的一些信息啊,那么我们要做接下来一件事情,让他批量的把这个页面上所有的信息都提取出来,那其实我们只需要去右键下一个岗位, 哎,再来一次,好的,这样你就会发现他所有的信息其实都被他读取到了。 好的,接下来我们要做的一件事情是把它拉到底,因为可以看到 它其实有好几页嘛,比如说,呃,我想要把后面几页都抓取到,我们可以点击这个就是下页的这个按钮去右键它, 他好像也是有点问题,他不让我点,然后可以点到了,然后呢,这边有一个将元素设置为页导航,我们来点一下, 好,再回来看,就可以看到这边有蓝色的虚线把它框住了。 那么这款软件我们的 rpa 就会把这个页面上的信息读取好以后,自动点击这个下一页的按钮,然后去读取下一页的信息了。好,这些操作都已经设置完成以后去点完成。 然后呢,他会问你要获取几页信息啊?那打个比方说,我们就获取前三个吧,不然可能会稍微时间有点久啊。 然后他会问你数据要存储成什么形式,那他默认是存储成变量的,那其实我希望他直接,嗯,生成一张 excel 表格就可以了。那么在这里选择 excel 电子表格,好填保存,接下来我们可以直接来测试, 稍等片刻。 好,可以看到 excel 已经跳出来了,那么可以看到他已经获取了三页的数据啊,还挺多的, 那么这样子就能比较方便的。呃,去做一些筛选啊什么的看看,比如说工资最高的 八到十二万一年,我还有一个月呢。八到十二万一个月,那我马上报名好吗?啊,在成都啊,那我不去了,那看起来这个工资都不是很高。 好的,那么这是一个爬虫的简单教程啊,如果大家平时会需要去一些网站上抓取数据的话,这还是挺有用的。 当然他不像拍摄那些软件支持的爬虫那么的。呃,完善以及有更多灵活的操作,他可能就相对基础一点,当然如果咱们没有编成基础的话,那他 其实还是挺管用的。好,如果有兴趣的话可以尝试一下,就这么两个步骤就可以完成了。好,那么这就是这期视频的所有内容了,感谢你的观看,拜拜。

大家好,今天给大家带来的是爬虫机器人。 首先将电池盒的红黑导线连接电机同片,右边黑线,左边红线注意别接。反。 将五六号板安装在四号板上, 安装上电机,注意电机方向, 套上一号版, 最后盖上另外一块四号板, 将二三号板叠在一起,用螺丝固定,注意孔位关系, 另外一边同样方法安装。 然后用螺丝把车轮固定在二号板,注意朝向。 将整体部件安装在电机肘上,用螺丝固定, 穿上铁轴, 按压上车轮, 注意车轮和木板要留有活动间隙。 最后将电池盒用螺丝固定在六号板上,即可完成安装。


爬虫机器人实验实验目的,锻炼孩子动手能力,文作表达能力,提高想象力。实验重点,通过电路齿轮传动、曲顶传动设计仿生模型 实验认知,大眼爬虫机器人采用了仿生设计,有两只呆萌的大眼睛, 像是真正的爬虫一样。他的脚也采用了爬行的运动方式,闭合开关后减速,马达带动爬行递交互转动, 让爬虫机器人呈现爬行状态,改变两个交互臂的相对角度,还可以实现不同的爬行效果。大眼爬虫机器人能够适应多种路面,比如木质地板、草地、石头路面都可以轻松应对,支持拓 展。此款爬虫实验利用简单电路通路原理、曲柄原理、档改原理等知识制作,在曲柄运转情况下,游轮则和地面产生摩擦力,电能转换为动能,接通电路后,马达转动带动爬行臂交互运动,让小虫呈现爬行的状态。

大家好,我是九零小学四年级一班的刘家豪,今天我为大家做的机器人的名字叫做四角爬层机器人,这个机器人需要用到的材料有 zb 二主板,电池和 四块二乘四,块二乘五的板,方向板两个万向轮 舌舌孔扁板, 十三孔长板一个马达连接扣一根轴,四个凹孔垫圈,四个硬孔垫圈,两个直直角去轴,两 两个去轴。首先我们需要拼的,拼的动作是假, 接着我们要拼身体的足板, 现在我们开始下载程序吧,先把线接上背后面的插口,点上开关,点复位,再点在下载线,再点开程序, 点开程序,看下载程序, 现在点下载,等待下载闪烁后再点复位,把线拔掉, 下面让我们来试一下,现在下好程序后,现在让我们来试一下吧, 瞧他已经会走了。

通过对爬虫机器人原理的探究,帮助学生了解电流正负极流动的知识。通过现实中的实力,引出电流正负极流动概念,进而讲出今天要制作的爬虫机器人。通过认识材料包中的各种材料,了解爬虫机器人的组装和操作步骤。 通过总结爬虫机器人的运动特点,巩固所学知识。

我们需要用到的材料有,小创板、电机两个,五号电池皮带,轮子,螺丝刀,电池盒,长轴, 既行轴又行铁,电机卡子,三 m 胶轴套,螺丝、茅根泡沫球,活动眼睛。 首先将电机固定在小窗板上,接着安装自行轴和轮子, 再固定用心铁固定长轴和轮子。 现在安装电池固定并装饰电池盒。最后我们连接电池盒和电机, 打开开关,我们看一看会发生些什么吧。哇哦,爬虫机器人动起来了,这真是太有意思了,小朋友们赶快也来试一试吧!

制作爬虫机器人朋友们,你们了解仿生机器人吗?今天给大家带来一个新款爬虫机器人,通过制作一个生动有趣的爬虫小实验,带孩子们进入仿生机器人的技术世界。爬虫机器人用非常魔性的节奏和姿势开始奔跑,在野外飞快的撒欢。

大家好,今天我们开始新的系列网络机器人,也是网络爬虫的编写。 我们从最基础的编写方法开始介绍。今天先给大家介绍的是网络爬虫的一些思想。那么首先呢,我们分几个部分介绍。首先介绍什么是网络爬虫, 然后因为你要从网上爬数据,采集数据,那你必然要了解浏览器的工作原理。 那我们介绍第二点呢,就是浏览器是怎么工作的,就是网络浏览器。然后再介绍一下网络爬虫,我们也叫它 robot, 就是 网络机器人,他的工作流程。最后做一小节。那么这一次课和 我们以前讲的课不一样,原先讲课呢,我们是以一个程序来开头的,因为大家对网络爬虫还不了解,所以我们这一次课呢,重点是给大家介绍什么是网络爬虫。 网络爬虫呢,实际上就是利用程序从网上拿到我们认为有价值的数据。 那么哪些是有价值的数据呢?那就根据你编程的需要你去采集啊。你比如说我想了解最近一段时间啊,网上有关唐山事件的一些报道, 那我就可以通过网络爬虫的这个形式去爬啊。所以我们叫它网络爬虫。网络爬虫为什么也叫网络机器人呢?因为你单设置好了以后呢,它是自动爬取的, 那么一旦有网站更新呢,他就自动的把这些内容给爬过来了,他是 把它爬到了哪呢?啊,把它爬到了你的一个服务器上,然后把它存到了这个服务器,你就知道你如何去应用。 那么怎么样去采集这些数据呢?啊,这些数据有什么用处呢?啊?首先我们可能通过很多搜索引擎啊,都可以查到一些数据,但 这些数据呢,可能是千奇百怪的,那你要了解的这些数据可能更多的是某一个方向的。 那么现在我们知道比较出名的搜索引擎公司有百度啊,搜狐啊啊,还有一些其他的 google 啊搜索引擎。那么这些搜索引擎实际上就是用网络拔冲程序啊,把 那些东西爬下来,把数据爬下来。然后呢,你需要的时候呢 啊,输入某一个关键字,他就会找到。那我们来看一下啊,具体我们是怎么样进行搜索的啊,比如说这是一个百度啊,那我们随 边写一个百度的嗯搜索引擎,比如说叫嗯叫批准吧 啊,这是我们要搜索的关键字,那么我们可以看到这里边百度会帮助我们搜索出来很多关键词啊,他对应的链接,那我们打开某一个链接 啊,大家可以看到这个链接呢,里边有很多东西啊,这些东西是怎么用呢 啊,实际上他是搁到了他自己百度网站,是自己呢,把这些数据哎爬到他的网址上啊,爬到他的服务器上,然后再 应用的。那么我们刚才找的是一个百度文库的东西啊,我们再找一个另外一些东西,比如说批准的教程啊,那么大家可以看到哎,这个批准教程呢, 实际上他是没在我们说的百度网站上。但是如果你去打百度快照的时候呢, 嗯,我们可以看到百度快照他的这些信息呢,已经把他爬到了他的 一个福气上,为你做一些关键字检索来提供方便的。为什么我们这样说呢?因为我们可以看到啊,这一个网页他是在百度福气上的 啊。那这就是我们说的网络爬虫。网络爬虫对我们来说呢,用处很大,那我们也可以把这些 成千上万的实时在更新的网站的信息实时的爬下来,存储到自己的福气上。 然后你搜索的本质就是去他这个搜索服务器上呢去搜索信息,搜索到这个结果,实际上就是一个超连接,然后你点进去就跳转到这个网站了。 在很久以前是没有这个搜索引擎的,没有搜索引擎你就必须要记住很多个网址。正是因为有了搜索引擎呢,我们现在上网变得很容易了, 我们管他叫网上冲浪。那么这个得益于网络爬虫的使用啊,也就是网络机器人的使用。那我们接下去来看一下 浏览器是怎么工作的啊。在这里我们先看一下浏览器的工作原理。首先呢,这个浏览器呢 是根据用户客户端,他要输一个网址啊,我要是浏览哪个网页,然后客客户端呢,就输入一个 url 的地址到这个啊浏览器。比如说我刚才输的是 啊百度点看,那他就到了百度的浏览器,然后他就 请求这个福气,百度的福气啊,说我要打开这个网址。然后呢啊 福气得到了这个请求,他要反馈给用户说你能不能打开,现在我忙不忙,那百度说好的你可以打开。 那么这个时候呢,你输入的这个网址,你就可以往上面啊打一些搜索的关键字了,然后这一些关键字呢就显示出来 啊,通过浏览器把它需要显示的结果解析出来,然后提取相应的数据。然后用户呢,其实就是根据这些数据呢,要存储一些自己有用 用的东西。这就是浏览器啊。浏览器的显示呢,是用嗯网页的形式去显示的。那么 我们接着来看网络机器人是如何配合浏览器工作的呢。啊,那就是第三个问题,就是我们说的网络爬宠的工作原理。 网络爬虫他是如何工作的呢?首先呢,啊,用户说我要打开网页,然后他请求啊,请求服务器,服务器再给他回应。然后呃,这里边呢就涉及到了 啊,我要解析一个数据,然后提取数据,存储数据啊这样几个过程。因此呢, 就是这个爬虫的工作原理。实际上就是爬虫代替了人去查找啊,我要查找某一类的数据或某一些数据呢,我爬虫就自动的去 服务器请求,然后服务器给爬虫反馈啊,记住啊,爬虫去请求,然后服务器去反馈。接下去呢, 啊,爬虫得到了这个数据以后呢,爬虫就要去解析这些数据, 然后提取这些数据,存储这些数据。比如说我就是想提取啊,唐山事件的一些反馈的文章或反馈的一些动态。 当我就可以用爬虫去爬网上所有的信息,那他就会到各个网站去打开有关唐山事件的这些数据,然后把他们采集到一个数据仓库里边,对他进行 数据的提取,然后存储,最后可以进行分析。所以爬虫的工作呢,一般就是分四步,首先是获取数据,然后是解析数据 啊。获取数据是通过网页寻找的形式,就是浏览网页的形式啊。去那么解析数据就很复杂了,因为你要搜索的文章千差万别,你要解析出来,把它分析 成调理化的有规律的数据,那就要用到很多分析方法了,这也是人工智能分析的一个难点。然后把你需要的数据怎么样能智能的提出来。 比如说你在我们说的百度搜索引擎上啊,去搜索哎呀,配置,刚才我们说的让搜索配置 黑针呢,嗯,他会提出很多很多的和配针有关的链接。那哪些排在前面,哪些排在后面啊?从 我搜索来说,他是模糊搜索搜索呢,希望啊,和你相关性最大的排在前边,然后相关性小的排在后面。 那如何去区分这些相关度呢?啊,那这就是要我们做算法了。还有一个问题呢,比如说啊,作为百度,作为一些搜索隐形公司,他也需要啊一些广告啊经营啊,所以你在 他搜索的时候,你会发现他会有很多排在前面的,实际上都是广告啊,这些广告呢, 实际上是一种隐形广告,他不是一下子就碰蹦到你的面前,但是因为他在排在前面,你很容易就把它打开。所以呢,对于这一些呃,这些搜索隐形公司,他就是通过这种形式 啊,来收取这些公司的广告位啊。这就是我们说他提取数据的时候也有一些规律,然后把这些提取的数据存储在一起啊。这就是我们说的爬虫的四个步骤。 那么今天的课里,我们给大家介绍了爬虫是怎么样工作的啊,如何利用浏览器的后面课程,我们会从简单 的程序开始,一步一步的教大家如何写网络机器人的程序,如何上网上爬数据啊,会有十几次课把网络爬虫呢给大家讲清楚,谢谢。

怪异小爬虫,看我们的小爬虫是不是很有趣呢?让我们一起跟着老师来搭建吧!首先我们先搭建一个小爬虫的身体,放入电极, 用薄片固定好身体。 安装齿轮,小齿轮带大齿轮安装轮子, 用曲柄摇杆控制身体蠕动。 安装电池, 打开电源实验一下啊,发现不能前进, 加入吉林鸡爪装置, 下课!下课!


这款亲子玩具可以让爸爸能够多陪伴孩子,孩子遇到不懂的问题就需要爸爸来解决。这个爬虫机器人就特别有意思,能够很好的培养孩子的动手能力, 让他的大脑飞速运转,让孩子在远离手机的同时开发智力,激发创作力和想象力,培养孩子对科学的兴趣, 在快乐中增进和孩子的感情。只需要一顿早餐的钱,把这个当做儿童节的礼物送给他们吧。

这节课我们就通过一个爬虫的项目来了解一下爬虫的三个步骤,什么是爬虫呢?爬虫就是一个能自动从互联网上抓取你想要数据的一个程序。 爬虫主要可以分为三个步骤,我们简称为爬解唇。第一步是数据的爬曲,简单的来说是模拟 以浏览器向服务区发送请求,得到夫妻反馈回来的数据。第二步是将第一步得到的数据进行解析,提取出你真正想要的数据。第三步是将第二步得到的数据存储下来,可以存到文件,可以存到数据库。 下面呢我们通过一个简单的任务来了解一下爬虫的基本过程,这个任务呢非常简单,爬取豆瓣排行榜的电影名称, 只需要将这一页的电影的名称的数据扒取下来就可以了,下面呢我们就开始写这个程序。那么第一步我们是爬取数据,首先呢我们来分析一下这个网站,打开开发者工具,我们可以按 f 十二, 然后呢我们可以刷新一下,那我们在这里可以找到一个那边是文档的,我们看一下他反馈回来的数据, 从服务器反馈回来的数据,我们可以看一下,这个就是我们发送给服务器的请求,然后下面还有我们的 cooke, 还有我们关于浏览器终端的一些信息,这个我们等一下要用到。第一步是进行数据的爬取,主要分为两个步骤,一个是 向服务器发送请求,第二步将服务器得到的响应数据存储下来。应该怎么做呢?我们来看一下我们要请求的地址,是这个 可以将它复制一下,下面我们需要使用到一个请求库,在这里呢我们使用铝筷子这个库, 这个请求库使用还是比较简单的,但是这个库需要我们安装一下,我在这里已经安装了,安装的方法非常简单,我们只需要在这里呢输入 p ip 去安装我们这个库就可以了。安装好这个库呢我们就可以使用, 现在我们测试一下,这个时候我们会发现 得到是一个四幺八的代码,出现这个四幺八其实是客户端的问题,这里的问题是被服务器认定为不是一个正常的浏览器行为,所以没有返回二零零,在这里我们可以在请求头里面加入一个参数, 可以将这个复试一下。 好,我们现在执行一下。现在我们看到返回来的是两百,说明返回来的数据已经成功,那我们可以打印一下原代码, 这时我们发现返回来的数据就是正确的,跟我们这里呢的数据是一致的,现在我们将这个数据存储一下。 第二步呢是进行数据的解析,就是将我们第一步得到的数据进行处理,分析,提取想要的内容。数据解析的方法有很多种,通用的方法是用正则表达时, 还有一些第三方库,比如说俄罗克斯迈奥、 beautiful、 toparetrouprat 等等。今天我们就使用最基础的正确表达史,我们一起来看一下。 在这里呢我们首先需要分析一下这个元代码,我们需要的数据是每一个电影的名称,比如第一个今天营救,第二个是绅士们,第三个是悲惨世界, 那在这里我们可以搜索到今天营救这里有个胎头,那我们可以去使用正值表达师呢,去获取胎头里面的内容,使用正值表达师呢?在拍摄里面我们需要导入一个阿姨库, 阿姨裤是一个拍摄内置的正着表达式解析裤,那么在这里呢,我已经将这个正着表达式写出来了,如果之前你没有了解过正着表达式的话,可能会有一点看不懂,现在呢,我们来分析一下,这个正着表达是 这句,最终会匹配到我们这边的元素为 a 卡拉斯为 nbg, 最终可以得到他的里面的这些内容。然后我们使用阿优库进行变异,下一步我们就是进行解析数据,使用这个函数, 我们进去打印看一下, 这时候大家发现我们已经将电影排行榜的名字已经提取出来了,然后最终是一个列表。 第三步我们是进行数据存储,我们需要将第二步得到的数据存储下来,我们可以把它存储到文一个文件当中,也可以把它存储到一个数据库当中,文件的话可以存储为纯文本的 tst 文件, csvpdf 等等数据库,我们可以把它存储到买税口,芒果 bb, reds 等等。 今天我们就将它存储到一个纯文本 tst 文件当中。我们来看一下,我们这里使用上下文管理器之前,我们得到这个数据是一个艾特慕斯,一个列表,我们可以进行便利, 将每一次得到的这个名字呢存储到这个文件当中,现在我们执行看一下啊,这时候你发现我们这边已经得到了一个豆瓣点 tstyon, 点开看一下,这样就得到我们电影排行榜的电影名称,非常的简单。最后呢,我们来回顾一下 刚才的例子,是一个非常简单的,在实际当中呢,我们可能会遇到非常复杂的问题,比如说很多网站现在都设置了反爬虫的技术,比如说 需要模拟登录,然后会封锁 ip, 会封你的账号。如果你真要精通爬虫的话,必须要学习很多有关于反爬虫的一些技巧, 那么数据解析我们刚才使用的是最简单的正确表达时,当然呢,之后我们遇到一些复杂的数据解析的话,我们还可以使用到一些第三方库。这节课的内容就到这里,关注我,学习更多拍摄技术,感谢大家点赞转发,我们下节再见。

我方水晶正在被攻击。煎蛋一扭,快乐就有。快来看看今天会收到什么玩具出栏了, 是十五号,我的幸运数字找到了。十五号在这里啊。好,今天就盘你了。开箱十五号。哇,这是啥呀? 哈哈,原来是爬虫机器人啊,好可爱。 好多零件呀,还有说明书。 步骤还挺多的嘛。开始拼装。 哈哈,机器人组装完毕。好可爱啊,不过怎么有点像鼻涕虫。上电源, 哈哈,动了。妈呀,跑的好快,给我回来吧。你。太好玩了。小爬虫跑起来。刚才是第 一种玩法,我们再看看第二种玩法吧。把两只前腿装成对称的, 装上电池。这个脖子怎么有点碍事啊。脖子被绞进车轮里了,重新调整一下。哈哈,太可爱了吧。这个门牙像只老鼠啊,莫名有点萌。 跑起来吧。怎么有点怪怪的。哈哈。 再来看第三种玩法,来个仰泳。哈哈 哈哈,太好玩了。让我们来看看爬徒机器人厉害还是三角龙厉害。 ready go! 冲啊!三角龙走了 再试试吉龙 ready go! 冲啊!看我顶不走你打不过吉龙。不想活了,我要跳崖。 下次会抽到什么玩具呢?好期待呀。

先介绍一下爬虫,网络爬虫又被称为网页之珠、网络机器人,是一种按照一定的规则自动的抓取万维网信息的程序或者脚本。按照系统结构和实现技术可大致分为以下几种类型,通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的,了解网络爬虫的基本工作流程。

好,那呃,第二步,我们把 a p p 装上之后啊,下面呢,咱们就要去呃做抓包了啊,怎么怎么怎么抓包呢?因为你看你们之前去用呃写网站的时候, 或者是逆向呃 g s 逆向的时候就打开谷歌或者 crown 或者这个 firefox, 对吧?打开它,它里边直接就可以对你的平台进行抓包,而由于咱们现在是手机 或者是你的模拟器,模拟器不也是一手机吗?相当于是,对吧?你要想给他进行抓包啊,是呃,需要呃再安装一个你的抓包软件的啊,所以接下来啊,我们就需要有一个抓包软件,我问大家一下,之前 抓包软件之前咱们的课程里边应该还没给没给大家讲这个抓包软件吧, 有奖吗?应该都是用的谷歌来进行抓包的是吧?有奖哦,小黄鸟用这个浏览器叉 s 没细讲哈。呃, fitter 也讲了一点, ok, 好,那么我在后边给大家去讲的时候啊,用的是 charles 这个抓包,但是有同学跟我讲说,老师,呃,还有很多这个抓包软件,为什么不用其他的,对吧?这个啊,其实没有什么好与坏, 因为在咱们这个平时讲课的时候,哪个用的方便就用哪个就好了, 并且由于我是 mac 系统嘛,所以 mac 系统在进行抓包的时候用这个叉 s 啊,相对来说还是便捷一些,并且呢,就是搞这个破解的这个软件啊,也比较容易一些哈,所以呢,咱们后期讲的 这个抓包软件我都会用这个 charles 啊,如果你是小白,你最好装一个跟我一样的这个抓包工具, 如果大家之前是这么爬虫的,你说老师我做运维的对吧?或者我做网络的,我有很多其他的抓包软件,你哪个用的顺手你就用哪个。行吧,这个 chaos 是 mac 和 windows 全都有,全都可以用。 好吧,所以这是关于咱们这个 charles 抓包软件,因为只有抓到包了,我们才对这个请求是不是才能进行分析,对不对啊?所以这是咱们说的这个抓包。那 对于这个啊, charles, 我们首先第一步你肯定是不是得先安装,对不对?好一点,三点一,先安装安装。那安装的时候呢? 我给大家啊,有准备啊。首先你看哈,可能我准备的没有你们准备的牛逼啊,但是有有有,有更牛逼的资源的记得分享给我哈。这个 mac 的同学,你可以去这个网址啊,我之前发现咱们那个刘松啊,也好像发这个网址了,对吧。 你可以去这个网址去下载啊,基本上都是破解版的,把它下载下来就可以了啊。那 windows 的同学呢?你自己可以去找,如果你找不到的话,你可以去参考一下啊,我给你传到网盘里边了。 这个呢,我不知道现在这个链接还可不可用啊,如果这个链接不可用了,我把这个 charles 啊会放到咱们的这个网盘里边。好吧,放到网盘里边,你呢?可以来咱们这个其他资料包里边去找。哦哦, 现在好像有看到没有叉 s 好像有啊,那你就直接去那拿就行了,然后进行呃,注册就 ok 了,所以这样你就可以把它给安装上啊。呃,还是多提一嘴啊,如果你安装不上,就去网上多找一找, 去群里边多问一问,对吧?装不上或者是破解不成功,这事再正常不过了啊,不要说这个装不上就愁,愁的不行了,对吧?很常见,所以后面呃,破解软件这之类的啊, 都不是事,实在搞不定了,万能的淘宝都有几块钱就解决了。好吧,所以先把这个安装上啊,先把这个安装上,这个安装过程我不再给你演示了。好吧,安装个软件对大家来讲比较简单,所以下载并安装。安装好之后啊,接下来啊,你需要做 做一个基本的配置。 哎,你需要做一个基本的配置,都需要配置什么呢?同学们,看我截图啊。嗯,打开你的 chaos, 有人可能选择会用中文版的,对吧?这个我我我不再要求你什么哈,那我这是用的英文版的,你到时候根据这个英文版的去找你相关的那个菜刀。好吧,首先第一步你要配置的是找到这里边的 proxy, 找到什么呢?叫 proxiciting, 也就是找到你的这个设置,找到它之后干嘛呢?你看你在这是需要设置一个你的端口啊, 我跟网上那些资源可能不太一样,网上的资源都让你们的端口变成八八八八。这个没所谓啊,你想设置成什么就设置成什么。好吧,所以你根据我这个图进行配置,这个配置的意思就是以后你比如说手机, 你看我的手机如果想上网的话啊,我其实是可以让手机配置一个代理, 这个代理呢 ip 是我的这个电脑,然后呢端口呢?是这个九八八八,那么这样我手机在上网的时候,他的网络请求都会交给我这个抓包软件, 抓摸软件抓到这个请求咱们就可以来分析嘛,对吧?主要是做这个事,所以呢,你第一步先把这个给他配置上,好吧,那这个操作 我在这给你设置上啊,这是我们在 pc 上面进行操作的吧,对不对?所以在你电脑上,所以我就简称是 pc 端,好,在 pc 端第一步先做上这个操作, 好了先接到这,对吧?这个应该没啥说的。第二步啊,你就要去查看你自己的这个 ip 了, 比如说怎么查看自己的 ip 呢?来,再打开你的 chaos, 来,找到什么呢?找到 help, 再找到这有一个叫 local address, 就是你查看一下你自己电脑的 ip, 你比如说我电脑的 ip 是幺九二点幺六八点零点六,对, 这属于我这台电脑,那么我的手机,我的手机想要设置代理的时候,就要设置上这个 ip, 以及刚才的那个九八八八端口,那这样他所有的请求都会走我这个抓包工具了,对不对?所以再看一下你自己的这个 ip 哈,那么这个步骤你就自己去 根据这个图去找就可以了,这就属于在咱们 pc 端这个软件做的这个操作啊,当然你在这我建议你再做一个操作啊,因为一会咱们就,呃就就就不用再做了啊。你这样,比如说再找到 proxy 啊, 然后找到你的这个,呃,叫什么?比如说 s s l setting, s s l 的 setting 啊,呃,我建议你在这也把它做了, 你们默认安装成功之后啊,这是啥都没有的,明白吗?这是啥都没有的,你点一个 a、 d d 加号,点完加号之后就看到这个界面了,然后在这呢写一个心, 写一个芯,什么意思呢?你可以理解成就是你如果加上它了,后面你的, 呃,手机发送请求的时候,所有的 url, 所有的端口,所有的请求,他都会给你拦截,好吧,你把这个 httvs 这个先设置上,虽然现在还没有加证书,但是你先给他设置上就好,行吧,所以第三步就是把它设置上, 截张图在这哈, 然后放到这儿,这个是在这儿, 好,这个是是是是是是叫什么来着? s s l proxy sightings, 哈,这有一个 s s l, 好吧,把它加上,呃,这个直接是咱们的 local, 我还给你设置一下吧,因为之前有同学找不到之后会会再来问我哈, help local ip address 啊, ip 等着点哈。好了,那这样的话呢,我们在 pc 端对于这个抓包软件初步的配置就算完成了。各位,完成之后啊,接下来啊,你就需要在你的手机端进行操作了,比如说手机端 或者是在你的模拟器上吧,因为模拟器就相当于是咱们的手机端,然后你就需要在他上边去做操作。设置上你的代理怎么设置呢?比如说我就在模拟器上给大家操作了,好吧,你下面打开你的模拟器,先把这点一个就首页, 然后找到你的系统设置,找到设置在设置里边啊,找到 wifi, 哎,找到 wifi, 看到吗?找到你这个 wifi 之后啊,长按它,长按, 然后点修改网络,然后在这呢,你就可以设置成代理,比如说设置手动的代理,这是谁呀?赶紧把它去掉,然后这个 ip 呢?写成咱们 chaos 里边的这个 ip, 对吧?叉 s 里边我设置过,我这是幺九二点幺六八点零点六,对吧?所以设置成它 诶, dear dear 六,然后下面呢?这个端口呢?设置成这个, 咱们之前找 proxy sighting 的时候,我们设置的,注意啊,我特地把这两个分开了,你设置的是 http proxy 啊,不是 sockets 的,所以在这 设置成九八八八,你看你自己设置的是什么啊,设置成它来点保存就可以了。 好,那这样的话呢,你就相当于对你这个手机设置了一个系统代理,那么手机在上网的时候啊,就会经过我们的这个啊抓包软件,抓包软件就可以把他的请求全都拿到了, 好吧,所以这是在手机这儿进行的设置,你自己去做操作就可以了,好吧,所以手机端 设置上这个 ip, 这样吧,给你截张图吧,省的后面。这样啊,但你别写我这个 ip 啊,别写这个啊,这是你 自己的 ip 和端口,别跟我写的一模一样。回来问说,老师,为什么我跟你写的一样不行啊,对吧?好,这就是这的这个操作啊。当然如果有同学在安装的过程中遇到了这个问题,刚才这个小白 发了一张图说,小白说,老师,你看我如果安装的时候他出现了这个问题,对吧?这个问题就表示,你看第一次连接的时候啊,你是否允许啊?这个,呃呃呃,抓包软件去给你进行操作,点什么?点同意,别点不同意,好吧,点同意 允许就可以了,这个翻译一下,实在不懂了,可以先翻译一下,对不对?小白同学,好,那同学们,这样的话呢,咱们就把最基础的抓包软件给他 设置上了啊,那么同学们请注意啊,如果按照这上面进行设置之后 按照上述过程,哎呀,上述过程啊,这个安装后,你注意就是在你的 a p p 中, 或者在你的手机中 的 a p p, 如果它发送的是 h t d p 请求, 是 http 的请求,那么我们这个抓包软件是可以抓得到的, 可以抓到的啊。啊,那我们的这个藏行准备网它呢发送的就是 http 请求,所以这个是可以抓到的,但是如果你的手机中的 app 啊是发送的 https 的请求 请求,那么你的抓包软件是抓不到的,就是目前是抓不到的, 抓不到,即使抓到了,他也会报错,对吧?这个 h t v s。 但先不着急,后边呢,咱们讲这个,呃,油联合伙人的时候啊,我们再会给他设置他的这个 h t v s 的,咱们暂时啊,先用 这个来解决我们藏行准备网这个请求这个需求。好吧,所以这样的话呢,咱们就可以把 这个啊抓包软件就可以给他设置好了,对不对?好,那同学们设置好了之后,那接下来我们就可以开始抓包了,对吧?可以开始抓包了啊,来一点四抓包, 哎,转包了吗?抓包怎么抓呢?来看,把你的这个 charles 先打开,我现在把它放到同一个屏幕上,然后再把我的手机 打开,现在不是已经设置上了吗?然后来藏康准备网呢也打开,然后接下来呢,我 不要给他进行登录了啊,登录的时候,你比方说在这你写上一个呃人员的姓名,比如叫 alex, 对吧?密码呢?等一个烧饼 alex。 好,那这个角色是什么呢?你看他是飞行员,乘务员或安保或管理员,对吧?那我那个朋友是乘务员,比如说选择这个是乘务员, alex, 当然是安保了吗?就写成 alex 安保吧。好了,选完它之后啊,接下来你就可以去点登录了,哎,比如说我一点, 你看我一点完之后,他给我做这个提示了,这个提示不重要,重要的是咱们这个 chaos 这个软件是不是接收到了一个请求,看这是不是接收到了一个请求,而这个请求你看他能 就发送了这些信息, 就发送了这些信息。那么你看各位,这个抓包软件帮助咱们抓到的,先打开 overview, 你看它是一个什么?各位 是个 http 请求,所以他能抓到,如果是 https, 这个请求是抓不到的,明白吧?好了,那这事先看他,看完他之后啊,这呢,如果你不写底层协议, 这基本上不用看这个 overview, 不用看哈,因为如果写底层协议,可能会涉及到分析它这个 t s, l 这个协议,那么我们在这儿主要看什么? contents? 可以点开 contents, 在 contents 里边儿以后,你 注意你要看的是什么?看的是,首先如果他是一个 pose 的请求,他肯定有请求体,对吧?请求体会放到 form 这,那你看在他的请求体里边 传递了四个值,一个是用户名 alex a 就代表他是什么角色,安保就是 a 啊, password 是密码烧饼 alex login two, 这是它固定的值,然后 grant tab 等于 password, 对吧?表单就提交了这几个值,这没问题,是吧?那除了看它以外,你还要再看谁啊?再看它的请求头, 因为一般在 a p p 逆向的时候,如果对于 pose 的请求的话,你基本上看两个地儿,一个就是看三个地儿啊,一个是它的这 这个表单,这是第一个啊,我写个第一个位置,第二个位置呢,就是他的 url, 因为有时候那个请求啊,他的这个 url 里边可能还会传递一些参数,但他这个比较简单,他没传,这是第二个位置啊,然后你还得看第三个位置,就是他的请求头, 这是第三个位置,咱们来看看他的请求头会发送什么东西。基本上就是这三个位置,那上边这个区域呢,都是咱们叫请求相关的,而下边这个区域呢,是响应相关的。比如说你要看他的返回值, 由于它返回的 jason 数据,所以你点比如说 jason 啦,或者 jason text 或 jason 或 room, 它都可以把你的内容响应结果显示出来。那那如果你看它响应头的话,就是在这儿, 明白吧?现在在这儿,而这个 hex 就是它,是十六进制嘛,对吧? text 就是它的文本,那我们一般就在这儿,你看它,这就是不同的叫什么呀? 结果用不同的格式进行展示。咱们由于它返回是 jason, 用 jason 看什么最方便,对不对?所以这是你拿到一个请求之后,你应该分析的这几个位置。好了,我们把它分析完之后,你就发现很高兴,为什么?因为这里边没啥加密, 那他的这个请求体不就是带了用户名密码吗?也没有什么签名,没有什么随机值,直接干就得了。然后再看他这个请求头, 请求头里边有什么特殊的东西吗?你打开他发现什么请求头里边,他也没有特殊的,因为如果说有一些特殊的 那个请求投的话,他都会有,比如说有一串像跟 m d 五十似的,有一串那个字符串,那些基本上每次发请求他都会去是动态的,那么你那时候就得找到他的底层算法是什么,是不是要把它搞出来,对不对?所以这没有,那就皆大欢喜嘛。所以我们如果 对于他来讲,把他逆向出来了,包括把他抓包,通过抓包搞出来之后发现,那我现在如果想模拟他向他们这个地址发请求,那我只需要写上一个,比如说 import request, 然后我通过 request 点 post, 点 post, 然后加到,比如说 url you are i url 等于谁啊?等于这个等于这个其实可以在这在这拿,比如说把这个拿过来,拿过来之后放到这,放到这之后接下来再说他的请求体吗?对不对?然后那咱们就把这个请求体直接给他放到 这个位置就行了。而至于这个请求体它怎么写呢?它是用 jason 还是用这个什么呀?还是用 form 呢?各位你注意啊,在这个抓包的时候你要看啊,有同学觉得比较小,那我给你干大一点啊, 这样应该就大了啊,这样应该大了,你主要看两个位置,第一个位置是看这儿,看它的 content tap application 杠。什么? form, url, in code, 那这其实就表示你是通过 表单的形式,那么参数肯定是 data, 以及在这儿他写了个 form, 对吧?如果是 form 的话,肯定也是举 data 这种 form 表单的形式,那如果是呃呃 jason 形式的话,这儿应该是 application 杠 jason, 而这儿应该也是一个 jason, 明白吧?所以你这个直接就给他传 data 就好了,所以在这儿直接写 data, 等一个这个值 好,等于这个值好,那这样的话呢,咱们就给他登录了 r e s, 那么如果你的朋友 r e s 的 close 啊,把请求给他关闭掉,最终我们看这个结果, r e s 点 text 对吧?所以如果你的朋友给了你正确的用户名和密码,你直接就可以登录成功,登录 成功之后,比如说获取到他的 token, 然后再带着他的 token 去发送其他的请求,然后就可以去去查看他 app 里边的一些数据了啊,至于 app 里边数据,我没有办法给大家去展示 啊,因为那里边太私密了哈啊,并且这是他们内部的啊,一展示就直接把他给这个什么了,暴露了啊,那个就不太好那。但是,呃,怎么讲呢?就通过这么一个 啊,反面教材吧的 app, 咱们来引出了,你大概知道,对于一个特别特别特别简单的,不能再简单的一个 app, 如果我们要搞他的话,只要一抓包,如果他里边没有任何的加密参数和签名, 皆大欢喜,我们这个钱赚的就很顺,明白吧?好了,那这就是在这我们第一个啊,通过 过藏行准备网的这个需求,我们理出来的东西,对于大家把这个了解完之后,对你们比较有价值的就是,哎,我知道了, 通过模拟器对吧?安装 a p p 以及通过 chaos 去抓我 a p p 里边儿的包,仅此而已。好吧,所以这就是第一个案例,要聊的内容就是这么多。

你绝对想不到一个浏览器插件就能让你成为爬虫大神,关键还不用写代码。走,我们一起来看看。这个插件的名字叫做 gx x mark, 那么他到底能做什么呢?我先进入一个我之前开发的 cm 系统里面,然后点击这个录制,我现在输入户名,输入密码登录,然后我们简单做一些操作。好,我们现在退出这个系统, 然后关闭浏览器,我们回到这个插件里面哈,然后点击运行好现在见证奇迹的时刻。我现在没有动鼠标键盘, 他在自动执行我刚刚的步骤,这样我们的一个全自动能模拟登录的爬虫就做好了。现在数据爬到了,如果要存在表格里或数据库中,要怎么做呢?请看下集。

我是熊探长,爬虫机器人危险预警,首先,很多的小物件容易被宝宝误食,这里的毛絮极易脱落,容易引发过敏。 电池仓和电路就这样漏在外面,全身也很容易被拆解,十分危险。垃圾玩具马上扔掉,关注我,让宝宝远离危险伤害!