robots文件设置了重定向跳转

robo 此文件呢是告诉搜索引擎，这里不仅仅是谷歌啊，我们网站上哪一些是你可以去抓取的，哪一些是不能抓取的， 那么有谷歌一般会遵守他你这个呃 robo 存件的一个设置，那么有一些比较无赖的搜索引擎啊，这里又说了 一些无赖的搜索引擎啊，并不会遵守啊，我们的 robots 说明它会就是对啊，我们的这个通过啊 robots 文件呢进行猜测 啊，不愿意对外界内容展示的就是进行猜测，如果你把敏感内容就是设置到这里来的话，添加到这里来的话，然后呢，呃他通过猜测就能知道啊你的这个呃 呃这个如果你的那个呃网站上还有隐藏的文件夹隐藏的页面，那么同样的就是啊，如果啊有如果有一些诉讼引擎抓取了这个 你的一这些页面的话，它也可以通过 site 啊， your do 啊 your domin 点 com 就是你的域名，然后看一下呃网搜索引擎有没有收录，有没有收录啊这个页面， 那么呃通过这样呢，然后可以来呃就是判断啊，你的呃也这个隐私的一页面啊，是哪些，或者是你的登录页面啊，默认的登录页面。所以呢，我们 们不要在这个啊 robos 文件里面去把这个默认的登录链接去给他写上，一般也不会这样去写啊，就是有一些第三方呢他的 robos 文件会出现 啊这种情况啊，就是我们呢也之前也通过这个呃 robot 这个他的文件来啊成来成功的去找到过这样一个登录后台，那么 安全起见还是不要去把啊这个文件呢，就是啊没登录地址这样的一个后台写进去。 还有呢就是处你有一些啊，比如说你是做付费的，那么你就不要在这个萝卜存文件里面去体现你这个 tutor 啊，比如说你的付费课程啊，这样的一个啊目录，那 那我们呢就可以在这个啊，用 h 点 h 啊 t x s 这样的一个呃去对它进行设置请求的话，假如请求这样的一个文件啊，一个目录的话，直接返回四零四啊就可以了， 那么这个就是啊安全使用 rob 存电的一个方法。

你知道 robo 协议吗？这个是网站对爬窗者的一个免打扰的门牌，是一个君子协议，告知网络爬窗自己哪些内容可以爬去，哪些禁止爬去。在你想要爬去的地址后面加上杠 robos， 点 txt 就可以看到自己是不是受欢迎了，赶紧点赞收藏吧！

robots are very different from the hollywood version， they are widely used today in factories in space and deep underwater for jobs which are too dirty boring or dangerous for humans to do meet awesome i am awesome the most advanced humanoid robot in nineteen eighty six the honda automotive company wanted to see if it could make a humanoid robot that could act like we do to help in the home play football balance on one foot and even dance over the years there were some problems but soon the researchers managed to get a robot that could walk on uneven surfaces and shift its center of gravity like we do to climb stairs more recently ossimo was improved so it could turn round and run at six kilometers per hour using its upper body to control movement ossimo is designed to be people friendly it is hoped that robots like this could be used to help elderly people in their home honda are also using this technology to create mobility aids for people with disabilities it can also push a cart and open and close doors gestures ossimo can even shake hands and recognize gestures it stands one hundred and twenty centimeters toll so that it can look into adult faces when they are sitting down it can hold two kilograms in its hands and carry a tray without dropping the contents so we're next for this kind of robot well， while ossimo is physically impressive it is still controlled by a human researchers in the usa are working on robots that can learn about the world around them and respond to human touch and voice the robots are even learning to recognize objects， people and vocabulary。 哈喽 yellow red soon the descendants of these robots may be serving you drinks or helping with jobs at home and at work。

今天呢，所以说技术 su， 所谓技术 su， 通俗的说法就是谷歌收收引擎，蜘蛛抓起你网站和所以内容的 能力。大家都知道，现在是内容为王，只要内容写的好，关键词找的好，就一定能排名吗？不是的啊， 任何一个网站没有技术 su 的支持，甚至谷歌根本都找不到。你举一个例子，比如说看到的国内的，我们有些客户的平台 连站着地图都没有，想想看你这个网站要被蜘蛛抓起，那得多难。当然了，不是说没有站点地图就一定不能，那就是慢，非常非常的慢，这不就是技术的体现吗？所以说呀，正常来讲，一个网站 从搭建或者说你重新设计网站，这里面都要考虑到技术 su 的因素， 或者你跟人谈生意，你假如说你是做网站建设的，如果你能从这个角度去谈，你也会得到好的生意，多数人去网上根本就不考虑这些事情。也就是说，如果没有技术的知识啊，那你这个站内优化，站外优化，什么关键词文章写的都好，那 不存在，我们很多朋友啊，一说技术 su 就吓得不得了，实际上不是那样，你不用害怕，你看我这个年龄，六十来岁都能学技术 su， 你怕什么？我们以后陆续会要说什么呢？挑最关键的，也是最实用的，一个是站点地图，还有 robotics， 再就是网页的错误，再就是四零四，瑞迪瑞，不用害怕，这些东西你都能学会啊，当我们有了技术的支持，那么我们在会做站内站外， 那么这时候你才具备了在谷歌做排名的，或者说网站优化的一个最基本的啊，无论是站内站外都离不开技术。好，今天就到这里，感谢关注谷歌 suu 优化老苏。

来，我们再看一下外部第四题， 第四集他的提示写的是 robos， 那想的立后就会立马想到 robos 的 pst， 对吧？那这个 robos 协议是干什么用的呢？那基本上大致的就可以理解成 这个限制各个这个搜索引擎啊，对这个网站内容的部分或者全部进行这个锁引，并展现 搜索引擎。比如说百度啊、谷歌呀，咱们都有自己的搜索引擎啊。那看一下题， 那这个往后边直接直接加杠上 boss 点 tst， 那他提示是什么？他把这个隐藏了对不对？那好办，直接改 福来了就出来了。这道题大家应该会了吧？

马哥，讲解爬丛之柔吧协议，这里边设立了一个知识点啊，就是这个绕不死协议。这个我不知道，您理解不啊，听说过没？ 嗯，没有，就是他是一个，就是每个网站，这个网站如果做的比较规范的话，他会定义一个绕口子协议，就是规定这个外面的爬虫哪些内容可以爬，哪些不可以爬， 但是他不是一个法律上的这个，这个明确的规定啊，比如说我定义了这个，这个 a 文呢，不能爬，但是你爬了啊，也不是说触及法律了，他是一个君子协议。嗯，比如说咱们看一下这个， 咱们看一下这个百度网点啊， 一般就是这样发的， 在这个这个王者后面加一个斜杠 lox tst。 嗯啊，咱们看这个是优德 a 证的，就是百度，百度发愁， 当然他是自己，自己就不说了，自己爬自己的。比如说谷歌吧，这谷歌第四个唠就是不允许，是吧？ 就说百度下面的这几个路径是不允许不会爬的，就这个意思。嗯啊，比如说有道，有道就是搜狗的这个啊，这个是搜狗的啊，搜狗的啊，搜狗的就不允许这几个滤镜， 就是百度不允许搜狗用他这几个东西，就这意思，明白吗？嗯啊，其他的，还有一些其他的， 我这个星呢，就是通佩服。就是其他的其他的所有的杠就是最最最根基目录啊，都不让他 啊，这是百度网站的绕个词，其他网站也有绕个词，当然有的网站他做的不规范，他不不定义这个绕个词啊，那不管了， 比如说这个淘宝的看一下啊，百度的所有的都不让爬啊。嗯，就这个意思。 嗯，这个一篇接口呢？就是。

大家好，这里是蝙蝠侠 it 每日分享 sco 实战干货。 robots 协议是做网站 sco 的基础性工作，但我们也会发现有很多网站是没有设置 robots 协议的，这就让我们感觉到很奇怪，明明很简单就可以做到的问题， 为什么还有网站不做呢？难道是 robots 协议制作是没有必要的吗？ 1、 网站是否要做 robots 协议？ 其实对于一些网站来说， robots 协议是没有必要设置的，因为网站没有内容需要屏蔽，整战都需要被蜘蛛抓取，所以不设置也是正常的。但我们认为你不能因为网站没有要屏蔽的内容就不做 robots 协议。 robots 协议还可以起到提高网站安全的作用， 在 robots 协议中添加问号警号这样的符号的屏蔽，可以防止 url 被恶意添加其他内容而被搜索引擎收入的。问题二、怎么 制作做 robots 协议？而 robots 协议怎么制作？这个问题相信大部分站长都明白，在搜索引擎中搜索 robots 在线制作，就会发现很多在线工具，你任选其一即可。按照提示就可以生成一个 robots 协议，然后上传到服务器干目录，再到资源平台选择 robots 协议选项进行文件更新即可。 三、 robots 协议需要注意什么？一、文件生成时间虽然 robots 协议起到的作用是屏蔽蜘蛛访问指定 url， 但提交时间不及时， url 被抓取，屏蔽也就是无效的，所以要在网站上线前就做好屏蔽。 二、网站地图添加 robots 协议协议是蜘蛛首先爬取的文件，我们可以将网站地图 url 填入，让蜘蛛第一时间抓取 url。 上述内容仅是蝙蝠侠 ip 一家之言，欢迎关注评论区留言与讨论。