粉丝3.5万获赞88.7万

大家好,我是邵老师,那么接下来呢,我们进行这个云赛道加分赛大数据实验的一个讲解啊, 那么完成这个大数据相关的一个实验,我们呢可以获得三十分的一个加分, 点击进入到我们的这个实验的一个地址。 ok, 好,在这一块的话呢,我们点击实验手册给大家讲一下我们这个实验的一个内容哈。 好的,那么在这一块的话呢,我们有几个部分的一个内容啊,首先操作的一个前提,那么在这里边呢,呃,是干啥呢? 就是啊,使用我们这个 rom 浏览器,也就是谷歌浏览器来去登录我们的一个华为云的一个控制台页面,那么 这个登录的一个页面的话呢,其实啊,就跟我们普通的这个登录其实是一样的,只不过呢,我们这一块的话呢啊,在你进入到实验之后,他会提供一个 iam 账号给大家,那么这个 iam 账号啊,我们可以理解为呢,就是一个纸账号,他是有主账号的, 那么你们注册的呢,就是主账号,其实主账号之后啊,就是呃之下可以呢创建这个 im 子账号的,呃,大家可以不用 管那么多,你知道他会提供这些账号给的,给到你们就可以了,所以呢,给到你们之后,你可以呢按照这个要求点这个 im, 用户看到没有 点击这里,然后呢啊,原本你是输入两个东西啊,现在呢,你需要呢输入三个东西,分别输入进来,点击登录,那么你就可以登录进来了啊,这个没什么好说的啊。 好,那么接着呢,我们这个实验是操作 map reduce 服务的,所以呢,那接下来呢,大家登陆之后,你就需要呢去购买相关的这个服务, 那么我们这一块是购买 map reduce 服务,那么怎么去购买这个 咒呢?其实写的非常明白哈,点击公子台,然后呢服务列表,找到大数据啊,找到 maproydios 服务, ms, 哎,你直接搜 ms 都可以弹的出来的啊,然后呢,你看啊,我们这个实验里边呢, 还讲的比较详细,什么是 map reduce 服务?巴拉巴拉一大堆东西,是吧?然后呢,呃,其他的一些问题,其实大家呢,呃,不用管那么多,你不看也行,你就听我直接说啊, 我们这个 mipodes 服务呢,其实他跟其他的一些服务也是类似的,那么我们的,呃,这个服务你直接去点击就可以去购买好了,只不过这个服务呢是跟我们大数据相关的, 那么这个东西,嗯,如果用一句话来去简单介绍的话,其实就是什么呢?就是一个可以 快速去让我们去使用了一个大数据的一个平台,他这个平台呢,是装好了各种各样的一个主见的, 所以呢,你购买,那么你就可以呢去快速的上手去进行一些大数据统计啊,巴拉巴拉的一大堆东西,懂了吧?就这么一个东西, 这个 mapredios 服务,他只是一个名称啊, maprediose 只是一个名称,那大家如果是学过这个大数据的话呢,应该有听过这个,肯定听过,是吧? head dope 啊, maprediose 啊,亚吗等等等等,对吧?那么我们这一块的一个 maprediose 服务呢,他只是一个名称, map reduce 服务,叫做 map reduce 而已啊,或者叫做 ms 啊,对吧?所以其他的不用管, ok, 好,那么就按照他的一个要求,把我们这个 ms 服务呢给购买一下, 大家在购买的时候呢,一定要按照我们这个要求来,如果你不按照这个要求来呢,他是会自动删除的,不信你就可以试一下啊。啊,好, 然后呢,在购买的时候,大家不需要担心你的这个账号啊,有没有钱,这些你不用管,你只需要呢进入 我们这个账号的一个呃,登录环境之后,那么你就可以呢去操作了,你不用管钱啊, ok, 那么他要求你呢,在这个华北北京市这个 区域呢,去呃购买,然后呢名称,那么我们这个实验手册里面呢,以这个 mshgia 为例,那么呢我也建议大家呢,直接就复制这个东西,直接填好就可以了哈。 然后集群的一个版本是 mas 一点九点二这个版本的话呢,其实不只是有一点 几版本了,其实还有三点几版本,那么三点几版本跟一点几版本的其实还是有比较大的一个区别的哈,但是我们这一块呢,是要选择一点几版本, 然后呢啊集群的一个类型是混合集群,你只需要呢按照我们这个图片看到没有按照这个图,然后呢把它该选的选一下, 该填的填了就可以了哈,五条集群。然后呢,呃,我们这个分析的一个主见,那么大家呢,需要去勾选一下,其实简单来说就是什么呢?就是你在购买这个服务的时候 啊,你让这个服务就是让你的这个平台要装哪些软件,对吧?装哪些主见?比如说你勾选 spac, hbase, however 啊, hv 等等等等,对吧?那么我们这一块呢,是全选啊,把它全部给装了, 像一些 hat, dope 啊,这个呢,它是默认勾选上的,也就说必须要装的,所以你就没法选了啊,反正你就全选就对, ok, 然后接下来啊,其他的原数据的一个处理方式,然后 呢我们这个硬件的一个配置计费模式,按需计费,对吧?然后呢啊,虚拟室友云 这一块呢,需要创建,这个训师有缘啊,你按照这个步骤,然后呢去,呃,创建就可以了啊,参数都是默认的点力创建。然后呢回回过回到我们这个页面,然后呢你再刷新一下,这里有个刷新的按钮,刷新一下就有了哈,然后你再选上你的这个 啊,新建的许你是有云啊,纸碗的话呢,他会自己创建了,所以你不用管了。 然后呢安全组自动上键弹性公网 ip, 那么我们在购买的时候呢,我们先先不管这个弹性公网 ip, 也就是暂不绑定, 后面呢我们会啊,对他进行一个绑定,也就说我们要用的时候再去买就可以了哈。那现在的话呢,我们就按照他的一个要求来,不要乱操作啊, 因为你乱操作的话,我们系统是没法识别的,没法识别也就没法给你啊,算这个进度, ok, 好,接下来呢,我们的 cpu 的一个架构选择叉八六一个计算这么一个架构, 然后集群的节点,我们这一块呢是有三种节点啊,一个是 master 节点,一个呢是分析扩节点,一个是流失扩节点, 你按照这个要求来按去计费,对吧?然后呢我们这个实力的一个数量一个一个一个都是哈啊,规格大家 摇起来哈,不要买错,买错了他会自动删除, ok 啊,应该问题不大哈。嗯,在这一块的话呢,我们是购买的是 ms 一点几版本的,对吧?一点九点二,所以呢,他就没有要求你一定要购买多台啊,这些 mass 的节点或节点他没有要求啊,如果你是三点几版本的话呢,他是有要求你啊至少要购买三台啊,两台啊,这个是有要求的, 那么我们是一点几版本,所以呢啊,要求不高,方便我们呢进行一个学习,对吧?就按照这个要求来, 接下来呢啊,高级的一个配置,高级的配置你就按照我们这个要求来就行了, 你可以点一下啊,点一下图片他就会变大的啊。 好,然后呢科普罗斯这个呢,我们选择关闭,不管他用户名密码 这些呢啊,你们可以看情况来啊,看情况来,这个比较简单,那么我们先过一下啊,然后呢,最后你点击立即购买之后, 我们这一块呢需要等待一段时间,十到二十分钟,因为我们这个呃集群 是比较庞大的,而且呢要装很多的这个主见,等等等等啊,所以呢需要耗这个时间,大家啊也应该能够理解啊,你想一下,我们启动一个程序其实都需要 啊,耗费一点时间了,对吧?更何况我们啊安装了这么多的一个主见啊。好的,那么启动完成之后呢,应该是这个样子的,这个样子的, 也就是说你已经买了一个集群了,懂吧,这个 ms 服务就相当于是你的大数据集群。 好的,那么我们接下来继续啊,第二步,你购买好服务之后购买啊,然后呢需要购买这个弹性公网 ip, 那购买这个弹性公网 ip 的话呢, 大家应该懂了,对不对?应该懂的,我相信你们都懂,然后呢?呃,我们可以呢,直接在我们这个集群里边去进行相应的一些点击, 比如说我们进入到你点这个集群的一个名称啊,进入到我们集群的一个列表页,弹出一个页面,再点这个节点的一个管理, ok, 点击他,然后呢在下边呢,你可以找到我们这个节点哈, 以 master 有 master 这个字眼的一个节点看,没有有个 master 啊,看到没有?有 master, 你再点它啊,你再点它,然后呢就进入到这么一个页面, 这里呢就是我们这个啊, master 这个节点的服务器的一个控制台,对吧?我们 master 的节点啊,扩其他扩节点啊,其实呢都是云浮气来的,这个没有什么意义吧,对不对啊?你再点, 然后呢我们在下边可以看得到有一些鱼硬盘啊,网卡安全组,弹性公网 ip 等等,你可以找到我们这个弹性公网 ip, 点他, 点他,对吧?点了之后呢,我们可以点这个啊,购买这个弹性购买 ip, 然后你购买的话呢,那就是进入到购买的一个环节了,那购买的话,你又按照我们这个要求来购买一下啊,数量呢?买两个,对吧?五兆的,按贷款计费, 点击立即购买提交。然后呢啊,买好之后我们就可以了,回到我们这个弹性云服务器的一个控制台,然后点击绑定我们这个弹, ok 不啊?绑定一个 ip, 你选一个 ip, 就是给我们这个 master, 比如说我们这一块是吧?给我们的 master 绑定这个弹性 vip, 点击确定, 然后你再稍微刷新一下,你就可以了,看得到我们已经啊绑定好了这个这个弹性功能 ip 看到没有? ok, 然后接着的话呢,我们就可以呢去修改我们的安全组,安全组在哪一块呢?大家可以点击这个虚拟私有云,你可以直接搜哈接收,点击吸引私有云,然后呢 进入到我们这个访问控制,然后呢点击安全组,进入到安全组的一个管理页面,然后点击 以我们 mrs 开头的一个安全组。大家都知道啊,其实你买了这个云浮器啊,也把你的弹性管往来皮直很厚,其实你还需要呢放通这个端口才能够呢,让外面的人能够去访问你的这个福气的。 所以呢我们在这一块呢需要设置这个入规则,点击这个入规则,点击哈点击入规则,然后呢添加我们这个规则,添加我们这个规则,然后呢在这一块你可以输入相应的一个内容, 比如说优先级选择一策略允许,然后呢放通哪些端口我们选择呢全部放通, 也就是说我们外面呢啊可以去访问你这台服务器的所有的这个端口, 相对来说的话呢就是会没那么安全,但是呢啊,我们的这个杀枪实验室啊, 呃,他本身呢其实就是给我们去进行一个测试啊啊来进行一个实验的,所以我们呃就不需要去管这些这些安不安全的东西,我们按照这个要求来做就行了, 如果大家是有搞过这个开发的话呢,应该是有听过沙箱支付宝,对吧?就是我们要去对支付宝进行一个啊,这个什么这个 api 吊用的时候我们是不是要充钱呢? 然后啊花钱啊等等这些东西,是吧?那么我们的支付宝啊,他也有一个砂箱的一个环境给我们去测试的 啊,也是类似的一个情况,那我们这个,呃,实验杀枪实验室里边的这个 factory deals 服务,其实呢也是给我们进行一个测试,给我们保安的,对吧?所以我们不用管那么多哈。 ok 啊,那么我们在这一块呢,开通这个 map reduce 服务,购买服务,购买弹性,购买 ip 绑定弹性 啊,购买 ip 修改安全组啊,这一块呢我们就讲解完了,那下一小节呢,我们会继续讲解,然后呢去访问集群的一个管理页面。 ok, 那么咱们这小节呢先讲到这里,谢谢大家。

大家好,我是沙老师,那么接下来呢我们继续进行讲解哈,那么现在呢到了第二部分,就是呢访问集群的管理页面, 那我们的集群呢,其实已经买好了哈,也进行了简单的一个配置,那么接下来呢,我们需要呢去访问一下我们集群的管理页面,他需要我们做什么东西呢? 来一起看一下啊。首先呢我们在浏览器里边呢,切换到我们 ms 这个集群的一个详情页面, 点击这个概览,然后点击他啊,点击他 可以点击这个东西啊,这里边有一个 im 用户的一个同步,点击他点击之后呢,我们再点这个前往 manager, 其实呢就是前往我们这个集群的一个管理页面,你必须得先点一下这个 im 用户同步啊, 这样子呢可以做的到我们这个呃用户的一个设置哈,点击他之后呢会弹出一个 呃这个框,然后呢在这个框里面呢我们可以呢去选择我们这个弹性公网 ip, 选择我们这个确定对吧?嗯,这个页面的话呢,其实我们想要做的一个目的是什么呢?就是通过我们这个本地 的一个 windows 电脑或者是苹果电脑,然后呢去操作我们的集群,然后呢我们的这个集群呢,他有一个 mad 者的一个页面,可以提供我们去访问,嗯,就是一个管理的一个页面啊,所以呢我们这块呢是要用到这个弹性功能 ip 的哈, 然后呢我们的就可以按照这个提示啊,然后进行相关的一些操作啊,因为我们的这个实验里边呢, 我们点击开始实验之后,其实呢他就给我们分发了一台电脑来的哈,那他电脑里面呢是有安装好我们这个呃火狐浏览器的,所以呢,你到时候操作的时候呢啊,是会有相关的这些弹弹框的,就是提示 定期的,你就按照他的这个实验手册的要求去进行一个呃设置,这样就可以了啊, 那点了几点之后呢,就会弹出我们这个 ms manager 页面的一个登录页面,那我们这个登录页面的话呢,就需要你呢输入我们的用户名以及密码,那密码的时候呢,是在我们生意集群的时候啊,有设置过了的哈, 所以呢,你点击登录之后啊,就进入到这么一个页面了这么一个页面,那么这个页面的话呢,其实就是对我们的一个集群进行监控啊,管理啊, 啊,给我们用户提交作业啊等等等等相关的一些内容,大家都可以猜的 到,对吧?比如说我们这个集群呢,呃,有哪些服务啊?有俘虏吗? hbas 啊, hdfs 啊等等等等,然后他的一个健康状况是怎样的呀?等等,这个我们都可以看得到, 那么我们在后边啊,就是使用我们的 maple 六十进行这个单词统计的话呢,我们一样也是在 哎我们的这个 mana 者页面里边去执行我们这个呃相关的一些操作哈,这个呢我们留到下一节再讲哈。 ok, 那么咱们这小节呢先讲到这里,谢谢大家关注邵师兄,下集更精彩。

获得华为中国大学生 icc 大赛二零二一实践赛网络赛道高职组特等奖的是深圳信息职业技术学院。

大家好,我是邵老师哈,那么前面一小节呢,我们讲解了 obs 的多帮忙控制以及全线控制,那么这小节呢,我们继续来实操哈, 同样哈,如果同学们没有看过我前边的那些视频,大家可以回去看一下我前面的视频。 现在的话呢,我们是要实操这个弹性文件服务相关的操作,讲解的话呢,在前面的视频已经讲过了,大家可以去找来看一下。好的,我们呢操作一下啊, 那么我们这个实际上是干嘛呢?创建的共享文件夹,然后呢啊,挂载文件系统,然后呢实现跨 bpc 啊的这个多个 云服务器共享使用我们这个文件系统,所以在这一块的话呢,我们呃就是要去呃操作弹性文件服务相关的一些内容,就是文件系统啊, 好,前提的话呢,我们就不讲了哈,直接来创建 bbc 的一个中单节点,在这一块我们需要呢找到我们的弹性文件系统啊, 那文件系统的话肯定就是纯属类的东西嘛,所以呢,弹性文件系统找到他,然后在这一块呢找这个 sfs 三点零容量型这个哈,然后拉下下面有一个购买 vp 七中单节点,他是免费的,点这个哈按名称查找服务哈, 对吧?然后呢,我们这个服务名称,我们点这个复制一下, 复制过来教练一下, ok, 没问题是吧?好,然后呢,我们虚拟室友云先选择我们的 windows 版本啊,大家按照我这个来操作就可以了啊, 然后没问题,我们就点击立即购买,点击提交, ok, 返回终身节点,然后这个时候的话呢,我们再购买一个 这个中单节点啊,然后到 windows 啊,这名称的话呢是一样的啊,我们就把它搞过来啊,就跟我们刚刚拷贝这个名称是一样的。 windows 呢,我也我们也给他买一下 全对眼睛返回, ok, 两 两个都给他创建一下哈,接着呢我们需要的创建单个文件系统,所以呢这一块的话呢,我们需要呢去创建我们这个文件系统啊,一样,我们呢回到我们刚的页面,然后呢拿上这边有一个创建文件系统, 然后呢其他的可以保持不变最快。我们呢先选择另一个词啊,名称呢,我们给他一个吧, 名称的话,他的这个名称的话我们取什么呀? 嗯,随便拿一个吧,另一个字的话,我们就 给他一个另一个词吧。 ask pass 幺幺二五三凌晨, ok, 创建一个,一起创建 好的,对吧?这个文件系统。 呃,因为呢我们这一块呢是要多个 vpc, windows 二零都可以用我们这个文件系统啊,所以呢我们得给他增加一下这个权限啊,点一下他 添加一下 我们这个 bbc, 把我们那个 windows 的呢给加进来,因为我们现在的话呢,刚刚选的时候是选的另一个式的,所以呢这块我们添加 windows 的进来两个了啊,那说明呢我们这两个呢都可以去 啊使用我们这个文件系统啊,好,文件系统已经穿件好了哈,这个时候我们呢需要呢去挂载一下啊,挂到你自己的那个服务器里面去啊。 ok, 因为我们这个终端太久没有操作了,所以呢他已经默认退出了哈,那么这个时候我们需要呢再重新登录一下啊, 看清云浮气,重新登录一下,我们的另一个是点一下把这个密,把这个 i 拼音给接过来,密码登记一下, 哎哎呀,大家可以稍微操作慢一点, ok, 登录进来了哈。 那现在的话呢,我们就是另一个词去挂载,挂载的话呢,我们需要安装一些东西啊。好的, 查看一下可以发现了,我们还没有安装的啊,没有安装,这时候呢我们可以去查看一下我们的这操作的这个版本是吧?嗯,实际上我已经给大家操作过了,直接你运行这一行就可以啊。那如果是不太清楚的话呢,可以这样子 打一下,然后去查看一下,可以看得到我们这个是 redhead 啊。好, redhead 的话呢,我们就执行这一卷 走。那执行这一句之后你不要再执行这些了啊,没必要啊,然后执行完之后我们再执行下面这一行 complete 了啊。好,再继续。 ok, ok, 也搞定了哈。搞定之后呢我们呢?呃,去看一下我们这个挂载一个地址哈,挂在一个地址 这里边有这个挂载地址哈, 回到我们的这个文件系统回去,对吧?在这哈有挂载的地址是这一个哈,然后我们可以呢教验一下这个域名有没有问题,你直接复制这一行粘贴一下 看一下,看一下能不能连接的上发现呢?没有问题是吧?没问题,就这个意思哈。没有问题的话呢,我们就可以来去啊挂载一下了, 考虑一下代码,我们新建一个文件夹,到时候呢挂到这个文件夹里面去哈。好,接着呢,我们呢是呃,执行一个命令,这个命令可以在哪里找到呢?我们可以再这样子啊,点一下他,点一下挂,点点信息,这里边有一句命令,看到没有 啊?这句命令你拷贝一下,去挂载一下, 复制一下,然后呢去执行一下, 执行一下, ok, 然后呢查看一下我们已经挂载的这个文件系统,按道理来说呢,应该是会看得到我们这些字样的,看到没有?挂载了哈,挂载了,好,那接着呢,我们需要改一个文件,我们就按照他的一个要求来, 然后呢把这个东西加进来哈,一样啊,我们移到最后按欧粘贴一下。好,然后呢这个 sfsui 要这个我们得改一下啊,改成你自己挂在点地址的那个命令中的那个地址啊,那就是什么?就是这个东西啊?你改成你自己的这个东西,那这个东西其实就是我们基本信息 里面这一个东西啊,复制一下,一样啊,改一下,粘贴过来,发现呢?他没有生效,是吧? 那么我们再来一遍啊,复制一下,点一下,再来粘贴, ok, 没问题了是吧?没问题啊, 保存冒好的 qq。 好的,然后这个时候我们看一下有没有 添加成功,发现了添加成功了哈,添加成功之后呢,我们 reboot 一下我们这个弹性云服务器哈,这个是不是重启哈?重启的话我们可以去看一下啊, 刷新一下,刷新一下, 你在这里边重启也可以啊。好吧,然后我们重新连接上去啊,再来密码的话我们再来。 是的,没错,粘贴回车, 看得到了啊?看得到了这个东西, 然后现在我们已经 ok 了, ok 的话呢,我们呢 cd 到我们那个挂载地址里边,看一下有没有东西,没有东西是吧?没有东西,我们有一个东西, 随便拿一点东西。我们这么搞呢,其实就是等会呢,我们的 windows, windows 也挂在我们这个文件系统的话呢,他可以看得到我们这个文件。 ok, 刚刚可能我操作的太快了,没有让你们看清楚啊,我输入了这个内容之后,我按了 asc, 比如说刚刚是这样子,对吧?按了 asc 左上角的那个按键,按住 shift 加两次 z, 也是保存啊,那么你们不知道你们可以这样子保存一下啊。好的,继续啊, 有两种保存方式是吧? ok, 没问题了啊,可以查看的到,我们确实是有这个文件,并且呢它里面是有内容的。 ok 哈, 那么我们这小节呢,呃,就准备先讲到这里哈,讲太久了,怕同学们顶不住哈。 ok, 我们先讲到这里,下小节我们继续来去讲我们这个 windows 去挂载我们的文件系统。好,讲到这里,谢谢大家。

大家好,我是邵老师,那么接着我们继续讲解我们这个实验手册哈, 好,那么选手册。还有最后一部分就是利用 map produce 做单词的一个统计,哎,我们其实都说过了啊,其实这个单词统计就是我们变成语言里边的 hello word 级别的这么一个程序, 所以呢,他是比较简单的学习大数据的话呢,这个不会就很搞笑了,对不对?好,那利用 mafiades 做单词统计,首先第一步我们看一下他干了些啥? w 盖,然后呢, 这块是 下载我们这个实验的一个数据,对吧?使用 w gap 命令,然后呢啊,去一个地址里边 obs, obs 呢,就是我们这个啊,华为云里边的对象存储服务 啊,你可以理解为就是一个存储的一个地方,是吧?你可以通过指定的一个路径呢去对里面的内容呢进行相应的一个访问的,所以呢,我们这块呢 wga, 然后呢给了个地址下载的呢,是这么一个文件夹, ok, 如果下载成功的话呢,那么就就提示这些内容,对吧?百分百下载完成了,那如果是报什么四零四啊,那可能就是这个文件就不存在,那不存在的话,那就没办法了哈, 你得你得找一下哪里有这个数据,你可以自己上传的,你可以自己上传一下,是吧?如果他的数据不是很不是很复杂的话,你自己可以呢,自己构建一个,自己稍微写一下,对吧?都可以啊, 比如说我们这里边要进行这个持平的一个呃,统计啊,那么按道理来说应该是什么啊?应该就是一些单词吗?然后呢算这个单词出现了一个次数, 所以呢我们这个实验的数据需要统计的这个数据按道理来说呢,应该不会很复杂,你可以自己构建一个,对吧?好,那如果能下载成功的话呢,那就直接用它的就可以了哈。好,这第一个下载我们这个实验的一个数据,也就是我们需要统计的这个 数据,这第一个,第二个我们继续哈,继续啊去使用我们这个呃,终端去执行下面这这么一句话啊,这个命令啊,然后呢去把我们这个价包给下载下来。下的是什么价价包啊? 也一样啊,是去 obs 里边去下 wg, 然后呢你看呢? headdoop meprit, do example, 巴拉巴拉,对吧?那这个东西呢,其实就是呢,我们的这个, 我们这个 map reduce 服务提供给我们的啊,一个啊样例的一个价包,那么这么一个样例的价包呢,里边呢就包含了一些程序啊,比如说什么程序呢? what? 程序?我的看就是,呃单词技术嘛,呃,这个程序的话呢,已经包含了的,也就是说呢,他已经是写好给我们的,我们直接呢去使用他就可以,对吧?那现在的我们就是直接去使用他,所以我们呢需要把这个加班呢给下下来 啊,除了这个持平统计的一个程序,还有一些什么呢啊?估算派值啊,对吧?等等一些程序都包含在咱们这个架包里面, 大家也可以呢去进行一个尝试好了,那么我们就可以去下载,对吧?下载,同样同学们可能呢也会发现这个下巴可能下载不了了,对吧? 那下载不了的话呢,那怎么办呢?你可以你你可以你自己去下一个去找,是吧?去下载我们这个价包,呃把这个元宝包然后解压,然后呢去下载下来,这个方式有很多种啊,大家可以呢。呃看一下我们这个 华为认证相关的一些资料,肯定是有的。那除了你去用这个华为的呢,其实我们也可以呢,自己写一个,对吧?使用这个加码代码边写一个我的看程序,然后呢打成这个价包, 然后呢?呃打人教包你就可以用了吗?那就看接下来怎么用啊。一样的一个用法,按道理是没有问题的啊。没有问题的,那么我刚刚讲到了一些什么 使用家吧编写代码然后打架吧这些操作,呃相对来说如果是没有学过大数据的同学可能会有点难度啊,说实话, 嗯这个怎么说呢?因为难度的话基本上呃比较少同学能够自己去完成这些操作,那么如果你真的没有这个基础的话呢,你可以去找一些大数据的相关视频来看一下,对吧?我们的 呃华为官网里面都提供了很多的这个视频啊,也有一些代码开发相关的视频啊,还有呢业界里面也可以去找一些是吧?想逼账啊啊木克王啊等等,你得学哈,你不学你就不会这玩意,当然你也可以找 博客来看,那博客的话呢可能就呃通俗易懂一点,或者是就是那个结构比较清晰吗?你稍微看一下都可以,是吧? 好,那我们因为是直接去 w get 人家的,所以呢就直接拿下来啦,直接拿下来我们就可以去用它了,对不对?用它, 然后呢?呃,然后数据也有了,然后呢我们的程序也有了,按道理来说呢,我们接下来呢,其实就可以去统计我们那个下载的这个数据了,对不对? 是可以吧,但是我们看一下啊,我们下载的这个数据在哪里啊?在开始实验之后的那个页面 的那个电脑里边,在电脑里跟在集群里,其实是不一样的,懂吧?就好像我的这台 windows 电脑,我的 windows 是一个系统,然后呢,我又使用 我的这个 windows 装了 vnv 软件或者是 water boss 啊这些软件,然后在软件里面呢,我们又构建了三台战斗 s 训练机,然后三台训练机组成了一个集群, 对吧?那我的这台 windows 里面呢,就有 windows 叫做系统,然后呢还有一个大数据的一个集群,那么我 windows 上的这个系统呢, 其实跟集群是不一样的,这个一定要懂啊。啊? 我给大家稍微画一下吧,比如说我现在是有一台 windows 电脑,对吧? windows 电脑啊,比如说 win 十, win 十在他电脑,然后我在 win 十在他电脑里边呢?其实我是可以装一个软件的, 比如说我这边装一个 viv 软件,那么大家如果是学过,另一个是肯定会接触过讲类似的一些软件,对吧?然后在我们的 viv 软件里面,是不是就可以装这个讯集啊?比如说这里有一台讯集, 然后呢你还可以克隆多几台出来,是吧?在克隆, 在克隆,对吧?比如说我克隆了三台虚拟机出来, 那么这三台虚拟机或者是四台是不是可以组成一个集群啊?对吧?这个,这个就安装了啊,对吧?大数据集群 这三台啊,对吧? ok, 那么现在我在我的 win 十里边下载了一点东西到我的 win 十里边去,那下载到 win 十里面去跟丢到你的集群里面去是不一样的吧,对不对? 下载了一个下载了实验数据到 win 十, 对吧?你下载的数据到冰池里面,我这个大数据集群能够使用你这个 冰石里面的数据吗?不能够,而应该呢将你这个数据呢丢到我们大数据集群里面去才行,对吧?是这么一个情况啊,所以呢我们这一块的话呢,其实你也要搞清楚,就是呢,我们要统计的这个数据呢到底在哪里前面我们呢? 啊,你看下载一个实验数据使用的是我们的这个环境里边提供给我们的一台电脑啊,那台电脑的话呢就相当于呢是我们的这个奔驰 会提供一台电脑给我们 提供的电脑,这个呢,呃,操作的时候呢才会比较容易理解, 我可以呢点一下给大家看一下吧。 嗯,来了我们看一下啊,全部实验, 然后呢我们找一个简单的还有这个额度的进去看一下啊,都没有了,是吧这些,嗯,再看一下 大数据云原声大数据, 然后这个吧我们看一下啊,大家可以多玩一下这些啊,多玩一下 来我们看一下啊,这个 ms 基础入门事件,你看到没有也是一样的,我们点一下啊, 点一下, 你看点了之后他就可以呢进入到这么一个页面,在这个页面里边呢你就可以做相应的一个实验了,那么实验左边是实验手册,然后在线问答,实验报告等等,是吧?啊?还有提示你这个比例之类的, 那么在右边呢,可以做实验,那么右边的这里边你要点这个东西啊?实验操作页面,实验操作桌面,看到没有?点这个东西啊,这里边呢,其实就有一台电脑给你们的, 这台电脑呢,就相当于是我们的 windows 电脑,看到没有这个样子啊,你看就这样子的啊,那么这这一台对吧?这一台你看见的这一台呢,就相当于是我们的 win 十, 然后你需要操作集群的话,你是需要呃,使用这个浏览器,对吧?进行购买,服务配置等等等等,这些东西你是需要操作的啊? ok, 那大家懂了哈,起码有概念,对不对?好,有概念。那么在这一块的话呢,提供了这个电脑,然后呢我们这里就不是这个 vivo 了,对不对?我们这一块呢应该就是直接是华为云啊,华为云, 然后呢我们这个集群的话呢,应该是 mas, 对不对? max, 好,我们回来,回来,回到这哈, 那现在的话呢,我们现在下载的这个实验数据其实是下载到我们提供的这台电脑里面去的。 ok, 提供电脑里面去的,那么提供了电脑里面去的,我们的 ms 能够使用你提供的那台电脑的这个数据吗?不行,不行的哈, 那不行的话呢,我们是怎么个操作法呢?我们呢是把这个数据呢上传到 obs 里边去, obs 呢,其实就是一个云端的一个呃,存储的地方,那么 存到了那个地方之后呢,我们就可以呢通过这个 ms 去直接读取我们 m 啊,读取我们 obs 里面的数据哈, obs 它是一个对象群主服务 好,那么我们呢也,呃,其实这块的话呢,不画图其实也是可以的啊,也是可以的,是吧?上传到 obs 里, 然后呢我们的集群去读他的时候呢,就可以这个集群,对吧?直接去 读,也就是什么统计 obs 里边的数学, ok, 那我们你们不知道,我们就可以这样子了,来,你看一下是不是这么操作哈?来,现在呢,我们需要干什么呢? 需要去搜一下我们这个 obs 服务啊,点他啊,点他 obs, 然后呢点了 obs 之后呢,我们需要呢串进这个桶,有点类似于什么呢?就是我们的文件夹 啊,你自己的这个桶,因为这个 obs 的话,他是一个纯属东西的地方,那么这个地方的话呢?肯定,呃,你需要有自己的一个东西吧,对吧?我,那么我们这块呢称之为桶,你创建的好了,桶,按照要求创建好,创建好之后呢, 你就可以呢去新建我们这个文件夹,比如说我们这一块呢,叫做 input 文件夹啊,在桶里面的哈,在桶里面 创建这个音破文件夹,然后我们需要干什么呢? 需要添加我们的下载的这个 word cant 这个数据,我们呢得把它给上传到 obs 里边去,也就是说我们现在操作这一步,对吧?上传上去也是一样,点点点啊点,那上传成功之后呢?就这样子了啊,就这样子, 然后呢使用同样的一个方法,将我们下载的那个架包呢也上传到我们的这个集群里啊,上传到 obs 里边去,因为呢我们这个下载的这个程序啊,这个程序是不是也要由我们的这个集群来去跑啊? 啊?也要啊,所以呢我们也把它给丢到 obs 里边去啊,那么最后呢,我们就会有 两个美人甲,然后呢还有两份数据,对吧?在里边呢?好,那接下来的话呢,我们就可以呢进行这个 作业的一个执行啊,作业其实就是程序啊,程序,那么大家可以怎么样子操作呢?返回我们这个集群的一个管理页面,这页面在这里边呢有一个作业的一个管理,大家可以点一下, 那点了之后呢,你就可以呢去添加我们的点,我们的添加哈,点添加就是添加作业添加程序,因为我们要跑程序了,所以要添加, 然后呢选择我们这个作业的类型,我们这个是一个 map reduce 程序啊,选它,然后呢作业的一个名称自己指定一下,然后呢执行程序的一个路径,也就是呢我们的这一个啊 价包,你上传到哪里了,对吧?这个路径呢需要确定 obs, 然后呢加上你的桶,这个是你的桶名啊, obs 横杠 ls, 这个是桶名,然后呢有 这个架,是你自己创建的文件夹,文件夹里面呢有这个架包啊,自己填正确。然后呢之前的参数你也得指定一下啊, 执行的这个参数,我们呢指定一个 what can't 一个哈,这一个 你指定这个窝看着呢,其实就是指定我们的这个架包里边的程序,我跟你们说了,这个架包里面呢有很多程序的,是吧?有窝着看着啊,有估算这个派词啊,等等等等,这个都有,那么我们呢需要指定, 我们现在是要跑他的一个 watercon 程序,所以呢指定 watercon, 然后呢你需要统计的是哪里的数据啊?这个是不是也要指定一下啊?那么我们这一块呢,统计的呢,是我们的 input 文件夹里边的这个数据, 对吧?所以呢指定这个硬破,然后呢统计的一个结果统计到哪里去?这个路径呢?大家也要指定一下啊,那么这一块的话呢,是用空格进行公开,进行隔开的,那么大家可以看下边的这个命令,看到没有 啊?这个命令是大数据里边的这个命令啊,学过大数据的同学应该看得懂,你没学过的话呢,你注意看他的一个形式就行。样价,然后执行两个价包,执行两个程序,然后输入入境是哪里? 输出路径是哪里啊?呃,你,你把这些东西啊,把上面的这些参数啊数,呃,这个参数啊,填好之后他会自动显示的,所以你也不用管啊, 就是给个样子给你们看啊,这个命令是不是正确的,就这个意思啊,因为不正确的话,你一眼就可以看得出来,对吧? ok 啊,那么点确定他就会去跑了啊,去跑啊,也就说去统计,那么统计的话就会跑,跑,跑就跑,你也不用管,对吧?就看他的一个状态,看有没有统计完,统计完成就可以了。 那如果统计完成的话呢,那么就显示你完成了这个状态,那完成之后,按道理来说,他的一个 统计结果应该就统计好了,统计的一个,呃,输出的结果在这一个你指定的路路径里边去。 那么接下来呢,我们就可以呢去查看一下这个路线里面有没有这个结果了,对不对?好,那接下来怎么去查看呢?那么实验里边呢,是直接在我们的 ms manager 还记得吧这个页面里边去 查看了,那么在这个页面里面呢,我们可以呢?去啊,就怎么样子啊?去 免密码,你看啊,去,去远程登录他啊,简单来说,就远程登录我们的这一台服务器,登录这台服务器之后,你看是这样子的啊,登录之后,我们就可以呢去 执行这个查看我们的那个 hdfs 的一个文件夹的一个命令。那么怎么操作呢?首先呢,先收拾一下我们这个环境面料,这个是固定写法啊,然后呢,呃,空格 and an 表示执行完这个再执行这一条命令,你可以分开哈,先执行这个,再执行下面这个就可以,那么如果没有问题,它是可以显示我们这个统计的一个结果的,你看这个东西哈, 啊,那么你如果能够搞定的话呢?那么你的这个程序,你这个实验就没有问题了,对吧?没有问题了,那么我们也可以思考一下,从结果反推回去,我们做了哪些事情呢?做了哪些 事情?你看这个同意结果,你看这个文件按道理来说应该也是一个比较乱的一个一个文本文件,是吧?你们如果是想要看的好的话,你可以自己去 呃,新建一个文件,也就是说新建一个文件,然后呢,熟一些内容,比如说 hello 啊,博尔啊,啊, spa 啊,还杜甫啊, big deto 啊,对吧?等等一些简单的一些单词,看起来会比较美观一点,是吧? 然后你再自己自己把那个文件丢到 obs 里面去,对吧?还有你的程序呢,也丢到 obs 里面去,如果你没有那个加班啊,那么你可以自己写一个都可以哈。 ok 啊,那么咱们的这个 map reduce 服务出体验这么一个题目呢,我们就讲解结束了哈,那接下来的话呢,我们将会呢进行这个实操,那实操的话呢,我们可能就不用讲那么详细了哈, 大家有问题的话呢,你可以随时跟老师啊进行一个联系哈。 好的啊,那么我们这一小节先讲到这里,谢谢大家关注邵师兄,下集更精彩!