hdfs1.0可以水平扩展嘛

啊，大家好，本期视频呢，我们来讲一下哈，赌博里面最核心的一个组建啊，就是这个 h d f s 啊，然后在进入这个细节之前呢，我们先啊，要知道就是你可能现在已经很少写这个 mapreduce 代码了，但是其实你不管用什么，不管是 have spark 还是 flink， 其实这个 htfs 呢，都是一定会用到的，然后绝大多数的这种，呃大数据组件的底层存储都是在这个 hdfs 之上的，那所以说这个 hdfs 其实是这个离线数据体系的地基，你可以不会什么哈杜普的 api， 但是嗯， hdfs 的 这个思想你一定要了解啊，所以说我们这个一定要好好学。 然后首先我们来看一下，就是啊 h d f s 它是个什么东西啊？ h d f s 呢？它其实不是一个大块的磁盘啊，它也不是一个简单的文件服务啊，它其实本质上是一个分布式的文件系统啊，然后它的设计目标也非常清晰，其实就是为了解决那些超大规模的数据存储的问题。 然后它有几个比较重要的特点啊，然后首先第一个就是它是面向这个超大型文件的啊，你可以看这个 a 这个图啊，其实它会把一个比如说一个 t b 的 文件，然后拆成不同的块，然后放到不同的服务器上，这个服务器我们叫它 data node 啊，这后面我会去会去讲这个概念的。然后第二个就是这个流式访问啊，流式访问的话就指的是啊这个 html 呢，它非常适合一次写入多多次顺序读的一个场景， 但是他不适合那种啊，比如说频繁的随机读写，换句话说呢，他是为了这个批试的任务而生的，而不是为了那种实时查询而生的。 然后我们再看第三点啊，就是他不依赖于这种啊，高规格的一些什么存储设备啊，就是你当前这个设备，比如说他硬件条件很差也没关系，呃，他是通过这个软件的手段，把这些不同的啊规格的服务器给它串联到一起的， 所以说在那种低配置的服务器上也可以运行，然后大家一起组装成一个较大较高配置的一个，或者说较高存储容量的一个服务。接下来呢，我们来了解一下 h t f s 里面比较核心的一个概念啊，就是这个框啊，就 block 啊。其实 hdfs 里面的核心思想呢，就是这个分块存储啊，不管你这个文件它有多大，其实到这个 hdfs 里面之后呢，它都会被切成一块一块的，然后它的默认大小呢，其实是一百二十八兆。这里面举个例子，比如说我有一个五百兆的视频文件， 最终呢它会拆成，呃，四个块，前三个块都是一百二十八兆，最后一个块呢是一百一十六兆啊。 然后那么我们要考虑或者说要思考两个问题啊，就首先第一个就是为什么要切成块呢？然后主要的目的呢，就是为了存储更大的文件，比如说我有一个一 t 的 文件，那我就可以，但是我单个机器我可能只有五百 g 的 内存， 那我就可以拆成多个块，对吧？然后比如说我拆成四个块，块一和块四，我在第一个服务上，然后块二的话在第二个服务上，块三的话，在第三个服务上面去， 这样的话就可以做到呃存储更大的文件了。然后以及为什么他是一百二十八兆，不是别的呢？然后这个其实他是一个平衡点啊，如果 呃太小的话呢，他其实每一个小文件都会对应产生一个原文件，文件拆的，如果太小的话，呃这个原文件的就是原信息文件的这个大小可能都要超过这个存储文件的大小了 啊。这个其实啊对这个服务存储来讲成本就会比较高。然后如果这个文件他啊切换的比较大呢？会有一个问题啊，比如说我们在传输的时候啊，我们这个节点他突然挂掉了， 那是不是我需要把这个文件重新传给其他的节点啊？那这个时候我的代价就比较大。比如说我是一 t 的 文件，那我就要重新传这一 t， 如果拆分成小的块的话，我可能一百二十八兆这部分断了，那我就只传这个一百二十八就可以了啊，所以说它其实是一个平衡点啊。 呃，那在理解了 block 之后呢，我们来看一下这个 name node 啊，有这么一个问题啊，比如说啊，一个文件它被切碎了啊，切碎成多个 block 分 散到不同的服务器磁盘的时候，那我们怎么知道有哪些 block， 哪些文件碎片分布到哪些 啊？这个服务器上面呢？那其实这个时候就需要我们的这个啊，原数据的管家叫做 name node， 然后这个 name node 里面它存了哪些东西呢？它其实是存了这个 h、 d、 f s 的 原数据，然后原数据呢，具体是包含像是啊目录的一些结构啊，然后包括一些文件的属性信息啊， 然后以及最关键的就是我这个文件它被切成了啊，几个 blog， 然后每个 blog 它是存到哪一个得它弄得上去的，然后这个都是在我们的这个 name node 里面去记录的， 然后为了保证高兴啊，这个 name node 它会把这个原数据完整地存到这个内存里面去，然后但是这个就会有个致命的问题啊，比如说我断电了，断电之后我这个服务它重启了，重启之后我这内存的东西就会消失，对吧？那这个时候我们该怎么办呢？ 这就引出了另外两个比较关键的文件啊，就是这个 f s image 和这个 adis， 嗯，然后我们来看这个左边的图啊，然后这个是我们刚才说的这个啊， mate data， 就 我们说的那个原数据， 然后这个原数据呢，它其实会对应着两个文件啊，一个是这个 f s image， 是 左边的这个文件，然后它可以理解成是啊原数据在某一个时刻的完整的一个快照， 然后这个，呃，右边这个图呢，像是这个 idis， 它是这个操作日记啊，比如说呢，你对 hdfs 做了一次操作，那这个上传文件、删除文件以及重命名这些操作呢？都会以追加的形式记录到这个 idis 里面去。 在这里面，所以说总结一下呢，这个 fsa 位置就像是这个原数据的快照信息，它保存的是某一时刻的完整数据， 然后这个 edit 呢，就是那种追加的信息啊，比如说我这个编辑日记啊，那好，那有了这两个文件之后呢？我怎么去保证我断电之后我这个 matedata 不 会消失呢？那这个就涉及到了一个数据恢复的流程了，对吧？啊？那我们还是来看结合这个图来看这个文字啊，比如说我这个 name node 啊，我在重启了重启之后呢，它会去优先把这个啊啊，就是字盘里面的这个 f s a m 值加载到我们的内存里面去 啊，先恢复一个基础的一个状态，然后呢再把这个啊 editslog 啊去加载到这个内存里面去做一些啊追加，然后最终呢我们其实就可以得到一个最新的一个原数据了，这样就可以保证它不会丢失了 啊。不过这还是有一个问题啊，比如说我这个集群已经运行很长时间了，然后我这个啊 editslog 它会变得非常大，对吧？因为它不断的在追加新的这个记录，不断会增加这个文件的大小啊，比如说它到了十几个 g， 然后或者说甚至一个 t， 那 这个时候呢 name node 在 重启的时候，它去啊，它就去需要回放大量的日制，那这个时候启动的这个时间就会非常长，对吧？ 那这个时候为了解决这个问题，我们就需要一个专门的角色去干这个事情，那就是我们接下来要讲的一个 second name node 啊，然后要注意的就是这个 secondary name node 它不是一个啊， name node 的 备用节点，它不是这个备用节点啊， 它也不是一个什么主从的关系，它其实更多的是像一个啊秘书，它它的作用呢就是帮助这个 name node 做一个 checkpoint， 这里具体来说呢，就是做那些刚才说的那些原数据的合并，然后具体的这个 checkpoint 原数据合并的流程呢？啊，像这个左边这个图一样，然后这里面带大家一起看一下 啊。首先呢这个啊， secondary name node 会通知 name node 啊，说我要合并原数据了，然后这个时候呢， name node 会把自己刚才的两个文件，一个是这个 fsm image， 还有这个 edit log， 然后都会给到这个啊， secondary name node， 然后它会在自己的 spa 内部啊，然后做一个合并，把它们两个合并到一起，会形成一个新的这个 fsm image， 然后再把这个东西新的这个 fsm image 给到啊我们的 name node 里面去， 然后这个时候呢， name node 就 可以把它之前这个老的两个文件给它删除掉了，所以说最终 name node 里面会有一个全新的一个快照文件。 那好，那接下来呢，我们我们来聊一下这个 h d f s 在 使用的时候有哪些注意点啊？首先就是它不适合存储这些小文件 啊，这是为什么呢？是，呃，还记得我们刚才说这个 name node 啊，它其实底层存储的是一些原数据信息，对吧？然后我们如果把这个文件拆分的非常非常小的时候，那我一个文件都会对应着一个原数据，然后这个原数据都是放到这个内存里面去的， 那这个时候如果我文件非常多，那这个原数据的数量就会非常多，每一个原数据的大小大概都是啊一百五十倍左右，所以说这个时候对这个整个内存来讲，它的压力会很大，我文件拆的越小，我原数据就越多，这样的内存就越多，所以说它不太适合把文件拆的特别小啊。 然后另外呢，就是如果我这个文件拆的很小呢，那我在读取的时候，我这个寻址时间就会很多，因为我要去不同的这个啊字牌上面去啊寻址，随机寻址，对吧？那这个时候它的延迟就会变得非常大， 你可能这个字牌寻址的时间都要大于大于这个文件读取的时间了。那么我们来看第二个问题啊，就是，呃，这个 h d f s 为什么仅支持文件的追加，不支持这个随机修改呢 啊？我们先来看一下这个图 b 啊啊，这个图指的是啊，我有 hdfs 里面其实每一个块他都是有一个数据备份的，比如说我备份成了三个副本， 那这个时候如果，如果我们允许他去修改某一个某一块文件，那这个时候呢，其他的三个副本也需要去同时修改的，对吧？那这个时候其实底层的这个设计难度，还有这个工作量其实都会比较大。 另外呢，就是如果我写入的这个啊，写入的这些文件它字节数变多了，那我是不是后面的之后的这些偏移量我都要变啊？那这样的话就会影响我后续文件的一个写入了 啊。然后第三个问题啊，就是为什么不适合那些低延迟的读取操作呢啊？我们来举个例子啊，比如说我有一个 client 啊，我想去读取一个大的文件，首先呢他要去访问这个 name node， 知道这个文件是在哪的，对吧？ 然后这个 name node 就 会告诉我，我这个 client 要和这个 data node 一 啊， data node 二和三服三个服务器同时建立链接，然后去获取这个文件数据，所以说这个交互流程其实，呃比较复杂，而且呢，如果我这个啊，比如说这个文件它拆的比较小 小的时候呢，我就会去啊不同的这个 data node 上面去进行一个磁盘的寻址，可能这个时间也会比较长啊。另外呢，就是啊，这个 name node 它也是个资源的限制，比如说我同一时刻 我不仅有这一个 client 我 去访问，我可能有多个 client 去访问，去查询这个原数据，然后去获取这个相关的信息，那这个时候这个 name node 它就会成为一个瓶颈，所以说它其实不太适合那些低延迟的读取操作的。 那好，那我们像本期的话，基本上就结束了，然后我们本期讲了这个啊，千分数据的这个 blog 块，然后也有讲这个原数据 name node， 然后还有这两个原数据恢复的文件，然后以及包括这个 secondary name log， 它不是管家，它是做一个原数据合并的。然后最终呢也讲了一些 h d、 f s 的 使用的注意点。呃，那好呢，本期视频呢就到此结束了。呃，感谢你的一箭三连，这对我非常重要。呃，我们下期视频再见。

空台配扩展器的保姆级教程今天来了啊，空台现在是全新的空台，只差了一条网线，然后后面的任意一个口都没有插线，把它打到网络设置选择，然后选择它的 ip 地址， 我的扩展器那边的 ip 地址是幺九二点幺六八点一点十，然后我这里给他设置的是一点二百，然后紫码是三个二五五，一个零，然后就确定保存设置，保存设置， 设置好了以后呢，下面我们来分配一下 dmx 的 线路，这里如果有黑色按键的话，可以通过这个来切换，如果没有的话，点 shift 加 disco， 按着不松，点 disco 找到 dmx 设置中 看到没？这是默认的。后台后面是八个输出口，然后我把这个关掉，插掉，然后关完了，现在已经没有输出了，而我这里呢 一点幺二七，这个是我扩展器的 ip， 我 需要把它对接过来，我是八个输出口，我需要把扩展器上面配成一到八，然后我就把一路分配到控台后面的一路、 二路、三路向一次类推，分配完了以后呢，就相当于扩展器那边八个口，是一到八路，然后我现在控台后面呢，还没还没有给他修改， 这个是控台后面的 a、 b、 c、 d， e、 f、 g， 这个你可以让他添加到后面 a 口，如果说添加到这第九的话，就相当于是控台后面 a 就是 第九路， b 就是 第十路， 你可以任意更改，下面我们来试一下灯定位全部亮完。

相信很多兄弟都会遇到这个问题，就是使用扩展坞去投屏打游戏，如果你是像我一样是 ipad 的 话，那不会出现所致的问题，但是安卓就不一样，所以这是普济新出了一个专门为安卓平板定制了一个 hmi 接口，这个接口有多好用？你们听我讲。 这个扩展坞是直接给安卓兄弟们预留一个二 k 一 百二十帧的一个接口，不需要刷机跟刷酷键，插上之后安卓直接就不锁帧了。并且这个扩展坞接口也算蛮丰富的，两个 usb 三点零的接口，再加上一个 type c 接口，就算你是外置玩家也是够用。内置了一个散热风扇，如果你是需要高强度的打游戏的，那你就记得把风扇打开， 这样也能延长扩展坞的寿命。那如果说你也要做直播的话，那么这款扩展坞它也是支持四 k 六十帧的投屏， 那么就直接接在扩展我的第二个 hdmi 接口，这是一个 ios 用的四 k 六十帧的接口，接上之后就可以实现高清直播。那么兄弟们担心的声音延迟，游戏音质，包括画面延迟的问题通通没有普及，这个扩展屋直接就解决了，包括还能给你四倍进行一个一百瓦的供电，让你的平板边充边玩不掉电。

玛卡希斯极速六合一扩展物，日常要用的接口它都有， usb 三点零，高速传输一机文件只需三秒，还能接键鼠二机。千兆网口，四 k 的 hdmi 口，刷具投屏非常高清，六个接口全部接满，也非常稳定。铝合金机身，重量仅有九十三克，只有手机二分之一大小，一米的线长，使用很方便，手机、平板电脑都能接。高端六合一苹果比 笔记本扩展物，因为苹果笔记本它没有 usb a 口，只有雷电四接口，所以用了它以后，你可以把电脑扩展出六个接口，一个四 k 的 hdmi， 一个 type c， 再加千兆网口，还有两个 usb 三点二。

导入大文件到 hdfs 时，如何自定义分片？在将大文件导入 hdfs 时，可以通过自定义分片大小来控制文件块的数量，从而更好地管理和利用集群资源。 具体的自定义分片方式如下，一使用 h d f s 命令创建目录二通过 h d f s 命令导入文件指定块大小和块数量三 也可以使用 he do 自带的工具 he do f s port 指定快大小和快数量。这样就可以将大文件分成多个快，并按照指定的快大小和副本数存储到 h d f s 上。

这款维格 tc 零五 r type c 转 hdmi 高清口加 usb 二点零加 usb 三点零加 pd 充电加 r j 四十五百兆网卡五合一扩展物， 适用于带 type c 接口的电脑、平板电脑等设备。它支持四 k 三十 h c 显示分辨率，可满足日常办公娱乐需求，同时还带有一百瓦充电口，边充边用。

自带扩展屋能升降的显示器增高架真的太有用了！左侧有四个 usb 三点零扩展口，以及两个三十瓦的快充口， u 盘、鼠标、键盘都可以插到这里。上 头显示器，下头主机或者键盘鼠标，即使桌面再小也能放很多东西，还能保持桌面整洁。关键是这里还藏了一个手机支架， 办公游戏时手机往这里一放特别方便。自带的旋钮单手就可以调节支架高度十六厘米的自由升降，脖子爽到飞起！这样一个即扩展屋和升降的桌面增高架，轻松 get 数码博主同款桌面，给家里或者办公室弄一台都不错。增高架就一定要选这种带扩展屋的。侧面居多的接口，可以插鼠标、键盘、耳机、 u 盘，而且都是 usb 三点零，就不用麻烦钻到桌底去找接口。而且还有一个 a 口和 c 口的三十瓦快充接口，正面有一个隐藏式手机支架，日常使用非常方便。高度可以通过旋钮来调节，底下收纳高度随意调整，再加上顶部的收纳空间，拥有它相当于 同时拥有扩展物。手机支架和升降增高架还能让桌面更加干净整洁。游戏办公党真的可以备一个， 天天对着电脑总低头看屏幕，脖子酸痛，桌面堆的满满当当，想放个键盘都费劲。派盘 p 幺零六升降支架正好能解决这些 麻烦。他最实用的就是能调高度，拧一下旋钮就能上下动，最高能升一百六十毫米。支架把显示器架起来后，底下的空间可以放键盘、鼠标或者小音箱都能塞进去，桌面一下就整洁了，用料也扎实，十公斤以内的显示器都能稳稳托住。更方便的是，它带了 usb 接口和快充口， 手机没电了直接插旁边就能充，还能连接 u 盘、传文件。旁边还有隐藏的手机支架，看视频、回消息时随手一放就稳当。就这个升降支架，不管是办公还是家用都非常方便。 哇塞，这款超火的显示器电脑支架竟然降价了！它的材质非常坚固耐用，可以让桌面变得整洁有序。它的高度恰到好处， 让你的屏幕保持科学的视线距离，完全符合眼睛晶状体的调节机制。而且它还支持高速数据传输，即使边充电边玩游戏也没问题。有了它，再也不用担心长时间低头看电脑会导致脖子酸痛了。这就是大家都在找的人气爆款显示器支架，赶紧来抢购吧！ 学生党强烈推荐！安排上这个增高架，不仅能放上一些个人物品，还额外自带了多口的外设拓展物，鼠标、键盘都能往上插。再给你配上隐藏手机支架，平时用来刷刷视频、追剧都很方便，底部空间还能收纳，喜欢的赶快安排上一个吧！天天对着电脑低头看屏幕，脖子、 桌面堆的满满当当，想放个键盘都费劲！派盘 p 幺零六升降支架正好能解决这些麻烦。它最实用的就是能调高度，拧一下旋钮就能上下动，最高能升一百六十毫米。支架把显示器架起来后，底下的空间可以放，键盘、鼠标 或者小音箱都能塞进去。桌面一下就整洁了，用料也扎实，十公斤以内的显示器都能稳稳拖动。更方便的是它带了 usb 接口和快充口， 手机没电了直接插旁边就能充，还能连接 u 盘传文件，旁边还有隐藏的手机支架，看视频、回消息时随手一放就有了。就这个升降支架，不管是办公还是家用都非常方 便。哇塞，这款超火的显示器电脑支架竟然降价了！它的材质非常坚固耐用，可以让桌面变得整洁有序。 它的高度恰到好处，能让你的屏幕保持科学的视线距离，完全符合眼睛晶状体的调节机制。而且它还支持高速数据传输，即使边充电边玩游戏也没问题。有了它，再也不用担心长时间低头看电脑会导致脖子酸痛了！这就是大家都在找的人气爆款显示器支架，赶紧来抢购吧！ 学生党强烈推荐安排上这个增高架不仅能放上一些个人物品，还额外自带了多口的外设拓展物，鼠标、键盘都能往上插。再给你配上隐藏手机支架，平时用来刷刷视频、追剧都很方便，底部空间还能收纳，喜欢的赶快安排上一个吧！ 哇塞，这款超火的显示器电脑支架竟然降价了！它的材质非常坚固耐用，可以让桌面变得整洁有序。它的高度恰到好处，能让你的屏幕保持科学的视线距离，完全符合眼睛晶状体的调节机制。而且它还支持高速数据传输， 即使边充电边玩游戏也没问题。有了它，再也不用担心长时间低头看电脑会导致脖子酸痛了！这就是大家都在找的人气爆款显示器支架，赶紧来抢购吧！

自带扩展屋，能升降的显示器增高架真的太有用了！左侧有四个 usb 三点零扩展口，以及两个三十瓦快充口， u 盘、鼠标、键盘都可以插到这里。上 头显示器，下头主机或者键盘鼠标，即使桌面再小也能放很多东西，还能保持桌面整洁。关键是这里还藏了一个手机支架，办公游戏时，手机往这里一放特别方便。自带的旋钮，单手就可以调节支架高度，十六厘米的自由升降，脖子爽到飞起。这样一个即扩展屋和升降的桌面，给家里或者办公室弄一台都 不错。随手一放，笔记本秒变主机台盘，笔记本电脑增高架无需安装，拆开包裹直接使用就很方便。笔记本放上去稳稳的很牢固。还配了隐藏式手机支架，手机放上面，追剧、看电影都可收纳，艺术造就桌面美学，单手调节升降旋钮，快速调节出四高度， 更显出色实力。左边做了一整排 usb 拓展口，你的鼠标、键盘、硬盘都可以插在这里。 这三十瓦的 c 口，日常可以给手机满速快充，那可以说是很有生活了。那凌乱的线材都消失，桌面才能更简洁。高级科学的视线距离，舒适更护眼。 这样一个能提升桌面收纳和颜值的增高架，放家里或办公室都非常合适。这是一个自带拓展屋，能调高度还带手机支架的多功能显示器增高架，侧面自带四个 usb 三点零拓展口， 支持五 g bps 的 传输速率和两个支持快充的充电接口。隐藏的手机支架可以放手机或者 ipad， 不 用的时候可以缩回去，非常方便。 旋转右侧的旋钮可以额外增加十六厘米的高度差，单手就能调节，最大承重可达五十公斤，不用安装，放笔记本电脑或者显示器都可以，而且桌面也整洁了许多，好用不贵，值得入手。 抖音抖音号。

大家说到读马器之后，总会觉得安装困难，调试系统难操作，别担心，今天我们就以它为例，带大家进行读马器的安装及调试。 这就是今天的主角言祥金马，性价比之王 r 一 千系列读马器， 体积小巧，结构紧凑，安装便捷轻松，适配工业制造、传统三 c 电子以及消费电子等不同的行业。内置强大的解码算法，轻松做到读码快、解码准。 言详。金马读马器的安装环节简单易上手，仅需三步即可完成安装。利用标配的螺丝将读马器固定在 l 型支架上，将读马器的扩展外接功能线连接到读马器上， 再将 i o 黄口端插入到笔记本电脑的网口上，则安装完成了。 为了让条码最终成像更清晰，读码更快速、解码更准确，在安装过程中最必不可少的一步就是将读码器进行参数调整。 在这里可以看到连接到的读码器的 ip 地址，我们双击即可进行设备连接，在设备连接的这个地方可以看到产品信息， 使最终成像更清晰。我们可以根据现实情况的不同需要，在软件里面进行图像配置，手动调整曝光时间增益光源模式进行简单调整。 除了图像配置外，软件里还能够进行设定条码配置、调整输入输出模式等。在完成条码的解析读取后，软件里还配备数据过历设置以及通讯配置， 能够帮助工作人员快速完成数据管理。读码器确定最终配置后，可以在配置管理处将设置好的参数保存至配置库。中产线上的产品条码会存在不同的条码码质同一或者不同高度的情况， 建立配置库后即可轻松实现读码器在不同生产模式下参数配置的便捷切换，免除了重复设置调试的过程，大大提高了产线的工作效率。