stream数据号教程

哈喽，小伙伴们大家好，我是美玲老师，本次呢，又来给玩大数据的股粉们送福利了。上硅谷新鲜出炉热气腾腾的 s jinx 和 ctano 视频教程。 s jinx 是一款优秀的弗林克和 spa 极速开发框架与一站式大数据流处理平台，它可以让我们的开发变得更简单，大大简化弗林克和 spa 任务的日常操作和维护工作。 去年十一月呢， sjmx 还成功入选了二零二一年度最有价值开源项目。 三、硅谷与 sgm 叉达成了官方合作，针对最新发布的 sgm 叉一点二点二版本，推出了这套视频教程。随他呢呢是一个数据集成平台，或者说是一个数据同步工具， 他使用控制翻转的设计模式。用户使用 saytano 时，只需编写一份配置文件， saytano 就会将配置文件翻译成为一个 flink 或 spa 任务，来完成数据的同步和计算。 上硅谷发布的这套视频教程呢，基于最新的随他农二点一点零版本进行了讲解，并以一个真实的案例细致说明了一名程序员如何迈出自己参与开源社区的第一步，成为一名猿马贡献者。 如何获取这两套超赞的视频教程呢？请关注上硅谷教育公众号，聊天窗口发送暗号 streamx 或 ctano， 即可免费获取全套资料。 有了上硅谷，学习不再苦，让天下没有难学的技术。

所以说为了解决这种问题呢，就得有被压啊。那在死坠木里边呢，有一些这个什么来着？这个就是术语对吧？就是咱说的啊，叫死坠木，就是流在阿卡的死坠木里边。这个流啊，指的是什么呢？ 指的是我们定义了啊，数据从哪来到哪去 啊，河在从哪来到哪去的时候，是否对这个水 进行一些处理啊，比如说过滤啊，变换啊，比如说呃，像什么来着？像这个农夫山泉对吧？农夫山泉呢，就不能成为史缀，因为好像农夫山泉就是说他 就是把山沟里边水，然后呢说移动，他说我们是大自然的搬运工对吧？当然呢，他简单也肯定得做一个处理。那比如说我们说的这种，呃，这个纯净水 啊，或者是矿物质水啊，这塞这个水源啊，然后呢，就是从水槽那个地方啊，然后呢取了水，这个水就开始移动在生产线上，然后消毒啊， 加入矿物质是吧，或者不加矿物质，就是消毒啊，蒸馏啊，然后其他的一些东西，然后最后啊，到了另一个水头了是吧，到了另一个这个目的地了啊。那这一过程呢，我们称为 流啊。那阿卡死坠木里边就是在定义这一过程那所以说我们成为死坠木，就是阿卡里边的流， 就是描述的一个数据到另一个数据中间发生的事情，就是他包含数据从一个地方移动到另一个地方，并且中间发生了一些事情，那发生的这个事情呢，我们就成为计算，这也叫处理 对吧？数据从一个地方，从一个内存移动到另一个内存，然后呢，或者从内存移到磁盘啊，就是反正是数据发生了移动啊。然后呢，嗯，这个我们就找数据移动。那 说既然是用来描述水流，那水是由一滴滴有有一个个的小水滴组成的，对吧，然后才能发生这个流动。所以说呢，这个流里边的单位就是单元啊，就是我在计算的时候 后，是不是我得一个数据，一个数据的数据计算那个数据单元是什么，就叫爱了没了。到时候啊，流中移动和计算的数据单元， 那被压呢，是一种流的控制手段啊，就是 a 要移动到，这个叫 b 对不对啊？那 a 移动到 b 的时候呢，中间要经过很多的这个计算节点啊，那计算节点忙不过来，那这这数据就堆在那了。那计算那个计算节点那个地方就类似于你一个管道中啊，然后在管道的各个地方都 都加了一些净水器什么之类的对吧？啊，那净净水器净完了以后才能去到下一阶段，那好，那水都在那堵着，这个就在那开始这个运行，然后呢就 处理去，如果上边一直给水，那个地方管道就崩了，就崩了对吧。所以说呢，他这里边呢有有一种控制手段，就是说下油 啊，然后呢，就是下游的算死，然后根据自己处理数据的一个情况啊，然后呢，会反馈一个信号给上游，上游根据这个信号的情况啊，然后呢去发送数据 啊，这个手段呢，就叫做被压。但是实现这个被压呢，是非常这个什么来着？这个非常的这个这个重复的啊，也就是说如果我们自己定义一个流 啊，我们自己定了一个响应流啊，那我们基本上就是不断的再重复被压这件事。而阿卡呢，就把 被压透明化了，就是被压手段在流里面都是有被压的，就是人家已经实现了，不需要你去再实现这个了。所以说阿卡的死坠母和我们现在的发起一个叫做就是现在这个这个这个这个叫 这个社区啊。然后呢签名发起一个叫响应流的，一个这样的一个叫什么来着，这个这个这个叫什么啊， 就是号召啊，还是这样的一个事啊，就是建议大家然后处理数据啊，移动的时候，然后使用响应流啊，因为响应流非阻测 对不对啊。然后响应英文单词雷阿克特呢，他英文单词翻译的语义里边应该有一个叫被动的啊，也就是说这个流呢是被动的啊，这这样的一个 情况啊。好。嗯，非主色嘛，非主色就是流的中的各个阶段应该都是一步完成的啊，不应该等待，那就不应该等待。好，那我们要知道。

就继续在了解后边的来啊，可以听到，好，那我们继续啊。 好，刚才说了一下这个核心啊，刚才这个核心，这个艾克特啊，大家记住刚才那个事啊，就非常重要啊，其实，呃，就是后边写代码啊，当然你刚开始熟悉肯定熟悉的就是一个 api， 对吧？书写 api 啊，重点可能在那，但是 api 完了，下一阶段你要做东西，那就得要符合人家那个设计思想啊，不然的话，你老想按照家伙面前对象那个方式去调用一个东西，那发现查了半天也没有这一类的 api， 对吧？那就很奇怪他为什么不提供这个 api 啊？嗯，那因为那个 api 做完以后就影响了，就破坏了人家这个模型的设定， 对不对？也就是说达到相同的效果，你应该按着人家模型流出来的那个接口去做，因为人家模型流出来的接口是为了避免你不按着人家的模型， 然后去开发，这是很重要。就是有的时候我们在网上就会看到很多人搜的那个问题啊，就是说他要解决一个问题，为什么这个人他没有这个 api 啊？因为那个问题可能是不符合他的这个这个这个设计模型啊，这样的原因。 好了，那所以说应该阿卡顿是最重要的啊，这死坠幕呢？哎，也是，这个阿卡里边的重要就是阿卡顿排第一啊，死坠幕排第二，对吧？那 死坠木呢？是所有其他模块数据移动的一个核心支持 啊，就是什么意思？比如说你在阿克德里边啊，要想干嘛来着？要想操作文件 对吧？要想联网对不对？那你不可能单独做一个单机的这个什么东西，然后是那啥都不不错，对不对？是吧？ 啊？那你想要做这件事，那就离不开数据的移动，那也就是说我们的一个程序，对吧？啊？应该是 算法啊，就是我们设计这个程序的这个思想结构，然后加上数据啊，才等于这个整个应用程序，对不对啊？一个应用程序里边没有设计到数据的搬家移动，那这个应用程序应该是不完整，对不对？所以 说数据移动这件事，那无外乎就是磁盘流露到内存，内存流露到磁盘，这是一种情况。第二种情况就是 内存留到网络上，从网络上留到内存啊，就这两类 对不对？但是这两类在传统的编程中都是阻塞的，这个就是就是什么来着？就就就是这个，呃，叫很有问题 啊，那所以说这个死坠幕呢啊？然后呢来解决这个这个问题的时候呢？就是提供了，哎，这样的一个边界，倒是咱学的，对吧？那除了这些两种情况以外， 还有的情况就是内存到内存， 对吧？就是刚才我们说的磁盘到内存，内存到磁盘，磁盘到网络，网络到磁盘，对吧？哎，这个咱都错过了， 因为他们的写录受这个硬件影响，对不对？他们是主策式的 操作啊，当我们可以把它这个通过一些技术啊，然后呢提供一种这种非俗色响应式的这样东西，比如阿卡里边就提供了，但是那个毕竟是边边界了啊，就是那边是素色的问题了。 那最主要呢，我们研究的应该是在一个系统中 啊，就是从其中我们说的 acatar， 其中一个 acatar 处理完这个数据，这个数据与消息的方式发送给另一个 acatar， 这个过程中，这个数据过程中 对不对？哎，应该是非主色，所以说啊，他呢，就设计了一套这样的一个 stream 的，这这这个损件来解决。他说你说这个也很简单，有什么呀？就是非主色，那就是发完消息就完了吗？其实最主要的问题呢，并不是 发和接，而是考虑。考虑的是什么呀？就是 考虑的问题，就是发的过程中啊，会出现发的快， 收的慢，或者是发的慢，收的快这样一贴情况，如果这两个情况不协调好，对吧？哎，呃， 问题轻了，浪费。计算机思源就是一个在那发着，一个在那等着啊，发的慢，处理的快啊，这个很少见啊，但是也也有这种情况 啊，那那那不是在那闲这么计算资源对不对？还有一些情况呢，就是发的快，处理的慢， 对吧？那这样的话呢，处理方就被压倒了，就抛抛一场了啊，就 oom 了，因为我们不说了吗？从内存到内存的一种操作吗？这是 对不对啊？一步操作，所以说为了解决这种问题呢，就得有被压啊。

我们这节呢开始讲，第十三节是春流，是处理 skype 和 lime 的方法。 skef 和 lime 的方法呢？这呢主要因为我们当前内存的一个封印啊，用的非常广泛， 当提起这另一的方法，大家用过买十个数据库都知道，我们用黎明特来进行分页的，这呢通过这种方式流失的处理方式啊，同样呢通过这两个组合呀， 同样可以实现我们的一个内存副业。那么呢我们通过 id 工具来进行演示， skep 和 limit 如何来进行使用呢？ 我们首先来创建一个类，这个类呢叫 dream keep， ok， 再直接，那么首先啊要照一点数据集，这个数据集中，当下简单一点， 就按这个字符类型的， 这里面呢叫我们就定义 abcdefg， ok， 我们就照这么多就 ok 了。下面呢我们开始把当前的历史集合转换流，然后来演示 sky 的方法， 这方怎么使用呢？能首先把历史的 dream 点死， cave， cave， 比如我们当前定位第三个元素开始输出， 嗯，这样呢，把它打印出来， 当这个三的时候，他定位到第三，从零开始，零一二三，就从 d 开始来输出当年集合的数据，那么呢我们来运行看一下效果如何？ ok， d， e， f 从 d 开始 ok， 这印证了我们当前的结果。那么呢我们再演示 厘米的方法使用， 内方使用也是一样，给这给这个方法 也是比较简单的，当年我们也填充三，那么接下来呢，把它打印出来， 把这一行把它作死掉， 这个里面呢代表他是一个宽度，这个宽度呢他呢如果是前面没有写直啊，这时候呢他是从零开始的，第三他只能显示 abc 的宽度代表三，那么呢用一下看一下效果， 当前呢只显示了 abc， 那么呢我们写第四条，我们宽度显示四条记录， 那么呢他从 a 开始到 d 显示四条记录，这呢就是一个厘米特的用法， 我们现在啊开始采用这两只组合实现这种实现这种枫叶的效果， 这呢叫内存封印效果， ok， 那我们开车时间把上面的也把它注视掉，以免对我们有干扰。 类似的叠，首先转换流，这个是不变的，然后 scave 当前我们 第三行第定为第三个元素，然后离宾特呢选择宽度为三，然后接下来呢，嗯，把它打印出来，看一下当前的效果， ok， 这个代表从第三个元素零一二三，然后显示的宽度呢为三，有三个元素，我们看一下效果， 显示的是 d， e， f， d， e， f 显示三个元素， ok， 这样就达到我们预期的一个效果。那我们现在当前是写死的，那我们写动态的， 连定一个 skype 默认值呢等于零，然后再定 一个长量，代表了宽度了 厘米错， 当前为三，那么呢我们就开始用负循环来进对话进行操作。应测二， 后面首先首先我们数一下当前有多少个元素凤循环，他也是跟这个元素有多关系的，二三四五六七八九，总共九个元素，九个元素呢，我们再多照两个， 十个元素， ok， 我们就你就照 十一二个元素吧，这效果更好一点。那接下来呢，我们开始来进行动态的实现效果， 当前差不多有十个，那么十除以三等于三点多，那么呢四舍五入，这里面应该是循环四次，这个 i 呢也是通过计算出来的，我们现在为了简单，我们就不再计算了。然后接下来这个 skate 呢要动态的取，这种效果 是 f 呢，怎么取呢？首先 i 乘以一个宽度，这个宽度呢就是一个厘米者， ok， 这就 ok 了。那接下来呢， 就可以把当前的下面行 来进行改，这种改呢第一行呢显示 sky， 第二行呢显示的是厘米， ok， 这就写好了，有两个显示更清楚一点，我们在每次分页的时候啊，我们打一个标志符， 这就是标志步，我们打长一点， ok， 我们再直线看一下效果， ok 就出来 a， b， c， d， e， f， g， 最后呢只有两条记录，就打条两条记录了，这呢就是一个实现了这一个简单的分页的效果，这种分页效果呢就是通过 skip 和 limit， 他们之间有一个这种泛算的关系，来实现他们的一个动态的内存枫叶，这种枫叶这种效果也是这种运妥，也是非常广泛广泛的，比如我们当前内存有 一一百条记录，但是我们前端界面的只能一次显示二十条，这时候我们就需要这种内存枫叶的一个 效果，这内层枫叶呢，我们就可以采用这种 sk f 和里面的来进行组合，可以达到我们当前预期的一个效果， ok， 这节就讲到这里，谢谢。

家伙八中提供了死追母流，他可以对集合进行操作，可执行复杂的查找、过滤、驱虫、排序等操作。 今天给大家分享两块，第一呢是 stream 流，对立斯特的便利过滤，查询驱虫和排序。第二部分呢是 stream 流的调试，看一下代码视力， 这里有一个学生集合，接下来呢，通过几个需求对 stream 进行一下了解。首先呢，便利集合，打印学生数据，查询高三的同学，这里呢，咱们可以通过 filter 进行过滤，然后过滤班级等于高三的。 这里有一点注意的是， filter 是个中间操作，他返回的是个新的流，所以说咱们需要将流转换成集合，查询学生张三的信息。这里呢，第一步先是过滤，过滤出姓名等于张三的。接下来呢，咱们通过 fund first 返回列表中的第一条数据。这里呢， 需要注意一点， fund first 和 fundini 呢，都是查找第一个元素，但是呢， fundini 只有在串形情况下，它返回的是第一个元素，如果并行的话，它是一个随机的元素。获取年机信息，首先呢，咱们需要根据年机将 list 转换成脉搏， 然后调用 distinct 方法就可以获取到对应的年级信息。根据学生年龄进行排序，这里呢，咱们调用 stream 的 soti 的方法， 然后根据学生的年龄进行排序，这里呢是升序的，如果是降序呢，需要教调用 reverse 的方法。根据年级进行分组，咱们通过格尔沃拜对年级进行分组，最终呢是返回一个 map 类型的集合。最后咱们看一下 stream 的调试，这里呢，咱们选择根据学生年龄排序进行调试， 这里可以看到一个追踪当前流的调用链，咱们点击完成之后呢，会看到整个调用的过程还是比较方便的。最后小伙伴们在工作中还用到了哪些 stream 的操作？评论区分享一下。