apache storm支持spi吗

哈喽，大家好，那这个视频呢，我们来介绍一下大数据处理框架 spar， 相比于好多款 max 六死，他不仅带来了编程上的便利，带来近百倍的系统提升，那我们一起来看一下。好，那这种我们来先来介绍一下几个 spa 和任务创业过程中的几个核心概念。那我们来看这张图，它包括了抓尾， class manager， 或者我们称之为 master walker 以及 ize cuter 这么四个核心的概念。那当你提交一个 spa 和应用的时候，他就会对应生成一个抓尾的进程， 那他呢，会注册当前十八个任务到 class manager， 并且申请需要的资源，那 class manager 就会协调多个 worker 去申请到你所需要的一个资源。比如说你需要申请三个实力，每个事业包括一个 cpu 和五百种类型，那这边就会申请到这么三个 来满足你的计算需求，那申请到的 s q t 又会反向注册到这里的 driver， 从而使得 driver 和 s q t。 那我们一起来开始运行的 spoke 程序，比如说从 s s 来读取你的原数据，创建 r d d。 那什么是 r d d 呢？ r d d 呢？是 spot 中非常核心的概念，它全称是 resident distributed dead set 弹性分布式数据几， 那简单来说就是你代码中的一份数据几，实际上是划分为多个分区，存在多个节点上的，那这样的特性呢，保证你代码逻辑中对象是一致的，但是呢也符合了大数据天然分布式的特点，方便进行分布式的计算。那二弟弟呢，还有个特点，就说他只能从数据园中，比如说 hdfs 来读取生成获得依据宜幼的 ledd， 通过 transformation 这样的算子来计算生成得到那一个 ldd， 通过算子生成另外一个 ldd， 再生成下一个 ldd， 就形成了一系的 ldd 这样的血缘关系。我们 成这位 lineage， 那 rdd 的第二个特点就是延时计算，那比如说一个 rdd， 经过多次的传说， mace 算子生成了一系列的点点，但是它实际并不执行计算，直到碰到一个 action 的算子，比如说这里的 connect 或者 counter 的时候，才真正开始计算。 那最后呢，我们来介绍一下 spa 和运行式的几个关键概念，那比如说这里的 spa 照吧，我们称之为 ipad case 以及 job stage 和 task 他们是一个依次包含这样的关系，那我们来详细来解读一下。比如说你有一个阶段任务，通过 r d 一，通过 map filter 升成二 d 第三， 然后通过 goof by 生成二弟第四，然后 collect 一下，那然后又通过 map 生成二弟第六，然后最终从事到文件。那当我们提到这个计算任务的时候，那整个计算任务我们称之为一个 application， 那一个 application 又划分为多个兆本，那划分的依据呢，就是一些类似于 collect 或者说 save 这样的 action 算子，比如说这里的 collect 和 save， 就把整个 i p k 省划分为这么两个罩吧，那每个罩之内的话又划分为多个 stage， 那划分 stage 的依据我们称之为 shuffle 算子，比如说这里的 go back key 就是一个典型的杀否算子，那这样的杀号算子呢，就把一个罩部划分为两个 stage， s 零和 stay 之一，那每个 stay 之内部呢，又划分为塔斯克，那塔斯克呢，也是斯巴克运行的最小调度单元，那比如说这里的 mapfut， 那当然斯巴内部可能会做些优化，将多个算子合并在一起，那这属于优化这一盆内容。 那刚刚呢，我们也提到一个非常关键的概念，就是沙否，那沙否也是非常多 spa 程序做优化重要的优化的点。那什么是沙否呢？那沙否呢？也是 spa 中非常核心的概念，非常多关于 spa 和优化的主题就是围绕沙发来展开的，当一个阿迪迪有多个分区，在经过些算子的时候，他不得不经过重新分区才能得到结果，那我们称这样的算子来 沙否算子，那有点类似于斗地主中的洗牌一样，说这里有 idd， 他有这么三个分区，那沙发的过程呢，就是让每个分区中 k 相同的部分，比如说这里蓝色的部分 汇总在同一个节点上的过程，我们称之为沙发。那沙发的过程呢，会牵着大量的磁盘读写以及往外，哦，是一个非常 cos 的过程。那常见的沙发算子呢？比如说赵颖，或者各种 good by 结尾的算子，那我也罗列在了屏幕上。 好，那我们今天也介绍了 spa 可的基本概念架构，还有基本原理。那如果说你有什么感兴趣的话题的话，也可以留言讨论，然后呢，我也会推出系列的 spa 的视频，那如果你喜欢的视频的话，也欢迎关注三零。

分享一个特别好用的在线绘图工具， page ec heart， 打开浏览器，搜索 page ec hearts， 这是一个基于 dravascript 的开源库，里面有超级多的绘图案例，比如常见的折线图、柱状图、散点图、 k 线图、热力图等等。 找到自己需要的绘图，将自己的数据放入左边的代码中，就可以绘制自己需要的图片，同时也完整的代码可供参考。如果有小伙伴对 javascrip 比较了解的，可以对原代码进行修改，绘制更好看的图片。

今天的话呢，我再跟大家再讲一下那个阿帕奇弗林克的行业案例啊，主要是讲那个极度汽车弗林克 on cubanatis 的这个应用和实践啊，主要讲这样一个案例， 嗯，极度汽车啊，中国及时那个新能源汽车上面，现在是正是百化证明啊，就是呃，发展的非常迅速。然后呢，也像极度汽车的话呢，他们也是在实时计算用 flink 在那个 q b natives 上面的实践和应用。今天我主要是跟大家讲这一部分， 然后呃，弗林克的话，在那个 qbeitas 环境下面的运行已经非常成熟了啊，那么这个是极度汽车他们的那个实施计算的这个发展的历程啊。 机车的话呢，成立于二零二一年啊，是一家非常新的一家公司啊，三月份成立的。然后呢，他是在二零二一年十一月，他用那个实施计算选行的时候呢，就用了 flink on native 的那个 cuban native 一次来进行搭建，他等于是这样。那么在二零二二年四月份的话呢，他第一个这个实时计算的任务算是正式上线了，差不多经过半年的时间啊，他基本上是算是正式上线。 那么到九月份的话呢，他的第一期的平台正式上线，他等于时间，他们也是呃，花了一段时时间去把这个事实计算的平台给构建进去了啊，他等于是这样啊。那么这个是 极度汽车，他为什么选用这个 qq 八 s 的这样的一个环境，那么他呢主要是认为就是 呃，就是易于运营和管理啊，比较容易管理啊，因为呃， qba natis 这个环境的话呢，他可以做一些弹性计算啊。然后呢，呃他可以进行就是根据你的所需要实施计算的这样的一个能力进行非常方便的扩容啊，这个是他一个最大的这样 的一个能力啊。所以的话呢，他就选择了 cupid native 的环境。那么为什么选择 native 的这样的一个环境呢？他主要是还是基于就是依赖于 k 八 s 的这个 api server， 他就不需要再依赖于外部的这个熟 keypad 的这种外部的组建，他等一下比较容易运营 运维，他等于是这样，这个还是比较呃一个比较大的这样的一个。另外一个的话呢，就是 qbs 的那个呃弗林克的话呢，他也支持 application 的这种 model 的这种模式啊。至于全局的呃应用的这种模式啊，他也这个也是做的比较好的。另外的话呢，就是任务级别的资源隔离， 他不存在资源强占的这种情况啊。所以的话呢，他把弗林克就是呃运行在这个 k 八 s 这个环境里里面。 那他也介绍了一下那个弗林克 on 这个 native k 八 s 的这个关键点啊。呃，核心的话呢，他第一个的话呢， 就是我 web 的 ui 的这个管理界面，他要通过这种呃端口方式去暴露啊，这个是我们 k k 八 s 里面经常会用的。呃一般用那个 load balance 啊，或者 class 特 i i p 啊，或者咨询 no the port 这种方式啊，它是可以把那个 k 八 s 的这个管理的 ui 的这个界面直接暴露给这些工程师来使用。他等于是然后提交各种各样的任务，然后去看这个弗林克资源的呃使用的这个情况，他等于是这样啊。那么另外一个的话呢，那个呃弗林克里面还有各种各样的日志，那么日志的话呢，他们是通过 by a panther 的这样的一个工具，然后把这个日制全部收集到那个呃 elastic 社区里面去。他等于是这样，然后方便呃便于弗令克的他的这个日制的统一的查询。而他是通过这两种方式去解决了。这个 k 八 s 里面 呃，呃就是弗林克运行在 k 八 s 上面的两个关键点。 呃，极度汽车的话呢，他们这个他们目前这个 vip ui 的暴露方式的话呢，他是用 class ip 加上 in grass 就是他是用 啊 njx 的英 grass 就是网关，然后把这个给暴露出来的，他的暴露的端口是八零八幺这个端口他可以是这样啊。然后的话呢，他呃用了 njx 的这样一个网关，然后去把那个 finger 克德管理界面能够映射出来，他等于是这样，然后暴露给外面用啊，是这样啊。日制暴露方式的话，我前面是介绍过了啊，他是用 five a panda 的这样的。这这这种方式。然后他把 five panda 的这个数据全收集起来。收集 起来之后的话呢，他放在那个 elastic 设置里面，然后全局的去做一些日制的收集和搜索啊，他通过这种方式去做。嗯， 好。这个呃，这个极度他们的实时数据流的这个架构，我们也可以看一下， 这个跟我前面讲的那个未来汽车也是有点像的，他们呢也有各种各样的那个传感器，包括整车的这个看的总线的信号，他有非常多，然后呢，他也有 app 小程序、官网 h 五云端的买点，车端的这种买点信息。 然后他也有那个 maicyco 的兵落个，就是业务的这些关系型的数据，他通过兵落个的这种方式，然后扔到卡夫卡队列里面去，然后经过，然后通过卡夫卡这个队列，然后再跑在呃弗令科的这样实时计算的这个平台上面，他等于是这样来做的啊。那么呃，通过这张图的话，我们可以看到他 弗林克的话呢，是跑在呃 kpis 这个环境里面的，然后他是基于自己的物理机，然后做了一些私有化的部署啊。那么弗林克平台的话呢，他除了做一些实时查询之外，那么他还会把一些数据 呃存储在 hdfs 上海报上面， doris 上面和 elastic 社区上面呢，它通过这种方式啊，它的大数据和实时计算的平台是由这几部分来组成的。嗯 啊，这个是他的这个整个一个实施仓库入仓的整个一个工作原理啊。这个我们就不讲了啊，还是非常简单的 stickle 啊，他是用 flink stickle 啊，扔到这个 flink stickle 的这样一个集群里面来，然后再跑在这个 kpis 的集群里面去啊。然后的话呢，如果他要呃这个 呃反序列化的话呢，他就通过他这个叫林可 takeboomat 的这个方式啊，然后把这个 林可里面的这些状态能够把它给固化下来，他通过这种方式去做。嗯，这个我就不讲了。他还是这个还是比较浅，他举了一个例子，他用了一个 sink 的一个 have 的一个表啊， sink have 的一个表， 然后他的 sauce， 这个是写到 have 里面去 sauce， 它是通过卡福卡，卡福卡的这个消息队列，通过这个 sauce， 然后 insert 到这个 have 的这些表表里面去的。他举举了一个例子，在这个上面， 第三部分是他讲的弗令科这个计算平台的怎样一个建设啊。 现实的话呢，他们遇到的这个痛点主要还是要把呃这实时的那个车匀的这个数据链要实时的能够呃能够存储计算啊，然后能够实时的做一些分析，实时的标签 啊，数据实施的采集传输和入仓啊，他们用的还是比较传统。我看了一下他这个啊，开发痛点的话呢，他主要是手动任务管理一一出错，然后开开发和维护成本比较高，然后资源和权限导致不同的业务相互影响啊。这个是他们目前开发的一一些比较大的痛点啊。 其实他们可以用一个开开园的一个工具，呃，可以来统一来管理这些东西。嗯， 那么他这个平台的话呢，他主要是能够支持多版本的管理对吧？作业配置弗林克多引擎版本的管理啊，运尾也会比较方便。他可以提供这个实时的这个监控的报警啊，用呃 prom 休斯和加 graphic 来进行监控他的这个 资源， cpu， memory， 它可以有效的控制因 grass 的资源，它也可以进行管理和控制啊。啊，这个是它的整个一个整个一个架构。 我看了一下那个他用的还是一个比较标准的整个一个架构啊。他监控的话呢，就是用了 plum 修饰啊，然后他的那个文件的那个离线的存储的话呢，他是用的 hdfs 啊。然后有些日制的话呢，他用了 elastic search 啊， 这个是他的整个一个计算平台的一个展示啊，这是个 flink 标准的一个 voi。 他未来的规划，呃，未来规划的话呢，他主要还是希望能够呃资源进一步优化，信任要进一步提升， 胡唱一体啊。好。呃，这一部分看完，我们可以看一下那个官方的文档，我跟大家一起再来看一看。就是目前那个 呃，弗林克的那个 cubanetis 的 operator 的话，目前是支持一点三版本啊，这个版本的话已经可以在生产环境里面去用了。他等于是这样啊。 那么他这个呃他的官方文档他也有一些，呃怎么使用的一个库克斯大。这个我也看了一下，也是比较简单的，他是用 mini cube。 然后呃模拟这样一个 qbe natives 的环境啊，然后他要去安装啊， 安装的话呢，他先要安装这样的一个啊，证书的一个 manager 啊。安装完，嗯，因为你要装这个证书的 manager， 你才能用他的这个 web hope 的一个功能啊，如果你不安装这个证书的话呢，他这个 web 后壳的功能是不能支持的。那么装完之后的话呢，然后他用 helm， 就是 cubanitis 里面一个标准的一个安装的这样的一个工具 helm， 然后进行安装的。 呃，首先是加这个 flink operator 的那个圆，加完之后， inhales in helm， in store 这个 operator 就可以了。 那么装完之后的话呢，你可以通过那个 qbenetes 的这样的一个管理的一个命令 get pox， 你可以看到他这个 operator 已经跑起来了啊，就可以了，然后提交任务 blink job 啊， 他这个地方也可以通过那个 cuba ctl create 这样的一个任务提交一个 basic 的帐篷。 当然他也可以通过那个 webui 啊，然后通过 webui 上传这样一个弗林克的这样的一个任务啊，他是可以提交的啊。那么我看了一下那个他的整个一个 overview 的整个一个文档。他目前呃 flink cubanitis operator 的话，它是能够支持一点一三版本，一点一四版本，一点一五版本和一点一六版本，它是可以多个 flink 版本同时运行的。这个是它的一个比较好的好处啊。而且的话呢，那个他那个 department 的 model， 它可以支持是 application 的这种方式， section 的这种集群的方式，也可以支持这种 section job 的这种方式啊。然后它也内置了，就是高可用性，嗯，这个它也是能够支持的 啊。这个这个是他的官方文档啊。啊，他的整个架构。简单的跟大家再来介绍一下啊。 那这个是他整个一个架构啊，整个一个架构。那么那个 flink cubanatis 的话，他是跑在 cubanatsapi server 上面的，他集群是直接用了 native 的 api server， 他是等于是这样啊。 啊，这个是一个比较重要的。然后呢，他起了几个呃，起了一个叫 web hook 的 service 这样一个东西啊，这个东西的话呢，就是当你的 呃呃弗林克他有一些呃提交任务或者这些任务结束或者取消的时候，他可以回掉通过 wifi 后去回掉的。他等于是这样啊。然后的话呢，他也有一些 opritate configur 啊， configured map， 他把一 鞋的配置参数放在 conflict map 里面了，这个是他 operator name space 啊，这个都是他的一个呃一些配置。 那么他真正跑的话呢，你可以用浏览器跑，在呃通过 in grass 的这种方式，然后直接可以访问到 job manager， 他这个这儿上面。嗯，然后 job manager 的话呢，他会跑各种各样的，就是任务的 manager， task manager。 然后的话呢，他就会把这个 flink 给跑起来啊， 他是通过这种方式去跑嗯，然后他的那个 sample class the rest 的那个 service， 这个也是他，呃，可以通过那个 rest for 的 api 去访问呃 flink 的这样的一些那个 manager。 呃，这个是通过这个来访问啊，这个是他的这个整整体的一个架构。呃， 整体的一个架构啊。那么缩放的话呢，它就是通过这个啊，通过增加脚步 manager 和 task manager， 然后不断的进行缩放它的意思。这样啊，好，这部分是这样的 啊。这个的话呢，是是指这个 deployment， 他可以支持的这样的一个类型 啊，他可以支持这个 application。 这这种方式前面也是强啊，也可以支持 section class to the deployments 啊，这也是能支持的。还有一个呢，就是基于这个 section job， 嗯，他也是能够支持的。 这样的话呢，他在那个弗林克，在 cubanese 上面，他呃运运运行的方式就会非常灵活啊，就会非常灵活，能够支持各种 更样的应用场景。他是等于是这样。嗯，好。今天的话呢，就是嗯，布林克基于这个 qbeitas 的这样的一个环境，我就跟大家就交流到这儿好吧，嗯。然后大家如果有问题的话呢？也可以留言，嗯。

嗨，大家好，今天为大家演示下怎么通过慢自带的拍摄服务器配置网络请求的自动代理，也就是让指定的访问请求走代理，别的请求走正常路由。首先进入到网络设置中的代理设置页面，可以看到有个自动代理选项， 配置这项需要有个代理配置文件的网络地址，这个地址必须是网络地址，不能是文件系统的路径。这是我预先准备好的代理配置文件，需要把这个配置文件拷贝到 happy 服务器的公开目录下。 已经把代理配置文件拷贝到拍摄服务器的公开目录下。接下来开启服务器， 服务器启动成功后，让自动代理配置选项生效，并在 url 输入框中输入本地代理配置文件的网络地址， 让需要走自动代理的请求选项生效，并在输入框中输入自己的代理 服务器地址和端口号等。我这里用的是手机作为代理服务器，根据自己的喜好配置哪些请求需要走自动代理，一般让网页代理安全，网页代理 sok 代理选项生效就可以满足日常需求了。保存设置，让配置生效， 接下来通过访问油管和 b 站来测试刚才的配置是否生效， 右上角的小窗口可以显示走代理请求的网速， 可以看出有管走的代理，而 b 站没有走代理，说明自动代理生效了。好了，我要去看刚才那个流浪狗的视频了，如果你喜欢这个视频，记得点赞、关注、收藏，我们下个视频再见。

aparty fling c， d， c change data capture 可以与其他 fling 特性进行集成，已构建更强大的流逝数据处理应用。以下是一些与其他 flink 特性集成的方法，一、与 flink sql 集成 fling 提供了 fling sql， 允许用户使用 s， q， l 查询语言来定义流处理应用程序。 fling c， d， c 数据可以直接用作 fling k， s， q， l 查询的输入，从而在不编写复杂的代码的情况下进行实时分析。二、与 fling table a， p， i 集成 fling cable api 是 fling 的另一种声明，是 api， 允许用户以更高级别的抽象方式定义流处理应用。 fling cdc 数据可以直接用作 fling cable api 的输入，从而简化流处理应用程序的开发。 三、与 frank cep 集成 frank 提供了复杂事件处理 cep 库，用于检测和处理事件流中的模式。 frank cd ce 数据可以用作 cep 查询的输入， 使得用户可以在流中检测特定的模式或实践序列。四、与 freeingpml 集成 frank ml 是 frank 机器学习库，用于在流处理应用程序中执行机器学习任务。 frank cdc 数据可以用作训练或推断的输入，使用户能够构建基于实施数据的机器学习模型 物。与 frank state 继承 frank 提供了状态管理机制，用于在流处理应用程序中保持和管理状态。 frank cdc 数据可以与应用程序的状态继承， 支持有状态的流处理任务。六、与 frank window 集成 frank 的窗口操作，允许用户对事件流进行分组和聚合。 frank cdc 数据可以与窗口操作集成，已实现基于时间或其他标准的窗口处理。 c 与 flink connector 集成 flink 提供了各种连接器，用于与外部系统进行集成。 flink cdc 数据可以与这些连接器集成， 实现与不同存储系统、消息对列等的无缝交互。通过这些集成，用户可以利用 flink cdc 捕获的实时数据与其他 flink 特性相结合，构建更加复杂和功能丰富的流处理应用程序。