apache beam教程

大家好，我是晋级的麦舒，是一个工作多年的老程序员，这次课程跟大家分享的内容是一个数据编排工具或者叫 eta 工具 apart hope。 本次课程的大纲如下，一、介绍 apart hope。 二、安装 apart hope。 三、使用 apart hope 进行数据编排。四、使用 apart hope 进行数据工程。 五、 apart hop 的高级功能六、 apart hop 的最佳实践七、总结 apart hop 截止到课程录制的时间， apart hop 的最新版本为二点六点零，以上的讲解都是基于这个版本。接下来开始我们 的第一个章节介绍 apart hop。 apart hop 是基于另外一款著名的 e t l 工具开头也叫 p d i 开源而来的，目前是 apart 基金会的顶级项目。 apart hop 的全名是 hop adjustration platform， 指在数据和原数据编排中的各个方面给予我们帮助。 后部是一种全新的开源数据集成平台，易于使用且快速灵活。 hope 的目标是成为数据集成的未来可说话的开发可以使开发人员比通过代码更高效。在 hop gui 中设计的工作流和管道可以设计一次随处一行。它可以在 hop 内置 引擎上运行，或者通过 bin 在 spark fling 格上进行运行。有完善的生命周期管理方案，使开发人员和管理人员能够在不影响思路的情况下，随意的在项目环境和其他目标中进行切换。 在多年的工作实践中，我们发现货不仅仅是一个数据编排开发平台，而且可以当做后端快开平台甚至是网关系统来进行使用。 可以基于 apache hope 快速实现数据中台中设计的各种内容，这些内容将在后面的课程中逐渐为大家进行讲解。 hope 并不是市场上唯一的数据集成和变派平台，许多可以通过 hope 执行的任务也可以通过其他平台进行实现。接下来我们将深入的 探讨 hope 的独特之处，以及为什么我们会在诸多的数据编排平台中选择了 hope， 并且坚信 hope 正在开拓数据集成和编排的未来。首先是原数据驱动，原数据是 apart hope 中的重要概念。原数据驱动的一切 从工作流和管道到连接各种平台以及运行配置画布中的每个项目都被定义为原数据。 后部采用了原数据驱动的方法，并引入了原数据注入 m d i 原数据注入管道使用模板管道，并在运行时注入必要的原数据，这显著减少了重复手工开发的工作量，而且使管道的代码更小，更易于管理。 可视化代码编辑器 hop g u i 是一个全面的可视化 id e 可用于桌面和浏览器。使用 hop g u i 数据，开发人员可以直观的设计、运行和调试工作流和管道。 这种可视化的工作方式是开发人员能够比使用手工编写代码有更高的效率。 不仅 hope 的工作流和管道可以使用可视化编辑机轻松的创建、维护，可视化代码也更加容易 在一个明确定义的可视化布局中识别和修复问题比滚动查看长长的原代码要容易的多。 内核架构和插件 hope 的架构从头开始设计，将核心功能保持在一个干净、快速、稳健且轻量级的内核中。所有的其他功能都通过插电添加， 这些插件可以随意的添加或删除。这使得后可以在物联网场景中的边缘设备上运行，也可以处理大量的数据。 hope 的常见用力包括，一、利用云集群和大规模并行处理环境，将大型数据集加载到数据库中。二、 数据仓库具有内置支持，可以处理缓慢变化的维度变化、数据捕捉和替代件创建。三、在不同数据架构之间进行集成，结合关系库文件、 nafoj、 芒果 db、 可三爪等 nosco 数据库。四、在不同数据库和应用程序之间进行数据迁移。五、数据分析和数据清理 好的，这就是本节课程的主要内容。

看我们的第二步就是安装个 paty 这个软件，这部软件呢相信在搞计算机还有网站的这块朋友都不会陌生，在这里我只是给大家简单的复制了一段话，就是简单的说他就是一个外部服务器的一个软件。呃，那么我们接下来就要跟我们的氛围派来安装这个软件， 依旧用的是 app 盖的这个质量。现在呢我们直接把这个代码复制过来就可以了，我们把它复制到我们的 好，点击回车可以看到现在正在下载我们的这个软件。呃，他有时候会问你是否会继续要继续执行，你这里要选择选一个外，然后回车他就会继续执行，我们接下来只要等待一下就 ok 了。

我是散打狼，今天给客户在 windowsscow 两千零八六十四 v 的系统上将那个 php 的环境，就是用那个 php 撒底，哎这个软件部署环境，然后阿发奇无法启动， 然后解决办法呢？就是首先，呃，首先那个用命令提示服定位到那个阿帕奇的并目录，然后执行一下 hgtpd 顶 ex e， 然后就可以看到错误，错误日字，然后根据错误日字去 去查那个 windows 的错误日字，然后呃查到的那个就看到的那个错误信息， 就说其实我那个呃没有装那个三十二位的 vc 酒，然后我装好以后，我安装了这个以后就可以了。

好，那我们知道了服务器，也知道我们外部服务器，这次主要来学习汤姆 k， 他，对吧？汤姆 k 的服务器，那么汤姆 k 他怎么来使用呢？ 首先呢，也非常简单，就是需要我们去下载一下，下载解压就可以了，这个傻瓜式操作啊，下载即安装。然后他这个地址呢，就是这个 a c t t p tom k 的阿帕奇点 o r g， 然后来搜索一下，把这关掉 来搜索啊，你看好这个呢，就是汤姆 k 的一个官网哈，你，你说，那你刚才说这个我就记不清啊，你这个网址太长了，我直接搜汤姆 tomcat， 汤姆 k 的， 然后这个你看到没有？阿帕奇，然后直接点进来就可以了。好吧，直接来来，点进来就可以了，然后点进来完之后你刷完 妈，这这英文呢？我也看不懂，怎么办？你看不懂，说的像谁能看懂一样，但是这些你是不是简单能看懂？当烙的能看懂吧？是不是下载的意思？当烙的来当烙的是不是下载，下载完之后，你看这是不是他们给的十，他们给他九，他们给他八等等，是不是有不同的版本呢？然后你就点开他们给他八， 然后点开完 tomk 的八，然后我们往下面来看，你看有一个 vip 的一个压缩包， 对不对？压缩包，你看 vip， 我们现在下载的是八点五点五四的这个版本，你看现在是不是，你看有不同的版本，你看 vip 现在是不是有一个什么六十四位温豆子，六十四位 bit vip 是不是一个压缩包啊？ 你看六十四位是不是就是我 windows 六十四位的电脑，你就下载这个，那你说我是三十二位，你就下载这个啊，比如说我现在点开这个地方，好，你，你一点开，然后这就开始在下，好一下下下下下， 加完之后就就就就可以了。好，我们来找。 好，这个汤姆 k 呢，就已经下载完成，我们在文件夹中显示，显示完之后哈，还没有保存，等会他会提示一个保存，这个汤姆 k 呢，就下载完了。 好，这个汤姆 k 是不是就下载完了？就是你点完这个地方，你同学要不知道的话，你点个这个地方在文件夹中显示，稍等一下，然后这个你看阿华及汤姆 k 的温豆子差六十四位，是不是？就是，啊啊啊，这个就是以前下载的一些东西啊，这个谁，这是不是苍老师啊？好，好，大家知道啊。 啊，好，那这个打广告，这个是我的一个头，今日头条的一个，这个什么头条号二维码，你要需要的话你可以扫一下，或者说直接去头条上搜索陈复国就可以观看视频了。好了好了，不扯淡啊，继续啊，这是看到这个下面给大家扯， 然后看到看到这个地方啊，这个掏门开始就下载完了好不好？下载完之后你等会一拿过来解压就可以了。好，这个地方呢？ 好，老陈这边呢，给大家已经直接下载好了，解压，然后给大家来看，然后点开，我的呢是在软件 d， 软件 d 是在这个 t 七下面， t 下面有个 tom k 的，然后这个阿帕及八点五点三点二，是吧？然后就下载完了，下载完之后，然后你右键解压到当前文件夹，他就成为他了。 好，我现在把它删掉再删掉啊，好，删了啊，删完之后，现在我开始重新解压，同学们来看，就是你在这个地方下载完之后， 下载完之后你找到这个文件夹所在位置，你是不是找到你你需要的一个文件夹里面给他放起来，放，就是你知道你 topk 的在哪哪个地方放着，放着完之后怎么样？右键解压到当前文件夹， 好，解压到当前文件夹，此时此刻 tomket 的安装已经完成了，就这就行了，解压就安装了， 然后你说我后期想把它给关掉怎么样？不安装怎么样？你把它删掉，它就不安装了好不好？那我们来看一下啊，打开一下汤姆 k 的这个目录啊，打开汤姆 k 的目录是为了什么？为了让大家看一下汤姆 k 的目录，他们的 一个具体的一个结构啊，结构，我们首先来看一下，就这个并呢是什么？就是可执行文件，就是他能够执行的一些程序都在这里面， 然后这个新闻 f 呢，就是这个配置文件，然后包括这些依赖价包等等，这个等会咱们讲，好吧，现在首先给大家来看一下，你看完这个 tomk 他对不对？你首先是不是要启动他，那我们怎么启动啊？同学们，你看启动是不是 be stop up， b a t 双击启动，你看 b， 然后斯达他点啊普来找斯达他点啊普点 b a t， 然后他这个后缀是 b a t 的程序是怎么样？他就是在这个我们的道士名人窗口就是在这里面来运行的，好吧，在这里面来运行的，他是后缀是 bsb a t， 像我们要是在这个温度的下面是后缀， 一般是 e x e， 好吧，好，那这个咱们先不说啊，你现在双击点开啊，就打开了， 双击打开，你能够双击打开完之后，显示到这样的一个页面，说明你这个汤姆 k 的已经安装成功了，那么如何来测试是否安装成功呢？ 打开完之后，你不要关闭你把它，因为它它现在是一个开启的状态，你一旦关闭，等着汤姆 k 的服务器就关闭了，你看把它最小化，最小化之后，那么你如何来启动它呢？ 你看这个地方 local 号死的八零八零，其实他就等于幺七二点零点一点冒号的八零八零 loq 号死的，我们说的就是我们本地的一个 ip 地址，那么后面的八零八零就是端口号，他其实就是什么通过 logo 号死的，找到我们本地的我们自己的计算机，通过八零八零这个端口号找到我们计算机的一个 汤姆 ket 里面的汤姆 ket， 你输入 local ho loco houst 八零八零 lo c o s t 就这个啊， local house 输入八零八零， 你只要能够看到这样的一个页面，就说明你的 tom k 的安装成功，也运行成功了，只要能够看到这样的一个界面，好吧，他就是一个出手吧的页面。首先呢，给大家来看一下 logo house 的什么意思， logo house 其实是本地的意思，气球没找到哈，没找到，来给大家一点一点的是 logo local， 当地的本地的 host 地址看见没有？主机啊，本地的主机，那就是 local host 幺七二点八零八零，冒号八零八零 loco house 冒号八零八零，这就是找到我们本机的一个什么 tom k， 它就可以给它安装成功，这你只要能看到这个界面就已经成功了，或者说你输入幺七二点零点 零点一点八零八零，这个幺七二点零点一啊，就是指代本机的地址，让你刷新，同样能够看到这个界面，也说明你安装成功了。好吧，这个就安装成功了。那么如果说你，你想关闭，怎么关闭啊？ 我们可以直接来点这个下个档，下个档就是关闭，来，不，不是这个，这个地方就是正在打开，他们 找到你的安装目录，找到 b 下面安装目录，你看看是不是有个 b 可直行操作哈？可直行文件里面有一个什么瞎子荡，瞎子荡就是关闭，你看我现在瞎子荡好就关闭，关闭完之后你再来输入，这个 还可以吧？就不可以无法访问了。为什么？因为你这个服务器已经关闭了，所以说就没有办法访问了好不好？这个就是关闭和开启，开启呢？就是 start up。 好，来看这个地方， startup 就是开启，下次大家伙就是关闭。好，那你说下次大家伙已经关闭，你比如说我再打开 好出现这个界面，我想强制关闭，他怎么写？我想关闭他，还有两种方法啊。第一种方法除了我点击这个下载档，还有一种简单粗暴的给他怼掉，就是直接关掉好 就关掉，关掉也访问不到。好吧，一会我再把它打开好，打开完之后我按一个 ctrl 加 c， ctrl 加 c， c 是不是 cloves 关闭也可以？好，可以啊， ctrl 加 c， 又关闭又访问不到。好吧，这就是打开和关闭，那么打开的话，我们就找到这个闭目录下面，然后 stat up 就可以了，托木克就已经开启了， 开启完之后我们怎么来测试呢？就是 loqo host 八零八零或者幺七二点零点一点八零八零，你只要能够看到这个界面，你这个汤姆 k 的就安装成功了好不好？就已经安装成功了。好， 那么接下来回到我们的课间上面，这呢就是两种关闭，好吧，第一种正常关闭就是 ctrl 加 c 强制关闭，就是怎么样擦掉，直接就把它擦掉，好吧，就关闭，然后这个配置呢？就是他，其实呢已经配置好了， 那这个配置呢？我们可以在这个桃木 k 的目录里面来该看他啊，这个桃木 k 的目录就是代表是什么东西？好，我们来看，找到 tom k 的一个安装目录，你知道你在哪个地方安装着，然后我们点软件，老陈呢是在 t 系教学里面，然后 tom k 的 阿佩奇，这就是它里面的一些目录。 b 目录就是可执行文件，你看我们是不是一些可执行操作，打开或者关闭可执行文件，那这个肯飞个呢？ cunf 就是一些配置文件，其实就是肯飞个，就是配置文件的意思，你比如我们刚才的 点八零八零这个段考是不是已经能够打开我，我这个服务器，他为什么呢？就是因为他在这里面已经配置过了，他配置是不是配置他们配置的服务器啊？配置文件，你看 sorry 是不是就是服务器？所以说我们点开 sorry id 的 plus， 点开，你看这个地方，你看 content， content 来给大家看一下意思 康村那看见没有？就是连接器，连接器，连接器，他的一个抛运呢？就是端口号是多少？八零八零，因为这个地方已经配置完八零八零了，所以说我们这个地方八零八零就能够找到他了，好不好？你说说把这个八零八零改掉，那么当然你就呃不是，你比如说把它改成八八零八五， 那么你这段在输八零八零就找不到，你，必须在八零八五，但是我们重新配置完之后需要重启一下他们看的，那这个地方我们就不管他了，不动他了啊。好吧，这个就是一些配置文件，配置文件展示这个力度呢，就是一些架包啊，有一些架包，我们依赖的一些架包就在这里面。这个 log 呢就是日制 logo 的日日志是什么意思呢？就是你每天啊操作这个程序产生的一些内容，或者一些修改，或者一些报错等等，他都在这个 logo 的里面，在这里面因为我们现在没有操作，所以说这个 logo 的里面什么内容都没有，这是这什么内容都没有，这个呢就是 logo 就是日志。然后这个太 啊探铺是什么？就是临时文件，临时文件就是临时执行的一些文件，他是在在在这里面放起来，然后接下来再让大家看一下，就是外部 apps， 他呢就是一些外部项目， 就是我们的外部项目呢，后期他都是给他写在了放在了这里面外部 app， 然后当然这这些这些文件都是他默认的一些东西啊，你现在了解这个意思就行。这个沃克沃克是不是就工作就是工作空间啊？就是 他他是工作的实际运行的东西，他实实际上就是在他下面，然后这些下面的东西呢就不需要管他了，这些就是你需要知道哪个地方，就是 b 可执行文件，可配个配置力，不依赖加包 love 的是吗？ love 就是这个日志， time 就是临时文件，外部 app 就是，呃，这个 安全部，外部 app 就是外部项目，这些项目都在都在这里面， works 就是工作空间。好吧，后期呢，我们可能还有一个外 音范，然后这个里面现在暂时没有这个呢，就是大家现在现在简单知道就可以了。好吧，知道完以后 我们来看一下这个 tom k 的就就已经安装成功了，啥都可以。如果说你的 tom k 他这个安装一闪而过没有安装成功啊？没有安装成功的时候，你要看一下你的 g d k 是否安装正确，那为什么呢？如果说你的 g d k 没有安装正确的话，你需要来重新安配置一下 g d k 有死，电脑死的右键属性。 好，这个高级远程设置环境面料，环境面料。我们之前教大家加挖后木的时候，这个地方是不是已经配置过了？加挖后木对不对？然后呢，你看这个地方你需要一定要配置好，你如果 说这个 gdk 没有配置好的话，你这个 tom k 的呢？他会一闪而过打不开，为什么会出现这种情况呢？因为 g d k 是不是叫加瓦开发工具包？因为 tom k 他呢？他就是使用加瓦语言，他的底层就是加瓦语言来写的 好不好，所以说你没有 gdk 的话，他是没有办法打开的。还有就是如果说你启动报数，他还有一个原因可能是端口号已经被占用了，那么端口号被占用的话是怎么办呢？就是你找到这个端口号，然后找到对应的进程给他强制关闭一下就可以了，或者是改端口号。改端口号就是刚才我们讲的这个 三万点叉 ml， 在这配置文件里面改 好，来给大家看一下系软件 t 七他们，可能或者说你就在那个配置文件啃贝壳里面改这个呃端口号，但是一般 咱们不建议改断口号，也不建议你通过这样的方式改断口号，因为咱们后期一旦和 id 集成之后直接就可以改了，就是在这里面， 就在这个位置啊，就在这个位置改断口号，就你如果说两次重复打开，他可能会被占用，被占用了，先给大家演示一下啊，就比如说四大，这个就是你一闪而过的话，你首先要确定一下你的 gdk 配置成功没有，好吧， dk 配置成功完之后，如果说还一闪而过的话，可能就是你怎么样重复打开了。 what's that up？ 好，你看是不是一闪跳过，没有了？没有。为什么？因为我之前呢？怎么样？之前已经打开了。 那你说我想，我想看一下我之前已经打开，我需要把那个强制关闭掉。怎么关闭？就在这个位置，你在这个道士命令里面输入 nice stota a n o， 找到相对应的 pid 码，然后根据这个 立马再去找端口号 启动倒数命令。嗯，加啊，然后呢？这个地方。 net s t a t。 空格杠号 a n o not at stake， 看一下。 a t s t a t a t s t a t。 哦，多了一个 t， 多了一个 a a t s t a t。 我刚好 a n a n o。 好，你能够看到， 能看到很多啊，你看一下你的八零八零是否被占用了，然后就就看这个地方，你看八零八零，找到我们的 local house 特零点零点零，这就是本地的，本地的啊，找这个地方多少？ 八零八零， 我们来看这个八，然后在这地方八零八零，看到了吗？这八零八零，八零八零，他对应的 pid 码是多少？幺三零四四，你说端口号啊，他对应的有一个 pid 码，幺三零四四，对吧？幺三零四四，我如果说想关闭他怎么办？比如说已经被占用，想关注一下这个 ctrl 奥特加 一类的启动任务管理器，启动任务管理器完了之后，点击详细信息，现在是不是有一个 pid 码？ pid 码我们刚才是多少啊？幺三零四四，对吧？幺三零四四，然后你开始来找幺三零四四， 幺三零四四，哦，这个地方哈，然后这个地方你把它结束进程，这个 他就关掉了，你比如说我现在把它结束结束进程是不是就关掉了？这个掏不起来就不再启动了，好吧，这就是两种方法，然后输入这个 nice cd 杠 a a n o， 然后你来查看你的端口号所对应的 pid 码，然后根据这个 pid 码在启动任务管理器，找到他所对应的一个端口号， 好吧，这就是解决的两种办法，然后改装口号，这个咱们先，咱们这个不建议，好吧，这就是，呃，包括汤姆 k 的，如果说安装错误的话是怎么办？包括我们如何下载安装汤姆 k 的这个呢？非常简单啊， 虽然说我，我后来让大家看这些东西就是你知道就可以了，好吧？然后包括如何去改叉 r 文件，这个也没有，没有必要，你了解就可以了。你现在呢的任务就是你给他安装好，下载完，安装好，安装完之后怎么样？你能够正常启动，正常关闭就可以了，能看到这个页面就说明成功了，这就是我们 tomk 的的一个安装和卸载。

就业篇 top 下载安装 打开他们看的官网 左侧单漏的下载，咱们下载逃不开的酒啊 六十四匹温州 欢迎下载完毕解压， 试着启动一下啊啊这个乱码 咱们需要配一下配置文件 啊，能防盗这个页面就代表启动成功啊， 让咱们停掉。