streampark配置flink密码

啊，真正做到一套 api 啊，一套存储体系啊，一套放马路，那我们将这套新的里面我们叫做流逝速腾啊，也就叫 streamy house， 这里大家能看到这是一个非常经典的主流的实时一线一体化的收藏的架构， 那这里面呃大家绝大部分的迷糊场景都会使弗林肯家卡夫卡去做实时数据流的处理啊，比如说我们的实时数仓，我们先看一下在刚才这个新的价格中，我们的结构是不是更简单了，因为我们引入了一个叫傣南美可 table 的这个一个概念啊， 弗林克的动态表，那弗林克的 c 扣呢？其实是可以呃流失的，也可以批示的去读写这个短暂的一个推广，也就是说呃，我们 将速速仓的分层数据全部放到弗林克，等他们给退步之中，也就是实现了实时树仓，实时树仓的处理和离线树仓是天然的一体化，因为 api 是一套，都是弗林克 c 口，所有的数据也是一套啊，这样的话实现的是实时离线一体化的这个效果。 同时还有一个新的亮点，比如说我们可以让仔仔那个 table 中的数据实时的被分析到啊，所以可以看到啊，这个价格是真正的做到了一体化啊，真正做到一套 api 啊，一套存储体系啊，一套方法论。 那我们将这套新的里面我们叫做流逝收藏啊，有一句叫 stream white house 啊，大家可能听说过 stream bb 啊，在这里面还是有一些的不同， 那通过我们这个 streamy house 的这个呃呃价格，我们可以看到我们其实是有呃起到我们 我们可以有三个优势出现，那第一个优势就是说我们实现了全链路数据的实时流动啊，这点我要强调一下，我们这个架构是可以在中态上实现数据的完整，真正的实时流，而不是明明白使流动是完全的实时流，秒级和好秒级的流动。 那第二点是说我们所有流动中的数据都可以被分析到啊，这里没有任何的数据盲点，任何数据只要他在流动，他在变化，我们都可以实时的去宽锐去分析到。 这两个因素决定了数据从他的产生开始，我们就可以实时的开始进行处理，而且他在任何环节中我们都可以进行实时的分析，两个实时同时做到。第三点，我们可以做到实时离线分析的一体化啊，这也是我们弗林克 c 扣，呃，弗林克很大的一个特点，因为我们可以 一套 api 完成所有的数据分析，用户不需要用两套 api， 不需要用两套 c 口啊，这个整个对开发者来说是非常简洁的，对运尾者来说整个架构也是非常紧急。 那刘诗书汤也是弗林克社区未来新的一年中社区的一个重点的方向，我们也是希望弗林克从啊 string processing 啊走向 stringy house， 去覆盖更大的场景，去帮助开发者解决更多的问题。

哈喽，大家好，今天给大家分享一下弗林克 cdc， 二点二点一加弗林克一点一三开发一个简单的 ccc 代码，使用弗林克 daystree 每一片开发的， 然后以数据原式，以 max 扣为例，采集 max 扣的冰 log， 然后这里会提一下账号需要什么权限，需要注意什么， 然后，对，嗯，然后就是演示一下 tfboys 的的一个恢复的就是恢复速那个状态保存，然后从从上一次状态恢复了一个演示， 然后最后再演示一下二点二版本新加了一个动态加载表，那个新特性在二点一版本是没有这个功能的。 然后第一步我们先串联一个加入项目，使用 finger 官网提供的一个， 你好。然后第二步是引用一个 fling 可 cdc 那个那个泡沫依赖，然后下面这张图呢，是那个 fling 可 cdc 对应的 fling 可版本，我自己测试了一下 fling 壳一点一四 和 fling cdc 二零二版本还是不太兼容，因为他那个挂号包的冲突。对，我们本次教程是用的一点一三， 然后下面是我自己的买色各类环境，然后下面是几个建苗语句，然后下面我们是 切到这个蛋吧。这个项目结构非常简单，是现在只有一个，我自己加了一个，分个 cdc 的一个类，其他的都是这个项目测试化自动生成的。然后朋友首先看一下朋友们店里面就是加了一个， 看这加了两个，一个 cdc， 还有一个那个加网的一个包， 还有就是需要注意一下，就是这个他默认升的项目里面这个是 pro 外地的， pro 外地的这个给他注视掉，要不然你本地运行的时候他会爆，找不着这个运行环境。 我们来看一下他的蛋吧，这个蛋吧也非常简单啊，可以直接从他的官网这个位置 dens stream sauce， 他的官方提供的 destream sauce， 然后我们可以直接定买三块的一个 sauce， 填上对应的信息， 然后我们直接看单吧，然后这一部分是定义买烧烤臊子一些信息，然后下面是定义那个， 嗯，可以指定启动的时候那个 ceoceoponent 的一个地址，开启开 pond， 然后设置本地，我这里是本地运行吗？设置本地的一个路径，本地的话就是这个 fir 开头的，如果是你其他的什么 a 十 diy 的，就是十 diy 开头的， 然后这里就是打印一下，打印到本地，然后看一下我们的买四个表，在这我建了三张，买四个表，现在先看前两张吧，有优乐一，我们有三条数据，然后优乐二有一条数据， 我们现在先不给他指定一个状态恢复，就说他第一次启动之后什么状态都没有吗？我们重新第二，第一开始启动，现在启动一下 三个表，气料速度已经打印出来了， 这里加了三张。嗯，然后呢？就是这是第一次启动吗？第一次启动他是，嗯，先是 加载，就是整个快照的一个数据，比如说他当时全表这个数据，然后加载完之后再切到这个 blog， 比如说我现在现在在这个 uler 一一里面再加一条数据 幺幺五，后面先复制一下幺幺五，然后爆单。这个时候应该是 看这里打印了一个这个幺幺五，这条数据就出来了，我们可以看一下他采集的那个数据结构，看一下这个 幺幺五这个 ft， 因为是 curd 的一个音色的一个数据吗？但是 after， 如果我们是呃更新，比如把这个更新成随便一条， 这时候又多了一条数据出来，看这里多了一条数，我看一下这个数据的结构，看这个 b four after， 因为他会把所有的字都列出来，就之前是深圳吗？现在是几几几， 这个操作是 u， 然后还有其他删除也是可以的，比如我删了这辆数据，你看这里有输出一辆，另外个 这里就是 b far 有，然后 f 的没了，就代表删了吗？ opd， op 是 d， 这删除。 然后我们现在请教程序，因为我们一开始在程序里面设置了一个这个地址，在这拆破案的地址，我们去本地 找到这个地址，在这我们现在有一个拆喷的看一下。嗯，美国 mate 买的电子存放的一些，我们就是这个 cdc 一些状态，比如说 blog 的位置，还有一些买 celo 这些优的表的一些自断信息。然后我们现在再把这个主主打开， 然后把这个复制进来，让他从我们上次就是读取的位置开始，就不会加载，再次扫描全秒。就像这样一开始输出表了所有数据了，就是从 最新的位置开始，就是从上一次的位置开始，比如说此时我在这里面加了一个幺幺六，有的幺幺六， 然后这里面的复制也相无所谓的。 ok， 然后 这项启动也准备，他会拿到幺幺六这条数据，因为他上一次位置是读到幺幺四这个位置了， 我们看一下啊，嗯，幺幺六，这样的话就可以从上一次的位置开始，而且，而且只有这一条，而且你看因为约了二，约了三次也没有重头开始读，这样的话我们就是可以从最新的状态开始， 然后呢满三个的状态权限啊，这里就提一下，就需要这三个权限，这里需要注意一下，如果没有这三个权限的话是执行不了的，然后一会我会把这个文章放到这个视频的下方，这里也做了 说明。 c like 呢，是允许中表明传统数据，还有 raberica olik 三四六允许他执行这个这些操作就是收马索，他要先看一下冰落的状态，在全量采集之之前看一下马索的状，冰落的状态，在之后也要采集一下那个冰落的状态， 这样的话可以确定增量同步的时候一个切换，然后 raber k 声 clan 的代表，你允许从允许他自己成为一个四六客户端，然后连接八四代，然后建立储存的复制关系啊。最后的话我们再看一下二点二提供的一个，就是 我程序停掉之后，比如说我业务来了一个新的区图，我要在这个地方要采集一个新的表，比如说我，我加了一个新的表， u 字对 四吧，然后我这边手中建一个新的表，忒爆，有点四，爱丽爱纸 okay， 然后建了一个 us， 这里面还没有数据，这里面还没有数据，然后这个状态给他更改一下，就回到我 这次程序保停止那个状态，但生产上是不？嗯，就是可以做成自动化的这种，看着你们这个 把这滤镜复制下来，回到程序， 回到程序我们把这个给他改一下，这是从最上开始，然后呢启动程序， 这首应该是一点也不会大，应该用上一个数据并没有做任何操作，然后我们再用那个 us 里面加计量数据， 这时候应该是有，你看用这个加进来了，就说我虽然我的上一次的状态只存了 三张表的一个原数据信息，还有一些状态变 logo 的位置，所以状态里面没有这个新的表的时候也是可以的，他也是，就是如果有数据他也会从新，就是从全量带千万的增量开始，这样读 也是没有问题的。这是二点二加热的一个新的特性， 然后这里需要注意的话，就是要开启这个的话，需要再加一段这个代码，就开启实时新的表，然后这里也有对应的说明 这个扫描新加的表，就像他这里说的，就是我之前只踩了这三个表，后面呢任务需求来了，又要先加这个两秒，但是其他的本人呢？我又不想，就像 宠你，我要还要依赖于之前的状态吗？还要从拆包呢恢复，所以呢他这个就是这个特性，就是就是旧的表从状态里恢复新的表，就按照新的表这样读， 这个是没有问题的。 ok， 然后的话就是，嗯，市面的下方我会把这个文章就是链接放到下面，大家可以看一下 finger cdc 用代码写也非常简单，你看他用 sucle 写的话，这样的话他每这个位置里面每就是你，如果是多苦多表的话就是不太好实现了，代码的话会更加灵活一些。 ok， 我要下期视频的话，然后会分享一下。嗯，买三个 cdc， 在就是增量采集和全量采集之间切换了一个圆码，看一下给大家分享一下。好，本期视频就到这里了，然后谢谢大家的观看。