下面我们以个实力啊来说明这个七套啊怎么使用?那么他是将一个文猛格式的 csv 数据输出到一个三二中啊,那么这是一个 数据转换的案例啊,那么从一个格式的文件转化成啊另一个格式 的文件啊,那么 csv 啊,他是一个文本格式的数据啊,那么他们自段之间呢?其实是用逗号分割符啊分割的啊,一般来说啊是用逗号分割符分割的啊, 那么 我在地盘建个啊七筒 奥克斯贝斯零零幺啊这五年前啊那么这五年前啊,我这个是输入啊 这是用于输入这是用于输出。那么我这里有个商品表啊 csv 格式的啊 啊这个商品表,那么这个表啊,大家呀啊可以自己制作一下子啊, 那么如果呀那么自己不会制作呀,那么我把它放到这个啊放到那云盘啊啊就是我给 大家说那个地址啊把它放到了这里,那么这个大家呀去下载一下子啊, ok 好了,那么我们来做这个事啊, ok, 那么我们呢 打开之后啊,打开这个剃刀之后啊啊他有这个界面是吧啊这是他核心对象啊啊这是 主对象数啊,我们有转换和作业我们双击这个转换啊,那么这个转换呢啊 有输入是吧?有输出啊啊我们输入, 我们把 csv 拖过来啊,把它保存。保存到哪啊?把它是保存到 我们这个剃头啊啊,你比如说保存到这里也行啊,这个保存啊,这个位置啊,你自己定, 那么啊我这个比如说叫泰斯的零零幺啊 啊他叫这个啊,就这个工作区叫太子零零幺啊, 那么你双击他啊,那么啊,我们输这个文件名啊,浏览啊,把我这生命表找到啊,打开, ok 啊,那么你点获取字段,那么这是你这三个字段啊, 啊,这三个字段啊,这是数据类型,死钻是字母串,死钻,字母串引推格啊,是这个整形啊, 那么你还可以预览一下子啊,看看这数据啊,一千行啊,用不着一千行,十行就可以了啊, 这是这个数据啊, ok 啊,下边这期操作啊,我们暂时用不着啊,先不用管 那么把文件,只要把这文件打开啊,然后获取自断啊,就 ok 了啊,那么这是输入,那么我们要输出,输出到哪啊,我们选个输出啊, 输出到一个三啊,输入和输出啊,必须得连接啊,咱们 连接呢,那么点他啊,按 shift 键啊,然后用鼠标拖,然后选主输出步骤啊, ok, 那么大家注意啊,注意啥呢?他是按啊, 按使用的键啊,用鼠标涂是吧, 然后选啊,选那个猪, 这个主输入啊,用什么图啊, ok 啊,然后双击啊,那么啊,文件名啊,我们浏览, 我们把它输出到哪啊,输出到这里啊 啊文件名啊,你可以给起一个啊,起一个,比如说是啊, 商品表 保存,那么我们 我们看看这个,选这个字段啊,获取字段,点确定啊啊,我们把它保存一下子啊, 那么你把它保存啊,看正 s, 把它保存啊,点这个运行啊,点启动, 这个是他啊,他运行的过程啊,运行的日志 啊,他说转换完成,那我们看一下子啊, 啊,这是一个塞尔格式的啊,那么看到了吧,将 csv 的数据啊,他转换成一个塞尔的数据啊。
粉丝2687获赞1.2万

下面我们处理一个塞尔数据啊,那么这是个商品表啊,商品 id, 商品名称,商品价格,商品描述啊,那么这是 啊,书名啊,这是剃头这本书,麦赛克 it 这本书啊,那这个描述 n 代表就是没有描述啊,好了,我们对一个四二数据啊进行抽取啊, 那么新建个输入啊,那这个输入啊,就是这个一个三输入,那么我 把数据啊抽取到一个三啊,输出,那么就是一个三输出啊,将它连接起来,按 shift, 那么把这转换保存啊,乘车加 s, 那么保存到 地盘, ok, 那么我这个文件在这里啊,那么大家注意啊, 我们这个一四啊,我们选择这个零七的,那么浏览选添加啊,把它添加到这个目录啊, 那么这时候我们就可以抽取这个字段啊。啊,我们这个字段呢,这个描述啊,其实没什么用,是吧? 我不想要这个字段啊,那我把它去掉啊,把这个字段给去掉啊,好了,输出啊,那我把它输出到这个奥特库特啊, 这有个故子呢,是吗?故子零零幺八 啊,要抽取这三个字段啊,要抽取这三个字段的值啊, 我保存,我们看一下子, 那么这个值啊,被冲击过来的啊。

下面我们讲 k 头的安装啊,那么你可以从这个地址啊来下载这个 k 头, 你点下载就可以了, 那么也可以啊,从这个网盘啊来安装,那么这是啊,我给大家提供的常用软件啊, 那么这是八点零版本的啊,八点二版本的, 好了,安装啊,也很简单,你把它解压啊, 下载完之后啊,你把它解压, 大概是这一个季左右是吧, 那么解压之后啊,你把它放到一个目录啊,就可以了啊,你比如说,比如说把它放到 啊,我把它放到这里啊, ok, 解压完了,那么你把它放到这个啊 这里就可以了啊,好了, 那么我们启动他啊 啊,这个 启动文件是这个, 这个啊,这是个笔件部件啊, 就是啊, 那么这个 gdk 的安全王啊,那么以前啊 视频啊,大家看一看,那么如果是非计算机专业的啊,那么严格啊,按照那个视频来安装啊,应该是没有问题 啊啊,我们也不用去考虑他为什么啊,为什么是那样的,那么为什么会有个招号么?为什么会有 pass 啊? 非计算机专业的啊,就不用管这些啊,就是这个,由于他比较大啊 啊,那么他由于比较大,那么他这个 加载内存的过程中啊,也稍稍的慢一些了, 那么我把这个视频暂停一下子啊,这个我今天电脑反应有点慢啊, 那你们看的时候啊, ok 了,那好吧,啊, 那么我们新建一个啊, 对吧?转换还有足液是吧,都可以新建是吧?然后 还可以打开啊,某文件是吧,那么这个就是他他的经验啊。

数据的预处理,包括数据的清洗与处理和数据的转换与处理啊,那么它包括两点啊,第一点是 清洗与处理,还有转换与处理啊,那么这个 啊,清洗啊,其中又包括什么啊?我们主要包括这个啊,那么缺是纸啊,缺是纸 处理,还有什么异常指处理啊,那还有从 不值处理啊,那么这是三种非常常见的啊,首先我们看确实值处理啊,那么确实值啊,经常啊,以这个浪的形式来体现啊,那么 就是没有啊,这个值啊,在内存中啊,根本就不存在啊,你比如说啊,我们这个商标 分表的数据啊,那么这件价格啊,他根本就没有录,这个价格啊,根本没有录啊,那我们怎么处理啊?啊?我们呢在业务上规定啊,价格没有录啊,我们就当零处理啊,那么这个价格啊, 这是零啊,当零处理啊,或者啊,你取他们这个一个平均值,是吧,那么我们这里啊,就作为零处理啊,好了,我们来做一下子啊,那么首先 那我们新建个转换啊,我把它保存到一盘啊,那么 这个转换呢?我们太子的零零幺啊, ok, 那么我输入啊,我是这个一个四二数据啊, ok, 那么中间呢,我要经过这个转换啊,转换我们啊,通过这个替换这个空值啊,在应用, 在应用这个组件里,那么在 应用啊,这个这里边找啊,输出啊,我们呢啊,做, 做个一个三输出吧,当然你可以做文本,是吧,或者其他输出啊, ok, 那么我们试用他托鼠标啊,把他连起来, 这个输入啊,我们把它配成这个两千零七的啊,牛奶啊,就是 这个表啊,那么这这个是个确是指这俩啊,然后点添加,那么我们获取自断, ok, 我们看这个啊,那么我们呢 这个自断缺失啊,这个只是什么?我们就处理这个自断,我们选择自断,选择自断, 那么选择自断呢?我们获取这个自断啊,我们这个价格啊,这个值,确实这俩自断呢,我们不需要处理啊,那么这个值 这替换为零啊,把这个值替换为零啊,这就可以了啊,那么主要是 我们啊对这个自断进行处理啊,然后啊把这个值啊,确实值替换为零啊,这就可以 ok 了啊,输出啊, 起个名字啊,然后获取自断啊,就 ok 了,保存啊,运行。那么我们看一下 啊,这个输入的啊,这个值啊,啊,有两个档是吧?啊,就说是啊,这有两个档,那么替换呢? 结果啊,就是他是吧?啊,我把替换结果啊,这个结果输入到这里,是吧?那么我们可以看输出啊, 啊,这个一三啊,我们把这个数据类型啊,把它配置一下子啊,那么你看直接的话啊,也可以看这结果啊,看这个结果啊。

下面我们看左连接和右连接啊,那么这是用户表啊,这是用户表的信息啊, 这是订单表,那么这是订单表的信息,我们通过用户编号来关联两个表啊, 那么左连接的话呀,就是这个左转的信息啊,这个全部显示啊, 那么如果是这个右连接的话,右边的信息啊,那么全部显示啊,我们来做一下子啊,那么 这两张表,然后啊,那么这是季度级连接空线,他强制这两个表要排序啊,我们做个转换 保存, 那输入是两个,一个四,那么我们给起个名字啊, 那么他呀要求我们排序啊,那么这个排序啊,我们 起个名字啊,他是柚子四排序啊, 他是奥德斯排序, 那么我们呢用这个连接这个字段啊, 最后我们做个输出,按 shift 键连接 年级 牛奶添加, 我们看这段或许是短 牛奶添加, 注意这添加啊,然后获取之段排序呢,获取之段升序 护体字段啊,升去。那么我们第一张表啊,是 utuss, 第二张表是 otuss, 那么我们选择这个 lovet 左连写啊, 那么我们通过这个用户编号来点击啊,获取自断,获取自断 啊,通过用户编号来的, 那么就是这个配置啊,啊,他告诉你啊,先排好序啊,所以啊,要用两个排序空间啊, 那么用户编号啊,我们 啊都要吧啊,你根据根据需求吧,你可以不要啊,现在我们都要吧啊, ok 运行啊,那么这个是啊,连接后的结果啊,啊,我们看这个啊,这边的输出, 那这是输出啊, 那么左连接啊,要左表的信息啊,啊,左表的信息全部输出啊,那就是你这个幺零零一到幺零零五的记录啊,必须得保持啊,全部保持啊, 左边的数据啊,要全部保持,这左边的基本信息啊, 那么右表右表只有关联,关联到幽灵灵一,幽灵灵二,是吧?那没有的,他就是空啊,啊?右表没有的就是空, 因为我们以这个左表优质词表为主啊,以他为主,对吧?啊?那么观念他啊,再看,顺便看看他的情况,是吧?所以啊,是这种结果啊, 那我们把它改成这个右连接啊,把它关掉,把它改成右连接啊, 那右连接,大家注意啊,他以右边为主啊, 啊,我们打开这个表啊, 啊?右链接啊,他是以这个右边为主啊, 以右边为主,那么所以啊,这个右边的数据啊,必须啊,都得显示啊,都得显示,那么就是这个七零零幺到七零零六, 这个就是交易编号啊,订单编号都要有啊,那么以他为主是吧?啊?以他为主啊, 啊,这是这个啊,那通过用户啊,用户编号 观点啊,那么观念道啊,只要观念道的都把它显示出来,没观念道的啊,这是空 啊,就是这种结果,没有关键道的他就是空,因为这个编号啊,在这个左表里他没有啊, 这就是左连接和右连接啊,就是啊,左连接,右右和右连接,你想关注重点关注哪个表的信息啊? 那么你做出啊,这个左表和右表的选择啊。

ok, 那么接下来我们来看一下如何去安装开头,请注意开头既可以在 this is 运行,也可以在温度的运行,那我们在这里的话呢,需要在温度上去装一个开头,因为开头它是用家味语言来编写的,它需要在我们温度的平台上啊安装一个家味环境, 所以说呢,在这里的话呢,我们要去在温度上装一个 gdk。 好,这个 gdk 的安装非常简单啊,你去我给大家提供的资料里面呢,去下载一个这么一个 gdk 的安装文件啊,安装可听文件,然后呢双击他下一步, 然后下一步,这个地方可以提供一个安装的路径啊,可以提供安装的路径啊,这个路径你可以自己选一个啊,自己指定一个,然后再点下一步啊,在电在这个点下一步的时候,你看咱们这个文档里边呢,你看这个地方一个路径啊,那么这个地方也有 这个路径,注意这两个路径呢,你要设成同一个,注意啊,这个两个路径设成同一个,设成同一个的话呢,他会把所有的资源放在一个地方,那这样的话呢,到时候找的话呢,就非常的方便,你看这是不是, 你看这地方是 opt, 这地方是 opt, 你也可以不用放 c 盘,这地方讲一场给大家指定是不是 c 盘,你可以按放在 d 盘,一盘都无所谓好不好? ok, 点下一步,下一步之后呢,那这个地方你看他说呢?呃,更改将加法安装到其他文件夹,注意这个地方有一个地方是安装什么 g r e 之类之类的,你也把它放在 呃,这个目录下边,也就换一句话来讲,只要涉及到目录的修改认听,全部给他放在一个文件夹下面,理不理?我的意思啊,全部放在一个文件夹,不要去放多个目录啊,多个目录也是可以的,但是不太方便啊,放在同一个目录下边。 ok, 这地方呢?他说 忽略什么什么,你直接点确定就行了,然后下一步,然后下一步关闭,这地方就安装好了。那么 gdk 安装是不会出问题的啊,一步步做就行了,安装好之后关键是我们要去做网络配置啊,不是做网络配置,是做环境变量配置好。安装好之后怎么做环境变量配置呢? 咱们看一下咱们的 gdk 安装到哪里,其实你心里是知道的,因为这个路径是不是你自己去找的呀? ok, 好,那么在这里的话呢,我们需要点我的电脑啊,点我的电脑在这里啊,我点开一下, 点这个此电脑啊,点这个桌面电脑也行。右键不是有个属性吗?环境面料,呃呃,以前如果配置还好,如果没有配置我现在教你啊。 ok, 怎么配置环境面料呢?在这里边有一个高级系统设置任听高级系统设置,高级系统设置里边有一个环境面料,在下 下面进行配置啊,在这里边呢,先要配这个什么东西呢?先要配这个加弯 home 人听啊,怎么配置呢?在我这里已经配好了,你在这里点一个新建,这个上面写变量名,下面写变量值, 写完之后点确定变量名是什么?变量名是加班后母记着单词不要写错了,我写啥你就跟着写啥。下面什么呢?下面是你那个 gdk 的安装的路径,你把安装路径给我复制过来。来,我来带大家看一下我的安装路径啊,你们来看一下。 稍等,我的安装路径呢是在 d 盘,嗯,然后呢,我把所有的软件呢都安装在 dyla pro 这个目录,你看这里边呢,我的 gdk 有好几个版本,有 gdk 七的,有 gdk 八的,有 gk 九的,我现在用的是 gdk 八点零进到 gdk 这个目录,注意,这就是 gdk 的内部的东西,不要进到内部, 直接进到他的主目路。把这个路径复了一下,千万不要手敲,一手敲就会出错,记着小手一抖,一无所有,记着这句话,不要乱动他。 ok, 那么把你的这个路径粘在这里,记着后面不要加反斜线。 你的 gdk 在哪里?你自己指定个路径好不好? ok 啊,好了,指定完之后呢?点确定,那这里还没完,还要把你的 gdk 的加入 home 呢。添加到 pass 里面, 那么双击这个 pass 在这里写新建,新建之后呢,他会你多一个框在这输,在这下面输,你看多一个框在这输,输什么呢?输和我现在一样的内容, 就这个百分号,加班后母百分号 b, 请注意啊,那么刚才这个加班后母那地方没有指定 b, 这个地方是引用加班后母那个路径,在这个路径下面指定为 b, 这个 b 呢, 其实就是加班他的一些可执行文件所在的路径。然后呢在这里添加这么一句话, ok, 添加这么一句话,如果说你这句话会写错或者容易写错,我可以把这句话复制给你,千万别写错。反斜杠一定要向下反,百字号加弯 home 像那种啊,直接写完之后点确定。 那么如果说你是温七的同学,记着温七的同学呢,他的修改环境变量和我这个地方不太一样,他是应该是把所有的环境变量放在了一行上是不是啊啊如果说有温七的同学我跟你说一下你的这个环境变量的设置和我一样,但是呢你要添加到 pass 里面呢?他是这样的 他说呢呃写在一行上,比如说呢什么什么什么百名号呢?什么什么 u 字好不好这样子然后呢什么什么呃这个什么呃并 对不对啊? b 啊这样子应该是这样吧百文号百文号啊 b ok, 这样子然后呢你需要干嘛呢?你需要把这个地方光标放在最前面这行前面加个分号然后再加上刚才那个百文号加入后 写的时候一定要有有感情写不能不能写错啊,写错我告诉大家别人好使,你的不好使。 ok 一定要把它放在光标放在前面然后加上这句话啊那么怎么去回到前面呢?用一个 home 键我说这个的话可能温室的同学听不懂。温琪的同学如果你打开之后你的就是一行 就他有个框吗?他有框把你的框在一起然后你用 home 键回到最前面加上一个百倍号加入 home 百倍号 b 就行了好不好? ok, 那么加完之后呢再回到这里,那么啊这地方呢点确定就拍好了,你看我这里是不是非常详细啊非常详细啊,你按照我这个做就没什么问题。好,拍照好之后啊怎么 说明?嗯我这个加班后我们配好了追你需要做一个测试,测试的话呢?怎么测试呢?你如果说懒得测试,你只要你的开头能打开就行了好不好?只要开头能打开,那如果说呢,你想单独测试呢?你可以打开你的这个什么 cmd, 也就是你的这个道士 在这里梳一个夹腕,好吧,回车梳一个夹腕就行,回车他只要不抱错就行了啊,比如说你要是梳个梳个夹腕,他说什么呢?他说这个该命令没有发现,那么这个时候就废了,或者梳个夹腕 c 都行,你看这个时候他告诉你加班 c 用的不对,注意在这里输一个加班,或者输个加班 c, 你凭感觉他发现这个命令他识别了,就证明你的呃, gdk 安装好了,那么 gdk 的安装对于大家来讲没有任何的问题,你装错了,然后呢?呃,我可以给你啊帮助啊, 因为这个东西非常简单。好了,那么呃,这个安装好 gdk 之后呢,接下来我们要去装开头,请注意安装开头直接去挤压这个文件夹,你看啊,不是直接挤压这个压缩包,我们说开头他其实已经改名叫 pdi, 他叫 pdi 什么 ce, 这个我们用的是九点零那个版本的,然后呢,你把它解压在一个文件夹的下面啊,这个解压的文件下面,然后解压完之后呢,注意 它里边有一个什么呢?它里边有个文件夹叫 dat 樱桃 gurishand data gurishan, 里边呢,有一个叫 superne 点 but, 双击他就可以启动那个开头。 ok, 在我的桌面里边我已经有了一个快捷方式,咱们可以点右键,咱们可以进到, 稍等一下。咱们点右键啊,我这个点老老点错哎。点哦, 老公别稍等我一下。那这样。嗯,我点右键,他说我打印机。嗯,应该是我手抖了一下,他去干啥去了呢? 啊?我找一下吧哈, 我在 f 盘吧,应该是 f 盘, f 盘的话呢,你看我这里有没有啊?我这里边应该截到这里了 啊。解压到这里边之后呢,我来找一下,你看这里是不是有一个 dat grab 审,对不对?解压完之后他不叫什么 pda, 也不要开头,他就叫 dat grab 审啊,你注意这个文件夹叫这个名字。进来之后呢,注意他这里边有一个叫斯普恩。点 bet。 什么点 bet 呢?这个是启动一个脚本哎,在温度里边叫 bat, 在零 c 里边叫。呃,谁要脚本叫 sh, 你就启动它就行了。好,启动它之后启动它的话,如果, 如果你比较麻烦,每次还要进到这个文件夹,你可以在这里点右键。点右键之后他不是有一个叫哦发送快捷方式吗?发送到桌面快捷方式,那么这个时候会在桌面形成这么一个快捷方式,然后你双击他 稍等一下,他就可以打开了。稍等一下,他一个黑黑中端,然后一闪而过,他就可以打开你的开头,我们来稍微等他一下好不好?你看这个时候他告诉我 gdk 是这样子,他是不是找到了,找到之后他就可以启动了,那么这是他启动的一个界面,请注意啊,如果说你的 gdk 没有配好, 那么这个时候你的开头是起不来的,或者这样说你的开头起不来唯一的原因就是你几率可以没有配好,咱这样说好不好? ok, 咱们就等他吧,这个启动的话呢,因为他这个软件比较大,启动的时候呢,他在这会转圈圈,你这时候不要不要动他,也不要说无法响应了,你去把它杀死,没有必要, 咱们稍等一下啊,啊,把一切交给时间吧。那么之所以他会慢一点,就是因为你的电脑不够强大,你买个六十四 g 的 i 九处理器的啊,对吧?再加上两梯固态硬盘的,你看他快不快? ok, 稍等一下,我们来看他打开之后的样子好不好? ok, 呃,这里边我刚才是不是不小心打点了两次,好吧,咱不管他了。好,咱咱点开两次 啊,我刚才点的太快了,点两次。你看他这也在启动,不管他了啊,这是我们启动后的一个界面,这个界面好像不是特别漂亮对不对?但是呢这个地方有个欢迎界面,你可以把它关了。 ok, 关了之后呢,这就是他的主界面,这就主界面。那只要看到这个主界面啊,你可以很开心的说,我已经安装成功了。 好,这是我们这个开头的安装,那么关于开头的安装呢,我们就先说到这里。

下面我们看记录级的内连接操作啊,那么给大家举个例子啊,这是用户表,有用户编号,用户名称,联系方式啊,这是基础信息表, 那么这是订单表啊,那么也就是业务信息表,订单编号,所购商品总价格用户编号, 那么我们现在使内连接关联这两张表啊,那么通过什么关联呢?通过用户编号这个字 字段来关联啊,通过用户编号这个字段啊来关联啊,那么关联呢?关联的结果啊,就是我们 这个编号相等的,是吧?啊,你比如说啊,我们这张订单表,那么只有第一个用户啊,幺零零幺和幺零零二的订单啊,那么我们就关联啊,幺零零幺啊, 这是幽灵灵妖是吧,那么你找幽灵灵妖的记录是吧?啊,那么通过关联呢,就是把这个幽灵灵妖和幽灵灵妖灵幽灵灵二啊,这些这些这个基本信息和业务信息啊, 那么把这些信息放到一张表里啊,放到一个集合里啊,一个数一集里啊, ok, 那么我们 怎么关联啊?注意啊,我们这两张表啊,首先得需要排序啊,然后啊,通过这个季度机连接啊,我们这个连接啊,就是连接这两张表啊,然后选择内连接啊,通过 啊,用户编号这个字段关联啊,啊,那么这个表啊,是用户编号啊,我们就选用户编号 啊,那么这个表也是用户编号啊,我们选用户编号啊,在注意啊,这个是对应的这个啊,那么这个 这段如果不叫用户编号,叫用户编号一,那么这就是用户编号一,是吧?啊,就是,就是说他俩名字 不见得是起的一样啊, ok, 我们来做这个事啊,那首先呢,我们建立一个转换啊, 把这个转换保存, 那么书啊,是这个两个一个字是吧,那么第一个一个字,我们用的是这个 有色,是表是吧?第二个是这个订单表, 订单表, 然后啊,别忘了就是我们需要排序啊,这排序也是强制要求的啊,他应该是强制要求的啊,那么给这个 七个叫做啊优质排序啊,排序记录啊, 简单点吧,就如何排序吧。好了,那给这个 名字重新起一下子啊,然后啊,这个记录级连接啊,这个记录级连接啊,我们应该是 连接里啊,在这个连接 这个选项里啊,那么最后输出我们,我们把结果输入到一个三儿好了,把它连起来啊, 这个表 啊,我们选这个, 注意我们得要这个零七啊,至少零七的啊,添加 妈,这个自动闪过来啊, 添加, ok, 那么排序啊, 生血啊, 好了,关键我们看这配置啊,那么第一个步骤我们选这个优质词表, 第二个我们选这个奥特斯啊,这排序后的,那么他的连接类型啊,有内连接啊,左连接右连接还是全连接?我们选内连接啊, 那么连接的字段呢,我们获取一下子啊,我们通过用户编号来关联啊, 他叫用户编号啊,这是第一个表的啊,那么这是第二个表的啊,大家注意啊,他他俩的这个用户编号不见得都起的一样名字,我起的一样啊, 是为了方便啊你,你注意这个,这个是第二个表的用户编号啊,就说第一个表的用户编号啊, 和第二表的用户编号他俩关联啊,他俩名字不见得非得要起一样啊,这个千万不要误会啊, 他要求你强制排序,是吗?我们已经排完序了。 好了,这是连接后的结果啊,那么这是两张表的所有字段,你可以根据需要啊, 根据需要那么来选择。什么来选择这个啊?你的自己的自断,你比如用户编号,我就没有必要全要,是吧?呀?因为关联的用户编号肯定是相等的,是吧? 那么我运行啊, 那么这个是关联后的结, 那么这个结果呀,他只有用户一和用户二的这个用户编号啊, 我们来我们来看一下这个,一个塞尔啊, 那么这个就是啊,这个过年后的结果, 那么只关联这个相等的用户编号啊。

下面我们讲粪土转换啊,那么这是一个学生标啊,那么这是班级啊,这是成绩 啊,那我希望按照分组转换,我希望按照班级分组啊,然后呢,我再统计每个班级的平均分啊,我做这个事啊, ok 啊,我们看怎么做, 新建个转换保存说 a 二, 然后输入这个三 分组啊,我们需要进行排序啊,那么你不排序,他会强制要求你排序啊,然后我们这有个统计啊,分组 把结果输出到一个三啊, 是有的,那么我们 啊选零七的啊,浏览添加, 然后获取自断排序啊,大家注意啊,我们是按扳机来排序啊,按扳机啊,升取排列啊, 点击确定分组。那么我们分组的阶段呢?我们按扳机来分组, 按班级来分组。那给他起个别名啊,迟钝给他起个别名,叫做球 平均分啊, 就是这个别名,你可随便起啊,但是要有意义啊,那我们按什么按,谁来求平均分呢?按这个成绩啊,那类型啊,他给了很多函数啊,这是求平均分的函数啊, 这个需要选这个需要选,这个是你自己起的别名啊,确定啊, 那么他要求你啊,强制要求你排序啊,我们已经排好序了啊,输出啊, 输出的话 分组转换啊,那么这一个扳机,一个球推进去分啊,保存逆行, 那么这个是原始数据啊,那么这是排气候的啊, 按班级排序,看到了吧, a 班是一个一组, b 班是一组,西班是一组,按班级来排序啊,这步必须得注意啊,他给你排好序了,按班级啊, a 班, b 班,西班。 分组啊,那么 a 班的平均分是七十, b 班是八十五, c 班是一百, 我们用眼睛看啊,他一般啊,他平均分是七十啊啊啊他平均分是这个啊七十对吧?六十七十八十平均分是七十啊, 那么我们学习啊数据别做那么复杂啊。 b 班呢平均是啊,八十五是吧,西班就一个啊,平均一百啊。那么当然呢你也可以看这个 这块啊 是输出啊。好了那么这个愤怒转换呢也是我们经常用的这个 数据转换之一啊。我再说一遍这个流程啊那么这个输入啊啊你可能这个数据源是一个塞尔也可能他不是一个塞尔是吧,可能是存文本啊,也可能是数据库啊啊你不管你是什么啊 这户啊,我要获取这三个字段的值啊,然后啊我们需要进行排序啊排序,注意我们按班机进行排序啊,那么就是等到这个结果啊, 排好序啊, a 班啊,然后呢是 b 班然后是 级班啊,按班级来排序,然后是分组啊分组啊,首先你选择分组的阶段我们按班级来分组, 然后呢我对于这个成绩啊我求这个平均分啊,他给你了很多 聚合函数啊他给你系统已经给你了这些聚合函数啊你用就可以了啊。只有这个别名啊,是你自己起的微这个你自己起的有意义的啊一个字段啊有意义啊,不要搞些 abc 之类的东西啊。 那么这个是术术后的结果啊,其实他的结果就跟他的结果一样的啊。 这是分组,那么这个分组啊啊和我们睡裤这个赛克语就是格柱和拜啊啊是 一样道理啊,那格入和败也是聚合分组然后进行聚合运算,是吧?啊?只不过我们对这个数据啊啊进行分组转换啊, 我们想要这么一个这个分组结果,是吧?想要这么个分组结果啊,你就可以通过这个这种预处理方法啊,进行分组转换啊,就是这个啊。

下面我们讲多个文件合并啊,我们看这个应用场景,那么这是个商品表啊,那么他的书籍啊,是大数据技术书籍啊, 呃,这也是个商品表啊,所不同的是,是啊,他的书籍是数据科学方面的书籍, 那么这个也是商品表啊,那么他的书籍啊,是数据挖掘方面书籍啊, 那么我们呢,要把这三个表的数据啊,合并成一个文件啊,我们看怎么做啊?那么首先呢,我们有个一个三输入啊,一个三输出啊, 注意啊,我们合并的时候啊,在这个一四二输入这块啊,看怎么合并啊,那么找到这个文件呢,所在的目录啊,就是这三个文件所在的目录啊,大家注意啊,这个 这有个这个通汇符啊,那么这个通汇符啊啊,我也是经过查资料啊,给大家总结的啊,那么你比如说合并商品表点心啊,那么合并商品表 啊,合并的商品表的数据啊,那啥意思啊?就是 啊,所有以这个商品表开头的啊,后边是任意字符啊,用点心来同杯啊, 那么这样的话呀,我们可以通配大数据一杠大数据书籍,一杠数据科学书籍,一杠数据挖掘书籍啊,我们来做一下子啊, 那么新建,新建个转换啊,保存, 保存在我的电脑啊, ok, 一散输入,一散输出啊, 那么我们选这个 二零零七啊,那么我们呢,其实按照这个啊,这个格式的通配啊,找到我们这个路, 这是我们三个表啊,那么 这个我们就啊不需要增加了啊,不需要增加了啊,那么这这玩意就不需要有了啊,那么 我把最大化啊, 这个路径啊,这是个路径,那么通佩服呢?通佩服是什么为大家总结的啊?点星啊, 点心啊,是商品表店啊, 然后啊把我们的这个啊扩展名写上啊, x l s x 确定, 注意这个自断,那么这个自断的话, 妈呀啊,我们合并啊,这个数据啊,这些缩短都是多余的啊,输出啊, 我们来运行一下子啊, 那么三个表的数据啊,被合并到一块了啊 啊,就是这种形式啊。

下面我们讲拆分指端啊,那么这个是一个用户行为日志啊, 那么这个是日志的格式啊,他有 uzs, idus 内幕, usix 就是编号姓名和用户的行为啊, 那么他们之间呢?用分号隔开啊,你比如说有个数据啊, u 零零幺啊,这编号是 u 零零幺,他名字叫莉莉一啊,那他这个行为啊,啊,是这么记录的,掰,代表购买行为啊, 叫个下划线,他代表购买十次啊,比如说这个啊,那么 注意这个分号是英文的分号啊,用零点二,零点二,里外六位,他是评价行为啊,那么这有个下划线就是评价是五分啊,那么这个是点击行为啊,下划线点击一百次。 我现在有个需求啊,我想把这个字段呢猜成两个,一个是用户行为啊,一个是 他的次数啊,猜成这两个字段啊, ok, 那新建个转换啊, 保存啊, t 零三,台词三啊, 我输入的啊,是一个日志啊,出文本的日志,那么就是文本文件输入啊, 我通过啊,一个转换啊,叫做拆分自断的转换,那么我可以 将数据输出到啊,一三,或者说你指定的其他的关键啊,都可以根据业务需求啊保存, 那么我这个文本呢,找到我这个位置啊, 又是 spa, 大家注意啊,我这个 文本是以这自断之间是以分号,分割符是英文的分号,所以啊,你得处理这个内容,这块得有个分割符啊,分号啊,确保的是分号, 然后才能获取正确字段啊,啊,这个得添加过来啊,添加过来,别忘点添加啊,然后获取字段啊,如果你这个风格符搞的不 不对啊,或者的自断也不对啊,这就可以了,那么拆分,那么我需要拆分的自断呢,是由子是艾克森啊,大家注意啊,我这个分隔符啊, 通过封号的是通下划线啊,注意他是这条数据啊,通过这个下划线啊,拆分, 那所以啊,你把这个分割幅设置成下线 两个字段啊,一个是 x s 啊,我类型啊,是自助串类型,四吨啊,另外一个是这个激动的次数啊, 这是柚子,是一个,好了,拆成俩字段啊, ok, 那我输出的话啊,你指定啊,指定个输出啊, 呼吸啊, 这是新拆分的两个字段啊,运行啊, 这啥意思,看看这错误报错了 没有,什么日,怎么是红色的不能得到,这文件 全完成了,这没什么错啊,他有,因为他有数据了啊,你看啊,这是我们这个原始的日志是吧,那么经过转 好换后的日志啊,然后把它输入到一个赛啊,我们看这个输出啊,对不对啊?没有问题啊, 这拆分后的拆分后的结果。

下面我们看列转行啊,那么这个是用户行为的日志表啊,用户编号用户行为访问时间啊, 你比如说呀,点击行为啊,这个用户在这个时间啊,那么对这个产品产生点击行为啊,这个用户在这个时间 对这个产品产生这个浏览行为啊,那么这个用户在这个时间对这个产品产产生啊,收藏行为啊, 啊,那么这个用户啊,在这个时间对,那么某某个产品产生购买行为啊,那么 这组用户啊,是优质零零一啊,这组是优质零零二啊,那么根据我的业务需要啊,我想把它转化成这种格式啊, 我需要对这个数据啊,进行预处理啊,需要进行转换与处理,转换成这种格式啊,那么你看啊,他这个分组啊,这个行为啊,啊,是很有规律的啊,我需要变成啊, 他的自断, 那我是按这个用户编号来分组啊,按用户编号来分组, 那对应的值呢?这个字段对应的值呢?分别是这个时间啊,这个时间点啊。 好,我们看啊,我们七套的空间怎么做啊?我们七套啊,有列转行这么空间啊,其中啊,我们呢,这个 啊,分组自断呢,就是按我这个用户编号啊,你比如说啊,这个是,这有两种啊,按用户编号分组, ok, 那么我们关键阶段呢,就是这个用户行为啊, 这个用户行为啊,关键词断啊,这个值是多少呢啊? 那这个值啊,你看啊,每一组都很有规律是吧,那么你填这五个就可以了啊, 那么类型啊,就是紫木串啊,死俊呢是紫木串啊, ok, 我们看啊,这个目标字段啊,这是你转换后的目标字段啊,是这些啊, 这是目标自断啊,那这个目标自断呢,这个数据哪来呀?通过这个访问时间来啊, 就是这个访问字访问时间啊,当然呢,你要是别的字段呢,你得添别的字段啊。 ok, 那么我呀给大家做一下子啊,那么我新建个转换啊, 提瓶零九,这个输入,我们用一个色做输出啊, 然后啊,我们有个转换的空间啊,列准行 空间啊,这个列表行空间啊,大家注意啊,这个空间呢,他会要求你排序啊,那么我们呢加个排序空间, 然后你把它连起来啊,所以啊,这个空间坟墓啊,就是这样子的啊, 这个空间坟墓啊,是这样子的, ok, 输入啊,二零零七, 那这个文件呢?用户行为日志啊,就是啊,这些数据啊,那你实实际的数据可能有成千上万啊, 那么我现在演示啊,数据多了也无益啊,也没什么用啊,排序啊,获取之段默认按升序就可以了啊, 那么我们关键字段呢,是用户行为啊,分组啊,我按什么分组啊,按用户编号啊, 他产生的目标自断呐啊,你往里填就可以了啊,点击行为,浏览行为, 关注行,关注行为,收藏行为,购买行为。 那么这个数字段呢 啊,这个数据啊,就是啊,我们这个访问时间啊,经过分组后的访问时间啊, 那么这个 念字段的词啊,这个观音字段的词啊,啊,那么就是还是这些啊, 那类型啊,就吃不串吃不串。十寸 啊,学经济类的,商科类的啊,没学过编程的要注意啊,我们字串类型这里是四寸啊, 确定啊,你看他要求你排序是吧?那我排好序了啊? 输出啊, 那么输出啊,就是我们用户编号加我们这五个目标,目标中段啊,逆行啊, 那么这个是原始数据啊,这是排序后的数据啊,这个是我们啊转换后的数据 啊,转换后的数据我们把它输出到一个塞。啊,那么就是啊 啊?就是这种结果啊。

哈喽,大家好,我是小莫,今天说一下我们在运维过程中另一个非常非常非常重要的数据迁移工具。 开头,开头是国外一款开元的 et l 工具,纯加化编写,无需安装,因为只需要简单几步就可以实现数据的迁移抽取。他有几大工具破工具 可以允许通过图形界面来进行设计。 etr 转化过程判工具是一个后台执行的程序,没有图形界面,类似于时间调度器。 shift 工具,任务通过允许每个转换任务脚本更有力的自动化更新数据仓库的复杂工作。最后一个 k 衬工具可以批量使用由 shif 设计的任务,同时开头支持多种数据源的 数据迁移,数据转换,比如最常见的关系型数据库,开元的满色扣,还有关系型数据库,最著名的奥瑞扣, 以及色勾、色沃等等一系列的主流数据库都是支持的。因仅支持这三大数据库已经差不多满足了很多公司的一些需求,因为有些公司用的数据库都是很单一的,要么就是纯满色货,要么就是 纯的奥瑞口,像传统行业用的奥瑞口比较多一点,像一些小单位的话,可能用的 sorry 也会多一点,基本上就这些可以满足,但是开头还更加兼容了一些 意想不到的水库。而且现在开斗所支持的系统版本是比较多的,比如 windows max、 maxos 等等一系列的操作系统, 也就是说不管运维在哪种工作站情况下使用,开头都是可以支持的。而且开头还有更加多的一些功能,比如 全部迁移、分表迁移、增量迁移等等等等,一切的迁移都是可以进行的,而且开头上手操作的话也是比较简单的,你可能只需要拖拖拽拽等等一些 简单的操作,就可以对一个数据库进行一个全库迁移等等,所以说对于用人来讲,开头是一个很好的一个工具,而且既简单又便捷,很清亮,大家可以看一下哦。

下面我们讲将一列拆分为多行啊,那么这是一个数据转换与处理啊,好了,这是这个用户的行为日志啊,那么用户编号,用户名,这是行为啊, 那么我们有这个浏览行为关注行为啊,这是这个编号的,那么 u 零零二这个编号,他购买行为和评价行为, 这个编号是点击行为和收藏行为啊,那么我们呢,将这个数据预处理成这种结果啊,就是 第一个用户啊,他有这两个行为啊,将这一列啊, 那么将这列啊分分成这个两行啊, 我们要的是这种结果啊,我们看怎么做啊? ok, 那么首先呢,新建一个转换, 把它保存啊,随便起一个啊,那么这是个一个三十五啊, 我们输出啊,把这个结果啊也输出到一个三,然后他有个 转换的空间啊,裂拆分为多行啊,这个空间按事故,他把它连起来,拖这个鼠标把它连起来啊, 那么一个三,输入啊,添加获取自断啊, 啊,我们看这个怎么配置啊,那么我要拆分的字段呢,是用户的行为啊,注意啊,我们用这个分割符,是分号啊,这是分号,注意,这是英文的分号啊,不是, 不是,我们这个全角的分号是英文的啊,英文这个分号啊,啊,这是这个按分号拆分,那么新自段名啊起, ok, 就配置这两项就完事了啊,输出啊,我们搞一个 或许这个自断,注意啊,我们不要这个自断啊,我们要声震后的自断, 要这个用户行为 out, 要这个阶段啊, ok 啊,保存运行, 那么这个是啊原始数据啊,那么这个是分割后的结果啊, u 零零一啊,两条数据, 扭转行为,关注行为啊。六零零二也是两条数据啊,购买行为和评价行为,这是原来的数据啊,不用看他啊,那么我们可以看看啊,这个输出后的结果啊 啊,这是输入后的结果啊,我给大家放大一下子。

我们的数据模板界面可以管理我们平台中所有的模板信息。点击添加模板,我们来添加一个模板模板编码,模板编码只允许英文大小写以及下环线和数字的组合编码为一。 模板的名称主建列,主建列是一个选择项,我们必须配置模板之后才可以进行选择。我们这边有三个区域,这个是我们的选择选项区域, 把他们拖拽进来进行编辑,在最右边,这里是我们每个选项的一些属性,我们可以跟 根据自己的需求来修改他们的名称,数据类型以及他们的一些开关。这里有个需要特别注意的地方是,如果我们的数据类型是整数长整数小数的话,我们会有一个数据分析的开关, 我们把这个数据分析开关打开之后,我们的数据应用界面就会,呃,在数据报表和数据趋势这两个模块之中,就会展示我们刚才配置的那个内容。 我们配置模板完成之后点确定保存就可以了,这个时候我们来选择主间列,配置完成之后,我们 点确定进行保存。我们也可以对我们之前已经配置的这个模板进行编辑,点击配置模板, 我这个时候我们的模板编码,模板名称这些信息是不能再次进行修改的,我们只能修改模板的信息,比如说我们的这个模板,呃,利润和销售金额这两个是有数据分析的, 我们在数据应用这个位置,你可以看到销售金额和利润。

下面我们看异常值处理。那何为异常值啊异常值啊就是不正常的值是吧。啊你比如说这个商品这个书 那么书的价格啊他不能为负数是吧。啊你不能说是负四百元负五百元是吧。啊一般来说这个书的价格呀一般来说啊不会超过一千是吧啊很少超过一千是吧。啊那如果我们是一个这个 大众的书店啊这个大众的喜欢书店是吧。这个书啊一般一千块钱以上很少啊啊那除非极特别的是吧那么就是我买这个辅导书啊买一套啊一般来说呀也没有一千块钱啊 假设我就把这个超过一千以上啊就是个异常值啊那么超过零元以下呀他 呃也是异常值啊这个书的范围啊正常值是在零和一千之间啊那么如果你的业务特殊的话你可以规定啊两千三千都没问题啊啊这是一般情况下啊啊 ok 我们呐假设这个异常值处理啊我们啊可以把它填零是吧,或者说是填个这个平均数啊或填个种数啊都可以根据你业务需要啊啊 是这样对吧啊 ok 啊那么我们怎么做啊啊我这里 呀给大家呀这个一种处理方法啊一种参考的处理方法啊。我建个转换啊保存这个转换那么 我建个我做一个这个参考的方法啊,你也不要这个升班一个套啊,你根据你的自己的业务需要啊啊我这个 啊做个一个四二输入啊那么我把这个转换的结果啊也输出到一个四二里啊简单点这个四二是常用的。所以说我把它输入到一个四二里啊,那么我有这个异常值啊这个检测啊我们检测这个数值范围啊, 我转换转换里边我有一个这个数值范围啊有这个数值范围监控啊啊有这么数值范围控件啊,连连啊。 ok 那么输入的话就是我这个一个三啊,我选这个两千零七的啊,就是这个选添加那选自动 啊,这个三个自动都要啊。确定啊,那关键我们看这个啊, 那么这个我对哪自断镜控制对商品价格啊。 ok 那输入自断呢?我就起个名字叫做啊异常值 异常之检测啊,那如果 啊他不在这个范围内啊,那么啊根据你们业务需求啊啊假设我就填个平均数是吧啊这三个数的平均数啊啊这个 呃他平均数是二百啊填个二百那你也可以填个种数是吧填个种数是吧,或甚至你填个 你想要的数啊。那么这个啊我就规定的是 多余的不要啊,他的下线呢不能小于零是吧上线呢啊根据业务需要比如说我这就是个大众书店啊,基本没有多余一千块钱的书啊。那么多一千块钱书啊就是不正常啊,一本书一千块钱 那么不太正常啊。啊不是说没有啊,就是你根据你的情况你感觉你的店里啊有可能 都有三千块钱的书啊,那你写这就写三千是吧。啊那这个值啊是什么值啊?是正常值啊,如果 在这个范围内是正常值是吧如果超过这个范围啊我把它啊添零啊啊添二百啊,那么他就属于这个 一长直一长直我就把它变为二百啊,当然 就可以把这个空架起个名,是吧?你把这空架起个名啊?牛奶, 这是刚才那个字段 保存运行啊,这个就是我们这个输的数据啊,这个负四百、四五百,负五百啊,那么这空间啊,啊, 就是检测啊,我们有个字段啊,那么这一百是正常二百,正常三百,正常负四百啊,他是异常,是吧?啊?那我把它添这个,这这这只把它改成二百啊,这都改上改成二百啊,当然这个 输出也是一样的,是吧?输出啊,你也可以看一眼啊,输出 是这个样子的啊。