一分钟了解离线竖舱 离线数据仓库是只通过批量方式获取、处理和存储大量历史的数据仓库系统。 他可以从不同的数据员中提取数据,并进行清洗、转换和加载,最终将数据存储于数据仓库中, 以便用户进行查询、分析和报告等操作,提供了强大的数据分析和决策支持能力。离线数据仓库一般有一项功能,数据集成,从多个数据员中提取数据 进行清洗和转换,使其适合分析和查询。数据存储,将数据加载到适当的存储介质中,如关系型数据库、 烈士数据库或分布式存储系统。数据查询提供强大的查询功能,支持复杂的分析和报表需求。数据挖掘通过应用数据挖掘算法和技术,从数据中发现隐藏的模式、关联和趋势。 数据治理,确保数据的一致性、准确性和可靠性,同时遵守数据管理和合规性要求。决策支持离线数据仓库提供的丰富的数据查询和分析功能,帮助企业进行准确、全面的数据分析, 从而作出更明智的决策。历史分析离线数据仓库保存了历史数据的变化,可以进行趋势分析、模式发现等,为企业提供深入的历史数据分析制 支持。当然,离线数仓还有许多其他特征和属性,如数据质量、原数据管理、数据安全等。架构设计。数据源离线数据仓库的数据源可以包括各种类型的数据,如关系型数据库、日制文件、雷劈接口等。 数据抽取,使用一些工具或自定义脚本从数据员中抽取数据,并进行清洗、转换和整合数据存储,将清洗和转换后的数据存储到数据仓库中, 可以选择关系型数据库。分布式文件系统,如 had you, 被 gifis 或列式存储,如 tity party。 数据处理使用批处理框架,如 touch spark the title。 还对迫自定义脚本对数据 进行处理和分析。数据查询和分析使用查询引擎乳 catch five preso 或可视化工具对数据进行查询、分析和可视化展示。离线数据仓库涉及到各个组件。 那拍这哈六谱,一个分布式计算框架,提供了 e, d, r, c 分布式文件系统和 marborus 定型计算框架等核心技术,适合存储和处理大规模的结构化和非结构化数据 的排气化。 f。 基于哈 do 的数据仓库基础设施直指 s, k, u, l 查询和数据转换操作, 能够将 s k u 语句转化为 map prejudice 任务,执行 attaches 八二撇,一个快速通用的分布式计算引擎,提供了高级别的 a, p, r, r, swap, k, s, u, l 和图形处理框架,如 groux, 适合进行大规模数据处理和机器学习任务。 my s, u, l 一个轻量级的关系型数据库管理系统, 对于中小型规模的离线数据仓库搭建和使用,较为适合 datex 抽取采集数据系统开源。
粉丝2265获赞1.2万

对于书方来说的话,我觉得这么几块必须要掌握的,因为企业里面首先有很多业务数据,对吧?因为业务数据里面他可以分析九级,所以说你如果去自上而下去规划这个数据总线这一块,这个业务与我的我的数据与我的分析主题,然后业务过程你就有能够知道怎么去把这个给他梳理出来,我觉得这是, 呃,这是一个比较概念化的,然后在这个下耳上你去落地的时候怎么去做分层,对吧?你首先就是说给我的新型模型最常用的是尾度键模吧,对吧?我的新型模型就不表示的这个对应的概念,怎么个处理法?呃, 对,就是我的新型保险怎么去建?然后呢?我的 ts 层就是我的明细层,我的会等层,对,我的硬层非得要去做什么样的事情?这里面我们作为数据产品你肯定是要一清二楚的,你可以不去做,但是你对于每一层上你要做哪些事情你肯定要很清楚,所以自断取得频率都要需要清楚。 哇?对,又说我由天然层到明信层,我要做点事情,我举个例子吧,就是说我现在有一个定点,里面定点可能有一个,有一个时间,年月日十分秒,对不对?嗯,那我要再做到明信层的时候,我要把这个资料做什么的处理呢?对不对? 又说我后面我要可能会经过按年纪的按月计算,按日计的生活,我在这里面我就把这这一时间哐哐哐给他拆成好九子的,等于说我的最小礼物是日,那我就给他拆出来日年年月日季,对不对啊?这个半年的或者什么的,我给你个要给他拆分, 拆出这些力度来,还要清楚,你说指标跟书房里有什么关系?你是圆的指标,拍成指标符合指标,跟书上指标选什么关系,对吧?拍成指标就跟原子指标加涉嫌一些业务现金加上成绩力度什么,这我都我们都要清楚,那就是我们在谈一个指标的时候, 一个是从业务测试出来的应用户指标、行为指标、业务指标这三类指标,然后呢我们再去谈这个指标的应用层次的时候,就需要知道原则指标、开始指标、复合指标, 哇,因为他这个这个层的话是跟这个树舱的层级去对应的。然后呢,你要去加工的话,你要知道怎么加工,就临时书方怎么去加工的,实时书方怎么去加工的,对不对? 它里面的你的设计到底是大碎的一个框架,这个离离像素,当你说我们搞天一就行了,天一就明白啊,对吧?嗯, ok, 我们去跑任务, ok, 我定一个任务,每天晚上,每天晚上凌晨去跑,跑完之后我会第二天业务人员就可以用了,对吧? ti 一,我第二天业务人员,其实我看到的是, ok, 从历史到前一天的时候啊,然后你们时时的,现在还有很多些时时的一些异常,你比如说,那我们就需要了解一下卡布、卡尔、布林克这些,呃,大众平台一些组件啊, 然后呢?他的逻辑是什么原理?销售商与什么关系?实时的方式已经很多了。对对,就今晚上,我们现在给别人搭的这种什么第一方的微信系统也有这块,当然你在群里的时候可以,对于离市离线实施的话呢?我会一天,而工具对不对 啊?这个什么这个建模工具啊?干硬模型、物理模型分为他是发挥了一个什么作用,为什么?当然你建个表主意推保这个很容易, 但是我们为什么要这么去做?我们在见面的时候,我在书房的时候,我们去怎么去结合数据治理,对不对啊?要把数据治理要给它融入进去,怎么去融入?比如说库级表及自然几, ok 这个位子什么的我们都要去融入进去。从数据的时候实质性、流量性、一致性、完整性啊、维系性啊, 他每一个里面有哪些规则是要给他去融入进去的?规范什么的都要可以融入进去,就是在厨房那块。

离线数仓开发用 spark 还是用 have circle? 这个问题呢?是一个星球球友提出来的,相信对于很多做数仓开发的小伙伴来说,是一个大家比较关心的问题。对于当前大数据背景下的数据仓库建设来说, 汉武几乎已经成为离线速仓的标准解决方案之一。汉武最大的特点在于它可以依赖 h d f s 这个分布式文件系统 能够无限横向扩展的存储能力来存储海量的离线数据。而且对于这部分存储的数据来说呢,他不像其他的普通查询数据库,只要你不对其中的数据进行分析, 它几乎不占用任何 c p u 和内存资源。对于汉武来说啊,你既可以把它当成一个 o l a a p 工具,用 have circle 对其中的数据进行数据分析,也可以把它作为一个带有表结构的数据员,用额外的计算引擎对存储在其中的数据进行分析计算,比如 spark。 既然这两种方案都能够达到对数据分析的目的, 那么作为开发者该如何选择呢?我们先来看 have circle, 这种应该是当下最简单的输仓开发方式了。对于 have 来说呢,优点是它天然就提供了 circle 语法以及对应的默认计算引擎。 开发人员只需要根据业务需要针对特定的表来编写对应的收口,就可以达到业务开发的目的。他对于开发人员的能力要求最低,普次性也最广。但是呢,这种单纯的 收口开发方式缺点也很明显。第一个,他屏蔽了大量的数据底层处理原理和计算逻辑,对于开发人员来说,上手难度虽然小,但是对于你的技能拓展来说是不利的。 第二个,你所有的计算都只能围绕在 have 内部进行数据从 have 中读取,计算结果呢,也只能写到 have 表中。 对于要求更高的业务来说,比如你要把计算结果写入到其他数据库, have 是做不到的,在使用上有比较大的局限性。第三个呢, have circle 虽然也很强大,支持各种的 udf, 但是对于一些更为复杂的计算场景来说,比如在我的大数据项目中,对于汉务表中的 ip 之短,我如 如果想要关联存储在 readys 中对应的地理位置信息,单纯用 have circle 就很难做到,所以他无法满足跨不同数据库的数据处理场景。而如果用 spark 的话,以上描述的三个缺点啊,全都能解决。 spark 通过读取悍马作为数据员最大的优势之一在于提供了自由度更高的数据计算方式, 它不仅可以用折扣的方式对数据进行处理,还可以用算字对数据进行更细力度的计算。而且像刚才提到的,如果在数据处理过程中需要读取第三方数据库 redis 的话, 它可以通过编写相应的连接 radis 代码,很轻易的就能做到。而且只要你愿意, circo 跟算子的计算方式还可以在同一个 spa 程序 同时使用。其次呢,以我的项目经验来看, spark 可以做任何跟数据相关的复杂计算,只有你想不到,没有他办不到。再一个呢, spark 兼容的生态非常的广,你读取 hot 的数据,经过各种计算之后, 最后想把结果存储到任何地方都可以,非常的灵活。当然用 spa 做数据计算也是有缺点的。首先呢,他增加了系统的复杂度,毕竟多了一个技术组建嘛, 而且对于开发人员的能力要求也会更高。这个东西啊,如果用不好,不但提高不了系统效率,还可能让你的系统变得更加的不稳定。最后,至于这两者该如何选择,就看你如何去取舍了。

数据仓库、大数据平台、数据中台、数据壶到底是什么?最近有很多小伙伴问起关于这些概念的区别与联系, 其实网上有很多对于这些概念的解读,说实话看的我是云里雾里,每个汉字我都认识,放到一起我却看不懂,尤其是最近几年炒的很热的数据符概念,被传的是神乎其神。 我找到一个比较权威的解释说数据壶的概念分为狭义的和广义的两种。狭义的数据壶指的是数据壶存储 即可以存放各种格式的海量数据的地方。而广义的数据壶除了数据存储之外,还包含了数据的管理和分析,提供数据目的数据服务以及 统一的数据访问方式。我想说,纳尼,就这?这不是任何一个完善的数据处理系统都应该干的事情吗?怎么就变成了你数据服专属的呢? 好吧,为了帮小伙伴们理清这里面的来龙去脉,下面我就从数据处理技术的历史发展角度来聊聊我的理解。首先第一个要说的是关系型数据库。 数据库技术诞生在一九七零年左右,当时的代表性产品为 ibm 的 db two、 oracle 公司的 oracle 数据库、微软公司的 serk sever 数据库, 当时主要解决的是数据管理和使用问题。我们知道数据放到数据库中的目的是可以根据业 需求进行组织和管理,因为数据库中的数据是经过业务要求排序的,所以查询起来可以以非常低的时间复杂度拿到你想要的数据 数据库满足了当时对数据使用的需求。这个时候企业一般以业务线为单位建立各自的数据库系统,比如财务系统数据库、 erp 系统数据库、 销售系统数据库等等。最初企业对数据库的使用相对简单,当然当时的数据量也不大,所以当时单点的数据库 就可以满足企业对数据的所有要求。总结一下普通数据库的特点,数据量小,数据保存时间短,支持 a、 c、 i, 及时性高,以业务线为单位进行建设。但是随着时代的发展,企业的数字化程度越来越高,数据量越来越大, 对数据的重视程度也越来越高。为了满足企业对数据的存储以及分析需求,于是这个时候就出现了以多个节点存储为基础的数据仓库。 但是本质上还是基于传统的关系型数据库技术,只不过在原来的基础上进行了分库分表操作,使得数据在存储和分析上得到了很大的扩展。 典型的数据仓库有 terra data、 d, b、 two、 oracle、 six seven 等等。起初,数据仓库的主要目的是承载企业所有的运营数据,所以数据仓库的一个 很重要的目的就是来对企业的各个业务线的历史数据进行汇总和分析,用于更好的为企业运营做决策。由于存储的是企业级的数据,数据量大,业务需求复杂, 为了方便高效的支持各种不同的业务需求,于是数据仓库提出了数据存储分层的概念, 典型的分成有 o、 d、 s、 d, w、 d, d, w、 s、 a、 d, s 等等。分成最直接的好处就是可以根据分析需求对数据进行复用。一般情况下,数据仓库的数据员 来源于企业的不同业务系统,比如上面提到的财务系统、 erp 系统、销售系统等等。总结一下普通速仓的特点,全量离线、 企业级保存时间长,分析需求量大。时间到了二零零六年前后,随着移动互联网的崛起,数据爆发性增长,发现即便是传统的数据仓库技术也很难满足如此爆发性的增长速度。 而且企业级的数据仓库,高昂的软件维护费用让很多公司望而却步。而比时,大数据技术哈杜刚好被提拉出来, 凭借完全开源免费以及可以运行在普通廉价的服务器上的特点,迅速火遍了整个互联网。传统的数据仓库纷纷进行技术转型,将原本离线分析业务转向航路。 而随着大数据技术的持续发展,牛皮一体技术的日趋成熟,对应的开源生态 也日渐完善,传统的数据仓库占有的比重越来越低,这个时候很多企业都把重心放在对数据处理规模上,大家都在比拼谁的数据量大。也就在这个时候,大数据平台这个概念被提了出来, 目的是用大数据技术来统一管理企业所有的数据。总结一下大数据平台的特点,架构复杂、开放圆满、 软件免费、超大数据量、全量分析、牛皮一体。但是随着企业数据的不断沉淀和业务的不断扩张,对数据的需求也在不断变得灵活多变, 尤其对于大公司产业,此时对数据的处理性能、稳定性、成本安全以及灵活性 提出了更高的要求,于是就提出了数据中台的改良,网上对中台的解释也是众说纷纭, 其实说白了就是一个支持功能更多,包容数据量更大,能成长更多数据需求的大数据平台。而近两年数据壶这个概念又被炒的火热, 正所谓外行看热闹,内行看门道,危机百科对数据壶的解释是这样的,嗯, 说实话,我没看出跟我们平时的大数据平台或者数据仓库有什么本质的区别,无非就是提出来一些虚的、 大范的概率,比如兼容更多的数据类型、数据计算类型、数据呈现方式,来对一堆能够完成企业 数据使命的技术进行包装吧。也许对于公司老板行业,这种包装是其拿下项目,搞定甲方的财富密码, 但是对于一线的技术人员来说,是比较讨厌这种玩弄概念的方式,他会让很多想入行或者刚入行不久的新人非常困惑,这就好比现在大家都讨厌互联网黑化一样,好好的人话不说, ppt 上整一堆像什么赋能、对齐 拉手、拉通、组合拳这些专门唬人的名词,以为能显示出自己的高大上, 殊不知听的人心里可能在骂梁。其实对于技术人来说,无论你起什么样的名字,亦或吵什么概念,归根结底就是要构建一个能够给企业提供价 价值的数据处理系统,最终都是要落地到具体的实线上的,只要能够把具体的事情做好,做完善,让数据能够规范、稳定、安全、高效、灵活的为企业提供价值。你爱叫什么叫什么,你说呢?

那今天我来跟大家聊一聊数据仓库。那聊数据仓库之前,首先我要打破大家的一个误区,就是所谓的数据仓库,它并不单单是一个数据库,或者是一个数据存储。其实数据仓库它是一套对数据管理的方法论。 那我们说数仓的模型,它其实会有涵盖两层的含义,一层是对数据管理模型,也就我们常说的分层的模型, 比如说数仓的中间层的模型。有人说数据仓库在建设的时候,他会把数据去进行分层管理以及分层加工处理。 那对于数据仓库来讲,其实整个数据链路上,我们说可以分成 ods 层、 dwd、 dws 以及 adm 的应用层数以及式。那其实这里面 真正含义上的竖仓,我们更核心的是中间层,也就我们所谓的 dwd 和 dws, 那一层是明细,一层是高力度的汇总聚合的数据,那这个是竖仓中间层分层管理的模型方法。其实具体在这个分层中, 那实际数据表在构建的时候,我们是基于拼报的多为建模的方式,也就是说基于事实表和维度表的这种方法去进行建设的。所以说数据仓库它单单是一个存储数据的地方, 而他更核心的是按照我们既有的模型方法去合理的去对数据进行分类管理、加工处理。也就是说我们整个的一天二过程是严格按照规范来进行的,这样数据仓库才能保障数据的一致性、准确性。

面试问,你对树仓项目有过哪些优化和贡献?一段时间以来啊,看过了很多小伙伴们的简历,这里面呢,有很多同学的树仓项目其实都是包装出来的,而这些包装出来的项目啊,基本上都有一个共同的特点,那就是工作内容描述都过于雷同, 比如一成不变的利用工具接入数据员做 e、 t、 l, 接着呢就是数仓的分成,然后就是写业务 c 口等等的这些老套路。 不是说简历这样写有什么错,而是大家都这样千篇一律的去描述自己的项目内容时,会让筛选简历的面试官啊产生审美疲劳。 而且最关键的是,很多人在写简历的时候,根本就没有在意这些描述背后的细节,只是一味的套用模板来完成任务。 在当面试中被问到比如项目中做过哪些改进和优化时,很多人就一脸懵逼了,因为压根就没有思考过这部分内容。 而且像这种问题啊,恰恰是现在一些务实的面试官最喜欢问的。像这种能反映出个人能力,实实在在提高整个出场效率的优化方式有很多, 今天呢,就给大家讲一个从树仓架构层面的优化案例,供你参考。我们知道,大部分的树仓项目在建设之初呢,都是离线的,但是随着公司业务不断的发展,上游数据员也会随之不断的增加, 这样一来呢,下游的离线计算压力自然就会越来越大。那么这个时候我们首先能想到的就是去优化当前的离线计算逻辑,比如最常见的 就是优化收口,让他跑的更快一些,但是呢,这样的优化效果他是有保质期的,当上游数据持续性保持增长时,这种优化方式很快就会满足不了要求。 这个时候该怎么办呢?一个有效且务实的办法就是优化当前的计算价格。要知道啊,离线计算一般有个特点,那就是他必须依赖上游的处理逻辑,全部完成之后, 下游的计算才能开始。比如,对于一个具体的离线任务来说,需要等到上游的数据经过接入 etl 处理,然后数据教练在存储的一系列操作之后,才能够启动下游对于数据的计算。 这样一来呢,在启动集中的离线计算之前,会导致集群中有大量的计算资源是处于 闲置状态的,而且随着上游数据量的不断增加,下游对数据集中的计算时间会越来越长,而且占用的硬件资源也会越来越高。 那么一个比较有效的优化方式就是根据不同业务的计算特点,将其分为增量数据的计算以及历次全量数据的计算两种。将那些只涉及到增量数据部分的业务计算从原来的离线价格中剥离出来, 也做成时时或者准时时的任务。将这部分的数据员获取方式也从原来的以天为周期或者小时为周期的离线方式 优化为实时获取或者分终极力度的获取,再利用流式计算引擎,以小批量多次的数据处理思想对其进行七成二十四小时不 间断的计算。这样一来呢,不仅充分利用了原来可能闲置的集群资源,同时呢,也可以减少之前集中式离线计算在启动时瞬间需要计算大量数据可能引起的资源紧张问题。 生产经验证明呢,这种通过将纯离线架构升级为实时加离线的速仓解决方案,不仅能非常有效的提高原本的计算效率,而且还能够有效提高整个机群资源的利用率。如果在面试时,你能在这个维度上说出你的一些见解和观点, 并且能把过程中的各个细节考虑到的话,那么我相信一定会让面试官眼前一亮。

数据仓库为什么需要分层?不知道做过数据仓库开发的小伙伴们有没有想过这样一个问题,那就是我们在进行数据仓库建设时,为什么要对存储在其中的表进行各种分层设计?要知道,对于一个数据处理系统来说, 理论上我们只需要把数据从数据原端接入到数据处理端,然后各个不同的分析需求分别提取同一份数据源,进行各自的计算操作, 最终输出各自需要的报表结果就可以。也就是说,数据仓库的建设如果只是从满足业务分析需求这一个点出发的话, 其实一个 ods 省就足够了。但是呢,随着数据仓库中接入的数据来源越来越多,数据量呢也越来越大,且此时也对 应着更多的业务分析需求。在这么多的分析需求提取同一份数据员后,我们会发现,在后续的计算过程中,不同的业务需求之间存在着重复的中间计算过程,而这些重复的中间计算过程呢, 随着业务分析需求量的加大,这个重复计算的次数也就变得越来越多。那为了避免这种无谓的重复计算所带来的计算资源的浪费,同时呢,也为了提高各个业务需求分析的效率, 因此就想到把这个共性计算部分给提取出来,形成固定的中间层。而且这个中间层数据啊,不用等到每次业务分析需求开始时才计算,而是只要数据员一旦进入到数据仓库中,就可以开始并把计算结果保存到中间状态表 中,提前为各个业务需要做好数据准备。又因为随着业务需求的复杂性不断增加,这个时候呢,我们又会发现,为了提高这个中间数据的适用范围, 需要把这个中间数据根据其功能和特点进一步划分,于是就逐渐形成了。现在我们看到了业界比较统一的根据不同数据功能的分成方式。数长分成的核心目的是为了解决数据重复计算 模块之间能够富有以及数据功能的结构。合理的数商分成能够快速响应多变的业务需求,同时能够提高开发效率以及减少业务报表生存的时间。

数据仓库组主要负责数据仓库的设计建模、 etl 任务开发等等工作。数仓呢,在小组内一般都是一波人搞啊,业务分析、数仓设计、任务开发等等都要去做。数仓开发呢,负责把业务系统的数据抽取到数据仓库, 然后根据分析应用需求建设树仓模型,开发对应的 etl 任务,形成多个主题的分析模型,供分析师和业务系统调用。以做一周的菜。来做个比方啊, etl 呢,就是收集做菜的原料,初步摘菜、洗菜、加工这样一个过程啊,树仓呢,是根据不同的口味偏好,就是我们所谓的主题语啊, 将 etl 产生的原料加工成为不同口味的每道菜的过程。最后呢,根据自己要招待的客人需要,然后把不同的菜随时呢劈成各种档次的定制佳肴。

你像树仓以后会被这个实施树仓取代吗?都不会,这些都是平台化的,不管说是实施还是离线,在中大上的玩法都是平台化的,就是在页面上写涩口,无非是底层执行的是这种离线的涩口,还是说整个流逝的弗林的涩口,无非都是涩口。是的,我们现在目前接触到其实也就是在页面上写字。所以你最核心的是独业,我呀 就是一套都是,都是那样。你做这种搜狗本你肯定不能做一辈子呀。你要想起未来的发展方向,是往商业分析,往数据分析转,还是往产品操去转?

啊,大家好,今天将由我来给大家介绍一下广告实时数商建设的一些实践。首先我们来介绍一下广告实时数据 啊。在互联网广告业务中,参与方主要包括三方,一个是广告平台,这个主要是各大互联网公司的一些广告平台,第二是 c 端的一些用户,第三是 b 端的一些广告组。 啊,这个其实 b 整个互联网广告业务其实更偏的是弊端。对,然后弊端的广告组,他向广告平台提出自己的营销诉求, 然后并且设计投放。呃,把自己的广告展示在各种 c 端的产品上,然后呃,在 c 端的用户点 及各种产品和商品和服务。之后的话,把 b 端广告组的一些服务触达到 c 端的用户,然后 b 端的广告组完成自己的一些营销诉求。 对,然后在互联网广告行业中间, c 端目前主要包括 a、 p、 p 端、小程序端、 p、 c 端以及一些其他端。 哎,这些端中间。目前啊,在移动互联网行业,移动互联网是占了一些绝对大大头。 公开的数据显示,在移动互联网, ipb 端的广告收入占到百分之八十九,将近百分之九十。而一项小程序、 pc 等各端基本上只占了百分之十左右的一个收入水平。移动互联网是现在目前的一个主流, 而在更早期的时候,呃,可能在 pc 互联网行业中内的广告收入其实占的比例会更大一些。 还在广告平台,广告平台主要有几大系统,有包括 crm 系统, cm 系统,主要是做客户关系的管理,主要是对广告组的一些进行管理, 然后有很多多的一些投放系统,主要把广告组的一些呃广告一些素材,包括一些营销的一些诉求投放在这个 c 端。之后有一些计费系统,然后对广告组投放的一些广告进行一些实时的计费, 这里包括一些效果广告。对,目前行业内比较多的一些是 o c p 叉的一些广告。对。 然后运营系统,运营系统主要是呃,在广告投放完之后,内部的一些运营销售人员对广告的一些投放的效果进行一些运营分析,还有一些对广告组的一些流程 的一些啊运营的工作。然后财务系统,这主要是广告的计费系统和公司的一些财务结算考核系统进行对接。营销系统主要主要是一些啊创意制作平台, 以及广告组通过这些创意来制作自己的广告。对啊,对于广告组而言的话,他主要的营销诉求除了像展示广告这一类,是为了展示自己的品牌,当自己的品牌触达 打一些客户。哎,更目前使得这种互联网行业的一些竞争的加剧,以及各行各业竞争的加剧。其实不管是展示广告还是效果广告,其实广告组层面都比较重视自己的营销的效果, 他们更多的时候是会通过一些商品和服务的一些售卖以及转发的一些情况来衡量自己的广告投放效果。对 啊,在目前啊当在啊刚刚介绍了一下广告一些业务 哎,互联网港澳行业的实时数据的一些经营价值,我们主要分三块,第一块就是实时数据的一些可视化, 这块和离线数据的一些可视化是呃比较类似的啊,这些可视化的一些核心的点主要是一些可视化,一些 kpi 的一些实时数据,那比如说最主要的就是一些收入和消耗 数据,那对于一些算法团队,那可能他的合适的话的数据包括一些 c t r 的啊, c b r 的一些数据啊。第二块就是一些广告投放的一些看板。这块的话可能面向的是啊弊端的一些广告组 哎,广告主,他需要也要知道自己投放的一些广告的一些效果,尤其是像啊五幺八啊,六幺八啊,双十一双十二这些运营活动这些这些互联网电商节的时候, 他们需要非常知道自己的一些目前广告投放的效果,以及投放广告之后对自己拉来的一些客流以及转化的情况,来及时的调整一些预算 啊。最后一块是通过实施数据的一些可视化的话,可能会建设一些营销策略优化的一些看板。 对,然后这一块的话主要是刚刚提到,就是说类似于在双十一那互联网广告组的话,他们需要知道自己投放广告的效果,来及时投放自己的一些啊营销策略 来保证自己一些,不管是收入啊啊等各个一些 kpi 达成对。然后第二块实数据的一些应用价值,一些监控和诊断。 大家知道一些离线数据的监控基本上都是 t 加一的,那我们所有的一些广告投放效果都需要等到一天之后才能够获得到, 但是实质数据他就有一些,这方面就有一些显著的价值。他首先就是可以对一些实时的一些效果能够进行更实时的一些监控,那比如说 kpi 的监控,那不论是对广告平台和互联网公司而言的话,他都能够监控自己的一些收入的一些 打针的情况。对,尤其是像我们在一些算法模型上线之后的话,能够及时的观测到我们这个模型对收入 ctr、 cbr 等核心指标的一些影响。 当他的一些结果符合预期的时候,那是大家比较希望看到的当当结果一些不太符合预期的时候,比如说我们上了一个算法,但是预期他的收入是上涨,但实际的收入可能持平,甚至可能下降,那这种情况下面 我们就知道这是存在一些异常。那进行这些异常的时候呢,我们就需要进行一些诊断和分析。哎,这块的时候,我们可以通过诊断和分析,能够尽快的一些止损,避免一些有问题的策略和营销的一些方 和手段在线上的存在。这不仅是对广告平台是如此,而对广告主也而言,他也依然如此。广告主他只有知道自己投放的一些策略 的一些效果啊,对于相当一些大的一些品牌广告组,比如说一些啊,联合利华,保洁 这些这些公司的一些啊,营销的一些团队的话,他们都会有专门的一些广告投放的一些部门,他们都会投分析自己的一些实时投放的一些效果,来进行一些实时策略的一些优化,避免自己的一些营销预算的一些浪费。对, 然后还有一块那个实时数据的一些应用。价值主要包括一些算法的一些智能决策啊。对于像目前的呃互联网广告行业,除了一些大的头互联网公司头部的广告组,比如说刚 提到一些保洁,联合利华啊,包括可口可乐这些公司,他们有自己的一些专业的一个广告投放以及营销策略团队,他们有自己的一些广告投放的一些呃制作和优化的能力。但是依然会存在大量的一些中小行业的广告组。 你中小的商户广告组哎,这类广告组可能就是一些接边单,或者说我们路边的一些啊餐饮店。对啊,这些广告组,他们的一些没有自己的一些营销团队, 那对于投放的一些策略,优化和策略的和那个创意的制作能力其实都是比较弱的。哎,这就需要我们在广告平台能够依赖一些实时的数据,帮助广告组进行一些实时的,智能的一些 出价的优化,创意的制作以及创意的优化的能力,来提升广告组在广告平台的一些操作的体验。哎,获得更好的效果。而对广告平台而言,我们要帮助广告组获得更好的一些效果。 对,这是实时数据的应用价值啊。实时数据啊,就相对于离线数据而言的话,它的实效性肯定是在更强,能够帮助 平台和广告组更快的感知到实时数据的一些效果和策略的一些效果,来进行尽快的一些止损,以及一些获得更大的一些业务机会。

很多同学对数据壶感兴趣,那今天云峰老师就带大家来聊聊数据壶,同时也希望这个视频可以纠正大家对数据壶的误区。那我们说数据壶核心在于两点,一点是底层易购数据的继承能力,那第二点是它通过 ai 的方式来加速数据处理的过程。 说到这我们就不得不说回数据仓库,对于数仓来讲,我们提升数据使用效率是通过中间层的数据种于 也就我们提前进行数据的预计算,当把数据预计算好之后放在中间层,那这个时候我们的应用层 或者说业务方去使用数据的时候,直接通过半成品去进行加工就好了,从这点去提升数据的使用效率,那对于数据回来讲,他提升数据使用效率其实是通过 ai 的方式去抽向上层查询的共性,他会把这个共性的查询逻辑 去溶于成一个虚拟的表,那后续在有相似查询的逻辑出现的时候,他会直接去调用这个虚拟的 表,那这里有个很关键的概念,就叫虚拟表的概念。其实我们说这个也是数据壶和数仓最核心的区别之一。对于数据仓库来讲,它是通过存储去换效率,对于数据壶来讲,它是通过抽象人查询的共性逻辑来提升数据查询以及处理的效率,但是它并不通过溶于 数据,那虚拟表,它更核心的是把它的逻辑溶于下来了,而并没有把真实的数据溶于下来。所以说数据壶具备很好的实施性以及对易购数据的集成能力。这也是为什么今天对于中小企业来讲,这个是一个非常好的东西, 但是并不代表中小企业可以做这个东西,今天数据湖的技术是没有几个企业可以掌握和具备的,那为什么那么多人在 鼓吹数据壶呢?而且说数据壶是未来的趋势,其实你会发现中小企业的 it 服务核心都在于云服务、 云计算,那对于云服务场上来说,像亚马逊的 aws, 包括阿里云,他们是有这个技术以及实力的,那这个时候对于中小企业来讲,技 不占用过多的数据存储空间,同时他的数据计算的实施性能更强,对于中小企业来讲是一个非常好的工具。说到商业必然要有炒作,只有炒作让大家都相信数据湖是一个好东西,这个东西才能深入人心,源于推广。那其实从当下企业的发展来看, 数据仓库与数据壶都是必不可少的东西,不存在谁取代谁,也不存在谁更优于谁,只能说是取长补短,互惠互利。所以说大家不要一味的相信说数据壶 才是未来,所以大家在看待商业环境的时候,你一定要具备批判性的思维,不要人云亦云,尤其是产品经历。好了,喜欢云峰老师的来点个赞吧!


喂,哈喽,大家好。然后我们这次直播呢,可能就是给大家讲一下我们最近在做的一些事情, 然后我们这里筹备了一下我们官网的一个网站。对,然后我们这网站主要是放了一些像这个我们学生的一些笔记,以及书开这个同学在工作里面的一些实践笔记对吧。然后还有就是我们为了让我们这个官网有一个更清楚的一个定位, 然后去做一个一个网站去展示我们一些内容,数据开发的一些内容呀,书分的一些内容啊,书仓的一些内容对吧,包括一些像 pm 之类的这些内容。 哎,我们做这个网站,你看一下我们这个首页的地址呢,我们是有两个,如果你是在国内的话,嗯,更多的去访问这个 git e e 的一个网址, git e, 它这个网址的话就是 datapose, 然后点 git e, 点 i o, 然后再加去,再去加一个斜杠,加一个 o r g 就可以,就可以访问到我们这个国内的一个 git e 这个网址。好吧 啊,如果说你是在呃,有一些机场的话,可以访问国国际的这个 gate。 这个 github github 这个网址是 dataphos 杠 china, 然后点 github, 点 i o, 然后这就是我们在 get up 上的一个网址好吧。然后应用演员呢,它是一个有一个 box, 有一个 div, 然后它这个里面呢有一个我们官网的一个名字,包括我们做什么,一个社区对吧, 然后后面的话就是有一个抖音 b 站 csd in github, 有这四个官方账号。 ok, 然后再往中间呢,就是 我们数据脉冲的这个 logo, 然后这个是之前一段时间我自己设计的一个 logo。 对,然后再往下我们可以看到有一个开始阅读,然后里面的也有一个访问次数,在里面进行一个记录。 我看下右边啊,右边他有一个小按钮对吧,这小按钮的话可以控制我们这个广告栏也都是广告栏嘛,就是官方的官方的一个微信的一个位置啊,我们可以看一下,他可以添加你这个公众号的二维码。嗯,直接用手手机去扫描就 ok 的。然后还有还有这个官方微信, 然后以及我们这里放了一个广广告位,招租的一个位置,然后如果有这个对应的一些呃,广告的话,我们可以在这里放一些二维码以及一些图片对吧? ok, 然后把这个收起来啊,我们主要的话就在这里放一放一些可在 网络上浏览的一些啊。妈的当对。然后让同学们去了解一些像树开的学习路线呀,秀树开的这些奖励投递啊,扎到的一些知识点呀,面试的一些点呀,然后我们社区的一些技术活动啊,对吧。啊,去看一下这些东西。 然后我们电影演员的话,这里有一个导航,这导航上面他有一个温档合集,面试扎瓦持续活动。

下面我们来展示一下这个 w m 四的系统,这是一个载离线的系统,首先拿到一个机器的时候,一个仓库新建的时候,它是没有数据的,我们这边要点击下载数据, 下载数据之后它就会有账号了,我们就可以进行一个弹幕了, 单独成功之后有这么多模块。下面我们来展示一下库位标签,库位标签就是一个打印之后贴在活夹上的一个条码标签,这个就是一个打印的样式,就这个下面我们来打印一个, 他会询问是否打印货架标签,那我们就打印出来,把这个撕下来 贴在货架上就行了。下面我们来说一下这个下扣加这个 pda, 现在有三个 pda, 三个 pda 的话可以分配,分别分配给三个操作员, 这是一个操作员用一个 pda, 然后一个操作员的话他可以去管几个库区,比如说是一个大仓库,然后比如说这是一一间房子,这是一一个屋子,这是一个屋子有四间,有四间屋子, 这个操作员他就管这是间屋子,然后这每间屋子里面他可能有很多排,或者可能有十几排,二十几排就是排,然后每排的话可能还是在翻这边就是个库位标签的,给他 规则吧,可以自己去定。比如说这个边有四间屋子,把它定成一个 a 区, 或者是一个 a 区域也行,然后第二个编码的话就可以规定为区, 然后第三个数字,第三个可以把它规定为是排,每每一排,每一排,或者然后后面的序号什么的都可以,这个就自己定吧,但是不能混着用。 像这个操作原因,他如果是管的这个区域, a, a 这个区域,我这边是三个圈圈吗?就是 a, a 是一个圈圈是 a, 然后这个圈圈是 b, 这个 b 这个圈圈他是管了两两间屋子, 然后 c 是管,也是管了两个屋子。但是如果操作员他是绑在这个 a 这个圈圈的话,他就不能去管 b 圈圈或者 c 圈圈,如果这样的话,他到时候数据的话,他会混了,就乱了,就会不转。可能 下面我们继续操作机器啊,那打印这边就是用来枯萎的一个,但是你如果说货架枯萎标签,你那边如果是自己去现场打印的话,那就不需要,你可以忽略这个这个功能,下面就是货品标签, 货品表现会把那刚才下载下来的系统里面的货品全部展示出来,当然这里也可以关键字搜索呀, 然后我们这边就随便打两个吧,因为这个货品标签他是不存在批次的,所以他打印之前会询问,会会让你输入批次号, 比如说今天的 case, 好,比如说输一个,嗯,零四、零六或者零幺也行,然后打印,然后就 这就是一个货品的标签,这个到时候可以贴在货品上,当然这个跟货架一样的,如果说你的货品提前就是自己已经打印了这个货品标签,那就不需要用我这个软件去打印, 我们撕下来,下面我们进行一个货品的入库,货品入库的话,这边他会显示现有的仓库里面有的库存信息,比如说这个一杠一杠一库位,他是有这个货物的, 下面我们来进行一个入库,入库的话是先扫码,我们扫这个货品码在哪呢?扫这个货品码他是没有的,那说明这个仓仓库里面是没有这个东西的,那我们要点那个新批次进行一个入库,新批次的入库,新批次入库的话我们需要再扫一下这个货品码, 扫到货品码的话他就会把这个货品的信息带出来。当然了 that b m t 字号, t 字号的话可以输一下零四、零六零幺, 哼, 然后这边是枯萎编码,枯萎编码的话可以输输手动输入,或者是,嗯,扫条码也行,我们就扫条码吧,扫刚才的这个一杠一杠三,我们把它放到这个上面 一杠一杠三。然后比如说这次入库图这边有个库存数量,当然因为他是新入库,他没有库存,所以就没有显示库存,然后我们这一次的话库存就入一百个,这边有货物状态,你这次 gp 入进去是合格还 代减还是暂存?我们就写一个代减吧,就往下勾,如果想问这个,这边就有了是一个代减的状态,这个符号是用来更改这个货品状态的, 比如说现在代检我们把它变成合格,他就变成合格了。然后我们再来一个模拟一个,就是 货架上有这个 piece 的,但是现在要给它追加库存。比如说还有这个我们要进行一个扫码,它扫码 现在是它是有两个东西,我们扫它进行入口,比如说我们还是要对这个 p 词进行一个入 入库,那我们我们只要点击这边,他就把信息自动带带过来,带过来之后原来库存就显示出来了一百个,那我们现在要入库二十个 旧库,像狗啊,旧书不整容,它现在是一百二十个,下面进一个出库 出货的话,我们也是扫这个货品码,它会检索出这个货品码所有的在 现在他只有在一杠一上面一哦,一杠一杠三上面有,如果他有在一杠一杠五上面也有的话,他都会显示在这边,然后可以点击要对哪一个进行出库,比如说这个我们听看出库出库,我们给他出哦,他这边那个他显示库存是一百二十个,那我们现在要 出八十个出库存,还有出库存吗?库存还有四十个,然后这边也同样是可以进行干倒的,我们把它在更难的代减代减的情况下,他是没法出库的,我们操作一下四十,那我们就随便出一个,他会 该批次非法非非合格状态,他是无法出货的,就出货失败就没法出货,那我们还改过,改回来改成合格。 下面进行一个盘点操作,盘点操作一样的也是扫条码,扫货品条码,扫这个货品条码库存是四十,但是如果盘点的时候实际数量不是四十,比如说是五十 个,那我们就把一个正确的数量输进去,那定一个提交了解成功,然后库存就变成五十个了, 然后现在那个入库出库排量都已经结束了。下面就是这个本地数据,因为现在都是离线的状态,我们这些操作的记录都会在这个及其本地, 如果不上传的话,服务器是不知道你这些操作的,他数据就还是原来的数据,那我们只要点击一个上传数据,他就会上传,导出的话他会导出一个电子表格,会在这个机器上,到时候给自己用数据线还是什么的,复制到电脑上看也行,或者用,然后。

以唯一序列号条码为载体,从原材料到成品,全流程数字化仓储管理。 以业务为导向,从供应商送货收料、 iqc 检验、入库出库到成品出退货,业务全流程移动式作业,无账差、无时差。以系统平台支撑所有业务数字化,使品质得到保障。 集成官恒系统、 sapsrm 内销经历系统、 sdo 海外营销平台以及集团内 oa 审批流等周边系统,使作业效率得以提升。 精工智能还设计了先进的电子货架管理方案,采用六色灯光简选物料随机存储、 电缝插针系统自动预约分配库存。先进先出。乞讨分析、最 一小盘、超发、电子盘点、子母马切分、品质冻结以及超期管理等精细化功能,实现物料全生命周期透明化管理。通过系统实现管理自动化,降低管理成本。

所有做术餐的同学,我觉得你们都应该去领一下这个文档。拥有这个文档,就意味着你拥有一套数据建模、数据治理完善的方法论, 可以作为工作中的指导手册,更是一个肃沧人向高新进阶的必经之路。 高薪数差人的唯一出路就是数据建模。成语数据治理。 在这个文档里,我分享了在实际数据中台项目中数据建模的八个步骤, 是如何结合压模型和维度模型的方法论来构建企业级数据仓库的。还和你分享了数据治理的前景、 数据治理的痛点以及数据治理核心方法论。这个文档如果你想要呢,点击留言区置顶进群,我会发给你。

这是我自己归纳总结了我们介绍数据仓库里边需要进行的五个步骤,这五个步骤这不是官方的,或者是也没有标准的一个介绍流程,这是我自己归纳总结的 建税仓库的五个步骤。那么税仓库的建设其实也没有什么标准的,建设的流程跟路径都是一些经验上的一些总结,可能每个人的 经验跟经历的项目啊,他不一样,所以他总结出来的流程跟步骤可能不一样。我希望通过我的这种经验能够简化整个 步骤,通过更清晰的方式能够带给大家告诉大家税仓库的建设应该是怎么去建百分之九十以上的税仓, 我的建设他应该是怎么样子的?应该怎么去分层,怎么去定主题?我归纳数据仓库的建设经过这么五个步骤,第一个呢就是我们要确定整个数据仓库的分层, 你的分层到底是应该怎么去分,分几层,每一层的他的职责到底是什么?第二个就是数据仓库的主题要划定哪些个主题,就这些数据进到数据仓库里边来之后,怎么去进行分类。 但是我们数据仓库我们开篇讲这个概念的时候,很重要的一个点,他是面向主题的,这些主题是怎么去分类的,数据怎么去做分类的。第三个就是数据仓库的建模,他到底是应该怎么建?这个在整个数据仓库里边是最难的, 网上一搜数据仓库很多就是出来的就是数据仓库的建模,怎么去建逻辑模型啊,概念模型、雪花模 模型、新型模型等等一堆的概念,但很难去从一个整体上去得到一个信息,是说数据仓库到底应该怎么去做这个最核心的这个建模的过程,这当然需要一定的业务上的知识,还有一定的驻仓的一个工作的经验,才能完成这个建模的过程。 第四步就是我们根据建模的一个结果,我们去做整个数据的加工处理。第五个就是我们在做加工处理产生大量的脚本,我们需要把这些脚本通过工作流来去整体的调度执行, 哪些个脚本先去执行,哪些脚本是后去执行,他们之间是关系是怎么样子,通过工作流的编排调度来去做整个执行,这是整个数据仓库建设的一个流程。