starrocks存储配置

国产开源数据库套普五，开源江湖不只聊开源，大家好，我是阿蒙。在数据库领域，开源已经成为主要的潮流和趋势。根据 dbnjs 的数据显示，全球三百八十三个数据库中，开源数据库占比超过百分之五十。 排名前十的数据库中，开源数据库有六个。根据摩天轮的中国数据库流行度排行榜，一百九十八个数据库中，开源数据库产品有十三个，榜单前十中，五个是开源数据库。中国主导的开源数据库排名 top 五，分别是 income 公司的泰迪币、百度的阿巴奇、 doris、 高斯数据的 tdn 者、月数科技的 nabola grove 以及顶石科技的 starbucks。 你都用过哪些开源数据库产品？欢迎评论区告诉我，我们下期见，拜拜！

硬盘类存储怎么选？首先确定应用，选择存储类型，了解速度，确定容量，选出品牌型号。电脑依据以来的平静就是硬盘， 机械硬盘凸显速度也就一百五十兆臂明秒，直到固态出现二点五寸固态能够达到萨特三接口的极限，五百五十兆臂明秒， m 二接口的固态轻便小巧，走萨特总线速度五百五十兆，走 pc 通道两速能达到一千六百兆，四 速能达到惊人的三千两百兆。现在装新机，不管选择樱桃九代还是 m 的锐龙平台，如果在性能方面有要求，主板要选择有 m 二接口并且支持 pc 四速 mm 协议的，如 容量五百级以上的写入速度更好，能带来系统启动、显示时间、程序加载、文件传输、多任务处理等多方面性能提升，使电脑释放出最大效率。预算有限或一般应用选择 pc 一两素完全能够满足要求， 办公或者老机器升级耐用，二点五寸固态也能带来完全不同的感受。现在机械硬盘基本就是作为数据盘使用了，关注我，让你更了解电脑！

以前在硅谷的很多投资人的眼中呢，游戏呢和技术和数据驱动呢比较远，但是呢现在呢，游戏他也是可以是数字驱动的，他可以根据采集用户的数据和反馈， 去了解你的用户，根据数据的指导，然后做决策，不保证说不亏钱。谷歌啊， facebook， 亚马逊，微软他们在纷纷推出游戏出海的这样的一些数据工具，帮助这些游戏厂商用一种互联网的一种方式去开拓海外的市场。阿米诺呢，投资了一家公司叫 starbucks， 这个公司的创始人之前是负责小米云的，是国内的这样的一些顶级的工程师，打造出世界最好的一套极速的全场景的 mpp 数据库，帮助你随时随地拿到报表。他其实现在已经跟腾讯还有就是像顺丰啊， 成啊，艾尔变 b 啊等非常好的一些公司，然后形成了这样的付费合作的一个关系啊，游戏行业的头部公司，特别是像 训啊，完美世界等等，那么都和他们进行一个实时数据分析的一个技术支持。那么在这样的一个游戏行业出海的一个大潮当中呢，那 starax 也是发展的非常的快，本身他也是一家出海的企业，他可以跟国内的这些出海的厂商共同的去成长。

说人话，重视站讲干货。你好，欢迎来到 it 老师的架构六百讲，我是你们的爱丽私人顾问老齐。到现在我已经录制了十多门与编程架构相关的最新课程，同时还会提供简历优化、模拟面试、 dofer 选择、课程指导、工作建议等多种服务。总之，只要我有经验的事情，一定会提供建议和帮助，有兴趣的小伙伴可以看一下评论区。 好，今天我们来学习一个成功案例。好未来呢，是在国内非常著名的 k 十二的教育机构。他在实时竖仓方面呢，基于 doris， 也就是我们说到的 star rox， 他有一些实战的心得。那今天我们来看一下他关于竖仓方面是有哪些考量。 好，那我们来回到笔记看一下。好未来呢，他在做实时数仓的时候，主要分成了三个阶段，在二零一八年到二零一九年时间，基于 have 框架呢，来实施着 小时级的任务管理。二零一九年以后是基于弗林克加上枯度的实时计算方案。而二零二零年到现在呢，是基于 star rocks， 其实也就是我们常提到的 doris 来进行实时入仓。到底是什么原因让他们做出这样的技术上的变革呢？我们来看一下。 首先呢，在最早期的时候，基于 have 来进行处理时，是按照小时为维度呢，将数据从底层 啊各种各样的呃原数据中来进行抽取，然后经过了 o， d， s， d， w， d w， s， d， 也就是标准的数仓的模型呢，来进行一次 d a， g 的任务调度。 他的数据处理的单位呢，是以小时来进行运算的，这是我们看到的他的这张加厚图，在当时这样处理的优势呢就在于 啊，小时和离线的任务呢是独立的，同时呢代码呢可重复的利用率高，减少了开发成本，然后可以使用离线数据覆盖小时级数据来进行数据的修复，原始级有了，那我们可以在以小时级的任务上来进行重算， 但是缺点也是比较明显的，首先它的数据延迟就非常高，小时级别的那有一些实质性较强的业务，它是没办法满足的。第二个呢就是 map reduce 本身在设计的时候就不太适合分中级的频次的任务调度，主要是 map reduce 呢处理起来是比较慢的， 过高的频次呢会产生很多细小的文件，影响 h e f s 的稳定性，同时呢也会波及到我们憨豆婆的查询速度。同时作为批量处理的时候，每次运行对于资源的利用率要求是很高的，尤其是当零 凌晨憨豆的资源紧张的时候，任务呢经常无法得到调度，因为在每天跑批跑任务日中处理的时候，这些资源如果得不到充足的预留很麻烦。这本质上也是我们说跑批的一个短板吧，他对于当时跑批运行过程中的资源要求是很高的， 后来怎么做了呢？第二个阶段的二零一九年以后呢，他们就基于 flink 加上枯度来进行实现， 作为 flink 是典型的流失运算，同时呢可以支持增量更新的存储系统，也就是枯度。这样的话，我们从之前的流失转成了批量的处理， 同时通过弗林克呢接入到卡夫卡，然后再向下游呢来进行分发，可以完成数据的实时变更和实时重算啊。在这个架构中，可以说基本满 足了咱们流逝的实事处理的一个操作过程。但是呢，这里也有一些问题。首先，弗林克当时是基于这个 stream 的羽翼来进行开发的，做复杂的指标运算非常的复杂，学习成本高，开发成本高，开发效率还不高。 同时呢，数据仓库呢，更多使用 p 处理的 c 口，库度本身结合音拍了他结合的聚合的查询效率不高，查询时间不能满足业务的多维度的分析要求。同时库度他底层也是依赖于像音拍了 have 这样的多个组线，维护的成本也是不低的。 最重要的是，你听过库度这个组件吗？恐怕就哪怕是在座的各位同事天天做数据运算，都作为库度，恐怕也我们没有怎么去接触过吧。确实如此，这个东西在国内 应用的案例和放在整个世界，他也算是一个小众的东西，怎么办呢？在二零二零年以后，作为好未来呢，他就进行了整个底层架构的一个重建，经过了多个数据库之间的选型呢，最终选择了 star rox。 那究竟是如何进行比对，他有哪些考量呢？那我们不妨可以通过这个表来看一下他的优势和劣势在哪。首先说明一下， star rox 和 doris 呢，是同一个历史时期的东西的不同的产物， 你可以把它类比成 mecicle 和这个马瑞亚 db 之间的关系，他们两个同宗同源。那么作为 starrax 呢，是当下比较主流的这个数据仓库的产品，它针对于标准数据仓库或者海量数据处理呢，是成整套的解决方案， 比如说大宽表啊，多表关联啊，还有雾化视图啊， cbu 的优化器啊，实时更新啊，关闭发处理啊等等等等，它的优势很多，这也是为什么现在主流应用中都在考虑它的一个原因。但是它的劣势是什么呢？ 只有在这几年， handoup 逐渐人们发现了，哎，越来越重，不愿意用的时候好寻找替代选型，这时会发现 doris clean house 哎，是走进我们的视野，也就是这几年才逐渐兴起了，所以它的生态呢，到目前来说还是需要进一步的完善。 那么在这几年，有一个拳头级别的产品叫 click house， 当然现在我已经不推荐使用，因为官方已经说了，我们未来要选择碧园。 click house 呢，打了很多人的脸，包括我在内。 click house 它的优势比较明显，你别看它写的 少，但是它的性能非常好，基于墨汁税进行大规模的数据的聚合，还有数据的这个顺序读写的操作，所以呢，它的性能是它的最大的亮点。 但是 keyhouse 也有一些自己的问题，比如说针对标准 c 口的处理能力差，针对于照应的关联的能力弱，没有 c b o 的优化器复杂，查询性能较弱，没办法直接定义卡布卡特呢？巴拉巴拉反正挺多的， 这里你也别被这篇文章所引导啊。说好 sarah 是完美的，原因很简单，我得给自己一个充分的理由说明我的领导去用它对不对 好？那克利号斯呢，其实也是非常好的，只不过他在 c 口方面的能力呢，相对弱，还有一点就是作为茅子研发的产品呢，他的底层的生态是非常不完整的，而且运维的复杂度呢，是蛮高的，所以 以很多大厂其余可可得 cos 来进行了二次的开发，那针对我们修来的小厂想拿来就用还是确实比较麻烦的。 那除此以外呢，在行业中呢，还有这个 cool 和开林， cool 的话就不多说了，刚才上一个版本他们提到了作为流失处理是好的，但是呢，查询的延迟高，处理的病发相对较低，那么开林呢，是支持标准 c 口的，对于 cube 类型呢，也可以进行预聚合， 但是处理模式重度依赖预计算多种依赖较多，同时呢，现场的计算能力差，明细支持较弱，资源消耗的较多等等等等。这里对比的产品没有完美的，只有适不适合的。 那么在早期的时候，好未来呢，也考虑过是不是使用 click house 作为数据仓库的选型，但是 click house 在多表照应的时候 能力是比较弱的，而 star rox 呢，在这方面显然要好，这成为了选择颗粒 house 的一个重要因素。同时呢， star rox 呢，基于 cpu， 基于成本的这种优化器呢，也可以更大程度上帮我们自动的来进行 c 口方面的优化，这是它的优势所在。 那经过这样的一个处理以后，那作为好未来呢，使用 star rox 可以像开发离线 hype 任务一样来进行实时数仓的开发，也同时避免了复杂的弗林克 stream 的语意。同时呢也能在功能上对标离线指标，保证丰富的基础上来定义口径的一致， 同时呢也可以实现分钟级的数据可战性。那在我自己的应用角度来说， starrox 确实它是一个相对成熟的东西，那么在底层的运维和管理成本是要低的， 也就是说它相比起这个枯度还有 clear house 来说，它的成熟度是相对高的。但是相对起 hunduper 这样的老一辈的树仓产品，那它的成熟度又是相对较差的，所以它属于一个中间层面的产品。 但是未来来说，至少在国内的场景下， sarax 我觉得是一个很有潜力的地方啊，我在三月份的时候。

硬盘类存储分为机械硬盘和固态硬盘，机械硬盘一直伴随电脑的成长，主要由磁蝶、磁头电机构成，属于精密机械部件品牌，曾经也是群雄逐鹿，现仅剩细节系数通知， 主要分为三点五寸台式监控纳斯企业机和二点五寸本盘，容量一提到十六提。优点是容量大、价格低、数据易恢复。缺点是读写慢、有噪音、耗电、怕震、体积大。固态硬盘主要由主控芯片、闪存颗粒、缓存颗粒、固件组成， 品牌有 n 种，按接口分类，有二点五寸、沙特接口、 m， 二接口有走 s a t 通道的，走 pce 通道的还分两速和四速，同时要支持 nvb 协议，其他接口用的少，容量一百二十 g 到四 t。 优点是读写快、零噪音、能耗低、抗震体积小。缺点是容量小、价格高、数据难恢复。关注我，让你更了解电脑！

今天我们来聊一下游戏电脑中最重要的部件之一，硬盘。一台电脑你可以没有机箱箱、风扇，但没有硬盘是万万不行的。 硬盘的作用是存储你的系统文件，小电影都是放在这里，没有硬盘就无法装系统。硬盘就好比你的家，想想你连家都没有，怎么可能会有烧饭洗澡睡觉的地方。所以一台电脑硬盘是必不可少的，并且硬盘的重要程度可以说是一台电脑里面最最最最重要的配件，没有之一。因为一旦他坏了， 所有的资料将通通离你而去。当然，如果真的碰到坏了的资料又非常重要，也可以进行紧急恢复，但是呢，价格不菲， 少则击败，多则几千几万。我可是经历过许多人因硬盘损坏而丢失了照片、文件资料和最爱的那个他的电影啊，而郁郁寡欢，因为数据恢复也不是万能的，当词头损坏严重到一定程度，就算钱再多也是会无力回 天呐。而且固态硬盘哎，后面再说吧。所以选择硬盘上面一定要重视，千万不能乱买，又或者是在这上面省钱，除非你没有重要资料需求保存这一说法，那就随便买了。现阶段硬盘共有两大类，机械硬盘和固态硬盘。 接应盘分萨塔和萨斯系列，前者是家用电脑的唯一接口，但是之前最老的 id 就不在咱们今天的讨论范围内了。后者，萨斯系列为服务器专用接口，萨斯和萨塔不能共用，接口造型不同， 扎塔机械影盘又分五千四百转和七千两百转，转数越高，读写就越快，但再快也不如入门的固态硬盘快，所以现在机械硬盘的定位一般是对存储有极高要求的玩家，并且不想花太多钱买固态硬盘的玩家。综合下来，两 t 大约在三百左右， 四 t 在四百左右，越大越便宜，所以机械硬盘单从存储比来说，相较固碳硬盘性价比非常高。固碳硬盘接口比较 丰富，早期有撒塔二点五寸，随后延伸出 m 二接口。 m 二早期是撒塔协议，足协普遍在五百兆每秒，后期发展出皮塞协议，来到了一千兆每秒左右。