粉丝193获赞4771

是看似酷炫的数据看版,是花里胡哨的算法模型?是眼花缭乱的分析方法?还是升职加薪的独门秘籍? 其实这些都是,或者说这些都不是说他们是,是因为数据分析确实包含这些内容。说他们不是是因为 他们都是对数据分析的片面展现,或者说他们只是商家为了吸引你购买课程的那层糖衣。 其实数据分析远没有商家吹嘘的那么高大上,也没有你想象的那么复杂。在师兄看来,数据分析只是一种客观认知世界并改造世界的基础方法罢了,实用高效,非常简单。 如果你让我翻译翻译什么是数据分析,师兄会回答你六个字,观测实验应用。 哈喽,大家好,我是代师兄,今天师兄将一种全新的视角带你重新看待数据分析。话不多说,就让我们开始吧! 一、观测啊,观测呢,只通过一些技术手段去获取数据,并对数据进行分析和测量,它的目的是对事物形成客观量化的认知。 你可以简单理解为获取数据并制作报表、图表和仪表盘双观测。接下来我们来说实验,实验呢,它指的是通过不断的提出假设、实践假设,并且基于观测的数据去验证这些假设, 目的是准确得知哪些方法可以有效的让事物朝着人为设定的方方向去发展。实验室,当今人类进行科学研究最有力的武器,一切自然规律的发现都离不开基于数据的实验。 在商业场景下也一样,当你不知道哪种产品更受欢迎时,每种版本各做一次,基数据做出半段就是最准确高效的方法啦, 其实就是互联网行业里面啊,数据分析师们用的最常见的一种实验啊,就是 ab 测试嘛,比大小嘛,看哪个版本的数据更好就用哪个啊,这样我们来说应用, 应用呢,指的是在实际的生产环境下,去使用那些实验已经得到的技术和方法,并且基于数据去不断的迭代和反馈。他的目的呢,就是用实验得到的新方法,有效的去提升生产力,然后真正应用到生产中去创造价值。 简单来说啊,就是实验室里那些最受用户欢迎的产品设计啊,还有技术,他不一定能够直接创造商业价值对不对?他需要正式的去设计生产,并且基于市场的反馈不断的去迭代,才能够让用户买单 啊。那么以上呢,就是数据分析的全貌了,只有完整的实现了观测、实验,再到应用的全流程,才能将数据分析的价值最大化。但是真正了解全貌并亲身经历的数据分析师其实是少之又少的,行业的现状就是呢,大多数分析师都停留在实现各种关 测的工具人阶段啊,并且由于很多企业的数据建设是真的不完善,分析师的自身能力呢又不够,导致最基础的数据支持都要成为一个专门的岗位。其实能够快速完善企业的数据建设,借助各种工具解放分析师日常工作的方法啊,一直都有, 而师兄最想做的呢,就是将这些亲身实践的方法带给你啊,帮助你真正掌握魅力与实力并存的数据分析。 好的,刚才我们已经看完了数据分析的全貌,接下来呢,我们就正式进行我们第一个知识点的讲解。观测。简单来说,观测分为两部分,第一部分是这个观察,第二部分是测量。前者呢,他负责采集数据、 储存数据和展示数据。后者呢,负责设定标准,发现异常和研究关系。现在说前者啊,那数据肯定不是变魔法,嘭,凭空产生的对不对? 采集他们的方式呢,主要有四种啊,一是解析系统日志,我们所访问的网页和使用的 app 啊,无时无刻不在产生系统日志,日志中记录了程序运行 的所有过程,比如说你在看师兄这次视频对不对啊?日志里就会记录下你的用户 id 和打开关闭这个视频的时间, 此时我们只需要提取这些信息就能得到三列数据啊,用户 id、 开始时间和结束时间,这些都是在日制里面就有的啊。并且呢,如果我们将时间相减,还能够得到你本次观看的时长啊,我们就会得到即运算得到些新的数据了。 如果当前日中并不存在你所需要的信息,哎,我们还可以自定义日制,让他记录些新的信息,比如说我们可以让日制记录你观看视频的 ip, 这样呢,通过 ip 的解析就可以知道你的观看地址了。而这整个基于系统 日制新增数据的过程就称之为买点。那现在搞清楚买点是怎么回事了吧?买点是分析师获取新数据的主要方式,也是最可控最可靠的方式。 二,通过传感器去这个采集。其实所有真实世界里的数据啊,基本上都要通过传感器来进行采集,那么最典型的就是天气类型的数据了,他无论是温度、气压还是湿度,他都要用对应的传感器进行采集,对不对? 而且呢,如果你使用过智能手环啊,你就会发现他的背后集成了诸多的传感器,这些传感器的目的就是为了收集你的心率、血氧等等的数据啊。 今天我们来说爬虫啊,很多小伙伴天天都说要学爬虫,但是我要告诉大家的是啊,爬虫的原理很简单,他就是解析别人呈现数据的网站,然后将数据呢一个个的复制粘贴出来,和偷袭啊没有区别,毕竟人家辛辛苦苦埋 来点获取的数据,他凭啥要提供给你呢,对不对?并且本质上来说,爬虫技术其实是违法的,正规企业都不会把爬虫作为获取数据的主要手段,随着相关法律法规的完善,爬虫技术呢,也会慢慢淡出历史舞台,现在会一点就行了,完全不需要精通。 四、 api 它的全称是 application programming interface, 也就是应用程序接口啊。对于分析师而言, api 的功能就是按照我们的规则为我们去提供数据, 然后你告诉他,哎,你要怎样怎样的数据啊,能提供的他都会提供给你的。现在很多大厂的都会有数据开放平台,通过 api 为生态内的商家提供数据服务。不过从 api 获取数据往往需要通过代码来实现那,不过这个代码也不难,师兄日常就通过 api 来获取天津数据,以这段代码为例,只需要填写获取数据的地址和 参数就可以得到对应的数据了啊,数据采集完之后就要进行存储了,一般来说所有的数据都会直接存储到数据库里啊,像你什么下载了数据存在你本地的文件夹,这都不是分析师干的事啊,分析师数据都是在数据库里的啊,数据库呢,有非常非常多的种类, 常见呢就有 have circle 啊,买 circo 啊, pg, circle, civil 和引发了啊等等等等,他们在储存这个数据的类型,性能、安全性和速度上啊,各有千秋。那么数据库呢,其实是需要专门的数据工程师,也就是维护和 这个研究数据库的程序员们啊,进行开发管理。你没听错,其实数据工程师就是专门针对数据方向进行的这个开发啊,专门针对数据方向去设立的程序员岗位,本质上就写代码的,他们呢会对数据进行清洗处理和各种 计算,从而让大家得到一个干净可以直接使用的标准数据。而对于初学数据分析的小伙伴而言,我们只需要知道你所需的数据库啊,所需数据到底储存在哪个数据库中,需要如何写,测过代码或者直接下载获取他们啊,这个就可以了, 如果你想深入的了解数据库方向的这个知识啊,可以关注师兄,师兄会在后续的视频里面更新。本次课程中,师兄也会带大家去搭建云端数据库,他真的一点都不难啊。从数据库获取到数据后呢,就要进行展示了啊,这也是很多小伙伴最想学的一个技能,但是呢, 展示的形式啊,主要就是爆表,图表、仪表盘,刚才都给大家看过啊,他们都是为了更好的去展现数据,但最终都是为了让信息的传达变得更加的高效。比如说我们可以看到右侧的这个图表,就比左侧只有数据的表格他更加的直观,我们一眼就可以看 看到数据变化的这个趋势了啊,可以说啊,这个数据的展示啊,又可以叫数据可视化,它既有业务又一定的艺术成分啊,是一个非常有趣的专题。 除此之外,在数据库的帮助下,我们还可以让工具自动的去提取数据,为我们展示最新的可视化结果,这将帮助我们实现大部分的数据支持和准备工作与这项万能教学实权会在 excel 和 tablo 部分详细展开 啊,喝口水啊,在完成数据的展示后啊,我们就将基于这个数据进行测量和分析了。在这部分教学开始前啊,我们需要思考一个问题 啊,有师兄想问大家问题,就大家有没有想过,你天天分析数据,他目的到底是什么?就是分析到最后你要完成的的这个事情到底是啥? 究其根本啊,就是用纸直接公布答案了。在商业场景下,分析数据的目的尤其只有两个,第一个是及时发现异常,就是 事情没有按照你的预期发展,你第一时间要从数据得到这个结论,然后赶紧去把问题给解决了,对吧?那不然的话,你相当于在放养整个业务,不在你的实际的规划下去发展一下就跑偏了,所以你要用数据去指导你,让你清楚的知道现在发生什么,有没有跑偏?而如果要跑偏,我也把它拨回正轨,对吧? 那第二个呢?就是找到数据之间的因果关系。那为什么是找因果关系啊?其实就是你现在有很多的数据啊,你要明确的知道我做什么就能提升什么, 我提升这个数据指标,那个数据指标也会对应的提升,这样才是你把数据越,把这个业务,把数据越做越好的根本性的这个方法,对吧?就找到因果关系啊,你把你该做的都做到,你就能得到一个好的结果。