数据湖对比分析,大数据平台

大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。再来说说大数据平台的软件或者工具：1、数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台公司。什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。

大数据平台的软件有哪些？

这个要分好几块来讲，首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样，下面分别聊一下。一、大数据处理这个是所谓大数据项目中最先想到的模块。主要有spark，hadoop，es，kafka，hbase，hive等。当然像是flume，sqoop也都很常用。这些软件主要是为了解决海量数据处理的问题。

软件很多，我只列几个经典的，具体可以自行百度。二、机器学习相关大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件，比如说sklearn，spark的ml，当然还有自己实现的代码。三、web相关技术大部分项目也都跑不了一个web的展示，因此web就很重要的，java的ssh，python的django都可以，这个看具体的项目组习惯了。

四、其它还有一些很常用的东西，个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。比如说数据存储：redis，mysql。数据可视化：echart，d3js。图数据库：neo4j。再来说说大数据平台的软件或者工具：1、 数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台公司。

Hadoop是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及数据库工具。2、 大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。3、 云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。

实力不差，符合阿里巴巴的气质，很有野心。4、 数据应用方面这个有很多，比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。帆软是商业智能和数据分析平台提供商，从报表工具到商业智能，有十多年的数据应用的底子，在这个领域很成熟，目前处于快速成长期，但是很低调，是一家有技术有实力而且对客户很真诚的公司。

有哪些好的数据来源或者大数据平台？

花了两天时间，整理如下40 个平台，多数免费即可获取数据。官方发布数据（多立足社会民生）1、国家数据——主要用户：社会情况研究人员国家统计局开设网站，公布我国各个领域的宏观经济情况，权威度高2、国家统计局——主要用户：社会情况研究人员链接各省市地区的统计网站，提供更多官方统计报告3、中国裁判文书网——主要用户：法律从业/学习/爱好者中国最高人民法院开设，权威可信，可用于查询国内裁判文书，可作数据统计来源4、中国互联网信息研究中心——主要用户：互联网研究人员经国家主管部门批准组建的管理和服务机构，经常发布一些有价值的互联网信息报告5、中国信通院——主要用户：互联网研究人员针对互联网多个行业的发展趋势，发布白皮书，角度较为宏观6、国土资源部——主要用户：相关研究人员国土资源部对外公开的信息报告，内容权威7、中国气象局——主要用户：气象相关研究人员中国气象局对外公开的年度报告，支持下载查看网络趋势分析1、5118 / chinaz——主要用户：SEO专员支持查询网站排名及发展趋势、百度收录情况等信息2、艾瑞指数——主要用户：互联网从业者艾瑞旗下/包括移动APP指数、PC Web指数、影视指数、广告指数、移动设备指数五类指数查询工具。

3、百度指数——主要用户：营销人百度旗下/以百度网民行为数据为基础的数据分享平台，支持查询需求图谱4、微指数——主要用户：微博营销人新浪微博旗下/反映微博舆情或账号发展走势的数据分析工具5、搜狗指数——主要用户：营销人搜狗旗下/基于搜狗用户行为的数据分享平台，同时支持搜索微信热度6、微信指数——主要用户：微信公众号运营人微信旗下/基于微信大数据分析的移动端指数，打开微信→搜索“微信指数”可用细分行业趋势分析1、阿里指数——主要用户：淘宝卖家阿里旗下/反映淘宝平台市场动向的数据分析平台2、CBO中国票房——主要用户：电影行业从业人员、爱好者基于国内票房数据，统计票房排行、上座率等信息。

3、爱奇艺指数/——主要用户：爱奇艺用户/视频行业研究人员爱奇艺旗下/基于爱奇艺播放数据，展现视频播放趋势、视频受众画像等信息4、360大数据平台——主要用户：网络安全相关人员360旗下/支持地区最热新闻、中国人返乡热度、诈骗地图等信息的查询5、易车指数——主要用户：购车者、汽车从业者反映国内汽车销售市场，为购车者或汽车从业者提供参考的数据指数。

6、高德地图——主要用户：交通情况关注者支持实时查看国内交通情况，此外高德周期性提供一系列数据报告7、房天下——主要用户：房地产从业者及相关人士网站数据来源于中国指数研究院和CREIS中指数据，展示国内房地产数据情况移动端数据监测1、移动观象台——主要用户：移动行业从业人员/关心者基于移动设备用户的操作行为，提供应用、公众号排行等，此外还发布大量数据报告2、艾瑞APP指数——主要用户：移动行业从业人员支持按照月度独立设备数、日均独立设备数、月度总有效时长等多角度展示移动端数据情况。

3、APP annie——主要用户：ASO专员付费产品，支持用户监测APP在线数据情况，市场监测范围可拓展到全球。4、蝉大师/ASO114 /ASO100/CQASO/APPBK以上几款工具比较类似，支持APP监测，主要用户：ASO专员支持查询APP在应用市场的数据情况，可根据手机、应用市场等不同角度进行检索5、新榜/微小宝/易赞——主要用户：新媒体工作者以上几款工具比较类似，支持查看公众号排行、看公众号人群画像等功能以研究报告形式发布的数据信息1、艾瑞网——主要用户：互联网从业者艾瑞旗下/支持查看较新的数据报告，主研究网络媒体、电子商务、网络游戏等新经济领域。

2、艾媒网——主要用户：移动互联网行业从业者艾媒与艾瑞无关，艾媒网发布的研究报告多偏向移动互联网方向3、易观智库——主要用户：互联网从业者易观国际推出/主要推出新媒体经济方向的行业信息报告4、DataEye——主要用户：游戏行业、汽车行业从业者及爱好者基于国内游戏、汽车行业数据，进行多角度的行业调查报告撰写发布5、投中研究院——主要用户：关心投资信息的人群网站保持着较高的频率，为用户推送投资领域的分析报告6、CBNDdata——主要用户：电商行业人士以阿里巴巴的商业数据库为基础，输出产业经济分析报告7、QuestMobile——主要用户：移动互联网关注者网站周期性地发布一些关于APP的研究报告8、阿里研究院——主要用户：电商行业从业者阿里旗下/发布研究电商等方向趋势的数据报告，内容多与阿里相关9、腾讯大数据——主要用户：互联网从业者腾讯旗下/发布与腾讯息息相关的研究报告，常会出现一些比较有趣味性的专题10、360研究报告——主要用户：互联网安全关心者360旗下/移动、PC、网站、企业、诈骗等安全领域的研究，以及大数据等非安全领域的研究11、艺恩——主要用户：影视从业人员、爱好者CBO中国票房数据的提供方，提供一些行业数据报告，如动漫IP价值研究报告12、199IT——主要用户：互联网从业者容纳众多互联网数据报告，其导航网站收集了众多数据相关的网站链接以上内容由强大易用的应用搭建工具 简道云（www.jiandaoyun.com）整理提供，转载请注明来源。

大数据开发跟大数据平台开发有区别吗？

我用一个比喻说说个人理解吧：大数据平台在一些地方被称为数据仓库，如果把数据仓库比作粮仓的话，大数据平台开发工程师提供工具，比如研发更快的收割机、设计更大的仓库等等；大数据开发工程师使用这些工具处理数据，比如将农田里的收割、晾晒、去皮、研磨成可以食用的大米面粉。数据科学金字塔上图的数据金字塔展示了数据科学领域各岗位的大致职能。

最底层是数据收集部分，主要是原始数据的生成和收集。这部分数据来自各种IoT设备、传感器、手机APP上的用户行为、外部数据、以及用户生成数据（类似抖音用户主动发布的视频）。第二层是数据存储部分，一般需要构建数据仓库，生成一系列数据流，将原始数据存储至大数据平台。第三层是数据清洗和转化部分，主要对数据进行清洗和预处理，将数据转化为更高层次的数据，为上层数据分析做准备。

第四层是数据聚合部分，主要做一些基础的数据分析和业务报表，进行一些数据挖掘，并构建机器学习的训练数据。第五层是机器学习部分，主要构建机器学习模型，将模型发布到生产系统，进行AB实验。最顶层是人工智能部分，顶级的科学家提出新算法或新架构。大数据开发和大数据平台开发的工作都主要集中在1、2、3三层。原始的数据就像农田里的麦子，需要经过层层工序，才能最终将其转化餐桌上的面包。

大数据开发和大数据平台开发打通了粮食收割、清理、制粉的整个流程，将原始的粮食转化成了面粉。大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。目前的大数据公司都建有自己的数据仓库，数据仓库中的一个子任务就是构建OLAP（Online Analytical Processing，联机分析处理）工具：主要是在Hadoop生态上，构建大数据分析平台。

大数据平台开发所做的工作包括提供HDFS、HBase、对象存储等数据存储服务；Hive和Spark批处理、Druid和Kylin预处理等数据分析工具；Spark Streaming、Flink等流式计算工具。总之，大数据平台开发工程师关注基础设施和工具。大数据开发大数据工程师的一个重要任务是ETL（Extract、Trasform、Load）：使用大数据平台开发工程师提供的基础设施和工具，在收集到的数据上做提取和转化，生成更高层次的数据。

这部分工程师关注业务相关的数据流。因为原始数据一般都是互相独立的，数据与数据之间关联性差，使用这些原始数据，几乎很难快速生成用户画像、广告收入等高层次数据分析结果，更不用提如何进行机器学习建模了。以今日头条内容推荐引擎为例，整个推荐引擎要接入不同类型的异构大数据源：每个用户在APP上的使用行为、公司购买的第三方数据（包括用户金融能力数据等）、自媒体产生的海量图文视频内容等等。

数据工程师的工作包括：将用户在APP内的点击行为与点击的内容做关联，生成用户兴趣画像；将用户的APP内部数据与第三方数据关联，生成用户的消费能力画像等。大数据开发工程师主要对收集过来的底层数据做处理，建立一系列数据管道，将来自不同数据源的原始数据经过层层转化，生成对数据分析和算法建模更有价值的中间数据，一般称这个流程为数据流。

小公司限于人力有限，数据流的响应时间有可能是天级或小时级；大公司对数据流的响应要求极高，有可能是分钟级、秒级甚至亚秒级。很多朋友都发现，在今日头条刚刚搜索过某一个内容，下一分钟就能收到相似内容的推荐了，因为大数据开发工程师提供了这种秒级数据管道。技能要求无论是大数据平台开发工程师还是大数据开发工程师都对从业人员的“编程开发”和“大数据”大数据要求比较高，而且数据量越大的公司，对技能要求越高。

公司一般要求工程师在Java和Scala语言上，基于Hadoop生态系统，构建实时或批量的数据流。但公司与公司的差异很大，整个技术栈和工作内容与公司架构高度相关。某招聘APP上对大数据开发工程师的技能要求：Java、Scala、Linux、Hadoop、Kafka、Spark、Flink等。面试时一般会重点考察候选人对Google大数据三大论文的理解，即MapReduce、GFS和BigTable，分别对应了开源的Hadoop MapReduce、HDFS和HBase，这三篇论文也被称为驱动大数据的三驾马车。

大数据平台是什么？什么时候需要大数据平台？

谢邀！最近我和我的团队一直在做一些大数据相关的工作，我来回答一下这个问题。首先是第一个问题，大数据平台是什么？当我们说到一个平台的时候，我们的意识里面往往就知道，这里面肯定不止一样东西，它是很多东西的一个集合，大数据平台也是一样，首先如果用几个字来描述它的话就是“它是一个数据解决方案”，进一步解析就是：大数据平台它是一个以分布式存储为基础，集成了数据获取，数据清洗，数据流转，数据分析，数据输出等工具集的一个数据解决方案。

它的核心使命是提供数据存储和数据分析服务给目标客户。那么它的核心组成部分是什么呢？实现的方法有多种，我就举一个最典型的大数据平台结构作为说明。目前无论是国内或者国外，应用最广泛也是最典型的大数据平台是以Hadoop为核心进行功能延伸的生态系统，业内把它叫做Hadoop生态，它开源并且免费使用，它长什么样子？它的面目基本上是这样：从上图我们得知，它就是一套以Hadoop分布式文件系统为核心的数据处理工具集，目的是为了向用户提供数据分析服务的一个集成解决方案。

什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。举例说，家用电脑目前一般是配置2TB大小的硬盘(存储容量约等于于18个128G的iPhone)，一般几万块钱的商用服务器容量大约在32TB容量，高端的单机存储器可以达到100TB以上，但是数据量如果再大比如上跳一个数量级1000TB,也就是1PB左右，单机系统就无能为力了，不单是存储容量无能为力，计算能力也无法应对了，因为我们知道，单台计算机的性能是有极限的，数据太多磁盘检索读取的速度就会变慢，CPU和内存压力也会变大，这个时候需要完成一个数据分析任务就要耗时很长，那么这个时候大数据平台就派上用场了，大数据平台的一个特性就是多台计算机组成一个集群集体并行作战，并且理论上可以无限拓展。

国内有哪些做的比较好的大数据平台，你怎么评价？

比较好的大数据平台 有阿里云,腾讯,百度,华为和星环.阿里云的大数据平台偏技术,产品比较齐全.腾讯大数据产品偏分析,产品和方案偏少百度大数据的产品也比较齐全,另外偏营销的解决方案不少华为的产品偏薄弱.另外一家是星环,产品很有特点,但是研发能力和市场等比较弱.阿里云大数据腾讯大数据百度大数据华为大数据星环大数据。