大数据包括哪些工作内容,大数据开发主要做哪些工作

知道了大数据的概念，我们再来看看大数据包含了什么。大数据领域大概有四大工作方向。除了大数据平台的应用开发、大数据分析应用、大数据平台的整合运维，还有大数据平台架构和研发，除了以上四大工作方向，还有一个工作方向就是大数据技术的推广和培训，目前很多人都在从事。

大数据开发主要做哪些工作？

大家好，我是Lake，专注大数据技术程序员经验互联网科技见解分享。作为一个软件工程师，我个人目前从事的就是大数据方向。目前大数据可以分成很多具体的方向大数据平台开发大数据分析师(BI)大数据运维大数据处理(ETL)大数据组件开发(偏大数据组件底层)。不同的工作方向，其工作内容还是有一定差异的，下面我来说下不同工作岗位具体的工作内容大数据平台开发更偏向对整体数据平台功能性开发，比如离线计算平台实时计算平台算法推荐平台等等。

平时用的较多的语言是Java，其更偏向于Java开发。如果用户是上层用户，大数据相关组件作为最低层，大数据平台就桥接着用户和大数据组件，方便用户使用大数据组件的功能。大数据分析师(BI同学)更多的是对我们已有的线上数据进行价值分析，从相关的线上用户所产生的数据中，发现出一些潜在的商业价值，能够更好的去辅助决策层的战略决定。

BI需要对数据敏感细心，善于从数据中发现业务价值，平常很多工作就是数据可视化简单化深入化PPT化。大数据运维同学主要是保障公司相关机器集群的稳定，使得它们不能出现故障。当申请到新的机器时，会在新机器上面部署各种大数据组件组成的集群。同样，当有业务同学需要用到机器时，可以给大数据运维同学提需求。

当大数据组件集群突然因为什么变得集群不稳定时，运维同学需要去定位问题和解决问题，运维同学平时用的较多的Linux Shell脚本和命令行等，其职位更偏向于为其他同学提供机器稳定保障。ETL同学(数仓同学)则是对我们的线上数据进行数据加工，形成DWD层(公共明细层)DWS层(公共汇总层)，形成统一的指标口径。

ETL同学会根据不同的业务需求，一般使用SQL进行数据指标的加工，指导业务同学更好的运营相关业务。同时ETL同学更关注业务指标的口径，在指标开发的过程中，使用数仓模型对业务数据进行建模，便于开发的指标数据更加统一，减少口径偏差。大数据组件开发，更多的是结合公司业务，对大数据基础组件进行定制化开发性能优化BUG修复等等。

同时，也需要对业务方接入进行问题答疑，指导他们使用大数据组件满足业务需求。同时，你也需要运维你的大数据组件，当出现故障BUG时，需要你能及时修复，保证大数据组件的稳定。大数据组件开发需要对你自己运维的组件原理掌握的很全很深，只有这样，你才能够更好的指导别人。总结大数据开发有很多方向，你可以结合你自己的兴趣，选择一个从事方向。

大数据主要涉及的内容有哪些？可以从事哪些岗位？

记得大学毕业的第一份工作，我们公司的业务就是做BI产品研发。哪时候互联网没有今天这样火热，也没有大数据移动互联网的概念。记得有一次和同事去华师后门买书，同事买了一本javascript,我买了一个ajax。那时候，我们产品的客户端是用Delphi开发的，其实买书就是为了补充一点新知识，工作中基本用不到。

在公司的第三年，公司要转做web的BI展示界面，我帮公司用svg做了两个展示组件，心里还是美滋滋的。随着时间的推移电商的发展，大数据云计算似乎成了每个互联网公司对外宣传的标准说法。如果不讲点这些概念，似乎给人感觉缺少些逼格。记得10年在公司的一次培训上，有个同事问，云计算是不是你搞出来的，就因为我姓云。

听到这个问题，我笑哭了。大数据这个概念喊了这么多年，很多人还是不知道大数据指的是什么。为了很好的回答这个问题，我还搜索了大数据的概念。说实话，就连从事互联网这么多年的人也没看懂百科的解释。大数据，IT行业术语，指的是在一定时间内，常规软件工具无法捕捉、管理和处理的数据集合。高增长率的海量信息资产和多样化的信息资产需要新的处理模式来拥有更强的决策能力、洞察和发现能力以及流程优化能力。