大数据有多少年的历史,科技观的历史演进与时代意蕴

大数据是干什么的？

很高兴能够和你一起讨论大数据是干什么的。这些年以来，我们已经通过各种渠道听说过大数据；大数据出现的频率极高，给大家提供便利的生活支撑，也受到大家极高的关注。现在而今眼目下，好像开口闭口不提一下大数据，都觉得自己Low了的感觉。那我们就来了解一下什么叫大数据，了解大数据的特性，以及存在的危险。大数据的定义大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

现阶段我们能够接触到的所有信息，都是大数据中的一分部。大数据具有5V特点：Volume（大量）、Velocity（时效）、Variety（多样）、Value（低价值密度）、Veracity（真实性）五个特点。一、Volume（大量）大数据有多大呢。就以我们日常接触传统数据来进行恒量吧。一个中文汉字2个字节，即2byte。

1 KB = 1024 B (KB - kilobyte)1 MB = 1024 KB (MB - megabyte)1 GB = 1024 MB (GB - gigabyte)1 TB = 1024 GB (TB - terabyte)1 PB = 1024 TB (PB - petabyte)1 EB = 1024 PB (EB - exabyte)1 ZB = 1024 EB (ZB - zettabyte)简单的工式可能阻碍你的理解，那我们以一下常用数据来帮助你理解。

1、500G 普通笔记本电脑硬盘容量；2、1TB 普通移动硬盘容量；3、1ZB其中据相关资料显示，2011年，全球被创建和复制的数据总量为1.8ZB；据预估：到今年年底（2020），全球大数据计算中心存储的数据可达到35ZB。二、Velocity（时效）大数据具有一定的时效性。每一条数据，都是具有一定的时效性的。

例如:几个月以前全球的新冠肺炎疫情累积确诊数量为0；截止目前为止，全球已经有超过300万人确诊感染新冠肺炎。每日今日头条呈现的新闻排行榜，也是不停地在变化。每一条数据的产生，到使用，到消亡，所经历的时间越来越短；热搜的排行十几分钟更新一次，实际上，信息的变化更快，快到超出我们的想像。引用一句话： 就在刚刚过去的这一分钟，数据世界里发生了什么？Email：2.04亿封被发出Google：200万次搜索请求被提交Youtube：2880分钟的视频被上传Facebook：69.5万条状态被更新Twitter：98000条推送被发出12306：1840张车票被卖出……以我们防控新冠肺炎中比较出采的健康码为例：我们每个人在支付宝上传了我们的相关信息，支付宝根据我们的位置信息、通信信息、健康信息等等给我们及时更新健康码颜色。

如果不具有时效性，那么这个健康码就毫无用处。三、Variety（多样）大数据的数据来源是多样化的，任何在网上能接触到的信息，或者能搜集到的信息，都会成为大数据的基本信息资料。每个人的基础信息，包括姓名，年龄，性别，身份证号，电话号码，你日常通过社交软件搜索的内容等等；每个地图的信息，经度，纬度，路由，你日常通过导航软件展现出来的信息；音乐，视频，文章，图片，你每天在网上浏览的海量数据都是大数据。

……以上的所有所有，也就是我们人类能接触到的所有信息，都纳入大数据需要存储的范畴。四、Value（低价值密度）大数据的信息量太多，但是真正有效的，有价值的信息确相当有限。比如，某房产中介商获取了一百万人所有身份信息，但是，对他们有效的信息，只限定在该城市中，有购买能力，有购买需求的潜在对象；而其他所有的信息对于该中介来说，毫无用处。

对于所有的企业来说，能够从低价值密度中获得对他有效的信息，再对该信息进行精准处理，则相当重要。在这个年代，谁能最快速有效地获取大数据，提取大数据，处理大数据，再变成商业资源，那他就能成为大数据时代的王者。五、Veracity（真实性）大数据的基础信息是真实的，就看每个企业能否在这海量的真实的基础信息中，获取最有效的资源。

大数据的挑战：当大数据与云计算结合起来之后，大数据就大大向前迈出了一步，大数据给大家的生活带来便利；在这一大跨步当中，安全永远是无法避免的话题。想一想，很多购物软件的杀熟，新注册人员能看到价格和老用户不一致，这是不是可怕？想一想，如果并非因为疫情原因，有人随便一查就能知道你的位置信息，通信信息，和哪些人接触过，是不是可怕？想一想，你现在手机中的很多APP一直在忽悠你打开的权限，是不是可怕？当你我在享受大数据的快感的时候，有没有发现自己也是穿着皇帝的新装徜徉在大数据的海洋中。

大数据成立于几几年？

“大数据”不是公司，是一个IT行业内的术语，是指巨大的数据集合，超出常规软件计算和管理的数据流。大数据最早是2008年提出来，麦肯锡研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据对于社会发展而言有着巨大的作用，第一，对大数据的处理分析正成为新一代信息技术融合应用的结点，通过对不同来源数据的管理、处理、分析与优化，大数据可以提供更加精准的服务。。第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。第三，各行各业的决策对大数据的分析越来越重视，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；在医疗领域，可提高诊断准确性和药物有效性；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在公共事业方面，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

多大的数据，才能称为大数据？

大数据 Big Data， 据说源出自Alvin Toffler上世纪70年代的作品《第三次浪潮》。最早提出大数据时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

”目前，一些专业人士将大数据概括为四大特征，即“4V”： 数量大（Volume），数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量；多样性（Variable），数据类型繁多，多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息；速度快（Velocity），数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理，处理工具亦在快速演进，软件工程及人工智能等均可能介入；低价值密度（Value），以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流，360度全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。

大数据到底有多大？先举个例子来说，欧洲研究组织进行的核试验每秒钟能产生40TB的数据。一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多，相当于美国两年的纸质信件数量；发出的社区帖子达200万个，相当于《时代》杂志770年的文字量；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。

随着计算机硬件成本、计算机内存成本的降低和超级集群计算机的产生，使得处理大规模的复杂数据成为可能，这样就产生以结构化（股票交易数据）、半结构化（网络日志）和非结构化（文本数据、音频数据、视频数据）为主的大数据。其中非结构化数据占互联网数据总量的80%。《大数据时代》作者维克托·迈尔-舍恩伯格说：“大家都在说大数据，大数据到底有多大？到底有多少信息说到zb字节，我们说10的21次方，这是什么意思？它的含义是什么？它如何发挥作用？ 1987年他还在读大学，当时数据世界还没有达到30亿gb，而到了2007年，增加到3000亿gb，20年间数据提高了100倍。

如果回溯历史的话，上一次数据如此快速增长是因为印刷的革命，用了50年实现数据翻一番的增长。如今20年间就实现了。”IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。

大数据的来源有几种？不同来源的数据各有什么特点？

今天的大数据来源是，除了专业研究机构产生的大量数据（CERN的离子碰撞器每秒产生高达40TB的数据），与业务运营相关的大数据可分为四个来源：1.越来越多的机器配备了持续测量和报告操作条件的设备。几年前，跟踪遥测发动机的运行仅限于价值数百万美元的航天飞机。现在，汽车制造商已在其车辆中配备了监视器，以持续提供车辆机械系统的整体运行。

一旦数据可用，公司将尽一切可能从中获利。这些机器传感数据属于大数据范围。2.计算机生成的数据可能包含有关互联网和其他用户的行为和行为的有趣信息，提供对其愿望和需求的潜在有用的理解。3.用户自己生成的数据/信息。人们通过电子邮件，短信，微博等生成的文本信息。4.迄今为止最大的数据是音频，视频和符号数据。

这些数据结构松散且数量庞大，因此难以提取有意义的结论和有用的信息。大数据改变了公司在所有行业中的运作方式。 从了解市场到如何挖掘商业信息，大数据可以看到每一个变化。 致力于收集和分析大数据的行业已经形成，并对现有公司产生了深远的影响。 根据调查，10％的公司认为，在过去五年中，大数据彻底改变了他们的运营方式。