本文目录:
一、写在前面的话
二、大数据定义
三、大数据特性
3.1、大数据的大量 (Volume) 特性
3.2、大数据的高速(Velocity)特性
3.3、大数据的多样化 (Variety) 特性
3.4、大数据的价值 (value) 特性
3.5、大数据的真实性 (veracity) 特性
四、大数据的单位
五、大数据涉及的数据类型
六、大数据五大核心领域
七、大数据趋势
一个星期前,我到楼顶浇花,偶遇本楼邻居,她闲话中提起5楼某家的2位今年都走了,听到这个消息,我心里很难受,眼泪忍不住掉下来。。。
其实我和五楼的那家人并不熟悉,仅有的几次交流也是在十几年前。那时我还在上班,回家时在家附近总能碰到那家的女主人在遛狗。女主人是我们华工大宣传部的一位老师,短发,为人很爽朗。狗狗是一只白色的长毛京巴,狗狗年纪有点大了,跑两步就呼哧呼哧直喘气,有时还会趴地上休息一下,每当这个时候,女主人总是耐心地站在路边等待狗狗,眼神很温柔宠溺,仿佛看着自家的孩子。我喜欢逗狗狗,摸摸它的脑袋,问它今天乖不乖,有没有好好吃饭。。。
男主人也是我们华工大的老师,我没有机会和他认识,但知道他义务为我们这栋楼做了很多事情,例如处理很多电梯相关事情,到现在,电梯的持有人还是写着这位王老师的名字。
后来我因为变故,没有再上班,留在家里做家务,基本都不出门,也没有什么机会碰到五楼的那两位邻居。我记得王老师曾用的签名是:给点阳光就灿烂,给个箩筐就下蛋。。。很幽默乐观的一个人。疫情开始后,王老师还在楼群里发过疫情搞笑图片,逗大家开心。。。
一切仿佛就在昨天,没想到两位长辈走得那么突然。。。
好人会有好报,今生的苦难修炼会换来来世的一切安好。谨以此文纪念曾经的老邻居。
逆境清醒
2023.8.24
大数据定义
大 数 据 (Big Data ) 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据是指数据规模巨大、类型多样、传统数据处理工具无法高效处理的数据集合。它可以通过多种方式生成,包括互联网、社交媒体、传感器、金融交易等。
大数据通常具有三个特点:数据规模大、数据类型多样和数据处理速度快。
大数据的应用领域包括商业智能、金融、医疗保健、能源、农业、交通等。利用大数据技术可以从数据中获取有价值的信息和知识,以支持决策制定、预测分析、市场营销等方面的工作。
Oracle的大数据定义:
简而言之,大数据指非常庞大、复杂的数据集,特别是来自新数据源的数据集,其规模之大令传统数据处理软件束手无策,却能帮助我们解决以往非常棘手的业务难题。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义:
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所的大数据定义:
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据特性:
♦ 大量 (Volume) :数据的大小决定所考虑的数据的价值和潜在的信息;
♦ 高速 (Velocity) :指获得数据的速度;
♦ 多样化 (Variety) :数据类型的多样性,数据类型众多;
♦ 价值 (value) :合理运用大数据,以低成本创造高价值。
♦ 真实性 (veracity) :数据的质量。
大数据的大量特性指的是数据量的巨大。这些数据通常由传感器、移动设备、社交媒体、金融数据、医疗记录等数据来源产生。
大数据的大量特性包括以下几个方面:
♦ 数据量巨大: 数据量从几个GB到数百PB不等,规模非常巨大。
♦ 数据增长快速:数据以指数级增长,需要使用不断升级的技术和架构才能处理大规模数据。
♦ 数据来源多样:数据来源包括传感器、移动设备、社交媒体、金融数据、医疗记录等多个领域。
♦ 数据类型多样:数据不仅包括结构化数据,还包括非结构化数据和半结构化数据,如文本、图像、音频和视频等多种类型。
♦ 数据复杂度高:数据往往是高度复杂的,包含大量的关联、交互和变化,因此需要高效的处理和分析技术。
大量的数据给数据处理和分析带来了很大的挑战,需要使用高级技术和工具来处理和分析这些数据。
大数据的高速(Velocity)特性是指大数据在产生、传输、存储和处理的速度非常快,数据量巨大,常常是以毫秒或微秒级别计算的。
大数据的高速特性主要体现在以下几个方面:
♦ 数据实时产生:大数据往往是实时生成的,例如社交媒体上的用户行为、物联网设备产生的传感器数据等。这些数据需要实时获取和处理。
♦ 数据传输速度快:随着网络带宽和数据传输技术的不断提升,大量数据能够在短时间内快速的传输到目标系统,如云端存储和数据处理平台。
♦ 数据存储速度快:将大客户端数据快速地写入到数据库中、实时处理数据等。
♦ 数据处理速度快:大数据处理采用分布式计算和并行计算技术,能够快速地处理大量数据,例如实时数据挖掘、实时分析和报告等。
♦ 数据更新速度快:大数据处理需要非常高的数据更新速度,从而保证数据的实时性和准确性。
综上所述,大数据的高速特性是指数据产生、传输、存储和处理的速度非常快,能够快速响应用户需求,实现实时的数据分析和决策。
大数据的多样化主要体现在以下几个方面:
♦ 数据来源多样化:大数据可以来自各种各样的来源,如传感器、社交媒体、日志、传统数据库等。
♦ 数据类型多样化:大数据类型可以是结构化数据(如关系型数据库中的表格数据)、半结构化数据(如XML文件)和非结构化数据(如图片、视频和声音等)。
♦ 数据格式多样化:大数据可以采用各种不同的标准和格式进行存储和传输,如CSV、JSON、XML、Avro、ORC等。
♦ 数据内容多样化:大数据可以包含各种类型的信息,如文本、数字、图像、音频等,甚至包括无形的事物,如声音、情感、意见等。
♦ 数据规模多样化:大数据可以是海量、超大量、甚至是呈指数级别的数据,这也给数据分析和处理带来了很大的挑战。
大数据的价值特性包括以下几个方面:
♦ 体量:大数据具有庞大的数据量,这使得人们可以更全面、更准确地了解和预测事物的变化趋势,从而更好地做出决策。
♦ 多样性:大数据可以来自各种来源,如传感器、社交媒体、移动设备等等,因此可以包含不同类型的数据,如文本、图像、视频等,这种多样性促进了数据的整合和分析,从而产生更精确的结论。大数据包括结构化数据(如数据库中的数据)和非结构化数据(如社交媒体、日志和图片等),这些数据来源不同、类型不同、格式不同,为决策提供了更全面的信息基础。
♦ 速度:大数据的速度特征是指数据的处理速度和更新速度非常快,甚至是实时的。大数据具有高速处理数据的能力,可以在短时间内处理大量数据,从而快速地获取信息,这样的数据可以帮助企业快速做出决策,抢占市场获得市场的竞争优势。
♦ 规模:大数据的规模非常大,包含了数十亿或数百亿的数据点。这种数据规模使得企业可以从更大的数据集中获取更好的信息,从而更好地预测市场和客户需求。
♦ 价值:大数据的真正价值在于从数据中提取出有用信息,进行分析和应用。这对企业来说非常重要,因为它可以帮助企业做出更好的商业决策,改进产品和服务,优化市场营销等。
♦ 精确性:大数据的精确性是指数据的准确性和可信度。保证数据的质量将有助于企业做出更好的决策,提高效率和效益。
♦ 可视化:数据可视化可以让人们更好地理解数据,从而发现数据中的模式和趋势。
♦ 开放性:大数据需要以开放的方式进行共享和访问,以便更多的人可以使用和分析数据。
总体来说,大数据价值特性的综合作用是帮助企业更好地理解他们的业务、客户和市场,并根据数据分析结果进行策略制定和执行,从而获得更大的商业价值。
大数据的真实性 (veracity) 特性指的是数据的精确性和可靠性。由于大数据通常来自各种不同的来源和格式,因此它们可能存在质量问题,例如错误、缺失、重复、歧义等。因此,对于大数据系统来说,确保数据的真实性非常重要,以确保系统的准确性和可靠性。
为了保证数据的真实性,可以采取以下措施:
♦ 数据清洗:通过清洗数据来去除错误、重复和不必要的信息,以提高数据的质量和准确性。
♦ 数据验证:对数据进行验证以确保其符合业务规则和标准,确保数据的正确性和可靠性。
♦ 数据监控:对数据源进行监控,及时发现和纠正数据质量问题,以保证数据的真实性。
♦ 数据库管理:对数据库进行管理,包括备份、恢复和维护,以确保数据的安全和一致性。
♦ 数据共享:对外共享数据时需要确保数据的真实性和安全性,确保数据不会被篡改或滥用。
总之,大数据的真实性 (veracity) 特性是确保数据的质量和可靠性,保证大数据系统的正确性和可靠性的关键要素。
最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
它们按照进率1024(2的十次方)来计算:
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
大数据涉及的数据类型 |
|||
数据类型 |
概念 |
表现形式 |
典型场景 |
结构化数据 |
也称行数据,是具备统一的结构、能够用行列二维形式表达和管理的数据,如关系型数据库数据。 |
数据库表等 |
企业ERP、财务、HR数据库等 |
半结构化数据 |
是一种适于数据库集成的数据模型,也可以是一种标记服务的基础模型,用于Web上共享信息。 |
邮件、HTML、报表等 |
邮件系统、网页信息、报表系统等 |
非结构化数据 |
数据结构不规则,不方便用行列二维形式表达的数据,如图片、文本、音视频等。 |
视频、音频等 |
在线视频内容、音频内容、图形图像等 |
♦ 数据存储与计算、
♦ 数据管理、
♦ 数据流通、
♦ 数据应用、
♦ 数据安全。
♦ 云计算:云计算已成为企业存储和处理大量数据的首选方式。
♦ 人工智能和机器学习:人工智能和机器学习技术正在越来越多地应用于大数据分析和预测。
♦ 区块链:区块链技术可以用于数据安全和隐私保护。
♦ 数据科学:数据科学领域的专业人士正在与大数据分析师一起工作,以更好地理解和利用大数据。
♦ 数据质量管理:数据质量管理已成为大数据管理中的一个重要领域,以确保数据的准确性和一致性。
♦ 数据可视化:大量数据需要通过数据可视化工具进行呈现,以便更好地理解和利用数据。
♦ 边缘计算:边缘计算技术可以在现场处理大量数据,从而减少数据传输和处理时间。
推荐阅读:
[你找到牵手一辈子的人了吗?] 七夕情人节特辑 |
数字技术能让古籍“活过来”吗? |
心情不好时,帮自己训练个AI情绪鼓励师吧(基于PALM 2.0 finetune) |
深度学习框架TensorFlow |
人工智能开发人员工作流程、看法、工具统计数据 |
2023 年6月开发者调查统计结果——最流行的技术(2) |
2023 年6月开发者调查统计结果——最流行的技术(1) |
让Ai帮我们画个粽子,它会画成什么样呢? |
|
|
|
给照片换底色(python+opencv) | 猫十二分类 | 基于大模型的虚拟数字人__虚拟主播实例 |
|
|
|
计算机视觉__基本图像操作(显示、读取、保存) | 直方图(颜色直方图、灰度直方图) | 直方图均衡化(调节图像亮度、对比度) |
|
|
|
语音识别实战(python代码)(一) |
人工智能基础篇 |
计算机视觉基础__图像特征 |
|
||
matplotlib 自带绘图样式效果展示速查(28种,全) |
||
|
||
Three.js实例详解___旋转的精灵女孩(附完整代码和资源)(一) | ||
|
|
|
立体多层玫瑰绘图源码__玫瑰花python 绘图源码集锦 | Python 3D可视化(一) |
让你的作品更出色——词云Word Cloud的制作方法(基于python,WordCloud,stylecloud) |
|
|
|
python Format()函数的用法___实例详解(一)(全,例多)___各种格式化替换,format对齐打印 |
用代码写出浪漫__合集(python、matplotlib、Matlab、java绘制爱心、玫瑰花、前端特效玫瑰、爱心) |
python爱心源代码集锦(18款) |
|
|
|
Python中Print()函数的用法___实例详解(全,例多) |
Python函数方法实例详解全集(更新中...) |
《 Python List 列表全实例详解系列(一)》__系列总目录、列表概念 |
|
|
|
用代码过中秋,python海龟月饼你要不要尝一口? | python练习题目录 |
|
|
|
|
草莓熊python turtle绘图(风车版)附源代码 | 草莓熊python turtle绘图代码(玫瑰花版)附源代码 |
草莓熊python绘图(春节版,圣诞倒数雪花版)附源代码 |
|
|
|
巴斯光年python turtle绘图__附源代码 |
皮卡丘python turtle海龟绘图(电力球版)附源代码 | |
|
|
|
Node.js (v19.1.0npm 8.19.3) vue.js安装配置教程(超详细) |
色彩颜色对照表(一)(16进制、RGB、CMYK、HSV、中英文名) |
2023年4月多家权威机构____编程语言排行榜__薪酬状况 |
|
|
|
手机屏幕坏了____怎么把里面的资料导出(18种方法) |
【CSDN云IDE】个人使用体验和建议(含超详细操作教程)(python、webGL方向) | 查看jdk安装路径,在windows上实现多个java jdk的共存解决办法,安装java19后终端乱码的解决 |
|
||
vue3 项目搭建教程(基于create-vue,vite,Vite + Vue) | ||
|
|
|
2023年春节祝福第二弹——送你一只守护兔,让它温暖每一个你【html5 css3】画会动的小兔子,炫酷充电,字体特 | 别具一格,原创唯美浪漫情人节表白专辑,(复制就可用)(html5,css3,svg)表白爱心代码(4套) |
SVG实例详解系列(一)(svg概述、位图和矢量图区别(图解)、SVG应用实例) |
|
|
|
【程序人生】卡塔尔世界杯元素python海龟绘图(附源代码),世界杯主题前端特效5个(附源码) | HTML+CSS+svg绘制精美彩色闪灯圣诞树,HTML+CSS+Js实时新年时间倒数倒计时(附源代码) | 2023春节祝福系列第一弹(上)(放飞祈福孔明灯,祝福大家身体健康)(附完整源代码及资源免费下载) |
|
|
|
tomcat11、tomcat10 安装配置(Windows环境)(详细图文) |
Tomcat端口配置(详细) |
Tomcat 启动闪退问题解决集(八大类详细) |