040-大数据技术

教育大数据隐私保护机制与技术研究

丁静姝3,李卿21华中师范大学国家数字化学习工程技术研究中心，湖北武汉4300792华中师范大学教育大数据应用技术国家工程实验室，湖北武汉4300793华中师范大学法学院，湖北武汉430079摘要：随着大数据技术在教育领域应用的不断深入
唐名威·2022-12-28 08:39

大数据技术之ClickHouse

大数据技术之ClickHouse一、ClickHouse入门1.1、列式存储1.2、DBMS的功能1.3、多样化引擎1.4、高吞吐写入能力1.5、数据分区与线程级并行1.6、性能对比二、ClickHouse
用生命研发技术·2022-12-28 08:31

【大数据技术】大数据技术之数仓宽表和窄表的区别

【大数据数仓】宽表和窄表的区别一、宽表（1）宽表：从字面意义上讲就是字段比较多的数据库表。通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表。由于把不同的内容都放在同一张表存储，宽表已经不符合数据仓库三范式的模型设计规范，将大量不同范畴的字段放到一张表里，故随之带来的主要坏处就是数据的大量冗余，但也带来了好处，与之相对应的好处就是查询性能的提高与便捷，查询时不需要跨表只需在这张宽表里进
daydayup-2016·2022-12-27 21:36

一文看懂BDTC 2018：探秘大数据新应用（附PPT下载）

12月8日，北京新云南皇冠假日酒店，由中国计算机学会主办，CCF大数据专家委员会承办，CSDN、中科天玑数据科技股份有限公司协办的2018中国大数据技术大会（BDTC）圆满落下帷幕。
csdn业界要闻·2022-12-27 06:56

【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）

Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume主要由3个重要的组件构成：1）Source：完成对日志数据的收集，分成transtion和event打入到channel之中。2）Channel
showswoller·2022-12-26 08:46

能源互联网理论与及其实际应用初探

2.3研究尺度2.4定义的数学表达——能量枢纽模型3、能源互联网的评价指标4、能源互联网的研究方法4.1模拟研究4.2半实物仿真研究二、能源互联网的应用研究1、大数据分析在能源互联网中的应用1.1介绍各类大数据技术手段
望百川归海·2022-12-25 11:44

【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）

需要源码和数据集请点赞关注收藏后评论区留言私信~~~一、判别西瓜好坏西瓜是一种人们很喜欢的水果，是盛夏季节的一种解暑物品，西瓜可以粗略的分为好瓜和坏瓜，我们都希望购买到的西瓜是好的，这里给出判断西瓜好坏的两个特征,一个特征是西瓜的糖度,另外一个特征是西瓜的密度,这两个数值都是0~1的小数，基于西瓜的测试数据来判断西瓜的好坏Spark中提供了MLib机器学习库，使用MLib机器学习库中提供的例子，采
showswoller·2022-12-25 10:49

Hive+Spark离线数仓工业项目实战--项目介绍及环境构建（1）

项目简介通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。
骨灰级收藏家·2022-12-24 12:55

浅谈打造泛在电力物联网大数据平台-Susie 周

1、大数据技术在物联网产业中的应用价值现如今，物联网的架构主要包括：感知层、网络层和应用层。感知层能够采集信息、识别物体等感知功能，从而形成大量数据。
Acrel18701808662·2022-12-24 00:46

欧科云链链上卫士：做穿越Web3黑暗森林的那盏探照灯

近日，全球领先的区块链大数据技术与服务提供商欧科云链旗下的区块链生态安全品牌——“链上卫士”通过链上数据分析，揭示了BSC网络跨链桥被黑事件背后，黑客是如何利用缺失的3行代码，凭空获取200万个BNB的
欧科云链·2022-12-23 23:59

多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践

伴随着国家产业升级的推进和云原生技术成熟，多点DMALL大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入Kyuubi实现统一SQLProxy的角度讲述这一探索实践的历程。
·2022-12-23 22:49

数据的“敏捷制造”，DataWorks一站式数据开发治理范式演进

简介：企业大数据技术发展至今，历经了两次蜕变。第一次蜕变从最初的“小作坊”解决大数据问题，到后来企业用各类大数据技术搭建起属于自己的“大平台”，通过平台化的能力完成数据生产力的升级。
阿里云云栖号·2022-12-23 09:20

DataWorks赋能企业一站式数据开发治理能力

企业大数据技术发展至今，历经了两次蜕变。第一次蜕变从最初的“小作坊”解决大数据问题，到后来企业用各类大数据技术搭建起属于自己的“大平台”，通过平台化的能力完成数据生产力的升级。
阿里云大数据AI技术·2022-12-23 09:20

新博智慧救助 | 乐清市“1168”数字化大救助解决方案案例

◆近年来，乐清市坚持党建统领基层整体智治，依托大数据技术，聚焦困难群众急难愁盼问题，整合多元救助力量，打造智慧救助数字平台，实施数字化社会大救助“1168”工程，实现救助服务由“兜底保障”向“幸福提质”
simplesoftxb·2022-12-23 08:12

亿信华辰:2022 数据治理领域十大关键词！

6月28日，为进一步加速推动我国数据智能转型进程，推动“十四五”期间数据智能产业交流与合作，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会（CCSATC601）
辰哥爱学习·2022-12-22 18:33

安全数据的动态治理

随着各个国家的重视和布局，大数据技术和人工智能技术发展迅速，相关自动化与智能化的识别和处理能力、数据分析能力逐渐与网络安全技术进行了深度协同，对网络安全的技术、方法、应用产生了重要影响，促进了网络安全技术的变革性的进步
maoguan121·2022-12-22 16:24

Hadoop面试考查重点，大数据技术生态体系

1.4Hadoop优势（4高）1.5Hadoop组成（面试重点）1.5.1HDFS架构概述1.5.2YARN架构概述1.5.3MapReduce架构概述1.5.4HDFS、YARN、MapReduce三者关系1.6大数据技术生态体系
Echo bigdata·2022-12-22 12:24

如何实现一个SQL解析器

而为了降低大数据的学习成本和难度，越来越多的大数据技术和应用开始支持SQL进行数据查询。
·2022-12-22 11:26

星河璀璨 | GBASE南大通用两项成果获评2022大数据“星河”标杆、优秀案例

12月12日，由中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会(CCSATC601)共同组织的第六届大数据“星河（Galaxy）”案例征集结果正式公示。
GBASE数据库·2022-12-22 11:59

4万字长文全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2022-12-22 09:29

全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
浪尖聊大数据-浪尖·2022-12-22 09:59

4W字全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
浪尖聊大数据-浪尖·2022-12-22 09:28

6G网络知识图谱技术研究

6G简介近年来，随着5G、人工智能(AI,artificialintelligence)和大数据技术的不断革新，智能移动物联网业务的兴起和迅速发展引发了新一轮信息技术革命浪潮，“万物互联”对海量业务数据即时获得
H3C-Navigator·2022-12-22 08:27

【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）

机器学习的定义机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的构建过程是利用数据通过算法构建出模型并对模型进行评估，评估的性能如果达到要求就拿这个模型来测试其他的数据，如果达不到要求就要调整算法来重新建立模型，再次进行评估，如此循环往复，最终获得满意的经验来处理其他的数据。机器学习的分类1：监督学习通过已有的训练样本（即已知数据以及其对应的输出）训练得到一个最优模型，
showswoller·2022-12-22 06:26

智慧能源管控系统在钢铁企业的设计与应用

在钢铁企业智慧能源管控中心构建过程中,主要依靠的是大数据技术优势,将迅捷的计算方法和廉价传感器作为基础,为钢铁企业经营生产提供支持,形成了多元化的能源供给方式。对此本文针对钢铁企业智慧能源管控系统的
安科瑞 汤婉茹·2022-12-21 13:10

阿里云大数据工程师ACA认证考试大纲

阿里云大数据工程师ACA认证考试大纲认证介绍：阿里云大数据工程师ACA认证（AlibabaCloudCertifiedAssociate-BigData）是面向学生、大数据技术入门人员、从业者、爱好者的专业技术认证
outuo219·2022-12-20 20:28

大数据技术应用7-1数据仓库Hive的介绍

Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分
诺特兰德·2022-12-20 08:37

【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）

流数据和流计算在大数据时代，数据可以分为静态数据和流数据，静态数据是指在很长一段时间内不会变化，一般不随运行而变化的数据。流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下数据流可被视为一个随时间延续而无限增长的动态数据集合。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域但是，在大数据时代，不仅数据格式复杂、来源众多，而且数据量巨大，这就对实时计算提出了很大的挑战。因此，
showswoller·2022-12-20 08:45

BI数据分析平台

）商业智能（BusinessIntelligence,BI），指用数据仓库、数据挖掘、数据可视化等技术进行数据分析,将企业中现有的数据转化为知识，辅助业务进行经营决策的一种技术方式，表现形态可以是一套大数据技术组合的解决方案
beyond94·2022-12-19 17:06

数据挖掘含义是什么

各行业的发展，都逐渐渗透大数据技术，大数据分析变成行业发展主流，也是当钱企业摆脱瓶颈问题的重要手段，因而过去单一数据信息分析系统逐渐被取代，全新升级的数据挖掘技术成为后面发展趋势的主要趋势。
中琛源科技·2022-12-19 11:29

【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示（图文解释）

一、SparkSQL简介parkSQL是spark的一个模块，主要用于进行结构化数据的SQL查询引擎，开发人员能够通过使用SQL语句，实现对结构化数据的处理，开发人员可以不了解Scala语言和Spark常用API，通过sparkSQL，可以使用Spark框架提供的强大的数据分析能力。sparkSQL前身为Shark。Shark是Spark上的数据仓库，最初设计成与Hive兼容，但是该项目于2014
showswoller·2022-12-19 08:51

2022大数据十大关键词，重磅发布！

6月28日，为进一步加速推动我国数据智能转型进程，推动“十四五”期间数据智能产业交流与合作，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会（CCSATC601）
hzbooks·2022-12-18 20:21

大学生自学Java怎样才不会从入门到放弃？

目录前言java8springboot，springbootidea和git是必须掌握的中间件技术数据库技术rpc技术缓存技术高性能队列微服务技术大数据技术数仓servicemesh技术分布式事务机器学习和
麒麟来编程·2022-12-18 19:37

专题导读：大数据支撑的智能应用

在近年来大数据技术发展的基础上，人工智能在技术发展和落地应用等方面都获得了诸多突破。
唐名威·2022-12-18 16:53

专题导读：教育大数据

然而，大数据技术在为教育教学创新应用提供新的思路与方法的同时，也带来了教育大数据在采集、分析、共享、管理以及隐私安全等方面的诸多挑战。本专题汇集了国内活跃在一线的教育研究者的5篇论
唐名威·2022-12-18 16:22

专题导读：大数据可视分析应用

过去几年中，可视化与可视分析多次入选中国计算机学会大数据专家委员会发布的《中国大数据技术与产业发展报告》，也位
唐名威·2022-12-18 16:22

Hadoop MapReduce实现矩阵相乘

记录一下云计算与大数据技术课程作业，MapReduce实现矩阵乘法关键是map的逻辑，由矩阵乘法，可以知道Aij(Bij)参与了C中哪个元素的运算，由此可以定义map的输出格式，即key为Cij，value
ZeeZR·2022-12-18 16:19

专题：面向人文领域的大数据技术和方法

点击上方蓝字关注我们近年来，大数据技术在全球取得了巨大的发展，深刻改变人类社会生活和运行的各方面。同时，传统学科也开始与数据技术和方法进一步紧密结合。
唐名威·2022-12-18 16:17

【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）

需要源码和数据集请点赞关注收藏后评论区留言私信~~~一、RDD的创建Spark可以从Hadoop支持的任何存储源中加载数据去创建RDD，包括本地文件系统和HDFS等文件系统。我们通过Spark中的SparkContext对象调用textFile()方法加载数据创建RDD。1、从文件系统加载数据创建RDD从运行结果反馈的信息可以看出，wordfile是一个String类型的RDD，或者以后可以简单称
showswoller·2022-12-18 10:57

【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）

一、Spark概述Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms，MachinesandPeople）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如今已成为
showswoller·2022-12-18 10:25

如何成为一个优秀的Python工程师？

随着人工智能、大数据技术的落地，Python工程师也成为了目前薪资待遇高，发展前景好的热门岗位。
苏卡不列-python·2022-12-17 20:42

SDU数据仓库与数据挖掘 重要算法提纲

一，数据分析，大数据技术概念性章节，没有什么具体算法，主要是讲大数据的发展和应用。（不太重要）大数据：巨量资料，规模庞大，数据量从TB级别到PB，EB甚至ZB级别。
feilongzzz·2022-12-17 13:47

概述：机器学习和大数据技术在信贷风控场景中的应用

似乎一夜之间，所有的互联网公司在对外的宣传稿中都会提及自己使用机器学习和大数据技术，一时间成为了近几年来最炙手可热的名词，不谈机器学习、大数据似乎都不好意思说自己是做高新技术的了。
数据分析v·2022-12-17 11:35

大数据行业盛会举办 百度吴华与学界产业专家共话大数据与AI产业发展

，由中国计算机学会（CCF）主办，CCF七大优秀专委会、教育部易班发展中心、长沙市科技局、长沙高新区管委会、湖南大学、数联众创共同承的2020CCF大数据与计算智能大赛（简称CCFBDCI）决赛暨中国大数据技术大会在湖南长沙圆满落幕
飞桨PaddlePaddle·2022-12-17 11:42

Java开发者想尝试转行大数据，学习方向建议？

大数据技术中大多数平台使用的都是Java语言，因此，对于大数据技术的学习来说，Java程序员已经占尽了先机。但是很多人对大数据该怎么学，学哪些内容和方向不是很了解，下面就给大家来详细讲一下。
大数据000·2022-12-17 10:18

毕业设计-基于大数据技术的旅游推荐系统-python

目录前言课题背景和意义实现技术思路实现效果图样例前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。对毕设有任何疑问都可以问学长哦!选
HaiLang_IT·2022-12-17 09:01

【大数据技术Hadoop+Spark】HBase分布式数据库架构、特点、数据存储方式、寻址机制详解（图文解释）

一、HBase简介HBase起源于2006年Google发表的BigTable论文。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，利用HBase可在廉价PC服务器上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。二、HBase架构HBase构建在HadoopHDFS之上，Hado
showswoller·2022-12-17 07:20

【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示（附SQL语句）

Hive基础SQL语法1：DDL操作DDL是数据定义语言，与关系数据库操作相似，创建数据库CREATEDATABASE|SCHEMA[IFNOTEXISTS]database_name显示数据库SHOWdatabases；查看数据库详情DESCDATABASE|SCHEMAdatabase_name切换数据库USEdatabase_name修改数据库ALTER(DATABASE|SCHEMA)da
showswoller·2022-12-16 18:39

【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）

一、Hive简介Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就
showswoller·2022-12-16 18:09

关于大数据和人工智能发展的思考

在演讲中，施水才先生从自身多年大数据技术和服务领导者角色的角度，介绍了旗下利用大数据技术推出的数据增值服务平台，并得出了“数据——信息——知识——智能——智慧”的价值提升路径。
大数据工程师小海·2022-12-16 16:42
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他