040-大数据技术

大数据技术之Hive

第1章Hive入门1.1什么是Hive1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。那为什么会有Hive呢？它是为了解决什么问题而诞生的呢？下面通过一个案例，来快速了解一下Hive。例如：需求，统计单词出现个数。（1）在Hadoop课程中我们用MapReduce程序实现的，当时需要写Mapper、R
骚戴·2023-06-09 19:59

大数据入门：Flink状态编程与容错机制

在大数据技术发展历程当中，Flink框架可以说是新一轮的热点技术框架，主打流批一体的计算模式，成为更适应当下需求的技术框架，因此再也技术领域得到更多的重视。
加米谷大数据张老师·2023-06-09 14:11

整体解决方案再升级！助力打造智慧化园区，助推高质量发展

真正的智慧园区是能够帮助园区快速推动企业发展的，而不是“摆设”，随着大数据和智能应用技术的发展，越来越多的先进园区在营商环境建设、园区产业定位发展上开始采用大数据技术和智慧技术来打造新型服务型智慧园。
启功集团·2023-06-09 14:16

大数据技术⑥｜大数据第11章·Hadoop 基础｜大数据第12章·IBM InfoSphere BigInsights｜大数据技术｜20:20~21:20

目录第11章Hadoop基础11.1大数据与Hadoop11.2Hadoop框架的主要组件11.3用Hadoop分析大数据表(Table)
suzybai的学习笔记·2023-06-09 12:38

大数据技术——连接数据库报错：Cased by:javax.net.ssl.SSLHandshakeException:No appropriate protocol (protocol is dis

问题：连接数据库报错：Casedby:javax.net.ssl.SSLHandshakeException:Noappropriateprotocol(protocolisdisabledorciphersuitesareinappropriate)原因：当前jdk版本jdk1.8.0_321“useSSL=true是进行安全验证,一般通过证书或者令牌,useSSL=false就是通过账号密码进
肉肉肉肉肉肉~丸子·2023-06-09 11:42

大数据技术——使用IDEA开发Scala程序

目录一、使用IDEA开发WordCount程序...3二、实验目的...3三、实验要求...3四、实验环境...3五、实验步骤...34.1.1启动IDEA并创建一个新项目WordCount34.1.2为WordCount项目添加Scala框架支持...74.1.3数据准备...84.1.4设置项目目录...94.1.5新建Scala代码文件...104.1.6配置pom.xml文件...124.
肉肉肉肉肉肉~丸子·2023-06-09 11:36

大数据架构系列：如何理解湖仓一体？

转载：如有侵权，告知即删除引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司
dkjhl·2023-06-08 18:58

一篇文章搞懂 HDFS 的 Kerberos 认证

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-06-08 18:01

大数据技术⑤ ｜大数据第1章·概述｜第2章·大数据系统基础｜21:50~22:22

第1章概述1、简述大数据发展现状与历史1.1.1国外发展现状（1）国家及国际组织方面：2009年，联合国就启动了“全球脉动计划”。2009年至今,美国Data.gov（美国政府数据库）全面开放了40万政府原始数据集,大数据已成为美国国家创新战略、国家安全战略以及国家信息网络安全战略的交叉领域和核心领域。2012年3月，美国政府提出“大数据研究和发展倡议”,发起全球开放政府数据运动,把大数据放在重要
suzybai的学习笔记·2023-06-08 12:28

大数据技术③｜大数据第13章｜Hadoop 分布式文件系统｜20:30~20:55

13章的习题——Hadoop分布式文件系统目录13章的习题——Hadoop分布式文件系统13.1Hadoop分布式文件系统有何特点和基本功能&
suzybai的学习笔记·2023-06-08 12:23

初学者如何快速入门大数据？程序员小哥提点建议

想要学习大数据技术，但真的不知道该如何学习，从哪个方向开始，又如何一步一步将大数据技术归为自己技能的呢？
juan333·2023-06-08 04:46

智慧工地：绿色智能 让施工更简单

应用企业架构、设计思维和软件工程方法，深入分析施工和运营技术特性与管理体系，研究开发基于大数据技术的智慧施工运营一体化平台，能发挥投资融资-工程建设-运营维管的"一体化"优势，推进施工行业的数字化转
智慧园区·2023-06-07 22:41

放眼未来 就在此时此刻

随着互联网技术、大数据技术、移动通讯技术、人工智能技术的应用，学校无论在组织管理上还是
通化654王海龙·2023-06-07 21:42

智慧水库大坝安全监测解决方案MCU，为中小型大坝安全保驾护航

随着物联网时代的发展，传统的人工巡检无法及时监测大坝安全，需要利用物联网、大数据技术实现在线监测大坝安全，维护大坝的安全运行。
漫途科技·2023-06-07 11:53

深入探索Apache Flume：大数据领域的数据采集神器【上进小菜猪大数据系列】

引言：随着大数据技术的快速发展，企业和组织需要从各种来源采集海量数据。
上进小菜猪·2023-06-07 05:33

产品经理如何向最终用户提供创新的数据体验

随着互联网和大数据技术的发展，越来越多的企业开始重视数据的价值。伴随着企业数字化转型的大趋势，数据分析需求将进一步爆发。据国际权威调研机构的报告预测，在未来两年内，企业数据的增长率将超过40%。
·2023-06-07 03:05

一篇文章搞懂HDFS的数据负载均衡策略

写在前面本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-06-07 02:07

HBase 的关键流程解析

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-06-07 02:07

Hadoop 怎么委任和解除节点？

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-06-07 02:04

【i阿极送书——第三期】《Hadoop大数据技术基础与应用》

系列文章目录作者：i阿极作者简介：Python领域新星作者、多项比赛获奖者：博主个人首页如果觉得文章不错或能帮助到你学习，可以点赞收藏评论+关注哦！如果有小伙伴需要数据集和学习交流，文章下方有交流学习区！一起学习进步！文章目录系列文章目录1、好书推荐2、内容简介3、目录4、章节介绍5、活动1、好书推荐2、内容简介本书由浅入深地介绍了Hadoop技术生态的重要组件，让读者能够系统地了解大数据相关技术
i阿极·2023-06-06 22:32

大数据技术之CM安装------2（含大数据学习教程）

大数据学习资料领取地址（免费）无套路第2章环境要求1.1内存分配将3台虚拟机分配好内存建议8G、4G、4G1.2本次安装需要的jar包#注意：必须是OracleJDK、不要使用OpenJDK1.jdk-8u144-linux-x64.tar.gz2.CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel3.CDH-5.12.1-1.cdh5.12.1.p0.3-el7.par
ItStar·2023-04-21 21:56

如何学习大数据技术，Java开发者想尝试转行大数据，学习方向建议

学习大数据技术，首先要明确大数据的概念。大数据的概念作者认为有如下几点：1.数据的来源多样性。例如关系数据库+文本+excel等2.数据量大。TB级别的数据。3.业务应用领域。
金光闪闪耶·2023-04-21 18:28

【读书笔记】《大数据技术体系详解：原理，架构与实践》05.分布式协调与资源管理

在分布式系统中，服务（或组件）之间的协调是非常重要的，它构成了分布式系统的基础。分布式系统中的leader选举、分布式锁、分布式队列等，均需要通过协调服务（CoordinationService）实现。然而，由于分布式环境的复杂性，尤其是在网络故障、死锁、竞争等已变为常见现象的情况下，实现一个鲁棒（强壮或稳健）的协调服务是极其困难的事情。为了实现一个通用的分布式协调服务，避免每个分布式系统从头实现
粥一样温柔·2023-04-21 17:09

大数据技术之Kafka——Kafka入门

目录一、概述1.1为什么要有Kafka编辑1.2定义1.3消息队列1）消息队列的应用场景2）消息队列的两种模式1.4基础架构二、Producer生产者2.1生产者消息发送流程2.1.1发送原理2.2异步发送API2.2.1普通异步发送2.2.2带回调函数的异步发送2.3同步发送API2.4生产者分区2.4.1分区好处2.4.2默认分区规则2.4.3自定义分区2.5生产者如何提高吞吐量2.6生产者提
five小点心·2023-04-21 13:50

数据分析师面试的时经常涉及到的几个问题

随着大数据技术和互联网行业的蓬勃发展，数据分析师接触到的数据和应用的技术也在不断增加，这不仅为数据分析师提供了更大的发展空间，而且也对数据分析师提出了更高的要求。
IT小职·2023-04-21 01:38

一文看懂阿里、京东、滴滴大数据架构变迁

上一篇：39岁阿里P9失业了，总资产1.5亿……01大数据技术变迁概述大数据的概念从上世纪90年代被提出，03-06年Google的3篇经典论文（GFS、MapReduce、Bigtable）作为奠基，
互联网架构·2023-04-20 14:39

数字仓储系统内涵构成及系统架构

导读：数字仓储系统是运用计算机技术、物联网技术、传感通信技术、自动控制技术、大数据技术、人工智能技术和相应设备等，对物品的进出库、存储、调拨、分拣、盘点、包装、配送等仓库作业，进行高效操作和精确管理的数字化系统
互联互通社区·2023-04-20 10:20

2022届浙江工业大学考研计算机技术专硕上岸经验 初试复试经验

0.个人情况本科在工大隔壁的浙科院理学院大数据技术学习的，虽然说大数据学了很多计算机相关的课程，但是大学期间嘛，懂得都懂，和大部分人一样，浑浑噩噩地期末突击一下，平时吃吃外卖打打球，也没学会什么东西。
whaifree·2023-04-20 09:56

大数据入门 | 一、大数据、云计算、物联网的联系与区别

网易云课堂《大数据技术原理与应用》课程Chapter1学习笔记01大数据是什么？大数据，不仅仅是数据量大，还具有多样化、快速化、价值密度低等特征。
松鼠的读书笔记·2023-04-20 02:47

Dolphin：面向营销场景的超融合多模智能引擎

1.背景为提升易用性和降低使用成本，大数据技术逐步向Serverless、一体化和智能化方向发展。
阿里妈妈技术·2023-04-19 23:31

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

近年来大数据技术与金融业务深度融合，释放出金融创新活力和应用潜能。2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
星环科技·2023-04-19 12:19

安徽科技学院学生在2022年美国大学生数学建模竞赛中荣获国际二等奖

近日，2022年度美国大学生数学建模竞赛获奖结果公布，由信息与网络工程学院数据科学与大数据技术专业2019级汪洋、吴佳明、汪蕴钰等3位同学组成的团队（指导老师：曹浩）在全球近3万支参赛队伍中脱颖而出，荣获赛事的
安科草草子·2023-04-19 11:57

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

近年来大数据技术与金融业务深度融合，释放出金融创新活力和应用潜能。2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:54

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

近年来大数据技术与金融业务深度融合，释放出金融创新活力和应用潜能。2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:07

什么是湖仓一体化？

随着当前大数据技术应用趋势，企业对单一的数据湖和数仓架构并不满意。
jane9872·2023-04-19 11:07

大数据技术学习代码记录——Scala

文章目录一、Scala二、Day01代码记录2.1、HelloWord.scala2.1.1TestHelloWorld.scala2.2、ifelse.scala2.3、PrintStudentInfo.scala三、Day02代码记录Example01.scala——判断语句Example02.scala——双重循环Example03.scala——接上一个循环Example04.scala—
猫腻余腥·2023-04-19 09:50

大数据技术学习代码纪录——Spark

文章目录RDDCalculateScoreSum.scalaCalculateScoureSum02.scalaWordCount.scalaRDDCalculateScoreSum.scalapackagenet.sherry.rddimportorg.apache.spark.{SparkConf,SparkContext}/***功能：计算总分*作者：sherry*日期：2023年04月11
猫腻余腥·2023-04-19 09:50

python机器学习与深度学习在气象中如何应用？？如台风预报数据智能订正、预测风电场的风功率、预测浅水方程模式

人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海洋领域拥有海量的模式和观测数据，是大数据和人工智能应用的
xiao5kou4chang6kai4·2023-04-19 03:22

支持多模型数据分析探索的存算分离湖仓一体架构解析（下）

随着大数据技术的发展，通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力，企业可以基于统一的架构来同时支持数据湖和数据仓库的业务，这就是湖仓一体架构。
·2023-04-18 22:58

大数据技术(入门篇) --- 使用 Spring Boot 操作 CDH6.2.0 Hadoop

前言本人是web后端研发，习惯使用springboot相关框架，因此技术选型直接使用的是springboot，目前并未使用spring-data-hadoop依赖，因为这个依赖已经在2019年终止了，可以点击查看，所以我这里使用的是自己找的依赖，声明：此依赖可能和你使用的不兼容，我这个适用于我自己的CDH配套环境，如果遇到不兼容情况，自行修改相关版本即可代码库地址：https://github.c
北漂的菜小白·2023-04-18 22:31

大数据技术（入门篇）--- 使用Spring Boot 操作 CDH6.2.0 Spark SQL进行离线计算

前言CDH6.2.0搭建的环境，并不能直接使用spark相关资源，需要对此服务端环境进行一些修改Spark目前仅支持JDK1.8,Java项目运行环境只能使用JDK1.8我这里使用的是CDH6.2.0集群，因此使用的依赖为CDH专用依赖，需要先添加仓库spark使用scala语言编写，因此项目中使用的scala依赖版本要和cdh中的scala版本一致因为需要将计算结果写入到MySQL，所以当前项目
北漂的菜小白·2023-04-18 22:28

AI与大数据的结合(个人理解)

特别是在过去几年中，大数据技术的快速发展，让我们看到了数据对于社会和产业的重要性。而人工智能（AI）作为一项基于数据的技术，与大数据的结合更是让人们看到了前所未有的机遇和挑战。
那你就试试·2023-04-18 16:21

【Hudi】数据湖Hudi核心概念与架构设计总结

有些人认为数据湖肯定与大数据技术体系完全不一样，是两个东西，甚至认为他俩没关系。但是，你知道Hudi的全称叫啥么？
菜鸟蜀黍·2023-04-18 10:43

110页智慧农业解决方案(农业信息化解决方案)(ppt可编辑)

市场为导向、效益为中心、产业化为抓手，面向农业管理部门、农技推广部门、农业企业、农业园区和基地、农业专家、农民等多层次用户体系，充分利用计算机与网络技术、物联网技术、音视频技术、3S技术、无线通信技术、大数据技术
数字化动态·2023-04-18 07:43

大学生活要来啦！！！！

1、数据科学与大数据技术数据科学与大数据技术专业，旨在培养具有大数据思维、运用大数据思维及分析应用技术的高层次大数据人才。
殇雨无情泪·2023-04-18 06:25

My song list

所以，又到了各大软件开始卖一年情怀的时候了随着信息技术的发展，大数据技术日益渗透到软件统计中去，每个软件都开始统计过去一年用户的使用情况记得去年看了自己的音乐账单，也是峰哥的歌拍第一位，今年不例外，又是他时间在变
熊仔PP糖强·2023-04-18 05:38

视频教程-大型网站从单一架构到微服务分布式架构实战第1季-Java

项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK
weixin_34263863·2023-04-17 22:46

大数据技术之Kafka——Kafka的安装与部署

一、安装kafka（1）手动下载下载地址：ApacheKafka（2）也可以用命令下载（直接下载到服务器哦！）：将安装包下载到/opt/monitor/kafka文件夹下面下载命令：wgethttp://mirrors.hust.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz手动下载移动到/opt/soft/kafka目录下也可以二、解压并配置（1）解
five小点心·2023-04-17 20:23

大数据技术——HBase安装配置&DDL&DML操作

HBase文章目录1.HBase安装1.1HBase下载1.2HBase安装1.3HBase初始配置2.配置高可用并且群起集群2.1HBase高可用2.2群起集群2.3进入HBase客户端3.DDL&DML操作3.1DDL操作3.2DML操作1.HBase安装1.1HBase下载HBase下载官方网站直达选择自己需要的版本，建议使用稳定版的1.2HBase安装安装步骤打开远程登录窗口，进入到将安装
皮皮皮皮皮皮皮卡乒·2023-04-17 20:20

性能测试解读：Kyligence vs Spark SQL

全球各种大数据技术涌现的今天，为了充分利用大量数据获得竞争优势，企业需要高性能的数据分析平台，可靠并及时地提供对海量数据的分析见解。
Kyligence·2023-04-17 17:03
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他