040-大数据技术第28页

Python人工智能在气象中的实践技术

人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海洋领域拥有海量的模式和观测数据，是大数据和人工智能应用的

weixin_贾楠·2023-04-09 23:12

hadoop架构总结（三）

hadoop架构总结（三）摘自机械工业出版社出版的《hadoop大数据技术基础及应用》，个人学习总结。

苍鹰嘉措·2023-04-09 15:53

21大数据、软工教案-java基础

1.概述自我介绍:吴嘉旭19级数据科学与大数据技术国际班中共预备党员微信：18565435986CSDN：用户名：程序员DELTA当讲师2年大二开始就一直干这个事情收获很多不会讲讲不清楚支持大家能够接班热爱爱技术爱生活感谢大家多多支持

程序员 DELTA·2023-04-09 14:14

尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】

视频地址：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术

延锋L·2023-04-09 07:45

分布式与微服务系列 - Zookeeper上篇：入门到精通

一、前言本内容仅用于个人学习笔记，如有侵扰，联系删除视频教程：【尚硅谷】大数据技术之Zookeeper3.5.7版本教程源码学习：分布式与微服务系列-zookeeper下篇：源码解析二、Zookeeper

代码的知行者·2023-04-09 06:04

干货｜数据仓库工具hive面试题集锦

黑马程序员视频库播妞微信号：heiniu526传智播客旗下互联网资讯、学习资源免费分享平台进入DATE时代，大数据技术成为互联网发展的核心要素之一。

传智播客·2023-04-09 00:31

数据仓库工具hive面试题集锦

大数据技术成为互联网发展的核心要素之一，想从事大数据开发需要掌握多种核心技术：Hadoop、Hive、Storm、Spark、Scala等等。

Blue92120·2023-04-09 00:58

大数据技术之Spark——Spark SQL

一、SparkSQL概述1.1SparkSQL是什么SparkSQL是Spark用于结构化数据处理的Spark模块。1.2HiveandSparkSQL我们之前学习过hive，hive是一个基于hadoop的SQL引擎工具，目的是为了简化mapreduce的开发。由于mapreduce开发效率不高，且学习较为困难，为了提高mapreduce的开发效率，出现了hive，用SQL的方式来简化mapre

five小点心·2023-04-09 00:25

《这就是投资人》摘录

（由一项核心技术切入，获取用户，用大数据技术找到用

Jeff_孙·2023-04-08 15:52

Hbase高手之路 -- 第一章 -- Hbase简介

Hbase高手之路–第一章–Hbase简介一、Hadoop从1970年开始，大多数的公司数据存储和维护使用的是关系型数据库大数据技术出现后，很多拥有海量数据的公司开始选择像Hadoop的方式来存储海量数据

落空空。·2023-04-08 09:16

Apache 首次亚洲技术峰会: 大数据场大咖详细介绍

谈到大数据技术，我相信大家一定对Apache不会陌生，大数据开源技术绝大多数是来自Apache基金会,今天我先给大家介绍Apache年度盛会-Apa

开源社·2023-04-08 07:49

零基础学大数据难吗？

通过各大招聘平台我们可以看到，同样都是互联网技术岗位，大数据技术岗位的薪资普遍较高，不仅仅是因为目前布局大数据技术是各个企业的战略目标，同时也因为大数据技术有一定的难度，那对于零基础的同学能学会大数据技术吗

我想去吃ya·2023-04-08 03:53

初中毕业可以学python数据分析吗_初中毕业学大数据能学会不？

首先，初中学历学习大数据技术需要一个较为漫长的过程，需要补学的内容也比较多，而且难度也相对比较大。

weixin_39593469·2023-04-08 03:50

学大数据需要知道什么零基础能学大数据吗

想要学习大数据技术，还是要有一定的基础的，大数据不是一门简单的学科，需要学习的方面有很多，如：数学、英语、编程基础等等!具体分析如下：1、学习大数据的基础学大数据课程之前要先学习一种计算机编程语言。

千锋郑州·2023-04-08 03:45

一文走进hadoop大数据技术生态！

大唐有趣的小胡·2023-04-08 03:59

大数据产品概念和分类

大数据基础设施大数据技术的高速发展期开始于本世纪初，其

互联互通社区·2023-04-08 01:45

Spark SQL是什么？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-08 01:50

工业互联网的基础技术有哪些

1、人工智能2、标识解析3、视觉检测4、数字孪生5、云计算6、大数据等等1.工业互联网体系架构研究；2.工业互联网5G传输技术研究；3.工业互联网智能感知与边缘计算研究；4.工业互联网大数据技术；5.工业互联网数字孪生技术

yzhwl·2023-04-08 00:11

数据仓库分层原理

现代大数据技术应运而生。而数仓就是做这些海量数据存储的地方。数据仓库简介数据仓库是一个面向主题的、集成的

Linux小百科·2023-04-07 22:39

NoSQL数据库兴起

一NoSQL数据库兴起的原因随着大数据技术兴起和Web2.0时代的到来。传统关系型数据库已经无法满足当前的数据库需求了。

EricTao2·2023-04-07 21:22

大数据技术之Spark（五）——RDD持久化

一、什么是RDD持久化以wordCount为例，我们希望实现两个功能，最后一步不需要聚合操作，将mapRDD的结果放在不同的组中。objectSpark01_RDD_Persist{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName("WordCount").setMaster("local")valsc=newS

five小点心·2023-04-07 19:46

深刻解读大数据技术在工业界的应用

小迪和夫人·2023-04-07 16:10

漫谈阿里那些大数据技术，大数据学习者必看

目前人人都在谈大数据，谈DT时代，但是，大数据是什么，每个人都有自己的一个看法，好比盲人摸象，每个都认为自己摸到是真正的大象。我也担心我所看到的，只是大数据的冰山一角，毕竟，将引领整个人类下一次变革的大数据，不是几篇文章就能说清楚的。一，DT时代大数据这个概念，其实在上世纪九十年代就有人提出来了，当时希望通过将所有零散的数据归并起来，然后进行数据挖掘，以看到以前存在的问题，去预测未来几年的趋势，来

haotian1685·2023-04-07 16:39

大数据技术之Spark（四）——RDD依赖关系

前言我们之前在maven中使用过的依赖，即在创建项目的时候需要用到哪些其他的项目，或者第三方的模块/类库，我们需要依赖于它，这就是依赖关系。在spark中，如果A用到了B，我们就称A依赖于B，B用到了C，那么B依赖于C。此时，A和C的关系称为间接依赖（maven框架），在spark中我们称这种关系为血缘。同样的，如果RDD1依赖于RDD2，RDD2依赖于RDD3，如：valrdd1=rdd.map

five小点心·2023-04-07 07:09

数据科学与大数据技术怎么样?

数据科学与大数据技术隶属于“工学专业门类-计算机类专业类”下的一门学科。

海睿思·2023-04-07 01:23

大数据技术之DataX （二）DataX之opentsdbwriter插件开发

大家好，我是脚丫先生(o^^o)大数据项目之数据集成模块，按照项目需求需要集成时序数据库OpenTSDB。于是着手进行调研，https://github.com/alibaba/DataX发现关于该时序数据库的插件只有单一的读插件，而阿里自研的TSDB读写插件都齐全。为了彻底的分离，同时为了完全适配OpenTSDB数据库，于是进行了OpenTSDB的写插件开发。文章目录一、OpenTSDB时序数据

大数据指北·2023-04-07 00:02

中国艺术市场进入大数据时代

大数据技术的出现，使得云计算、物联网、移动互联网等领域覆盖到了人类生活的方方面面，数据形态的呈现也围绕着人们多样化的生活形态而发生改变。源源不断的信息原型为复杂性难题提供了多种解决方案。

卡戳·2023-04-06 22:05

大数据技术——搭建spark集群出现的问题

Master启动slave20220802080104时出现的问题：ssh免密登录出现的问题：报错“WARNING:REMOTEHOSTIDENTIFICATIONHASCHANGED”解决方法：1)通过ssh-keygen密钥工具更新ssh-keygen-f~/.ssh/known_hosts-R远程主机IP地址2)手动清除～/.ssh/known_hosts里面报错主机的公钥信息vi~/.ss

肉肉肉肉肉肉~丸子·2023-04-06 19:10

【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释超详细）

一、分布式文件系统文件系统最后都需要以一定的格式存储数据文件，常见的文件存储布局有行式存储、列式存储以及混合式存储三种，不同的类别各有其优缺点和适用的场景，在目前的大数据分析系统中，列式存储和混合式存储方案因其特殊优点被广泛采用1：行式存储在传统关系型数据库中，行式存储被主流关系型数据库广泛采用，HDFS文件系统也采用行式存储，在行式存储中，每条记录的各个字段连续的存储在一起，而对于文件中的各个记

showswoller·2023-04-06 19:23

数据3分钟丨Databricks与Snowflake开撕；阿里云多款自研数据库支撑首个“100%云上双11”...

本期内容概览：北交所正式开市，或将为中国数据库产业发展提供新动力；Databricks与Snowflake开撕，大数据技术演进方向究竟在哪？

数据和云·2023-04-06 15:09

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

在前面20年中，大数据技术也经历了这样的过程，从曾经高高在上的“火箭科技（rocketscience）”，成为了人人普惠的技术。

LinkTime_Cloud·2023-04-06 15:05

漫谈数据PM与数据工作

随着互联网行业的快速发展，产品经理的分工也不断细化，同时随着大数据技术的发展、数据中台等概念的兴起，近几年兴起了一种职业——数据产品经理。那么数据产品经理工作的价值是什么？

易安公子·2023-04-06 15:51

大数据技术之Hadoop（MapReduce）第1章 MapReduce入门

1.1MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式

尚硅谷铁杆粉丝·2023-04-06 15:11

尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】

视频地址：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术

延锋L·2023-04-06 14:43

Kubernetes 的系统架构是怎样的？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-06 05:18

华为政务云大数据

聚焦大数据技术创新和发展，将构建政务大数据管理平台作为数字政府建设的关键基础能力，助力政府优化服务能力，提升监管水平，精准政府决策，打造出诸如“数字江苏”、“广西政府智能体”、贵州“省域数据自治与要素流通

硬核技术控·2023-04-06 00:00

视频教程-SpringBootIDEA版SpringBoot视频教程（上）核心技术篇-Java

weixin_32387319·2023-04-05 19:05

大数据基础架构Hadoop，终于有人讲明白了

而大数据技术也如雨后春笋般正在蓬勃发展中。Hadoop分布式架构无疑是当前应用最广泛、最具代表性的大数据技术之一。

Python进阶者·2023-04-05 19:24

大数据技术之scala

前提介绍：·scala入门：基本语法（变量和数据类型、运算符、流程控制）·核心特性：函数式编程、面向对象、集合·其他特色：模式匹配、异常处理、隐式转换、泛型scala入门1、概述Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言。Spark的兴起，带动Scala语言的发展·Java和scala的关

独创之上·2023-04-05 19:39

图文详解HDFS体系架构

写在前面本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-05 19:37

网易数据湖探索与实践

文章出自：网易数据湖探索与实践-范欣欣_浪尖聊大数据-浪尖的博客-CSDN博客分享嘉宾：范欣欣网易大数据技术专家编辑整理：刘闰丰出品平台：DataFunTalk导读：今天主要和大家交流的是网易在数据湖Iceberg

刘狗·2023-04-05 17:22

网易数据湖探索与实践-范欣欣

分享嘉宾：范欣欣网易大数据技术专家编辑整理：刘闰丰出品平台：DataFunTalk导读：今天主要和大家交流的是网易在数据湖Iceberg的一些思考与实践。

浪尖聊大数据-浪尖·2023-04-05 17:44

大数据领域的发展及其对现实世界的价值

尽管很多人最初对“大数据”这一术语表示怀疑和不信任，但大数据技术已经确立了稳定的发展方向。根据调研机构的预测，到2027年，全球大数据市场规模将达到1090亿美元。

c++服务器开发·2023-04-05 14:34

大数据概论

、Hadoop是什么2、Hadoop发展历史3、Hadoop三大发行版本4、Hadoop优势5、Hadoop组成（重点）5.1HDFS架构概述5.2YARN架构概述5.3MapReduce架构概述6、大数据技术生态体系

蓦然_·2023-04-05 13:51

和ChatGPT聊了聊BDOS Online，结果……

小智说目前的大数据技术是强大的，但它们对于普通人来说仍然太难使用。部署一个适合生产环境的数据平台仍然是一项艰巨的任务

LinkTime_Cloud·2023-04-05 12:15

智领云彭锋做客E企谈，深度分享云原生大数据技术在数字化转型的创新与发展前景（附视频）...

彭锋博士结合智领云云原生大数据的落地案例，深刻展示了云原生大数据技术在数字化转

LinkTime_Cloud·2023-04-05 12:13

基于大数据的预测工具：寿命计算器，准确率高达98%，算算你能活多久？

不过，现在“生命倒计时”这样的桥段，运用大数据技术甚至可以真实的出现在我们的生活中。最近，加拿大健康计算研究小组ProjectBigLife的