040-大数据技术第32页

大数据技术之Hive

第1章Hive基本概念1.1Hive1.1.1Hive的产生背景在那一年的大数据开源社区，我们有了HDFS来存储海量数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量数据和负责的业务逻辑，开发人员要编写MR来对数据进行统计分析难度极大、效率较低，并且对开发者的Java功底也有要求。所以Facebook公司在处理自己的海量数据时开发了hive这个数

DK_521·2023-03-20 08:43

光大银行招聘

【岗位】算法工程师-智能风控方向、数据挖掘工程师、大数据技术经理-智能应用方向【工作地点】北京石景山万达广场【待遇】20K-45K【简历投递方式】请有意者将简历投递至kjwangqiong@cebban

Yuan_8b33·2023-03-19 14:08

大数据技术-FlinkCDC学习笔记

目录Flink-CDC简介MySQL开启binlog日志文件DataStream方式应用FlinkSQL方式应用自定义反序列化器Flink-SQLClient方式应用同步Kafka同步MySQL同步Oracle同步PG同步MongoDB操作Hive同步Hive维表炸裂函数使用Flink-CDC简介官网地址https://ververica.github.io/flink-cdc-connector

心沉不是心沉·2023-03-19 11:02

HDFS简介：不用HDFS我们如何存储大规模数据

大数据技术主要是要解决大规模数据的计算处理问题，但是我们要想对数据进行计算，首先要解决的其实是大规模数据的存储问题。如果一个文件的大小超过了一张磁盘的大小，你该如何存储？

f192469fc2d5·2023-03-18 12:44

大数据技术是什么专业？前景如何

大数据技术是什么专业？大数据浪潮下，大数据技术是信息领域的革命，更是在全球领域内加速企业创新，社会变革的技术。大数据能给企业创造商业价值。

我想去吃ya·2023-03-18 07:41

你是否很好奇腾讯大厂的大数据是怎么构建的？（文末赠书3本）

实现从数据到价值的跨越，大数据技术扮演着关键角色。过去数十年的信息化建设，各行各业都积累了大

架构师李肯·2023-03-18 07:58

智能测试的三个阶段

随着AI&大数据技术的飞速发展，也给软件测试带来了福音。百度MEG质量效能平台自2018年开始探索AI技术在软件测试领域的应用场景，随着探索的不断突破，发现软件测试蕴含了极其丰富的AI场景。

多测师111·2023-03-17 15:25

Hadoop集群环境搭建

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。

weare_b646·2023-03-17 08:55

农业大数据分析无从下手？这套应用模板也许对你有所启发

因此，将大数据技术应用到农业中，是现代农业发展的新趋势，可以在很大程度上促进农业信息服务技术的发展进步，还能在很大程度上推动我国农业领域的整体发展进程。

数据小达人·2023-03-17 02:34

【读书笔记】《大数据技术体系详解：原理、架构与实践》01～02.概述和数据收集

企业级大数据技术体系概述大数据架构的6层大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过6个主要环节：包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化大数据架构的6

粥一样温柔·2023-03-16 16:05

区块链与大数据风控优势互补，共创金融风控新时代

融数链一直在致力于通过区块链为数据的流通与共享提供新的方法与思路,与大数据技术形成互补，进行模式与发展创新,为企业发展提供全新机遇。今天我们就来聊聊区块链结合大数据，在金融风控领域的运用

FusionBlock·2023-03-16 13:36

选择java大数据开发方向学习，应该怎么规划学习路线

但Java语言也仅是大数据技术体系下的一个技术选型，Py

我想去吃ya·2023-03-15 11:07

亚信科技通信、交通行业数据库项目入选“星河”标杆、优秀案例

近日，由中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会（CCSATC601）共同组织的第六届大数据“星河”案例评选结果公示，亚信科技及旗下亚信安慧支持完成的中国移动通信集团上海有限公司“

亚信安慧AntDB数据库·2023-03-15 02:44

星河璀璨 | 2022大数据“星河”案例入选公示

亚信安慧AntDB数据库·2023-03-15 02:43

亚信科技AntDB数据库参与“国内首款”事务型性能测试工具开源发布会，树立金融技术风向标

日前，在中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会共同举办的“国内首款金融数据库性能测试工具DataBench-T开源发布会”上，亚信科技受邀进行了“亚信科技数据库测试之道”的主旨演讲

亚信安慧AntDB数据库·2023-03-15 02:12

1-大数据技术概览

大数据的4V特征数据规模巨大（Volume）、数据类型多样（Variety）、生成和处理速度极快（Velocity）、价格巨大但密度较低（Value）应用1.基于大数据的数据仓库的数据流转来源更多（网路爬虫、传感器等等），数据量也更大。数据产生接入过来，存储在分布式的集群当中，然后再通过MapReduce（或者替换其他的计算框架）计算，存储以及计算都是一些分布式架构2.基于大数据的实时流处理实时流

小帅明3号·2023-03-14 13:35

2、大数据技术架构：核心原理与应用实践（上）

最近为了全面系统的了解大数据全部技术栈，看完了一本《大数据技术架构：核心原理与应用实践》，从该本书中得以管中窥豹，入门大数据，读完后主要有以下几点收获。

朗如行玉山_5b30·2023-03-14 11:42

「大数据」02大数据技术体系

技术体系如图：大数据技术体系（1）数据收集层(ETL，即提取、转换、加载)数据收集层由直接跟数据源对接的模块构成，负责将数据源中的数据近实时或实时收集到一起。

林拂晓·2023-03-12 06:15

大数据 | （一）Hadoop伪分布式安装

大数据原理与应用教材链接：大数据技术原理与应用电子课件-林子雨编著Hadoop伪分布式安装借鉴文章：Hadoop伪分布式安装-比课本详细大数据|（二）SSH连接报错Permissiondenied：SSH

初心%·2023-03-12 04:37

物联网时代，定位技术已到了黄金期

而且物联网的潜力远不止如此，未来人类智能社区概念，集合半导体，健康管理、网络、软件、云计算和大数据技术，打造一个更智能生活环境。打造这样一个智能社区离不开定位技术，它是物联网的重要环

普玄物联·2023-03-11 20:03

大数据开发：Hadoop与Spark如何设计容错

在大数据技术生态当中，分布式集群是解决大规模数据处理任务的主要解决思路，主流的几代框架，如Hadoop、Spark、Flink都是基于分布式去进行设计。而分布式系统，关于容错的问题就非常关键了。

成都加米谷大数据·2023-03-11 14:08

什么是大数据？

而谢谢是数据，因为数据覆盖面广，且现在这样的数据太多了，每天都疯狂的增长，而我们又想运用这些数据，而原有的数据运算和存储方式不行了，于是有了大数据技术。

独树一隅·2023-03-11 07:25

Apache Kudu 加速对频繁更新数据的分析

转发地址：https://zhuanlan.zhihu.com/p/25928166大数据技术峰会解读大数据技术峰会解读大数据前沿技术关注者40人赞了该文章今天解读的内容是来自HadoopSummitSan2016

小雪的笔记·2023-03-11 07:16

大数据时代，你不知道的程序员日常，太形象了

大数据时代的快速发展，程序员作为一个特定人群异军突起，越来越多的人学习大数据技术，加入程序员大军，让我们一起轻松愉快的看看这些程序员的日常吧最后，大数据工程师是不错的岗位，祝愿所有的程序员项目都没bug

彧11·2023-03-11 05:30

分布式协调服务ZooKeeper使用入门

一、ZK简介在大数据技术体系内，很多技术框架都是用动物的名字命名的，比如Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）。

文景大大·2023-03-10 00:22

项目上惨痛教训-----被甲方挖坑，被己方推坑埋了

背景故事：当前正在做关于XX汽车公司的项目，说的高大上一点，就是利用现有大数据技术为企业赋能，改变企业的发展现场，为他们做决策提供数据支撑。为

笨小孩vying·2023-03-09 10:48

大数据技术之HBase（四）Hive连接HBase

一、添加jar包将hbase中的jar包导入到hive中。cp/opt/soft/hbase235/lib/*/opt/soft/hive312/lib/二、修改Hive配置文件hive-site.xml中添加如下配置：hive.zookeeper.quorum192.168.95.150hbase.zookeeper.quorum192.168.95.150hive.aux.jars.pathf

five小点心·2023-03-09 07:33

大数据技术之HBase（二）HBase原理简介

一、HBase定义1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库非结构化数据存储的数据库，基于列的模式存储。利用HadoopHDFS作为其文件存储系统，写入性能很强，读取性能较差。利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。关系型数据库存储数据是以表格的形式存储，非关系型数据库是以进行存储。通过进行存储

five小点心·2023-03-09 07:33

大数据技术之HBase（三）JDBC连接HBase

一、添加依赖 org.apache.hbasehbase-client2.3.5 org.apache.hbasehbase-server2.3.5二、windows主机映射修改hosts文件，配置映射三、代码编写log4j.propertieshadoop.root.logger=DEBUG,consolelog4j.rootLogger=ERROR,consolelog4j.appende

five小点心·2023-03-09 07:03

大数据技术之Hadoop之MapReduce（3）——自定义InputFormat案例实操

3.1.9自定义InputFormat案例实操无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。1．需求将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式），SequenceFil

张反水·2023-02-28 08:00

大数据技术之Hadoop-MapReduce教程

大数据技术之Hadoop-MapReduce教程目的前提要求概览输入和输出示例：WordCountv1.0源码用法实战演练MapReduce-用户接口核心Mapper有多少个Map？

只要学不死就往死里学-致自己·2023-02-28 08:54

七、大数据技术之Hadoop（MapReduce）

一、MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个Hadoop集群上。1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程它简单的实现一些接口，就可以完成一

@我不是大鹏·2023-02-28 08:49

大数据技术之Hadoop（MapReduce）框架原理、数据压缩

文章目录1MapReduce框架原理1.1InputFormat数据输入1.1.1切片与MapTask并行度决定机制1.1.2Job提交流程源码和切片源码详解1.1.3FileInputFormat切片机制1.1.4TextInputFormat1.1.5CombineTextInputFormat切片机制1.1.6CombineTextInputFormat案例实操1.2MapReduce工作流

@从一到无穷大·2023-02-28 08:43

大数据技术之Hadoop（MapReduce）

大数据技术之Hadoop（MapReduce）(作者：大数据研发部)版本：V1.4第1章MapReduce入门map计算reduce规约1.1MapReduce定义Mapreduce是一个分布式运算程序的编程框架

DHRJFH·2023-02-28 07:34

大数据开发学习之Spark系统架构解读

在大数据技术的学习当中，Hadoop和Spark是重中之重的两个部分，关于Hadoop，之前我们已经介绍过很多了，今天的主题是Spark。

加米谷大数据张老师·2023-02-26 07:18

Spark ---------- 大数据框架，spark简介及架构图示

Spark是什么Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。

isOllie·2023-02-26 07:47

浅谈银行的数据仓库：分层架构篇

为什么要对数据仓库进行分层自从大数据平台hadoop及其技术火起来之后，无论是政企、民企还是各类金融机构，都掀起了一股大数据技术转型、数据仓库重构、智能数据分析、AI等一系列黑科技且高大上的热潮。

大数据的奇妙冒险·2023-02-26 07:53

(1)大数据和应用场景介绍

专栏目录(1)大数据和应用场景介绍(2)大数据技术综述总结(3)HDFS原理与高可用技术原理介绍(4)Yarn架构、资源管理原理和运维技术介绍(5)Kafka原理和高可用介绍1.大数据基本特征(1)传统数据与大数据的区别

Bro大表哥·2023-02-26 07:16

企业数据治理（1）之道与术

1.企业数据治理背景数据治理的发展由来已久，伴随着大数据技术和数字经济的不断发展，随着企业拥有的数据

ccddtomato·2023-02-26 06:08

浅谈大数据如何应用？

如果用更高度的概括来表述大数据的生命周期，可以归纳为：大数据来源+大数据技术+大数据应用。

Ultipa·2023-02-26 06:07

大数据应用

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

瑛琦日记·2023-02-26 06:03

大数据技术原理与应用----大数据概述

一、发展背景1、大数据时代（1）时代背景大数据、物联网、云计算促成的第三次信息化浪潮。（2）技术支撑①存储（存储设备容量不断增加）；②计算（CPU处理能力大幅提升）；③网络（网络带宽不断增加）；（3）大数据发展历程二、大数据的概念和影响1、大数据的经典特征（1）4V①数据量大；②数据类型繁多；③处理速度快；④价值密度低；2、大数据理论基础（1）常用存储单位的换算关系（2）科学研究的四种范式①第一种

wake D·2023-02-25 07:38

大数据培训分享大数据六大核心技术

大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。

小可奈的春天·2023-02-24 18:29

大数据技术的原理是什么

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。

中琛源科技·2023-02-24 18:28

《2022开源大数据热力报告》重磅发布

报告基于公开数据研究最活跃的102个开源大数据项目，探寻出开源大数据技术发展背后的“摩尔定律”：每隔40个月，开源项目热力值就会翻一倍，技术完成一轮更新迭代

开放原子开源基金会·2023-02-24 13:58

JAVA学习笔记 01 - 走进JAVA

小程序文章目录一、初识Java1、什么是Java2、Java的由来3、Java的发展历史4、Java的应用领域4.1、Android应用4.2、在金融业应用的服务器程序4.3、网站4.4、嵌入式领域4.5、大数据技术

chodenke·2023-02-24 03:15

大数据技术原理与应用介绍

大数据技术原理与应用概述大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。

CODER8R·2023-02-24 03:04

【java EE与大数据学习路线】

javaEE与大数据学习路线JavaEE第一阶段：JAVASE第二阶段：Javaweb第三阶段：JavaEE框架第四阶段：JavaEE高级大数据技术一二阶段：JavaSE与JavaEE核心第三阶段：Hadoop

程序猿张同学·2023-02-23 14:12

大数据平台性能监控

前言大数据监控是指通过大数据技术手段获取、收集、分析数据，并能够准确分析信息，有效预测信息发展动态趋势。大数据监控主要围绕着海量全网数据，大多数需要借助监测系统来协助分析数据。

Jelly lee·2023-02-23 07:26

神策沙龙回顾：大数据技术和金融、房产、理财的深度结合

前言在大数据井喷的时代，各行各业所产生的数据就是一座座金矿，如何设计大数据应用，更有效、创新的发掘大数据的价值，也是行业内一直在追寻并探索的答案。12月17日，由神策数据和极客帮、InfoQ共同策划的技术沙龙在中关村成功举办，来自诸葛找房、神策数据、91金融和51理财的技术专家分享了大数据开发场景，建模，结果应用，扩展等技术内容，全面展示互联网金融、房产领域大数据的分析方法和价值，帮助参会者寻找新

神策数据·2023-02-22 02:37

推荐频道

040-大数据技术