大数据技术-Hadoop技术第16页

大数据技术系列：【大数据技术体系】学习实践导览

导言截止目前为止，在自己的技术生涯中，要说哪一种技术体系的学习路径最为曲折，那非大数据技术体系莫属了。

yaocoder·2023-10-17 17:58

315曝光数据隐私问题，企业如何上好数据隐私保护这门必修课？

这是今年315晚会曝光的数据隐私滥用现象：一些科技公司利用大数据技术，获取用户个人信息和上网行为，并提供给营销公司，形成利用大数据拨打骚扰电话的黑色产业链。此消息一经报道，舆论瞬间哗然。

大数据在线·2023-10-17 06:20

全流程多维度风控管理，大数据技术保障运营安全

“大数据风控”是近年来金融行业的热词，最近，越来越多的机构与平台不断提到大数据风控，那么，什么是大数据呢，什么又是大数据风控呢，钱盆网大数据风控究竟怎么保护出借人的利益呢？大数据风控是什么大数据，顾名思义，是指体量特别大，类别特别多的数据集。但在今天的金融行业，大数据一词的含义主要是指全量数据、用户行为数据和围绕客户的信用数据。这些数据的特点是和用户的信用情况高度相关。大数据风控，确切地说就是利用

天启四骑士_7152·2023-10-17 02:55

综合能源系统（8）——综合能源系统支撑技术

综合能源系统关键技术与典型案例何泽家，李德智主编1、大数据技术1.1、大数据技术概述大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量

Fo*(Bi)·2023-10-16 22:24

大数据分析就业班项目介绍

大数据分析培训的适学人员包括：1、大三大四应届学生数学类、统计类、计算机类、经济金融类等专业缺乏工作经验和技能，对未来没有明确目标与规划，想拥有一技之长2、有基础的在职人员具有一定数据分析、或者软件开发基础想通过提升大数据技术

泰迪智能科技·2023-10-16 18:14

9月活动回顾（免费领取PPT）｜火山引擎DataLeap、ByteHouse多位专家带来DataOps、实时计算等前沿技术分享！

字节数据平台·2023-10-16 14:56

python数据分析——大数据伦理风险分析

大数据伦理风险分析前言一、大数据伦理二、大数据技术伦理风险(一)算法安全性、可信赖性及稳定性风险及其应对(二)算法的可解释性风险及其应对(三)算法的决策不可预见性风险及其应对(四)数据收集与储存中的泄漏风险及其应对案例

鲜于言悠905·2023-10-16 09:46

大数据技术-Hive学习笔记

目录Hive-安装部署Hive-配置元数据库MetaStore配置MetaStore到MySQL使用元数据服务的方式访问Hive使用JDBC方式访问Hive后台启动Hive-常用SHELL命令Hive常用交互命令Hive常用命令Hive常见属性配置Hive运行日志信息配置打印当前库和表头Hive参数配置方式Hive-数据类型基本数据类型集合数据类型集合数据操作Hive-DDL数据定义数据库操作内部

笑一笑、·2023-10-16 06:01

Doris入门了解

微信公众号：大数据高性能计算大数据存储与分析入门学习文档：深入了解Doris大数据技术已成为现代数据处理的核心组成部分，为企业提供了更多洞察和决策支持。

花开终为谢·2023-10-16 01:15

CentOS 7 安装 Miniconda 3（基于 Apple M2）

一、前言 大数据技术中的可视化工具Superset、调度器Airflow等组件依赖于Python环境，为了避免安装多个Python版本导致的冲突问题，可以通过Miniconda来解决。

郁希·2023-10-15 23:59

策略死守“传统数据”招招落于人后？-也许您需要另类数据

在大数据技术突飞猛进的时代，传统的数据公布和使用方式（比如坐等公司财报或静候研究员实地调研）已经愈发显得跟不上节奏，投资者们开始发掘新的“数据金矿”--另类数据。那么，什么是“另类数据”呢？

qmhedging·2023-10-15 19:50

大数据技术之Hadoop（第3章 MapReduce框架原理）

这里写目录标题3.8计数器应用3.9数据清洗（ETL）3.10数据清洗案例实操3.10.1简单解析版3.10.2复杂解析版3.11MapReduce开发总结第4章Hadoop数据压缩4.1概述4.2MR支持的压缩编码4.3压缩方式选择4.3.1Gzip压缩4.3.2Bzip2压缩4.3.3Lzo压缩4.3.4Snappy压缩4.4压缩位置选择4.5压缩参数配置4.6压缩实操案例4.6.1数据流的压

西边的虫虫·2023-10-15 13:26

大数据技术Hive详解

一、Hive概述1、Hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。说明：Hive处理的数据存储在HDFS；Hive分析数据底层的实现是MapReduce；执行程序运行在Yarn上；1.分布式文件系统HDFS存储架构与

wespten·2023-10-15 12:04

大数据产品深度与广度并举，腾讯云为数据价值释放带来最优解

ConfluentKafka宣布支持Kubernetes，到腾讯云等云服务商积极推出多款云原生大数据产品，产业界近年来都在积极探索：如何利用高速发展的云原生技术去解决传统大数据平台的诸多问题，从而进一步降低大数据技术

大数据在线·2023-10-15 08:41

新一代大数据技术：构建PB级云端数仓实践

通过以Hadoop,Spark为代表的大数据技术来构建新型数据仓库，已经成为越来越多的企业应对数据挑战的方式。

腾讯云开发者·2023-10-14 23:07

万字整理最新主流大数据技术分类大全（持续更新）

目前绝大多数企业正在使用的技术，大部分都是基于Apache协议开源框架，因为有些框架有多种分类方式，而且篇幅有限，只做简要介绍，仅供参考调研（截止今年目前已总结100多个），本文大约11000字，阅读需完要20分钟。数据采集主要代表是：Flume、Sqoop、Logstash、Databus、DataX、Canal、Kettle、Maxwell、NIFI、Debezium、SeaTunnel、Fl

炼数成器·2023-10-14 18:54

华为养猪说明了什么？

华为养猪并不是采用传统的那种饲养方式，而是利用信息技术、大数据技术、人工智能技术进行的一种全新的产业革命。通过这些高级的技术，可以使得养猪的成

学霸修炼宝典·2023-10-14 09:28

大数据技术组件选型对比

中间件pulsarvskafkaFlinkCDCvsDebeziumFlinkCDC更灵活，支持DataStreamAPI和SQL两种方式同步数据，便于对数据做⼀些ETL,FlinkCDC分布式架构不仅仅体现在数据读取能⼒的⽔平扩展上，更重要的是在⼤数据场景下分布式系统接⼊能⼒。例如FlinkCDC的数据⼊湖或者⼊仓的时候，下游通常是分布式的系统，如Hive、HDFS、Iceberg、Hudi等。

公众号:肉眼品世界·2023-10-14 07:07

Flink On K8S终极实现方案

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-10-14 00:53

Flink 在又拍云日志批处理中的实践

本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者，现场分享各自领域的大数据技术经验和心得。

又拍云 UPYUN·2023-10-14 00:47

大数据技术之HBase

第1章HBase简介1.1、HBase定义ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。1.2、HBase数据模型HBase的设计理念依据Google的BigTable论文，论文中对于数据模型的首句介绍。Bigtable是一个稀疏的、分布式的、持久的多维排序map（类型）。之后对于映射的解释如下：该映射由行键、列键和时间戳索引；映射中的每个值都是一个未解释

骚戴·2023-10-13 23:22

全球大数据产业现状及投资前景预测

纵观国内外，大数据已经形成产业规模，并上升到国家战略层面，大数据技术和应用呈现纵深发展。

金光闪闪耶·2023-10-13 16:15

Hadoop3教程（一）：Hadoop的定义、组成及全生态概览

发展历史1.2三大发行版本1.3Hadoop的优势1.4Hadoop的组成（13）HDFS概述（14）Yarn架构（15）MapReduce概述（16）HDFS、YARN、MapReduce三者关系（17）大数据技术生态体系参考文献

经年藏殊·2023-10-13 16:05

Apache Doris (三十九）：Doris数据导出 - MySQL dump导出

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

IT贫道·2023-10-12 20:22

3D变电站vr建模三维展示可视化管理系统

虚拟仿真变电站建模物联网系统，商迪3D是通过3D建模技术手段以及物联网大数据技术、先进的传感和测量等技术采集变电站的精细点云数据，构建变电站的虚拟仿真三维模型，检测变电站的情况是否有缺漏和破损，同时方便对变电站进行数字化管理

商迪3D·2023-10-12 18:03

大数据要怎么样学才可以到企业级实战

大数据在企业级实战中扮演着重要角色，因此掌握大数据技术和应用是非常有价值的。下面将详细介绍学习大数据并达到企业级实战水平的步骤和方法。

Datainside·2023-10-12 18:05

培训python数据挖掘分析从0进阶掌握No.1的数据科学工具

深圳&广州，线上+现场培训从零进阶，12周掌握No.1的数据科学工具一对一职业规划辅导，送1+1+1会员服务全程实操，与名师大咖一起面对面学习体验一、课程背景：2016年2月，教育部公布新增“数据科学与大数据技术

毛毛648python教学·2023-10-12 17:03

查券返利助手怎么搭建？微信查券返利机器人的制作教程

一种叫做查券返利机器人的应用程序，基于人工智能和大数据技术，致力于帮助用户省钱购物。

u010405836·2023-10-12 13:51

q2919761440·2023-10-12 12:37

大数据学习路线

关注公众号：大数据技术派，回复“资料”，领取1000G资料。

大数据技术派·2023-10-12 12:04

C/C++《问题求解与程序设计课程设计》[2023-06-24]

C/C++《问题求解与程序设计课程设计》[2023-06-24]《问题求解与程序设计课程设计》任务书数据科学与大数据技术教研室2023年6月目录【题目1】酒店管理系统…3【题目2】飞机票订票系统…4【题目

codehelper666·2023-10-12 01:37

大禹智库：下一代向量数据库————具备在线化，协作化，可视化，自动化和安全互信的向量数据库

随着人工智能和大数据技术的快速发展，向量数据库在各个领域的应用越来越广泛。本报告将重点讨论大禹智库关于下一代向量数据库需要具备的特征，包括在线化、协作化、可视化和自动化。

LCHub低代码社区·2023-10-11 19:25

springboot2021-07-12

黑马头条项目采用当下火热的微服务+大数据技术架构实现。本项目主要着手于获取最新最热新闻资讯，通过大数据分析用户喜好精确推送咨询新闻。[外链图片转存失败,源站可

OMTE910·2023-10-11 15:43

大数据技术之-Hive源码

一、HQL是如何转换为MR任务的1、Hive的核心组成介绍#用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）#元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据

是小先生·2023-10-11 14:58

大数据和智能数据应用架构系列教程之：大数据与农业决策支持

基于互联网和云计算的大数据技术的革命，促进了农业生产

禅与计算机程序设计艺术·2023-10-11 10:10

数据科学竞赛入门大作业之吃鸡排名预测

该课程是安徽工程大学数据科学与大数据技术大一下修的课程，要求完成百度飞桨或阿里云上面的数据科学竞赛并拟写报告和答辩。我的成绩是优秀，以下格式仅供参考。

*恩赐*·2023-10-11 08:47

爬取微博热榜并将其存储为csv文件

秋名山码民的主页oi退役选手，Java、大数据、单片机、IoT均有所涉猎，热爱技术，技术无罪欢迎关注点赞收藏⭐️留言获取源码，添加WX目录前言1.热榜前50爬虫最后前言基于大数据技术的社交媒体文本情绪分析系统设计与实现

秋名山码民·2023-10-11 03:18

《大数据技术原理与应用》（第五章NoSQL 课后答案）

第五章NoSQL数据库参考资料1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客2.林子雨编著《大数据技术原理与应用（第3版）》教材官网_厦门大学数据库实验室3.大数据技术原理与应用

S_h_a_·2023-10-10 23:40

林子雨慕课答案2021新版

第一章大数据技术原理与应用—第1讲大数据概述（林子雨老师）课后习题_努力搬砖头的博客-CSDN博客第二章大数据技术原理与应用—第2讲大数据处理架构Hadoop（林子雨老师）课后习题_努力搬砖头的博客-CSDN

S_h_a_·2023-10-10 23:40

中国大学生mooc大数据技术原理与应用(林子雨)答案

大数据技术原理与应用（林子雨）第1章大数据概述1单选(2分)第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选

hadu_kaka·2023-10-10 23:03

2018-12-30年终总结

YYJACK·2023-10-10 21:41

hadoop学习笔记-搭建环境

这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下环境

励志重写JDK·2023-10-10 16:30

爱多分为教师、学生和家长排忧解难

爱多分是将人工智能和大数据技术，应用于中小学教与学环节当中。

学云教育·2023-10-10 15:52

大数据技术标准推进委员会发布《地球大数据白皮书（2023年）》

导读地球大数据的应用领域范围广阔，包括生态保护、自然资源管理、气象服务、城市规划、应急容灾等方面，但目前仍处于发展初期，面临着数据来源、结构多样，数据管理门槛高，数据应用场景复杂、落地方法论较少等痛点。如何充分发挥地球大数据的优势和特点，促进其社会价值、经济价值的高效释放成为产业界亟需解决的问题。本白皮书将梳理地球大数据的内容范畴、数据资源、关键技术、行业生态、应用场景以及实践案例等，

大数据食铁兽·2023-10-10 11:46

大数据和智能数据应用架构系列教程之：大数据挖掘与机器学习

近年来，随着云计算、大数据技术的迅速发展，大数据研究的热潮逐渐升温。

禅与计算机程序设计艺术·2023-10-10 10:30

大数据技术之Hadoop

第1章Hadoop概述1.1Hadoop是什么1.2Hadoop发展历史（了解）1.3Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton

骚戴·2023-10-10 02:41

智能营销报告：企业需要充分利用和挖掘数据

随着科技的进步和创新，人工智能与大数据技术的应用结合给营销界带来了新的变革，然而当面对B端和C端的可获数据呈指数增长时，营销技术在挖掘数据信息和智能决策方面仍有许多不足之处，使得企业在做营销决策时仍存在许多盲点

KuAI_KST·2023-10-09 18:18

Apache Doris (三十七）：Doris数据导出 - Export导出

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊。

IT贫道·2023-10-09 10:02

Palantir大数据技术在乌克兰战场的应用

源自：北京蓝德信息科技有限公司MetaConstellation软件系统人工智能平台(AIP)应用分析声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。“人工智能技术与咨询”发布

龙腾亚太·2023-10-09 05:03

个人：大数据复习清单

内容摘自：中国大学慕课网计算机课程：林子雨.大数据技术原理与应用大数据的4个特点：数据量大、数据类型繁多、处理速度快、价值密度低。

imyLove7·2023-10-09 00:40

推荐频道

大数据技术-Hadoop技术