BigDATA 第12页

大数据：互联网大数据和物联网大数据有何不同？

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

datamining2005·2023-04-12 14:18

HDFS集群扩容节点

比如我们要添加一个新DataNode节点到集群中：新节点主机名:bigdata114IP地址:192.168.20.114节点上运行进程:datanode、nodemanager操作步骤：在bigdata114

ItStar_·2023-04-12 11:03

Apache Doris 0.14.0版本 MPP数据库编译和安装

follower/observer)3.4新增一个BE1.编译官方提供Docker环境编译、Centos\Ubuntu环境编译、ARM64平台编译，我们这里采样Docker环境编译下载Docker镜像[root@bigdata001

Bulut0907·2023-04-11 18:35

2020-05-18 GGplot2主题和拓展包

image.png71个注册的ggplot2拓展包https://exts.ggplot2.tidyverse.org/gallery/imageggQQunifStar2MakeQQplotsforbigdataexpectedtobeuniformlydistributed

iColors·2023-04-11 09:44

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。

ixiaoyang8·2023-04-10 21:12

大数据面试题

行走的数据智能·2023-04-10 17:41

以程序员的视角带你看西安

博主简介：数智侠（微信号:bigdata_master06），计算机小硕，目前通讯行业从事大数据研发工作。专注于大数据平台、日志系统、数据仓库、数据中

行走的数据智能·2023-04-10 17:10

数据湖 VS 数据仓库和应用

概念：Datalakesanddatawarehousesarebothwidelyusedforstoringbigdata,buttheyarenotinterchangeableterms.Adatalakeisavastpoolofrawdata

fantasy723·2023-04-10 03:44

数据处理有哪些方式

什么是大数据：大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

qq^^614136809·2023-04-09 22:47

万字长文，详述TRIDENT: Poseidon 哈希算法的硬件加速与实现！

本文主要介绍了DatenLord团队在今年的Xilinx全球自适应计算挑战赛上获得BigDataAnalytics赛道一等奖的作品——TRIDENT:Poseidon哈希算法的硬件实现与加速。

达坦科技DatenLord·2023-04-09 14:07

2020-12-08

Python是一种快速发展的编程语言，Python和BigData的

甜茸·2023-04-09 10:18

成功解决: 大数据验证注意规范

dws指标层、adm应用数据层一、发散验证（数据唯一性检查）如：按月和组织粒度（联合主键）、存在同一个月+同一个组织多条记录selectmonth_id,organ_id,count(*)fromwu_bigdata_prd.dws_dl_o_organ_usernum_monthtwheregroupbymonth_id

iBigder·2023-04-09 08:26

Flink-流/批/OLAP一体得到Flink引擎

Flink概述1.1ApacheFlink的诞生背景1.1.1什么是大数据大数据（BigData）:指无法在一定时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。

阿通666·2023-04-08 23:30

大数据 - 从理论到实践

原文:WhatisBigData–TheorytoImplementationJavaCodeGeeks联合创始人ByronKiourtzoglou近日发表文章，从理论到实践剖析了大数据的4个V，并于文章最后分享了

Jason897·2023-04-08 19:39

大数据框架升级

五、部分框架升级5.1Hadoop3.1.35.1.1安装安装方式同旧版本5.1.2配置文件core-site.xmlfs.defaultFShdfs://bigdata1:9820hadoop.tmp.dir

CJ21·2023-04-08 09:48

转：大数据时代快速SQL引擎-Impala

如有侵权可立即删除背景随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、几百M也要放到Hadoop上作分析，只会适得其反，但是当面对真正的BigData

weixin_30376323·2023-04-08 07:24

MadFS：高性能超算缓存文件系统——助力“鹏城云脑II”获世界IO500排行榜冠军...

高性能超算缓存文件系统[J].大数据,2021,7(3):150-152.CHENK,WUYW,ZHENGWM.MadFS:ahighperformanceburstbufferfilesystem[J].BigDataResearch

唐名威·2023-04-08 03:04

大数据与中国的战略选择

今天，大数据(bigdata)一词正越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。

数据工程师金牛·2023-04-07 16:08

《应用统计学及R语言应用》期末考核

2019-2020学年第2学期《应用统计学及R语言应用》课程考核材料标题：饭店销量预测统计建模与优化姓名：susu学号：专业：bigdata班级：得分：信息工程学院2020年6月考核说明1.本材料作为《

莳凉·2023-04-06 22:38

系统集成项目管理工程师（软考中级）—— 第八章新一代信息技术笔记分享

幕布地址：第八章新一代信息技术-幕布概述大数据---BIGData人工智能AlI---ArtificialIntelligence物联网loT---InternetofThings云计算---CloudComputing5G

梨涡泥窝·2023-04-06 19:19

二.Flume部署及使用

4.1、文件配置查询JAVA_HOME:echo$JAVA_HOME显示/opt/module/jdk1.8.0_144/opt/module/jdk1.8.0_144安装Flume[itstar@bigdata113software

临时_01e2·2023-04-06 17:40

大数据导论（五：大数据分析）

大数据具有数据量大、数据结构复杂、数据产生速度快、数据价值密度低等特点，这些特点增加了对大数据进行有效分析的难度，大数据分析(BigDataAnalytics,BDA)成为当前探索大数据发展的核心内容。

SupAor·2023-04-06 16:35

spark业务开发-添加索引列

spark业务开发-添加索引列项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据name,profession,enroll,score曾凰妹

哦哇一丝卢脑哇哈急枚喋喋丝捏·2023-04-06 11:55

【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比

欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言，欢迎留言交流！

王知无(import_bigdata)·2023-04-06 11:54

数据中心网络布线为大数据时代铺路

罗森伯格亚太电子有限公司：孙慧永前言伴随云时代的来临，大数据（Bigdata）也吸引了越来越多的关注，人们用它来描述和定义信息爆炸时代产生的海量数据。

weixin_34363171·2023-04-06 10:39

入门-大数据概论及Hadoop介绍

1、大数据概论大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

青岛欢迎您·2023-04-05 13:06

《2015年《大数据》高被引论文Top10文章No.8——大数据与推荐系统

其引用格式如下：李翠平,蓝梦微,邹本友,等.大数据与推荐系统[J].大数据,2015026.LICP,LANMW,ZOUBY,etal.Bigdataandrecommendationsystem[J]

唐名威·2023-04-05 10:06

Hadoop目录

.x安装搭建到集群调优）教程视频地址：https://www.bilibili.com/video/BV1Qp4y1n7EN课程视频代码：https://gitee.com/fin_wuhongyu/bigdata2022

大数据之负·2023-04-03 23:15

大数据平台常用工具集合

大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

加米谷大数据科技·2023-04-03 22:23

Hadoop伪分步式：Bigdata: Error: JAVA_HOME is not set and could not be found.

初次配置好Hadoop伪分布式式之后，启动./sbin/start-all.sh命令发现进程启动失败,如下图所示jps命令查看进程发现namenodedatanode均没有启动提示JAVA_HOMEisnotsetandcouldnotbefound解决方法，进入hadoop下的etc/hadoop目录，进入hadoop-env.sh文件中将JAVA_HOME=${JAVA_HOME}改成（改成自

Alienware^·2023-04-03 10:26

Big Data Management笔记04：SparkSQL和PySpark MLlib

BigDataManagement笔记04：SparkSQL和PySparkMLlibSparkSQLDataframeCreateDataframeDataframeOperationsMoreonDataframesColumnarStorage

MYJace·2023-04-03 07:08

Java 8 Lambda 表达式 & Stream

demo地址：https://gitee.com/huannzi/bigdataframework/tree/master/src/main/java/com/orkasgb/java文章目录1、什么是

夜间沐水人·2023-04-03 07:05

大数据HCIE认证更新升级，要考大数据HCIE的过来看看

华为大数据挖掘专家认证HCIE-BigData-DataMiningV2.0自2019年7月2日起，正式在中国区发布。

智汇云校·2023-04-03 03:28

python：SyntaxError: Non-UTF-8 code starting with '\xa1' in file.....

库导入数据的时候，遇到一个错误：SyntaxError:Non-UTF-8codestartingwith'\xa1'infileD:/ssslll/programe/PycharmProjects/MDT_bigdata_tables

书生_Scholar·2023-04-03 02:32

反脆弱|从不确定中获益

通过查阅各大行业发布的数据，不难发现，依赖于ABC（A是AI，人工智能；B是BigData，大数据；C是Cloud，云计算）技术的行业收益最大。

benignHu·2023-04-02 16:32

K8s管理页面

k8s管理页面选择对应的命名空间bigdata通过条件筛选k8s的Pods点击名称,选择在Pods中运行此时已进入hbase的安装目录,可执行hbase命令.平台无法直接访问k8s通过物理机上通过命令进入容器在

懒鸟一枚·2023-04-02 14:20

HDFS配置HA

下面开始配置HDFS的HAHA集群规划namenodedatanodejournalnodezkfczookeeperbigdata01yesyesyesyesbigdata02yesyesyesyesyesbigdata03yesyesyesyes

金融小白数据分析之路·2023-04-02 05:54

基于python的transbigdata实现出租车轨迹数据分析与可视化

TransBigData是一个为交通时空大数据处理、分析和可视化而开发的Python包。

＋prevail·2023-04-02 02:36

Python地铁数据爬取和拓扑建模（TransBigData）

地铁网络拓扑建模下面的案例展示如何用TransBigData包抓取地铁线路，并构建地铁线网的拓扑网络模型爬取地铁线路首先爬取地铁线路使用tbd.getbusdata方法，输入城市跟公交或地铁线路名称的关键词

小旭学长·2023-04-02 01:50

Transbigdata——交通出租车大数据可视化分析，以成都市为例

如何生成可参考右边的帮助文档文章目录前言一、数据集二、操作步骤1.引入库2.读入数据3.数据预处理4.数据栅格化处理5.可视化分析总结存在的问题前言分享一个交通大数据可视化的案例，本案例来自于transbigdata

不懂科研的书呆子·2023-04-02 01:55

如何估算集群所需的存储、计算资源？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有位朋友在群里问：怎么预估大数据集群所需的内存容量？

大数据架构师Evan·2023-04-01 22:47

elasticsearch文件句柄，段合并操作

pretty'得到结果123456789101112131415161718192021222324252627{"cluster_name":"bigdata","nodes":{"vI_Wjf8lTamp

tao_wei162·2023-04-01 11:11

部署Zookeeper集群和Kafka集群

一、部署Zookeeper集群规划三个节点，分别为：bigdata01、bigdata02、bigdata031、上传压缩包到指定文件夹中，并解压tar-zxvfapache-zookeeper-3.7.0

你的代码有灵魂吗？·2023-04-01 08:27

【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景

在6月上旬举行的云栖大会上海峰会上，阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务（HDRforBigData,简称HDR-BD），并已经在7月份开始邀测。

许此一生·2023-04-01 04:37

Spark SQL实战(04)-API编程之DataFrame

2.x之后统一的packagecom.javaedge.bigdata.chapter04importorg.apache.spark.sql.

JavaEdge.·2023-03-31 11:43

【Bigdata】数据中台总体架构图

数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系，屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，可以让数据的使用成本更低。如果用三句话来概括数据中台的组成架构，那么一定是：通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。现在您已经知道了

mumu_wangwei·2023-03-31 07:03

Elasticsearch08：es-ik添加自定义词库、热更新词库

现在使用ik分词器测试一下分词效果：[root@bigdata01~]$curl-H"Content-Type:application/json"-XPOST'http://bigdata

做一个有趣的人Zz·2023-03-31 07:01

Spark的RDD转换算子

案例实操packagecom.atguigu.bigdata.spark.core.rdd.operator.transformimportorg.apache.spark.rdd.RD

m0_67614284·2023-03-30 23:15

了解大数据技术原理与应用（复习知识点）

目录①大数据（BigData）与云计算、物联网的相互关系②介绍Hadoop、MapReduce、HDFS和HBase以及其他功能组件，复习重点以及其他可用点！

登登登__·2023-03-30 23:20

谷俊丽分享之基于深度学习的大数据挖掘

现于AMD中国研究院高级研究员，从事异构计算平台、人工智能+BigData相关的研究。在计算机和高性能计算领域的国际顶级会议H

mishidemudong·2023-03-30 17:20

推荐频道

BigDATA