BigDATA 第11页

大数据之Kafka（三）：Kafka 与 Flume的整合及架构之道

创建整合的topic#kafka-topics.sh--create\--topicflume-kafka\--zookeeperbigdata01:2181/kafka\--parti

Oak-Komorebi·2023-06-20 00:23

Kettle 文件操作

NEO_X·2023-06-19 02:32

【GaussDB数据库----连接】

执行source${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。使用“gs_om-tstatus--detail”命令查询集群各实例情况。gs_om

Zhao.Mr·2023-06-18 18:27

bigdata.com《大数据计算框架》样题

容量单位从小到大的顺序依次为：TB、PB、EB、ZB。.用于设置环境变量的文件是.bash_profile.将HDFS文件下载到本地的命令是hadoopfs-get。.不需要Java环境的支持是MySQL.通配符是用于模糊匹配的特殊字符，可以在关键字查询中使用。在MySQL中，通配符主要有两种：%和_。其中，%代表匹配任意多个字符（包括0个字符），_则代表匹配单个字符。.HBase、Redis和M

亖嘁·2023-06-18 17:13

【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach

个人阅读笔记，如有错误欢迎指出会议：2021IEEEInternationalConferenceonBigDataResistingDistributedBackdoorAttacksinFederatedLearning

MiaZX·2023-06-17 19:19

使用sqoop从Hive导出数据到MySQL

（学生信息：学号xh，姓名xm）xsxx：createtablebigdata03.xsxx(xhString,xmString)rowformatdelimitedfieldsterminatedby

墨染盛夏呀·2023-06-17 17:27

26个新媒体运营数据来源渠道

1产品用户信息艾瑞数据:data.iresearch.com.cn易观智库:wwwanalysys.cnTalkingData(移动观象台):www.talkingdata.com腾讯大数据:bigdata.qq.com2

Ueming·2023-06-17 17:16

新一代数据集成工具ETLCloud入门实践：实现MySQL到ClickHouse的快速迁移

背景大数据（BigData）最重要的是数据，没有数据其他的就无从谈起（如今GPT大热，也是得益于海量数据的采集、存储、计算及治理能力的提升）。

Heartsuit·2023-06-16 20:41

centos8 安装flume

安装flume数据采集软件1.上传apache-flume-1.10.1-bin.tar.gz到/bigdata/soft2.解压到指定目录tar-zxvfapache-flume-1.10.1-bin.tar.gz-C

你很棒滴·2023-06-16 17:55

centos8安装redis

tar-zxvfredis-stable.tar.gz安装一些gcc编译库yuminstall-ygccgcc-c++make编译并且安装进入到redis的源码目录makeMALLOC=libcmakePREFIX=/bigdata

你很棒滴·2023-06-16 17:54

hadoop配置

提前下载好hadoop的tar包上传安装包到hadoop01解压到指定目录tar-zxvf/bigdata/soft/hadoop-3.3.3.tar.gz-C/bigdata/server/创建软链接

你很棒滴·2023-06-16 17:23

20230611_Hadoop_BigDataTools

Hadoop客户端一、BigDataTools工具Pycharm专业版下载BigDataTools工具。获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。

衡权定量·2023-06-16 15:19

Sparkcore----三层架构模型

二、各文件的代码application代码：importcom.lzl.bigdata.spark.core.framework.controller.WordCountControllerimportorg.apache.spark

梦痕长情·2023-06-16 06:44

【业务功能篇23】Springboot+mybatisPlus基于＞业务功能篇16 持续补充 CRUD+导出+定时任务功能开发

告警逻辑开发：controller层packagecom.xxx.QualityBigData.service;importcom.xxx.QualityBigData.model.ResponseVo

studyday1·2023-06-14 15:40

Spark三种模式的安装与配置

jdk1.8.0_301scala-2.11.8spark-2.4.8-bin-hadoop2.7hadoop-2.7.6（sparkonyarn时需要）当前目录:/root/***/packages/当前机器：bigdata1121

大数据ZRL·2023-06-14 10:31

BigData－基于代价优化

转：http://hbasefly.com/2017/05/04/bigdata%EF%BC%8Dcbo/还记得笔者在上篇文章无意中挖的一个坑么？

天地不仁以万物为刍狗·2023-06-13 17:32

BigData－‘基于代价优化’究竟是怎么一回事？

目录CBO基本原理CBO基本实现思路第一步：采集参原始表基本信息第二步：定义核心算子的基数推导规则第三步：核心算子实际代价计算TableScan算子HashJoin算子第四步：选择最优执行路径（代价最小执行路径）Hive–CBO优化效果CBO总结CBO基本原理提到CBO，就不得不提起一位’老熟人’–基于规则优化（Rule-BasedOptimization，简称RBO）。RBO是一种经验式、启发式

Resemble_·2023-06-13 17:31

金融科技的未来在何方？这里或许可以给你答案

从出门钱包不离身，到手机在手走遍天下，随着ABC（AI、BigData、Cloud）技术的不断涌现和日渐成熟，科技为金融行业带来的改变早已超乎我们的想象。

大数网·2023-06-13 04:57

Sed (参数) ‘s###g‘ 详解

*itnode01.bigdata$#'${ITNODE01}' itnode01.bigdata#g' /root/hostssed -i 's#profiler.collector.ip=.

西邮陈冠希·2023-06-12 16:21

【大数据工具】Zookeeper 分布式集群和伪分布式安装

说明：伪分布安装在了Windows开辟的虚拟机上，主机名为bigdata1.将zookeeper安装包zookeeper-3.4.10.tar.gz导入

程序员胖五·2023-06-11 08:46

dbeaver配置驱动手册

一、配置hive连接（impala同理）点击数据库，新建连接选择hadoop/bigdata，选择apachehive点击下一步，输入以下选项点击编辑驱动设置，找到驱动文件目录，添加文件夹，点击找到类，

脸ル粉嘟嘟·2023-06-10 14:46

HBASE入门基本shell命令（一）

一、登录连接shell$HBASE_HOME/bin/hbaseshell二、基本命令2.1help命令help创建命名空间create_namespace'bigdata';查看命名空间list_namespace

Long long ago.·2023-06-10 11:47

梦塔切·2023-06-10 01:29

flinkx读取hdfs鉴权kerberos

properties.hadoop.user.name":"sync","properties.dfs.ha.namenodes.ns":"hostname1,hostname2","properties.fs.defaultFS":"hdfs://bigdata

JenneyAes·2023-06-08 18:21

Scala 容器

创建一个List（数据有顺序，可重复）（3）遍历List（4）List增加数据（5）集合间合并：将一个整体拆成一个一个的个体，称为扁平化（6）取指定数据（7）空集合Nil部分常用操作packagecom.bigdata.scalaobjectDemoList

不会编程的小小怪·2023-06-08 05:38

【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用

/kafka/1.Kafka伪分布式安装1.上传并解压Kafka安装包使用FileZilla或其他文件传输工具上传Kafka安装包：kafka_2.11-0.10.0.0.tgz解压安装包[root@bigdatasoftware

程序员胖五·2023-06-08 00:49

【大数据工具】Spark 伪分布式、分布式集群搭建

Spark前需要先安装好JDK1.上传并解压Spark安装包使用fileZilla或其他文件传输工具上传Spark安装包：spark-2.1.0-bin-hadoop2.7.tgz解压安装包[root@bigdatasoftware

程序员胖五·2023-06-08 00:49

Bigdata1234.cn课堂测试

Java源文件中有一个公共类名称为Test，则该源文件名必须是：Test.java.Java中的基本数据类型共有8个：byte、short、int、long、float、double、char、boolean。.Eclipse中内容补全的快捷键是alt+/Eclipse中自动导包的快捷键是Ctrl+Shift+O，代码自动排版的快捷键是Ctrl+Shift+F。.int[][]a=newint[5

亖嘁·2023-06-07 11:55

乐姐·2023-06-07 05:52

OpenCV Python 利用Canny算子进行图像边缘检测

importcv2importmatplotlib.pyplotasplto=cv2.imread("F:\\jupyter\\bigdata7\\animal_final_0\\2_cir_0.png

炸鸡配啤酒·2023-06-06 21:34

LeetCode && AcWing 00

Author:龙箬DataScienceandBigDataTechnologyChangetheworldwithdata!

龙箬·2023-04-21 19:06

LeetCode && AcWing 01

Author:龙箬DataScienceandBigDataTechnologyChangetheworldwithdata!

龙箬·2023-04-21 19:06

Pyecharts实现新冠肺炎疫情数据大屏可视化--2.0版

Author:龙箬DataScienceandBigDataTechnology用数据改变世界！

龙箬·2023-04-21 19:35

oracle数据落地到gp,使用ora2pg迁移oracle数据到greenplum

安装DBI4、安装DBD::Pg一、安装相关软件支持1、安装DBI#下载https://metacpan.org/release/DBI上传到服务器并解压出来DBI-1.637.tar.gz[root@bigdata01

一吻江山·2023-04-21 19:57

centOS7安装常用环境及软件

实验环境：虚拟机：VMwareWorkstation虚拟机操作系统：centOS7宿主机操作系统：Windows101安装JavaJDK#首先下载JavaJDKwgethttp://bigdata.cg.lzu.edu.cn

沐岩:)·2023-04-21 05:46

Operating Principle and Implementation of Flink: Memory Management

Nowadays,open-sourcebigdataframeworks(suchasHadoop,SparkandStorm)allemployJVM,andFlinkisoneofthem.JVM-baseddataanalysisenginesallneedtostorealargeamountofdatainthememory

weixin_33862993·2023-04-20 16:21

MySQL代码实战-1（建表、查询、删表、删除列、增加列、改变列、设置自增属性）

MySQL代码实战-11、建表2、查询3、删表4、删除列5、增加列6、改变列7、设置自增属性1、建表--建表createtablebigdata_resources_monitor.scene_nosmoke_habit

幸福右手牵·2023-04-20 16:29

CDH6.3.2大数据集群生产环境安装(九)之部署flink1.13.2客户端

flink用户（可选，这里是因为公司需要这个参数所以才添加；所有节点都添加上，省事）29.1.添加useraddflink部署flink客户端选择一个集群节点作为客户端部署节点，这里选择zcpt-prd-bigdata-worker

日复一日伐树的熊哥·2023-04-20 05:05

scala App

objectTestSingleTon{println("xxxx")defmain(args:Array[String]):Unit={println("yyyy")}}xxxxyyyypackagecom.atguigui.bigdata.chapter06

比格肖·2023-04-19 10:29

Hadoop day1-day2.md

第1天第1节Hadoop概述与3台Linux虚拟机一：大数据概述1大数据定义大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力

翁老师的教学团队·2023-04-19 03:11

【Grafana】連接mssql並圖表顯示

【Grafana】連接mssql並圖表顯示1.函數2.Demo2.1Query2.2Query3.Awakening1.1BigData--Postgres1.函數MacroexampleReplacedby

百世经纶『一页書』·2023-04-19 00:39

SparkSQL DataFrame新增一列的四种方法

packagecom.longi.bigdata.spark.etlimportcom.longi.bigdata.spark.udf.DataFrameForCreatingNewColumnUDFimportcom.longi.bigdata.spark

jay1122·2023-04-18 15:53

【Hadoop】Hadoop Snappy 安装

、hadoopchecknative首先检查下hadoop是否已经集成snappy：hadoopchecknative-aNativelibrarychecking:hadoop:true/home/bigdata

w1992wishes·2023-04-18 10:46

回顾 | Meetup海外行：Kyligence参加Google Meetup@加州

当天，由Google赞助和主办、BigDataApplicationGroup协办的Meetup活动在GoogleCloudOffice召开，活动吸引了近130名大数据从业人员和爱好者参加，来自Google

Kyligence·2023-04-18 01:48

windows 使用 hadoop3.2.2+flume1.9.0+kafka2.13-3.2

解压至D盘D:/bigdataimage.png创建data目录data目录在data目录创建所需namenode和datanode文件夹数据目录覆盖bin目录，注意解压路径为winutils-master

云顶天宫写代码·2023-04-18 00:13

Bigdata 案例分析

从大数据角度看“灵魂交互”的soulApp最近比较火的soul社交APP，成为一个新的热点。人们可以通过心理测试题，从灵魂上定义自己，所有用户都可以通过大数据算法，认识到和自己性格相近的陌生人。在不同社会、不同时代中，人们总是怀着对知己的渴望，而大数据的运用，将这种看似难以实现的愿望变得轻而易举。但是，在精密的数据背后，总是会有各种各样的问题。大数据定义的你，是真实的你吗？人在不同的情绪下，即使是

叶荣杰·2023-04-17 23:23

如何给ai机器提供学习数据_人工智能机器学习中的数据伦理

Ethicsisanimportantaspectoflifeandunethicalofanythingissimplyharmfulandscary.Thesameprincipleisalsovalidandlegitimateinthetechnicalworld.Withtheevolutionofbigdataandhighperformantcomputin

weixin_26704853·2023-04-17 22:46

【Camunda】 -- Docker 安裝及使用

【Camunda】--Docker安裝及使用1.DockerinstallCamundaplatform1.1Web2.BigData--Postgres1.1BigData--Postgres3.Awakening1.1BigData

百世经纶『一页書』·2023-04-17 12:35

spark 读写数据

SparkSQL数据源的加载与保存JOEL-T99于2021-12-2217:57:31发布2191收藏3分类专栏：BigData文章标签：sparkscalasparksql版权BigData专栏收录该内容

行走荷尔蒙·2023-04-17 06:35

推荐频道

BigDATA