BigData 第11页

hadoop配置

提前下载好hadoop的tar包上传安装包到hadoop01解压到指定目录tar-zxvf/bigdata/soft/hadoop-3.3.3.tar.gz-C/bigdata/server/创建软链接

你很棒滴·2023-06-16 17:23

20230611_Hadoop_BigDataTools

Hadoop客户端一、BigDataTools工具Pycharm专业版下载BigDataTools工具。获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。

衡权定量·2023-06-16 15:19

Sparkcore----三层架构模型

二、各文件的代码application代码：importcom.lzl.bigdata.spark.core.framework.controller.WordCountControllerimportorg.apache.spark

梦痕长情·2023-06-16 06:44

【业务功能篇23】Springboot+mybatisPlus基于＞业务功能篇16 持续补充 CRUD+导出+定时任务功能开发

告警逻辑开发：controller层packagecom.xxx.QualityBigData.service;importcom.xxx.QualityBigData.model.ResponseVo

studyday1·2023-06-14 15:40

Spark三种模式的安装与配置

jdk1.8.0_301scala-2.11.8spark-2.4.8-bin-hadoop2.7hadoop-2.7.6（sparkonyarn时需要）当前目录:/root/***/packages/当前机器：bigdata1121

大数据ZRL·2023-06-14 10:31

BigData－基于代价优化

转：http://hbasefly.com/2017/05/04/bigdata%EF%BC%8Dcbo/还记得笔者在上篇文章无意中挖的一个坑么？

天地不仁以万物为刍狗·2023-06-13 17:32

BigData－‘基于代价优化’究竟是怎么一回事？

目录CBO基本原理CBO基本实现思路第一步：采集参原始表基本信息第二步：定义核心算子的基数推导规则第三步：核心算子实际代价计算TableScan算子HashJoin算子第四步：选择最优执行路径（代价最小执行路径）Hive–CBO优化效果CBO总结CBO基本原理提到CBO，就不得不提起一位’老熟人’–基于规则优化（Rule-BasedOptimization，简称RBO）。RBO是一种经验式、启发式

Resemble_·2023-06-13 17:31

金融科技的未来在何方？这里或许可以给你答案

从出门钱包不离身，到手机在手走遍天下，随着ABC（AI、BigData、Cloud）技术的不断涌现和日渐成熟，科技为金融行业带来的改变早已超乎我们的想象。

大数网·2023-06-13 04:57

Sed (参数) ‘s###g‘ 详解

*itnode01.bigdata$#'${ITNODE01}' itnode01.bigdata#g' /root/hostssed -i 's#profiler.collector.ip=.

西邮陈冠希·2023-06-12 16:21

【大数据工具】Zookeeper 分布式集群和伪分布式安装

说明：伪分布安装在了Windows开辟的虚拟机上，主机名为bigdata1.将zookeeper安装包zookeeper-3.4.10.tar.gz导入

程序员胖五·2023-06-11 08:46

dbeaver配置驱动手册

一、配置hive连接（impala同理）点击数据库，新建连接选择hadoop/bigdata，选择apachehive点击下一步，输入以下选项点击编辑驱动设置，找到驱动文件目录，添加文件夹，点击找到类，

脸ル粉嘟嘟·2023-06-10 14:46

HBASE入门基本shell命令（一）

一、登录连接shell$HBASE_HOME/bin/hbaseshell二、基本命令2.1help命令help创建命名空间create_namespace'bigdata';查看命名空间list_namespace

Long long ago.·2023-06-10 11:47

梦塔切·2023-06-10 01:29

flinkx读取hdfs鉴权kerberos

properties.hadoop.user.name":"sync","properties.dfs.ha.namenodes.ns":"hostname1,hostname2","properties.fs.defaultFS":"hdfs://bigdata

JenneyAes·2023-06-08 18:21

Scala 容器

创建一个List（数据有顺序，可重复）（3）遍历List（4）List增加数据（5）集合间合并：将一个整体拆成一个一个的个体，称为扁平化（6）取指定数据（7）空集合Nil部分常用操作packagecom.bigdata.scalaobjectDemoList

不会编程的小小怪·2023-06-08 05:38

【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用

/kafka/1.Kafka伪分布式安装1.上传并解压Kafka安装包使用FileZilla或其他文件传输工具上传Kafka安装包：kafka_2.11-0.10.0.0.tgz解压安装包[root@bigdatasoftware

程序员胖五·2023-06-08 00:49

【大数据工具】Spark 伪分布式、分布式集群搭建

Spark前需要先安装好JDK1.上传并解压Spark安装包使用fileZilla或其他文件传输工具上传Spark安装包：spark-2.1.0-bin-hadoop2.7.tgz解压安装包[root@bigdatasoftware

程序员胖五·2023-06-08 00:49

Bigdata1234.cn课堂测试

Java源文件中有一个公共类名称为Test，则该源文件名必须是：Test.java.Java中的基本数据类型共有8个：byte、short、int、long、float、double、char、boolean。.Eclipse中内容补全的快捷键是alt+/Eclipse中自动导包的快捷键是Ctrl+Shift+O，代码自动排版的快捷键是Ctrl+Shift+F。.int[][]a=newint[5

亖嘁·2023-06-07 11:55

乐姐·2023-06-07 05:52

OpenCV Python 利用Canny算子进行图像边缘检测

importcv2importmatplotlib.pyplotasplto=cv2.imread("F:\\jupyter\\bigdata7\\animal_final_0\\2_cir_0.png

炸鸡配啤酒·2023-06-06 21:34

LeetCode && AcWing 00

Author:龙箬DataScienceandBigDataTechnologyChangetheworldwithdata!

龙箬·2023-04-21 19:06

LeetCode && AcWing 01

Author:龙箬DataScienceandBigDataTechnologyChangetheworldwithdata!

龙箬·2023-04-21 19:06

Pyecharts实现新冠肺炎疫情数据大屏可视化--2.0版

Author:龙箬DataScienceandBigDataTechnology用数据改变世界！

龙箬·2023-04-21 19:35

oracle数据落地到gp,使用ora2pg迁移oracle数据到greenplum

安装DBI4、安装DBD::Pg一、安装相关软件支持1、安装DBI#下载https://metacpan.org/release/DBI上传到服务器并解压出来DBI-1.637.tar.gz[root@bigdata01

一吻江山·2023-04-21 19:57

centOS7安装常用环境及软件

实验环境：虚拟机：VMwareWorkstation虚拟机操作系统：centOS7宿主机操作系统：Windows101安装JavaJDK#首先下载JavaJDKwgethttp://bigdata.cg.lzu.edu.cn

沐岩:)·2023-04-21 05:46

Operating Principle and Implementation of Flink: Memory Management

Nowadays,open-sourcebigdataframeworks(suchasHadoop,SparkandStorm)allemployJVM,andFlinkisoneofthem.JVM-baseddataanalysisenginesallneedtostorealargeamountofdatainthememory

weixin_33862993·2023-04-20 16:21

MySQL代码实战-1（建表、查询、删表、删除列、增加列、改变列、设置自增属性）

MySQL代码实战-11、建表2、查询3、删表4、删除列5、增加列6、改变列7、设置自增属性1、建表--建表createtablebigdata_resources_monitor.scene_nosmoke_habit

幸福右手牵·2023-04-20 16:29

CDH6.3.2大数据集群生产环境安装(九)之部署flink1.13.2客户端

flink用户（可选，这里是因为公司需要这个参数所以才添加；所有节点都添加上，省事）29.1.添加useraddflink部署flink客户端选择一个集群节点作为客户端部署节点，这里选择zcpt-prd-bigdata-worker

日复一日伐树的熊哥·2023-04-20 05:05

scala App

objectTestSingleTon{println("xxxx")defmain(args:Array[String]):Unit={println("yyyy")}}xxxxyyyypackagecom.atguigui.bigdata.chapter06

比格肖·2023-04-19 10:29

Hadoop day1-day2.md

第1天第1节Hadoop概述与3台Linux虚拟机一：大数据概述1大数据定义大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力

翁老师的教学团队·2023-04-19 03:11

【Grafana】連接mssql並圖表顯示

【Grafana】連接mssql並圖表顯示1.函數2.Demo2.1Query2.2Query3.Awakening1.1BigData--Postgres1.函數MacroexampleReplacedby

百世经纶『一页書』·2023-04-19 00:39

SparkSQL DataFrame新增一列的四种方法

packagecom.longi.bigdata.spark.etlimportcom.longi.bigdata.spark.udf.DataFrameForCreatingNewColumnUDFimportcom.longi.bigdata.spark

jay1122·2023-04-18 15:53

【Hadoop】Hadoop Snappy 安装

、hadoopchecknative首先检查下hadoop是否已经集成snappy：hadoopchecknative-aNativelibrarychecking:hadoop:true/home/bigdata

w1992wishes·2023-04-18 10:46

回顾 | Meetup海外行：Kyligence参加Google Meetup@加州

当天，由Google赞助和主办、BigDataApplicationGroup协办的Meetup活动在GoogleCloudOffice召开，活动吸引了近130名大数据从业人员和爱好者参加，来自Google

Kyligence·2023-04-18 01:48

windows 使用 hadoop3.2.2+flume1.9.0+kafka2.13-3.2

解压至D盘D:/bigdataimage.png创建data目录data目录在data目录创建所需namenode和datanode文件夹数据目录覆盖bin目录，注意解压路径为winutils-master

云顶天宫写代码·2023-04-18 00:13

Bigdata 案例分析

从大数据角度看“灵魂交互”的soulApp最近比较火的soul社交APP，成为一个新的热点。人们可以通过心理测试题，从灵魂上定义自己，所有用户都可以通过大数据算法，认识到和自己性格相近的陌生人。在不同社会、不同时代中，人们总是怀着对知己的渴望，而大数据的运用，将这种看似难以实现的愿望变得轻而易举。但是，在精密的数据背后，总是会有各种各样的问题。大数据定义的你，是真实的你吗？人在不同的情绪下，即使是

叶荣杰·2023-04-17 23:23

如何给ai机器提供学习数据_人工智能机器学习中的数据伦理

Ethicsisanimportantaspectoflifeandunethicalofanythingissimplyharmfulandscary.Thesameprincipleisalsovalidandlegitimateinthetechnicalworld.Withtheevolutionofbigdataandhighperformantcomputin

weixin_26704853·2023-04-17 22:46

【Camunda】 -- Docker 安裝及使用

【Camunda】--Docker安裝及使用1.DockerinstallCamundaplatform1.1Web2.BigData--Postgres1.1BigData--Postgres3.Awakening1.1BigData

百世经纶『一页書』·2023-04-17 12:35

spark 读写数据

SparkSQL数据源的加载与保存JOEL-T99于2021-12-2217:57:31发布2191收藏3分类专栏：BigData文章标签：sparkscalasparksql版权BigData专栏收录该内容

行走荷尔蒙·2023-04-17 06:35

Mongdb中常用的数据清洗

原因与解决:mongdb_bigdata_error.png原因大数据计算、数据统计时，每个计算任务（job或task）都会使用独立有限的内存空间，mongodb没有提供复杂的内存

晨曦的娃哈哈·2023-04-17 05:20

教授专栏51 | 杨强: 联邦学习的隐私保护与模型的知识产权保护 (机器智能研究MIR)...

香港科技大学计算机与工程系讲座教授和前系主任，AAAI-2021大会主席，国际人工智能联合会（IJCAI）理事会前主席，香港人工智能与机器人学会（HKSAIR）理事长，智能投研技术联盟（ITL）主席，ACMTIST和IEEETRANSonBIGDATA

香港科大商学院内地办事处·2023-04-16 12:32

hadoop的学习

Hadoop1.1大数据的概念bigdatabit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB1Byte=8bit1k=1024Byte1MB=1024k1G=1024M1T

苗苗大佬·2023-04-16 08:54

文本分类 —— NLP

1、分词：http://bigdata.hylanda.com/smartCenter2018/index2、NLP研究进度：https://baijiahao.baidu.com/s?

Rainysong·2023-04-15 17:52

sqoop：mysql2hive传输数据出现问题

传输代码sqoopimport\--connectjdbc:mysql://bigdata30:3306/bigdata\--usernameroot\--password123456\--delete-target-dir

姚circle·2023-04-15 13:59

CDH 6.3.2 离线安装部署详细教程（亲妈级别教学，有手就行）

CDH6.3.2安装手册更新文档见https://gitee.com/baomili/bigdata-notes最新最全文章目录@[toc]参考博客官网地址1下载CM和CDH2CDH6.2.1组件版本信息

BoomLee·2023-04-14 17:15

大数据有什么风险？

大数据（BigData）又被称为巨量资料，其概念其实就是过去10年广泛用于企业内部的资料分析、商业智慧（BusinessIntelligence）和统计应用之大成。但大数据现在不只

公子义·2023-04-14 15:30

不要在关注BAT了，未来只会有ABCD

ABCD不是某几个公司的简拼，而是代表四大技术，他们分别是人工智能（ArtificialIntelligence)区块链（BlockChain）云计算（Cloud）大数据（BigData）互联网时代的下半场已经到来

购物享·2023-04-14 04:58

ansible模块：stat用法

ansible模块：stat用法ansible命令格式：ansible[-mmodule_name][-aargs]ansible后接主机名称：localhost，all，bigdataserversansiblelocalhost-mstat-a

最笨的羊羊·2023-04-12 18:29

（一）Hadoop集群环境搭建前传

blog.csdn.net/collection4u/article/details/14127671五、修改Hostname1、临时修改hostname[root@localhostDesktop]#hostnamebigdata-senior01

小猪Harry·2023-04-12 17:24

推荐频道

BigData