bigData

Flume监控之Ganglia部署与使用

部署环境CentOS7.6Flume1.6.0-cdh5.15.1前置准备1）安装httpd服务与php[js@bigdata001flume]$sudoyum-yinstallhttpdphp2）安装其他依赖
Exzzla·2020-07-15 08:58

hadoop单机版

JAVA_HOME}将其修改为自己JDK的目录【JAVA_HOME的目录】2、修改core-site.xmlfs.default.namehdfs://master01:9000hadoop.tmp.dir/bigdata
风中有个帅的人·2020-07-15 08:04

配置spark driver

默认也使用的是这个版本，故：设置pyspark的解释器为miniconda3的解释器PYSPARK_PYTHON=“/root/miniconda3/bin/python3”JAVA_HOME=’/root/bigdata
孤数不证·2020-07-15 08:30

使用mycat部署mysql集群(分片，读写分离，主从复制)

在s201,s202,s203上安装MySQL（安装jdk）配置MySQL5.7的yum源sudotee-a/etc/yum.repos.d/mysql-community.reporootbigdatarootbigdatatrue
LaZY_apple·2020-07-15 07:25

Kafka编程指南之二：消息的物理存放路径

/bin/kafka-topics.sh--describe--zookeeperbigdata01:2181--topicfirsttopic显示如下：Topic:firstto
Darren.P·2020-07-15 07:51

在windows系统中安装配置hadoop环境变量

安装hadoop之前我已经在linux虚拟机安装了hadoop，用的hadoop安装包是：把这个安装包解压到d盘下的一个全英文路径下：D:\bigdataSource\Hadoop\hadoop-2.6.0
白修修·2020-07-15 06:22

大数据基准测试平台BigDataBench5.0安装配置及使用

bigDataBench5.0（2019.6月发布）前提：安装hadoop、jdk、g++、gcc、gsl1.首先就是下载BigDataBench安装包http://125.39.136.212:8090
AthenaHe·2020-07-15 06:33

Shell实战之变量的高级用法

/usr/bin/envbash#字符串处理完整脚本string="BigdataprocessframeworkisHadoop,Hadoopisanopensourceproject"functiontips_info
weixin_34278190·2020-07-15 05:18

HBase环境搭建

/software配置环境变量exportPATH=/usr/local/bigdata/software/hbase-1.2.5/bin:$PATH单机HBase配置配置文件修改配置文件在hbase-
忘净空·2020-07-15 04:08

Oozie时出现Exception in thread "main" java.lang.UnsupportedClassVersionError: com/mysql/jdbc/Driver : U...

问题详情[hadoop@bigdatamasteroozie-4.1.0-cdh5.5.4]$bin/ooziedb.shcreate-sqlfileoozie.sql-runDBConnection[
weixin_33699914·2020-07-15 04:04

学习哈希及哈希在大数据检索和挖掘中的应用

http://cs.nju.edu.cn/lwj/conf/CIKM14Hash.htmLearningtoHashwithitsApplicationtoBigDataRetrievalandMiningOverviewNearestneighbor
weixin_30691871·2020-07-15 03:42

量化交易者必看：如何获取股票和期货行情数据

微盛数海官网：http://www.wsbigdata.com/提供股票、外汇、黄金、股指、国债期货等多个品种的API接口。与多家知名品牌有合作，是仅次于万得的供应商。立得行情数据官网：
weixin_30300523·2020-07-15 02:59

基于ZooKeeper搭建Hadoop高可用集群，附大数据入门指南

今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https://github.com/heibaiying/BigData-Notes，内容涉及下图的相关技术
架构文摘·2020-07-15 02:17

机器学习工程师需要知道的10个算法

NewStoryCharity.Itisnodoubtthatthesub-fieldofmachinelearning/artificialintelligencehasincreasinglygainedmorepopularityinthepastcoupleofyears.AsBigDataisthehottesttrendinthetechindustryatthem
Bruceoxl·2020-07-15 01:54

centos7.4离线配置httpd安装yum源

1.准备环境内网离线环境IPhostname备注192.168.2.4node1.bigdata.com主节点192.168.2.9data.fileserver.com文件服务器在有网了服务器下载以下
寻找手艺人·2020-07-15 01:57

【Spark benchmark】 NMON 和 BigDataBench测试

Benchmark测试：NMON+BigDataBench一、NMON监控、分析系统性能1.在Linux中使用apt-getinstallnmon安装2.输入nmon显示下面页面表示安装成功3.生成报表
luonango·2020-07-15 01:24

基于Zookeeper搭建hadoop的HA功能

hadoop宕机的时候通过zookeeper选举功能进行Active的切换并使用JournalNode来维护Namenode的日志和元信息集群规划Zookeeper集群：192.168.112.112（bigdata112
枣泥馅·2020-07-15 00:49

zookeeper集群搭建以及测试数据同步功能

Zookeeper集群搭建之前准备工作：时间同步关闭防火墙设置免密码登陆设置主机名设置host文件我们准备搭建一主俩从，所以需要三台服务器分别为bigdata112bigdata113bigdata114
枣泥馅·2020-07-15 00:18

使用logrotate做nginx日志分割

文章来源：http://bigdataer.net/?p=266背景nginx是一款非常优秀的网络代理工具，但是其日志管理有点缺憾：nginx的access_log会无限的增长。
bigdataer·2020-07-15 00:30

git rebase 与提交纪录重写

通过gitrebase-ilocalhost:bigdataSean$
在风中的意志·2020-07-15 00:46

Hadoop MR 之(四) InputFormat 类 / OutputFormat类

GroupingComaprator类.本章我们讲解下如何自定义输入与输出.也就是InputFormat类与OutPutFormat类.本文相关代码,可在我的Github项目https://github.com/SeanYanxml/bigdata
在风中的意志·2020-07-15 00:46

Redis & Redis Sentinel 基本使用

基本配置RedisClient客户端基本内容RedisSentinel客户端基本内容与本文相关的代码与配置文件都已经上传至github上:地址:https://github.com/SeanYanxml/bigdataRedis
在风中的意志·2020-07-15 00:45

Linux最小化安装、NAT网络模式下，无法使用yum命令；ping外网失败时解决方案

ping外网失败时解决方案：1.添加网关信息[root@CentOS1~]#vi/etc/sysconfig/network#CreatedbyanacondaNETWORKING=yesHOSTNAME=bigdataGATEWAY
sinat_41642318·2020-07-14 22:50

0基础大数据学习路径

所谓ABC者，AI+BigData+Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都
kuntoria·2020-07-14 20:01

Scala的List

defmain(args:Array[String]){valbigData=List("Hadoop","Spark")valdata=List(1,2,3)valbigData_Core="Hadoop
maolazhu·2020-07-14 20:39

用spss实现KNN（K近邻）算法

http://www.17bigdata.com/%E5%BA%94%E7%94%A8-ibm-spss-statistic-%E7%9A%84%E6%9C%80%E8%BF%91%E9%82%BB%E5%
CtrlZ1·2020-07-14 20:48

Mac OS X下Hadoop、Spark单机版环境搭建

我基本上是照着http://www.cnblogs.com/bigdataZJ/p/hellospark.html这篇博客来搭建环境的，大神在写的时候里面有些许瑕疵，笨宝宝费了好些功夫才找到哪里出了问题
qq_39662852·2020-07-14 19:58

Hbase简介

1.HBase定义：Hadoopdatabase，adistributed,scalable,bigdatastoreUseApacheHBase™whenyouneedrandom,realtimeread
烙痕·2020-07-14 19:26

Hadoop集群配置jdk

1、下载和解压jdk包tar-zxvf文件-C目录新建一个java目录，把解压后的移动到这里面2、配置环境变量#vi/etc/profile在后面追加语句exportJAVA_HOME=/bigdata
alanjia163·2020-07-14 18:07

applicationContext.xml各作用

作用一：配数据库-->classpath:jdbc.propertiesorg.bigdatacn.sfgk.wlzbs.service.
大鑫不列迭·2020-07-14 17:36

Spark分布式环境搭建

Spark从菜鸟到入门Spark初体验——wordcount词频统计Spark基础知识学习Spark单机版环境搭建Spark源码学习Spark分布式环境搭建Spark基准测试平台BigDataBench
五环旗·2020-07-14 17:17

Spark基准测试平台BigDataBench使用教程

【Spark从菜鸟到入门】Spark初体验——wordcount词频统计Spark基础知识学习Spark单机版环境搭建Spark源码学习Spark分布式环境搭建Spark基准测试平台BigDataBench
五环旗·2020-07-14 17:45

Linux环境spark和Scala安装

/bigdata/tar-zxvf./scala-2.11.12.tgz-C../bigdata/重命名mv./spark-2.4.5-bin-hadoop2.6/spark245mv.
坐拥2只猫·2020-07-14 15:31

带你走进大数据时代(简单易懂)(大数据概述一)

个人微信:yinhaoliang6大数据概述(BigData)问题来了,何为大数据?
江南/**/·2020-07-14 14:58

HBase原理、设计与优化实践

原文链接：http://www.thebigdata.cn/HBase/15925.html简介HBase——HadoopDatabase的简称，GoogleBigTable的另一种开源实现方式，从问世之初
liuxiangke0210·2020-07-14 14:10

SpringCloud工作笔记089---SpringBoot中Mybatis使用Condition_Criteria如何筛选日期类型数据

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152看例子,做备份,防止以后会用:@GetMappingpublicResultlist(@RequestParam
credreamer·2020-07-14 13:45

Hive之UDF创建永久函数

具体步骤：1、JAVA代码：packagecom.bigdata;importorg.apache.hadoop.hive.ql.exec.UDF;publicclassAddextendsUDF{publicIntegerevaluate
Michael-JOE·2020-07-14 13:59

Oozie安装和部署（详细）

/bigdata/[root@cjh1bigdata]#mvoozie-4.1.0-cdh5.14.2/oozie4102、修改配置#配置环境变量[root@cjh1bigdata]#vi/et
这条gai最靓的华哥·2020-07-14 11:43

常用的大数据分析模型有哪些？

大数据（BigData）概念是1998年由SGI首席科学家JohnMasey在USENIX大会上提出的。
cuanzhapan8891·2020-07-14 09:26

Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3

为克隆做准备首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置：上传文件命令：[email protected]:/usr/bigdata
臭臭在奔跑·2020-07-14 08:27

kafka stream（kafka流处理）

kafkastream（kafka流处理）问题：1）列转化问题(列转化行)user_attendeesfriend_id//打开zookeeper[root@bigdatabin]#zkServer.shstart
TT15751097576·2020-07-14 06:46

大数据与伦理

首先我们来看看百度百科对“大数据”的定义：大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量
Passionzq·2020-07-14 05:59

flume启动命令

flume启动命令：[root@bigdata111apache-flume-1.7.0-bin]#bin/flume-ngagent\--confconf/\--namea1\--conf-filejobs
Jantelope·2020-07-14 04:20

Hbase自带Zookeeper启动后，hmaster退出

启动Hbase：start-hbase.shstartingmaster,loggingto/root/training/hbase-1.3.1/logs/hbase-root-master-bigdata111
Jantelope·2020-07-14 04:20

kafka常用操作指令

个人路径：/root/training/kafka_2.11-2.3.0启动kafka集群(前提要启动ZK的集群):[root@bigdata111kafka_2.11-2.3.0]#bin/kafka-server-start.shconfig
Jantelope·2020-07-14 04:20

Hadoop环境搭建之zookeeper安装

Hadoop环境搭建一、预备知识1.大数据导论1.1大数据概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量
Imflash·2020-07-14 04:26

王力波实验室工作介绍

Featureselectionmethodsforbigdatabioinformatics:Asurveyfromthesearchperspective(2016)大数据生物信息学的特征选择方法：
Betrayer丶·2020-07-14 04:30

大数据性能测试工具Dew --转载自李智慧

网址：https://github.com/zhihuili/Dew#Dew#BigDataCloudManagementPlateform##QuickStart#####Startdewcluster
领悟大数据·2020-07-14 03:34

安装Zookeeper的伪分布与集群

1.首先将"zookeeper-3.4.10.tar.gz"安装包上传到linux系统中，2.找到该文件：[root@bigdata111temp]#cd~/tools/[root@bigdata111tools
Jantelope·2020-07-14 00:59

CNCC2018：[早鸟票]倒计时两周，7000人盛会日程抢先看！

2018中国计算机大会（CNCC2018）将于10月25-27日在杭州国际博览中心（G20会场）举行，大会主题为「大数据推动数字经济」（BigDataDrivestheDigitalEc
量子位·2020-07-13 22:16
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他