bigData

Spark streaming+kafka+logstash日志分析

zookeeper,我的目录是/home/metaqtar-zxvfzookeeper-3.4.6.tar.gzmvzookeeper-3.4.6zookeeper2.修改zookeeper配置文件在其中一台机器（bigdatasvr01
yjyzsl·2020-08-21 11:27

Scala的泛型

objectHello_Type_Parameterization{defmain(args:Array[String]){valtriple=newTriple("Spark",3,3.1415)//这里没指定类型，是因为Scala可以进行类型推导valbigData
maolazhu·2020-08-21 07:39

问题来了，大数据的特性究竟有多少个V？

2019独角兽企业重金招聘Python工程师标准>>>——原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。
weixin_34088583·2020-08-21 06:34

ZooKeeper Watch Java API浅析exists

转自http://blog.csdn.net/lipeng_bigdata/article/details/50985993Watch是ZooKeeper中非常重要的一个机制，它可以监控ZooKeeper
_从头再来_·2020-08-21 05:19

大数据的定义与特点

什么是大数据:定义1(Kusnetzky,Dan.Whatis"BigData")所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成人类所能解读的信息。
听风倍思雨·2020-08-21 03:15

Flink学习--EventTime和Watermarks案例实践

文章转载自：https://blog.csdn.net/xu47043...作者：bigdata1024侵删watermarks的生成方式有两种：1：WithPeriodicWatermarks：周期性的触发
小明的数据脚印·2020-08-21 03:54

解决Flink中报 java.net.ConnectException：拒绝连接 在java.net.PlainSocketImpl.socketConnect

三.测试成功1.先在linux下启动，nc-lk666[root@bigdata115flink-1.7.2]#nc-lk666helloflinkhellojackson
Jackson_MVP·2020-08-21 02:48

Ambari2.7.3开启Https之后，Yarn Queue Manager（报错Couldn't connect to the cluster）解决

Https协议之后，访问YARNQueueManager时报错如下：Couldn'tconnecttotheclusterCan'tgetsecureconnectiontohttps://manager.bigdata
@TangXin·2020-08-21 02:37

处理MapReduce中的报错Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntax

写好MapReduce线下代码后,生成example-mr-1.2.jar包上传并解压运行,如下:[root@bigdata01~]#hadoopjarexample-mr-1.2.jarExceptioninthread
asportoss·2020-08-21 02:07

Flink DataStream流及Batch单词计数

实战一:通过socket模拟产生单词数据场景：需要实现每隔1秒对最近2秒内的数据进行汇总计算packageorg.jy.data.yh.bigdata.streaming.flink;importorg.apache.flink.api.common.functions.FlatMapFunction
蜗牛杨哥·2020-08-21 02:14

人和团队互相成就

在移动互联网普及之后，ABC时代正在到来（AI+Bigdata+Cloud）。“ABC时代”这个提法不知道是不是张志东首创的，我听来确实觉得耳目一新。
智勇双全的小六·2020-08-20 23:57

Introduction of Hadoop/ MapReduce

Parallelprogrammingmodelforbigdataprocessing:splitdata>chunksdefinestepstoprocesschunksprocessthechunksparallellyHadoopisaplatformimplementsMapReduce
张荣恩Sophia·2020-08-20 21:48

Hadoop - 1介绍、环境搭建及配置

bigdata介绍bigdata:0分布式由分布在不同主机上的进程协同在一起，才能构成整个应用。
hongXkeX·2020-08-20 21:51

BigData：值得了解的十大数据发展趋势

对于技术领域而言，普遍存在的一个巨大变化就是为大数据（Bigdata）打开了大门，并应用大数据技相关技术来改善各行业的业务并促进经济的发展。
阿里云云栖号·2020-08-20 21:03

BigData：值得了解的十大数据发展趋势

对于技术领域而言，普遍存在的一个巨大变化就是为大数据（Bigdata）打开了大门，并应用大数据技相关技术来改善各行业的业务并促进经济的发展。
阿里云云栖号·2020-08-20 21:02

CDH之后搭建flink

./.bash_profileexportFLINK_HOME=/home/bigdata/flink/flink-1.9.1exportHADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn
weixing_2006·2020-08-20 20:47

大数据技术与服务市场中 金融、通信等应用主宰“沉浮”

据IDC新发布的《IDC全球大数据支出指南》(WorldwideBigDataandAnalyticsSpendingGuide,2020V2)预
小几斤·2020-08-20 20:09

BigData~03：Hadoop02 ~ HDFS

HDFS是Hadoop的一个重要组件，提供了分布式系统的文件存储，下面就我学习到的知识点整理一下吧一、相关概念HDFS：HadoopDistributedFileSysytem，即Hadoop分布式文件系统，以流式数据访问模式基于块(Block)来存储超大文件，是一个用来管理网络中跨多台计算机存储的文件系统；HDFSBlock：HDFS是基于数据块来存储文件数据的，现在的版本中这个块的大小是128
帅可儿妞·2020-08-20 20:02

Centos 6 安装tree命令

Centos6安装tree命令sudoyum-yinstalltree测试是否成功：(py36)[root@bigDataprojects]#treegatk4-germline-snps-indels-master
二进制杯莫停·2020-08-20 20:58

HDFS存储策略

我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下：12345dfs.datanode.data.dir/home/hadoop-twq/bigdata
听见下雨的声音hb·2020-08-20 18:44

【Hadoop】06-HDFS常用API

packagecom.learn.bigdata.hdfs;importjava.net.URI;importjava.util.Iterator;importjava.util.Map.Entry;importorg.apache.hadoop.conf.Configuration
一直不懂·2020-08-20 18:17

Elasticsearch5.X java API

XjavaAPI1.JavaAPI批量导出Settingssettings=ImmutableSettings.settingsBuilder().put("cluster.name","elasticsearch-bigdata
qq_21873747·2020-08-20 17:38

Hadoop HDFS的Java API使用

我们介绍了经常使用的HDFS经常使用的Shell命令.本章我们讲解下Hadoop的HDFSJavaAPI.本文相关代码,可在我的Github项目https://github.com/SeanYanxml/bigdata
在风中的意志·2020-08-20 14:40

5 亿整数的大文件，怎么排

来源：foreach_breakcnblogs.com/foreach-break/p/external_sort.html问题给你1个文件bigdata，大小4663M，5亿个数，文件中的数据随机,如下一行一个整数
Admin_2c24·2020-08-20 08:04

用MR统计页面浏览量页面编号功能

packageproject.mr;importcom.imooc.bigdata.hadoop.hdfs.mr.project.utils.ContentUtils;importcom.imooc.bigdata.hadoop.hdfs.mr.project.utils.LogParser
慢熟的孩子·2020-08-20 07:13

090-BigData-18Flume

上一篇：089-BigData-17ZooKeeper秒杀和hadoop高可用一、Flume简介Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix
AncientMing·2020-08-20 06:33

Hadoop集群配置步骤

https://pan.baidu.com/s/1ivSvMe52KOuGtAmGPB8U0A密码:jvx82.修改环境变量vim/etc/profile加入exportJAVA_HOME=/home/bigdata
sj天问·2020-08-20 04:00

hive分区

hive分区1.在任意位置建立一个文件夹这里以在home/bigdata下建立一个hivedatamkdir-p/home/bigdata/hivedata2.根据表来随便写几个数据这里以下面建表的样板为准用下面的数据建一个名叫
sj天问·2020-08-20 04:00

zookeeper搭建

zookeeper搭建1.zookeeper的压缩包链接:https://pan.baidu.com/s/1NSwR0ka8yXnelyP2YhL6bg密码:8rzj2.解压在/home/bigdata
sj天问·2020-08-20 04:00

关于Spark on yarn

masteryarn\--deploy-modecluster\--driver-memory1g\--executor-memory1g\--executor-cores2\--queuedefault\/home/bigdata
potpof·2020-08-20 03:08

Python中的十大图像处理工具

来源|大数据文摘(BigDataDigest)编译|张秋玥、小七、蒋宝尚本文主要介绍了一些简单易懂最常用的Python图像处理库。当今世界充满了各种数据，而图像是其中高的重要组成部分。
数智物语·2020-08-20 01:54

使用python pyhdfs操作hadoop 出现ConnectionError: HTTPConnectionPool(host='bigdata-senior03.chybinmy.com'

gaierrorTraceback(mostrecentcalllast)C:\Users\mr-chen\Anaconda3\envs\hadoop\lib\site-packages\urllib3\connection.pyin_new_conn(self)158conn=connection.create_connection(-->159(self._dns_host,self.port
Bates chen·2020-08-19 20:35

2015年《大数据》高被引论文Top10文章No.7——大数据机器学习系统研究进展（下）...

引用格式如下：黄宜华.大数据机器学习系统研究进展[J].大数据,2015004.HUANGYH.Researchprogressonbigdatamachinelearningsystem[J].Big
唐名威·2020-08-19 16:27

flink学习之一---准备工作

安装zk：下载地址：https://zookeeper.apache.org/releases.html下载后，解压放在目录D:\bigdata（本文所用的目录）下，关于zookeep
AlanKim·2020-08-19 16:32

HDFS DataNode问题-_COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There

root@bigdatatest-1:~/data_test/hadoop-2.7.0#bin/hadoopfs-copyFromLocalREADME.txtinput15/07/1815:17:31WARNutil.NativeCode
liliangcsdn·2020-08-19 10:58

Spark的伪分布式与完全分布式

伪分布式配置spark-env.sh配置slaves配置如下网页查看http://bigdata121:8080/结果如下spark的bin目录下.
JasonAndChen·2020-08-19 08:02

centos 没有jps命令解决方法

安装java-1.X.X-openjdk-devel这个包，包含jps命令#yumlist|grepjdk-devel[root@bigdatausr]#java-versionopenjdkversion
了尘自无心·2020-08-19 07:07

Hue的全局配置文件hue.ini（图文详解）

我的集群机器情况是bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）然后，安装目录是在
weixin_34066347·2020-08-19 07:49

【大数据】华为内部狂转好文，大数据，看这一篇就够了！

一、大数据的初步理解似乎一夜之间，大数据（BigData）变成一个IT行业中最时髦的词汇。首先，大数据不是什么完完全全
产业智能官·2020-08-19 07:42

BigData-25：Spark基础

Spark生态圈：SparkCore:最重要，其中最重要的就是RDD（弹性分布式数据集）SparkSQLSparkStreamingSparkMLLib:协同过滤、ALS、逻辑回归等等—>实现推荐系统SparkGraphx：图计算SparkCore一、什么是Spark？特点？官网：ApacheSpark™isaunifiedanalyticsengineforlarge-scaledataproc
feiyanaffection·2020-08-19 06:55

数据中台：基于标签体系的360°用户画像

作者：石秀峰来源：谈数据（ID：learning-bigdata）01从“标签”说起标签是用来标志您的产品目标和分类或内容，像是您给您的目标确定的关键字词，便于您自己和他人查找和定位自己目标的工具。
大数据v·2020-08-19 06:26

程序员深夜用Python跑神经网络，只为用中二动作关掉台灯

编译｜啤酒泡泡、曹培信来源｜大数据文摘（ID：BigDataDigest）原文｜MakeArtWithPython此前，关于关灯这件事，这一届网友永远不会让人失望，他们开发出
Python大本营·2020-08-19 05:28

Kafka Sql：简单使用

103686739kafka:2.0.01、修改配置文件/data/software/confluent-5.3.1/etc/ksql/ksql-server.propertiesbootstrap.servers=bigdata-dev1
TracyGao01·2020-08-19 04:37

进阶-第17__深度探秘搜索技术_在案例实战中掌握phrase matching搜索技术

1、什么是近似匹配两个句子javaismyfavouriteprogramminglanguage,andIalsothinksparkisaverygoodbigdatasystem.javasparkareveryrelated
两点一刻·2020-08-19 03:25

【十】storm+mysql集成

JdbcInsertBolt、JdbcLookupBolt请直接看官网官网介绍这里代码给的例子是wordcount，用的jdbcClient直接执行SQLmavenpom.xml4.0.0com.sid.bigdatastorm0.0.1jarstormhttp
jy02268879·2020-08-19 02:16

[bigdata-089]go 以http get从server端读取json然后转化成json格式打印输出

1.文档参考各种文档，不一一列举2.代码packagemainimport"fmt"import"io/ioutil"import"net/http"import"encoding/json"funcmain(){//httpgetresp,err:=http.Get("http://127.0.0.1:8080/v1/shorten/?longurl=http://google.com")ife
未济2019·2020-08-18 22:59

hadoop

首先要安装jdk解压到指定目录，并且配置vi/etc/profile#jdk配置JAVA_HOME=/data/jl2tina/app/bigdata/jdk1.8.0_121#Hadoop配置HADOOP_HOME
jl2tina·2020-08-18 21:05

判断一个数组是否为后序遍历结果

packagecom.lifeibigdata.a
菜鸟兄弟·2020-08-18 20:46

大数据的四个典型特征

大数据(BigData)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”
任薛纪·2020-08-18 18:54

人工智能TensorFlow工作笔记010---TensorFlow 游乐场游戏,了解神经网络主要功能作用_工作流程

技术交流QQ群【JAVA,C,.NET,BigData,AI】：170933152看书写程序,边看边写...看下面这个游戏网站地址,然后看介绍吧.主要是介绍一下,神经网络实现过程.http://playground.tensorflow.org
credreamer·2020-08-18 15:35
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他