E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
BIGDATA
BigData
————MapReduce案例(Hadoop序列化)
Flowbean实现writebale类封装上下行流量和总流量mapper逻辑读取一行数据切分数据取出手机号取出上下行流量封装到bean中将手机作为key(类型Text),bean(类型Flowbean)作为value输出reducer创建上下总流量的变量将同一个key的多个value(Flowbean)中上下总流量进行统计创建bean对象封装总上下行流量将手机作为key(类型Text),bean
cool_cool_coo1
·
2020-08-10 14:25
mapreduce
hadoop
hdfs
css之 8.面试题会考行内元素和块级元素的特点以及列举说明
8.面试题会考行内元素和块级元素的特点以及列举说明一、行内元素通常使用行内元素来进行文字、小图标(小结构)的搭建标签:abutton
bigdata
listemiinputmarkspanselectoptionsstrongbsmallsupsubtextareau
yun1129yan
·
2020-08-10 12:51
前端
Apache Hadoop
一、大数据(
BigData
)引言1.什么是大数据体量很大的数据,起步存储当量为TB级或者日均数据增长GB级。在海量数据下,可以进行分析,挖掘,进而发现数据内在的规律,从而为企业或者国家创造价值。
[email protected]
·
2020-08-10 11:09
深入浅出大数据--课本学习 one
课本学习寒假期间完成学习此书大数据概述大数据关键技术基于Hadoop的生态系统分布式文件系统HDFS分布式计算框架MapReduce资源管理框架分布式存储数据库HBase数据仓库Hive数据分析与挖掘Mahout大数据应用大数据概述1.1大数据发展历程
BigData
中关村一男子
·
2020-08-10 07:12
课本学习
IDEA打包MapReduce程序,jar在hdfs集群运行
在本地IDEA执行MR【前言】IntellijIDEA打包MapReduce程序,并使用jar的方式在集群上运行1编写代码1.1创建Maven项目1.2添加依赖4.0.0com.shane.hadoop
bigdata
1
ShaneHolmes
·
2020-08-10 07:53
Hadoop
架构大数据分析应用
这是《Scalable
BigData
Architecture》一书的翻译笔记和读书札记,使用了原书中的大量图片,融入了自己的部分观点….典型使用场景….大数据生态系统……..数据管理比以往更加复杂,到处都是大数据
半吊子全栈工匠
·
2020-08-10 04:11
大数据
架构
云计算
大数据修炼道场
大数据处理技术之Hadoop——初识Hadoop
一、大数据的概论1.1大数据概念 大数据(
BigData
):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
许你常欢
·
2020-08-10 04:57
大数据(Hadoop)
spark on yarn cluster模式,出现异常NoSuchMethodError: com.google.common.base.Stopwatch
异常出现调用的命令如下:spark2-submit\--masteryarn\--deploy-modecluster\--classcom.
bigdata
.PreWarningScalaAppV2\-
阿顾同学
·
2020-08-10 01:50
CDH
spark on yarn cluster模式,异常:no suitable driver
classpath下面其实只需要配置–jars,然后设置下driver配置即可然后执行脚本spark2-submit\--masteryarn\--deploy-modecluster\--classcom.
bigdata
.PreWarningScalaAppV2
阿顾同学
·
2020-08-10 01:50
CDH
Hive SQL 练习
前言本章主要,转载一篇HiveSQL的一些练习题.做一做,练习下做业务的能力.本文相关资源,可在我的Github项目https://github.com/SeanYanxml/
bigdata
/目录下可以找到
在风中的意志
·
2020-08-10 01:18
14.
大数据
-------14.8.
Hive
&
Pig
用spark streaming实时读取hdfs数据并写入elasticsearch中
代码如下------
bigdata
.project.spark----------package
bigdata
.project.sparkimportorg.apache.spark.
数据僧人
·
2020-08-10 00:26
spark
sqoop
推荐BIG DATA Spark 的7本学习电子书籍(大牛专区)
LeanApacheSpark2ApacheSpark2.xCookbook,第2版LearningSparkStreamingApacheSpark2.xforJavaDevelopersScalaandSparkfor
BigData
AnalyticsHighPerformanceSpark
CoXie大数据
·
2020-08-09 21:00
PyCharm+PySpark远程调试的环境配置
Spark集群环境2.本地PyCharm配置前言:前两天准备用Python在Spark上处理量几十G的数据,熟料在利用PyCharm进行PySpark远程调试时掉入深坑,特写此博文以帮助同样深处坑中的
bigdata
Mars_myCafe
·
2020-08-09 21:29
BigData
朱令被投毒案关键人物语料分析之孙维篇
灵玖软件:www.lingjoin.com大数据论坛:www.
bigdata
bbs.com本来手头还有几篇论文,只是想偶尔在回帖中发表一下个人看法,然而近几天一些混淆视听的说法充斥杂谈,正如某人所说,“
chuangquehua9049
·
2020-08-09 20:44
文本摘要与关键词提取
灵玖软件:www.lingjoin.com大数据论坛:www.
bigdata
bbs.com文章关键词提取中间件能够在全面把握文章的中心思想的基础上,提取出若干个代表文章语义内容的词汇或短语,相关结果可用于精化阅读
chuangquehua9049
·
2020-08-09 20:44
操作系统
人工智能
中国语料库研究的历史与现状-冯志伟教授
灵玖软件:www.lingjoin.com大数据论坛:www.
bigdata
bbs.com冯志伟、JournalofChineseLanguageandComputing,2002,Vol.12,No.1
chuangquehua9049
·
2020-08-09 20:44
大数据
99%的海量数据处理面试题
Hadoop实战高手速成宝典教你如何迅速秒杀掉:99%的海量数据处理面试题分类:22.
BigData
Processing05.MS100'original2012-03-2212:51348470人阅读评论
TT_LJM
·
2020-08-09 19:49
Spark Streaming + Kafka整合实例
摘要:本文主要讲了一个SparkStreaming+Kafka整合的实例本文工程下载:https://github.com/appleappleapple/
BigData
Learning1、工程目录结构
Evankaka
·
2020-08-09 18:11
Spark
Streaming
Spark技术研究
Spark
Streaming
wordCount
Kafka入门实例
摘要:本文主要讲了Kafka的一个简单入门实例源码下载:https://github.com/appleappleapple/
BigData
Learningkafka安装过程看这里:Kafka在Windows
Evankaka
·
2020-08-09 18:11
Kafka
spark 排序并添加编号添加行号和初始值
使用zipWithIndex进行行号添加通常可用于count或添加索引或计算当前值是第几大等用途Case1:全局排序,输出原始值和对应的行号索引启动spark-shell并使用yarn提交[kylin@
bigdata
-kylin-test01
nice to meet you2
·
2020-08-09 13:55
hadoop
大数据开发
Java基础实战(二)
文章内容输出来源:拉勾教育大数据开发高薪训练营源代码:https://gitee.com/tommie523/lagou_
bigdata
_class/tree/master/task02Java基础实战
Tommie_tangh
·
2020-08-09 09:20
Java
java
Java基础实战(三)
文章内容输出来源:拉勾教育大数据开发高薪训练营源代码:https://gitee.com/tommie523/lagou_
bigdata
_class/tree/master/task03Java基础实战
Tommie_tangh
·
2020-08-09 09:48
Java
java
华为认证HCIP-Big Data Developer有什么用
华为认证HCIP-
BigData
Developer大数据高级工程师认证,聚焦基于企业业务场景和业务目标,运用开源Hadoop生态系统和华为FusionInsightHD大数据平台的大数据平台应用开发、常用组件二次开发的高级人才
红松ICT
·
2020-08-09 08:13
通信
百度智能云如何加速区块链技术落地应用实体经济
据现场介绍,百度智能云已经拥有最全面的区块链产品体系,无缝继承了百度智能云的ABC(AI、
BigData
、CloudComputing)领先能力,具有使用门槛低,技术超强等特点。
weixin_33717117
·
2020-08-09 05:03
Java基础实战(一)
文章内容输出来源:拉勾教育大数据开发高薪训练营源代码:https://gitee.com/tommie523/lagou_
bigdata
_class/tree/master/task01Java基础实战
Tommie_tangh
·
2020-08-09 05:06
Java
当网络安全遇上大数据分析(9)
2012年3月份,Gartner发表过一篇报告——InformationSecurityIsBecominga
BigData
AnalyticsProblem。
weixin_34289454
·
2020-08-09 00:19
TimeoutException: Timeout expired while initializing transactional state in 60000ms
transaction_state为kafka内部主题,在首次触发事务时系统自动创建该主题在kafka中是无法通过命令删除__transaction_state的,但是通过Eagle监控界面可以删除例如如下操作:[root@
bigdata
131
江湖峰哥
·
2020-08-08 20:21
#
Producer专栏
论文阅读笔记------Deep Video Inverse Tone Mapping
Lisong,RongXie,WenjunZhang.DeepVideoInverseToneMapping.2019IEEEFifthInternationalConferenceonMultimedia
BigData
qq_25283239
·
2020-08-08 11:08
HDR
论文笔记
猫推荐算法大赛Top 9团队
http://www.csdn.net/article/2014-08-29/2821403-the-top-9-of-ali-
bigdata
-competition2.特征提取:提取的方式采用map-reduce
bryantao24
·
2020-08-08 10:50
信息系统项目管理师2019年上半年上午试题解析(二)
A.大数据B.云计算C.物联网D.智慧城市参考答案:A参考解析:•大数据(
bigdata
),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量
smallstepser
·
2020-08-07 18:35
信息系统项目管理师备考资料
hbase 分享笔记
/detail/ruishenh/9551930hbase是什么官方说明:UseApacheHBase™whenyouneedrandom,realtimeread/writeaccesstoyour
BigData
.Thisproject'sgoalisthehostingofverylargetables
幸运小侯子
·
2020-08-07 17:54
hbase
spring
hadoop
mapreduce
关于认知计算的一点浏览和摘录
主要摘录两院院士李德毅的相关论述主要是会议发言【走近院士】李德毅:大数据是连接虚拟和现实世界的桥梁http://www.csdn.net/article/2014-04-03/2819123-Cloud-
BigData
jsmlay
·
2020-08-07 14:59
新闻快讯
编程与世界观——兼谈阿尔法狗
http://blog.sina.com.cn/s/blog_52eb74050102wem7.html我已有十好几年没正拉八经地编程了,现在主要做的是大数据(
BigData
)和商业情报(BI)。
diaoju3333
·
2020-08-07 13:12
冲破数据壁垒,UCloud安全屋是如何降低大数据使用门槛的?
此前,位列国内公有云前三的UCloud提出CBA战略(Cloud,
BigData
,AI),即以云计算为基础,战略路径从云计算到大数据到人工智能。
趣味科技v
·
2020-08-07 09:48
混合云计算已成新一轮发展趋
势大数据(
BigData
)与云计算的势头已经难以抵挡,大数据问题的出现,主要是我们现在所面临一个新的数据量级的来临:企业数据从TB到PB,个人数据从GB到TB——我们对解决大数据问题的诉求来自于三点:1
小几斤
·
2020-08-06 19:20
云计算;混合云;企业
一纸读懂另类数据 | 未央研究
另类数据是典型的大数据(
BigData
),Big代表其具有三个特性:体量大(Volume):数据规模与传输量巨大。流动速度大(Vel
songroom
·
2020-08-06 13:36
金融科技
大数据
人工智能
量化投资
glibc 2.17升级2.28,gcc 4.8.5升级9.2.0,GNU Make 3.82 升级到4.2.1,安装bison
因为要在centos7安装mysql8,在安装的时候遇到了这个鬼问题,头疼#安装mysqlrpm-ivhmysql-*.rpm[root@
bigdata
101mysql-lib]#rpm-ivhmysql-commun
后来X大数据
·
2020-08-06 13:33
工具
模型蒸馏开山作:Distilling the Knowledge in a Neural Network
Abstract1Introduction2Distillation2.1Matchinglogitsisaspecialcaseofdistillation3PreliminaryexperimentsonMNIST5Trainingensemblesofspecialistsonvery
bigdata
sets5.1TheJFTdataset5.2SpecialistMode
三重极简
·
2020-08-06 12:49
#
部分翻译:模型压缩
跨域
终生学习
课程学习
大数据系列之Java调用elasticsearch的增删查改聚合
查询模糊查询范围查询聚合查询count、avg、max、min、sum聚合查询之stats分组聚合总结附录大数据系列之Java调用elasticsearch的增删查改聚合Maven依赖4.0.0com.pusidun
bigdata
开封程序员阿强
·
2020-08-06 10:43
大数据系列学习笔记
年薪200万!三本院校本科毕业,华科博士入选华为「天才少年」
§è§techsinaè·èéèéè§è·±èééè/¤§°ID:
BigData
Digestè/è°±è200é°±¤°è§¤§è駷餰1993é°¤°éè201°èèé¤è¨¤¨èé§é·é·éé985211ééèèè
新浪科技
·
2020-08-06 00:00
大数据Spark-----spark代码源码解析
firstCodec**publicclassFriend{publicstaticvoidmain(String[]args){System.out.println("
BigData
加:947967114
爱码-947967114
·
2020-08-05 19:56
大数据
大数据的分布式SQL查询引擎 -- Presto的详细使用
Presto–DistributedSQLQueryEnginefor
BigData
官网项目源码官方文档目录1Presto概述2概念2.1服务进程2.2数据源2.3查询执行模型3整体架构4Presto安装
YoreYuan
·
2020-08-05 18:00
大数据
数据库
npm install 报错 EACCES: permission denied, mkdir XXXX
npm版本[root@iz8vb2aig38pyedluqu4asz]#npm-version6.14.4二、报错现象Copyingtotargetpath/data/jenkins/workspace/
BigData
~包工头~
·
2020-08-05 18:25
运维
算法博士平均月入4万,数据可视化技能全球吃香
本文转载自大数据文摘(ID:
BigData
Digest)2020年,对于“大数据”这个词,多数人很难再说陌生。
itwriter
·
2020-08-05 15:00
centOs一小时虚拟机安装(到mysql)
一小时虚拟机安装(到mysql):第一步:新建虚拟电脑名称:mydemo文件夹:D:\
bigdata
类型:Linux版本:RedHat(64-bit)内存大小:16G点选:现在创建虚拟硬盘点选:VDI(
KM_锰
·
2020-08-05 11:43
Awesome Big Data,了不起的大数据
originhttps://github.com/onurakpolat/awesome-
bigdata
关于大数据的优秀框架和资源列表。
hua_ed
·
2020-08-05 10:37
hadoop
算法博士平均月入4万,数据可视化技能全球吃香 | 2020年《顶级数据团队建设全景报告》重磅发布...
本文转载自大数据文摘(ID:
BigData
Digest)2020年,对于“大数据”这个词,多数人很难再说陌生。
QbitAl
·
2020-08-05 08:03
网易
数据分析
人工智能
大数据
机器学习
云计算时代解决大数据的大问题
图:IDC报告2005-2012年非结构化数据成倍增长伴随着
BigData
(大数据)的爆炸性
weixin_34378922
·
2020-08-05 04:06
SpringCloud工作笔记087---SpringBoot启动报错:IDEA 错误: 找不到或无法加载主类 解决方法_connected to the target VM, address:
技术交流QQ群【JAVA,C++,Python,.NET,
BigData
,AI】:170933152idea直接运行springbootAplication启动类,无法启动web项目,也没有报错信息。
credreamer
·
2020-08-05 04:40
BigData
&& Hadoop && Spark生态圈
一、HadoopHadoop基础Hadoop基础学习Hadoop集群大数据平台搭建分布式存储的原理HDFS常用操作命令HDFS文件恢复机制HDFS中的数据块Federation配置ViewFS的配置告诉你怎么使用SnapshotsRebalance和SafeModeHadoop问题处理修改DNS、修改IP、修改网管——相关问题修改主机名ssh免密码设置失败原因总结jps没有输出在运行sbin/st
蓝海匕首
·
2020-08-05 04:10
大数据
Spark
Hadoop
上一页
28
29
30
31
32
33
34
35
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他