BIGDATA

BigData————MapReduce案例（Hadoop序列化）

Flowbean实现writebale类封装上下行流量和总流量mapper逻辑读取一行数据切分数据取出手机号取出上下行流量封装到bean中将手机作为key（类型Text），bean（类型Flowbean）作为value输出reducer创建上下总流量的变量将同一个key的多个value（Flowbean）中上下总流量进行统计创建bean对象封装总上下行流量将手机作为key（类型Text），bean
cool_cool_coo1·2020-08-10 14:25

css之 8.面试题会考行内元素和块级元素的特点以及列举说明

8.面试题会考行内元素和块级元素的特点以及列举说明一、行内元素通常使用行内元素来进行文字、小图标（小结构）的搭建标签：abuttonbigdatalistemiinputmarkspanselectoptionsstrongbsmallsupsubtextareau
yun1129yan·2020-08-10 12:51

Apache Hadoop

一、大数据（BigData）引言1.什么是大数据体量很大的数据，起步存储当量为TB级或者日均数据增长GB级。在海量数据下，可以进行分析，挖掘，进而发现数据内在的规律，从而为企业或者国家创造价值。
[email protected]·2020-08-10 11:09

深入浅出大数据--课本学习 one

课本学习寒假期间完成学习此书大数据概述大数据关键技术基于Hadoop的生态系统分布式文件系统HDFS分布式计算框架MapReduce资源管理框架分布式存储数据库HBase数据仓库Hive数据分析与挖掘Mahout大数据应用大数据概述1.1大数据发展历程BigData
中关村一男子·2020-08-10 07:12

IDEA打包MapReduce程序，jar在hdfs集群运行

在本地IDEA执行MR【前言】IntellijIDEA打包MapReduce程序，并使用jar的方式在集群上运行1编写代码1.1创建Maven项目1.2添加依赖4.0.0com.shane.hadoopbigdata1
ShaneHolmes·2020-08-10 07:53

架构大数据分析应用

这是《ScalableBigDataArchitecture》一书的翻译笔记和读书札记，使用了原书中的大量图片，融入了自己的部分观点….典型使用场景….大数据生态系统……..数据管理比以往更加复杂，到处都是大数据
半吊子全栈工匠·2020-08-10 04:11

大数据处理技术之Hadoop——初识Hadoop

一、大数据的概论1.1大数据概念  大数据(BigData):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
许你常欢·2020-08-10 04:57

spark on yarn cluster模式，出现异常NoSuchMethodError: com.google.common.base.Stopwatch

异常出现调用的命令如下：spark2-submit\--masteryarn\--deploy-modecluster\--classcom.bigdata.PreWarningScalaAppV2\-
阿顾同学·2020-08-10 01:50

spark on yarn cluster模式，异常：no suitable driver

classpath下面其实只需要配置–jars，然后设置下driver配置即可然后执行脚本spark2-submit\--masteryarn\--deploy-modecluster\--classcom.bigdata.PreWarningScalaAppV2
阿顾同学·2020-08-10 01:50

Hive SQL 练习

前言本章主要,转载一篇HiveSQL的一些练习题.做一做,练习下做业务的能力.本文相关资源,可在我的Github项目https://github.com/SeanYanxml/bigdata/目录下可以找到
在风中的意志·2020-08-10 01:18

用spark streaming实时读取hdfs数据并写入elasticsearch中

代码如下------bigdata.project.spark----------packagebigdata.project.sparkimportorg.apache.spark.
数据僧人·2020-08-10 00:26

推荐BIG DATA Spark 的7本学习电子书籍（大牛专区）

LeanApacheSpark2ApacheSpark2.xCookbook，第2版LearningSparkStreamingApacheSpark2.xforJavaDevelopersScalaandSparkforBigDataAnalyticsHighPerformanceSpark
CoXie大数据·2020-08-09 21:00

PyCharm+PySpark远程调试的环境配置

Spark集群环境2.本地PyCharm配置前言：前两天准备用Python在Spark上处理量几十G的数据，熟料在利用PyCharm进行PySpark远程调试时掉入深坑，特写此博文以帮助同样深处坑中的bigdata
Mars_myCafe·2020-08-09 21:29

朱令被投毒案关键人物语料分析之孙维篇

灵玖软件：www.lingjoin.com大数据论坛：www.bigdatabbs.com本来手头还有几篇论文，只是想偶尔在回帖中发表一下个人看法，然而近几天一些混淆视听的说法充斥杂谈，正如某人所说，“
chuangquehua9049·2020-08-09 20:44

文本摘要与关键词提取

灵玖软件：www.lingjoin.com大数据论坛：www.bigdatabbs.com文章关键词提取中间件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读
chuangquehua9049·2020-08-09 20:44

中国语料库研究的历史与现状-冯志伟教授

灵玖软件：www.lingjoin.com大数据论坛：www.bigdatabbs.com冯志伟、JournalofChineseLanguageandComputing,2002,Vol.12,No.1
chuangquehua9049·2020-08-09 20:44

99%的海量数据处理面试题

Hadoop实战高手速成宝典教你如何迅速秒杀掉：99%的海量数据处理面试题分类：22.BigDataProcessing05.MS100'original2012-03-2212:51348470人阅读评论
TT_LJM·2020-08-09 19:49

Spark Streaming + Kafka整合实例

摘要：本文主要讲了一个SparkStreaming+Kafka整合的实例本文工程下载：https://github.com/appleappleapple/BigDataLearning1、工程目录结构
Evankaka·2020-08-09 18:11

Kafka入门实例

摘要:本文主要讲了Kafka的一个简单入门实例源码下载：https://github.com/appleappleapple/BigDataLearningkafka安装过程看这里：Kafka在Windows
Evankaka·2020-08-09 18:11

spark 排序并添加编号添加行号和初始值

使用zipWithIndex进行行号添加通常可用于count或添加索引或计算当前值是第几大等用途Case1:全局排序，输出原始值和对应的行号索引启动spark-shell并使用yarn提交[kylin@bigdata-kylin-test01
nice to meet you2·2020-08-09 13:55

Java基础实战（二）

文章内容输出来源：拉勾教育大数据开发高薪训练营源代码：https://gitee.com/tommie523/lagou_bigdata_class/tree/master/task02Java基础实战
Tommie_tangh·2020-08-09 09:20

Java基础实战（三）

文章内容输出来源：拉勾教育大数据开发高薪训练营源代码：https://gitee.com/tommie523/lagou_bigdata_class/tree/master/task03Java基础实战
Tommie_tangh·2020-08-09 09:48

华为认证HCIP-Big Data Developer有什么用

华为认证HCIP-BigDataDeveloper大数据高级工程师认证，聚焦基于企业业务场景和业务目标，运用开源Hadoop生态系统和华为FusionInsightHD大数据平台的大数据平台应用开发、常用组件二次开发的高级人才
红松ICT·2020-08-09 08:13

百度智能云如何加速区块链技术落地应用实体经济

据现场介绍，百度智能云已经拥有最全面的区块链产品体系，无缝继承了百度智能云的ABC（AI、BigData、CloudComputing）领先能力，具有使用门槛低，技术超强等特点。
weixin_33717117·2020-08-09 05:03

Java基础实战（一）

文章内容输出来源：拉勾教育大数据开发高薪训练营源代码：https://gitee.com/tommie523/lagou_bigdata_class/tree/master/task01Java基础实战
Tommie_tangh·2020-08-09 05:06

当网络安全遇上大数据分析（9）

2012年3月份，Gartner发表过一篇报告——InformationSecurityIsBecomingaBigDataAnalyticsProblem。
weixin_34289454·2020-08-09 00:19

TimeoutException: Timeout expired while initializing transactional state in 60000ms

transaction_state为kafka内部主题,在首次触发事务时系统自动创建该主题在kafka中是无法通过命令删除__transaction_state的,但是通过Eagle监控界面可以删除例如如下操作:[root@bigdata131
江湖峰哥·2020-08-08 20:21

论文阅读笔记------Deep Video Inverse Tone Mapping

Lisong,RongXie,WenjunZhang.DeepVideoInverseToneMapping.2019IEEEFifthInternationalConferenceonMultimediaBigData
qq_25283239·2020-08-08 11:08

猫推荐算法大赛Top 9团队

http://www.csdn.net/article/2014-08-29/2821403-the-top-9-of-ali-bigdata-competition2.特征提取：提取的方式采用map-reduce
bryantao24·2020-08-08 10:50

信息系统项目管理师2019年上半年上午试题解析（二）

A.大数据B.云计算C.物联网D.智慧城市参考答案:A参考解析:•大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量
smallstepser·2020-08-07 18:35

hbase 分享笔记

/detail/ruishenh/9551930hbase是什么官方说明：UseApacheHBase™whenyouneedrandom,realtimeread/writeaccesstoyourBigData.Thisproject'sgoalisthehostingofverylargetables
幸运小侯子·2020-08-07 17:54

关于认知计算的一点浏览和摘录

主要摘录两院院士李德毅的相关论述主要是会议发言【走近院士】李德毅：大数据是连接虚拟和现实世界的桥梁http://www.csdn.net/article/2014-04-03/2819123-Cloud-BigData
jsmlay·2020-08-07 14:59

编程与世界观——兼谈阿尔法狗

http://blog.sina.com.cn/s/blog_52eb74050102wem7.html我已有十好几年没正拉八经地编程了，现在主要做的是大数据（BigData）和商业情报（BI）。
diaoju3333·2020-08-07 13:12

冲破数据壁垒，UCloud安全屋是如何降低大数据使用门槛的？

此前，位列国内公有云前三的UCloud提出CBA战略（Cloud，BigData，AI），即以云计算为基础，战略路径从云计算到大数据到人工智能。
趣味科技v·2020-08-07 09:48

混合云计算已成新一轮发展趋

势大数据(BigData)与云计算的势头已经难以抵挡，大数据问题的出现，主要是我们现在所面临一个新的数据量级的来临：企业数据从TB到PB，个人数据从GB到TB——我们对解决大数据问题的诉求来自于三点：1
小几斤·2020-08-06 19:20

一纸读懂另类数据 | 未央研究

另类数据是典型的大数据（BigData），Big代表其具有三个特性：体量大（Volume）：数据规模与传输量巨大。流动速度大（Vel
songroom·2020-08-06 13:36

glibc 2.17升级2.28，gcc 4.8.5升级9.2.0，GNU Make 3.82 升级到4.2.1，安装bison

因为要在centos7安装mysql8，在安装的时候遇到了这个鬼问题，头疼#安装mysqlrpm-ivhmysql-*.rpm[root@bigdata101mysql-lib]#rpm-ivhmysql-commun
后来X大数据·2020-08-06 13:33

模型蒸馏开山作：Distilling the Knowledge in a Neural Network

Abstract1Introduction2Distillation2.1Matchinglogitsisaspecialcaseofdistillation3PreliminaryexperimentsonMNIST5Trainingensemblesofspecialistsonverybigdatasets5.1TheJFTdataset5.2SpecialistMode
三重极简·2020-08-06 12:49

大数据系列之Java调用elasticsearch的增删查改聚合

查询模糊查询范围查询聚合查询count、avg、max、min、sum聚合查询之stats分组聚合总结附录大数据系列之Java调用elasticsearch的增删查改聚合Maven依赖4.0.0com.pusidunbigdata
开封程序员阿强·2020-08-06 10:43

年薪200万！三本院校本科毕业，华科博士入选华为「天才少年」

§è§techsinaè·èéèéè§è·±èééè/¤§°ID:BigDataDigestè/è°±è200é°±¤°è§¤§è駷餰1993é°¤°éè201°èèé¤è¨¤¨èé§é·é·éé985211ééèèè
新浪科技·2020-08-06 00:00

大数据Spark-----spark代码源码解析

firstCodec**publicclassFriend{publicstaticvoidmain(String[]args){System.out.println("BigData加：947967114
爱码-947967114·2020-08-05 19:56

大数据的分布式SQL查询引擎 -- Presto的详细使用

Presto–DistributedSQLQueryEngineforBigData官网项目源码官方文档目录1Presto概述2概念2.1服务进程2.2数据源2.3查询执行模型3整体架构4Presto安装
YoreYuan·2020-08-05 18:00

npm install 报错 EACCES: permission denied, mkdir XXXX

npm版本[root@iz8vb2aig38pyedluqu4asz]#npm-version6.14.4二、报错现象Copyingtotargetpath/data/jenkins/workspace/BigData
~包工头~·2020-08-05 18:25

算法博士平均月入4万，数据可视化技能全球吃香

本文转载自大数据文摘（ID：BigDataDigest）2020年，对于“大数据”这个词，多数人很难再说陌生。
itwriter·2020-08-05 15:00

centOs一小时虚拟机安装（到mysql）

一小时虚拟机安装（到mysql）：第一步：新建虚拟电脑名称：mydemo文件夹：D:\bigdata类型：Linux版本：RedHat（64-bit）内存大小：16G点选：现在创建虚拟硬盘点选:VDI（
KM_锰·2020-08-05 11:43

Awesome Big Data，了不起的大数据

originhttps://github.com/onurakpolat/awesome-bigdata关于大数据的优秀框架和资源列表。
hua_ed·2020-08-05 10:37

算法博士平均月入4万，数据可视化技能全球吃香 | 2020年《顶级数据团队建设全景报告》重磅发布...

本文转载自大数据文摘（ID：BigDataDigest）2020年，对于“大数据”这个词，多数人很难再说陌生。
QbitAl·2020-08-05 08:03

云计算时代解决大数据的大问题

图：IDC报告2005-2012年非结构化数据成倍增长伴随着BigData(大数据)的爆炸性
weixin_34378922·2020-08-05 04:06

SpringCloud工作笔记087---SpringBoot启动报错:IDEA 错误: 找不到或无法加载主类 解决方法_connected to the target VM, address:

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152idea直接运行springbootAplication启动类，无法启动web项目，也没有报错信息。
credreamer·2020-08-05 04:40

BigData && Hadoop && Spark生态圈

一、HadoopHadoop基础Hadoop基础学习Hadoop集群大数据平台搭建分布式存储的原理HDFS常用操作命令HDFS文件恢复机制HDFS中的数据块Federation配置ViewFS的配置告诉你怎么使用SnapshotsRebalance和SafeModeHadoop问题处理修改DNS、修改IP、修改网管——相关问题修改主机名ssh免密码设置失败原因总结jps没有输出在运行sbin/st
蓝海匕首·2020-08-05 04:10
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他