bigData

Hadoop 工具集的简单罗列 [整理]

HADOOPORIGINALLYPUBLISHEDJANUARY2012ApacheHadoopisanexcellentframeworkforprocessing,storingandanalyzinglargevolumesofunstructureddata-akaBigData.Butgettingahandleonalltheproject
cnz98144·2020-08-18 14:43

【已解决】Hive启动后报错：FAILED: LockException [Error 10280]: Error communicating with the metastore

~[root@mastermaster]#hiveLogginginitializedusingconfigurationinjar:file:/opt/bigdata/apache-hive-1.2.2
神是念着倒·2020-08-18 12:16

关于kafka在windows上的安装、运行

下载后，解压放在D:\bigdata目录下。
weixin_30335353·2020-08-18 12:07

HBASE表结构、优缺点及设计思想

来源于google的一篇论文：bigdata。可以参考这篇文章：Hbase的产生背景hbase的设计思想hbase是随机快速查询的。（随机（近）实时查询的
IT小鸟鸟·2020-08-18 12:00

git push 与 仓库迁移

操作过程通过cd命令到达本地仓库的.git路径下;在远端新建一个仓库，比如我在github上建立了bigdata仓库;通过gitpush--mirrorhttps://github.com/SeanYanxml
在风中的意志·2020-08-18 12:00

Choosing Between ElasticSearch, MongoDB & Hadoop

AninterestingtrendhasbeendevelopingintheITlandscapeoverthepastfewyears.Manynewtechnologiesdevelopandimmediatelylatchontothe“BigData
JokerCao·2020-08-18 11:38

大数据介绍 Hadoop 伪分布式 完全分布式 HDFS MapReduce yarn zookeeper

大数据：大数据（bigdata），是指无法在一定时间范
Amireux___·2020-08-18 11:54

windows环境下 kettle向hdfs写数据问题Caused by: org.pentaho.bigdata.api.hdfs.exceptions.AccessControlException

windows环境下kettle向hdfs写数据的时候可能出现的问题Causedby:org.pentaho.bigdata.api.hdfs.exceptions.AccessControlException
qq_39717125·2020-08-18 11:22

Scala进阶实战

boundsViewBoundContextBoundsManifestClassTag多重界定类型约束协变逆变泛型classTriple[T,P,S](vala:T,valb:P,valc:S)valtriple=newTriple("Spark",3,3.141592654)valbigData
kimsho29·2020-08-18 11:51

spark读取flume

1、在flume的/home/bigdata/flume1.6/lib目录下下载并导入jar包org.apache.sparkspark-streaming-flume_2.112.2.0org.apache.commonscommons-lang33.5org.scala-langscala-library
好耶纸初·2020-08-18 11:43

在cdh5.12平台里安装presto

wgethttps://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.192/presto-server-0.192.tar.gzroot@bigdata
蘑菇丁·2020-08-18 11:43

大数据系列之Flink实时统计每小时HTTP请求Top10

文章目录1Maven工程bigdata-analysis-collect生成测试数据2Maven工程bigdata-analysis-flink读取文件测试3测试方案之读取文件测试3.1文件测试类型输出结果
开封程序员阿强·2020-08-18 10:01

BigData | 一文带你搞清楚"数据倾斜"（上）

?Index什么是数据倾斜数据倾斜的原因Hadoop计算框架的特点优化的常用手段优化案例?什么是数据倾斜我们在用hive取数的时候，有的时候只是跑一个简单的join语句，但是却跑了很长的时间，有的时候我们会觉得是集群资源不够导致的，但是很大情况下就是出现了"数据倾斜"的情况。在了解数据倾斜之前，我们应该有一个常识，就是现实生活中的数据分布是不均匀的，俗话说"28定理"，80%的财富集中在20%的人
Pysamlam·2020-08-18 10:02

layui table组件

layuitable组件table.render({elem:'#prevention_list',url:'/prevention/getPreventionBigDataList',page:{theme
gouyadongGYD·2020-08-18 08:01

K8S+IPVS+COREDNS（CENTOS 7.4版本）

id=59186429591目录服务节点网络结构1.1升级内核1.2所有节点安装docker1.3所有节点安装ipvsadm4.1创建服务归类文件夹4.2创建node所需的文件（1）ingest01和bigdata01
杨启涌·2020-08-18 06:00

Big Data Application Platform

http://natishalom.typepad.com/nati_shaloms_blog/2011/09/big-data-application-platform.htmlBigDataApplicationPlatformIt'stimetothinkofthearchitectureandapplicationplatformssurrounding"BigData"databases
sony315·2020-08-18 02:12

深度学习在地学领域的运用 --- 摘译自 Markus Reichstein 2019 Nature

地球系统数据满足"bigdata"的4V特征：volume,velocity,variety,andveracity.未来的两项主要任务：1）从海量数据中提取信息2）发展模型从数据
一杯敬月光·2020-08-18 02:28

Coursera Big Data系列课程笔记1

hadoopClouderavirtualmachine操作http://github.com/words-sdsc/courserabig-data-1：安装方式在Introductiontobigdata
shanesu·2020-08-18 01:47

分清big data,ML,AI之间的关系

Howarebigdataandmachinelearningrelated?
he_world·2020-08-17 22:40

GoldenGate For BigData 安装方法

用户下增加环境变量：源端：exportGG_HOME=/data/oggoexportPATH=$PATH:$GG_HOMEexportLIBPATH=$GG_HOME:$ORACLE_HOME/lib目标端bigdata
北海大型帆船·2020-08-17 22:35

Big Data Camp 2011 见闻

IthasbeenawhilesinceIhavebeentoSiliconValley,butHadoopSummitgavemetheopportunitytogo.Tomakethemostofthelongtrip,IalsodecidedtocheckoutBigDataCampheldthenightbeforefrom5
dllian·2020-08-17 22:47

大数据是什么？学习大数据有什么要求?

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
chimi8776·2020-08-17 21:06

BigData————hdfs

大数据数据量很大需要用到的技术：hadoop（是一个生态圈）hdfssparksparkcoresparkStreamingsparksqlhdfs产生背景数据存储：方案一：纵向扩展在一台服务器上进行硬件的扩展，存在硬件瓶颈的问题。方案二：横项扩展加服务器，本质上符合分布式的思想数据量越大，在一个操作系统存不下所有的数据，那么就要分配到更多的操作系统管理的磁盘当中，但是不能方便的维护和管理，迫切需
cool_cool_coo1·2020-08-17 20:06

BigData————RDD编程

一、定义RDD：1.RDD是一个分布式的，弹性的数据集，是spark应用中最基本的统一的数据格式单位RDD分区就是一段连续的数据片不同的数据源，要统一格式，而这个统一的格式就是RDD。spark的计算就是RDD的转换过程。RDD是可以读取的，RDD是不可以修改的，只能对RDD进行转换，转换成新的RDD。每个spark应用程序都包含一个驱动程序，该程序运行用户的主要功能并在集群上执行各种并行操作。s
cool_cool_coo1·2020-08-17 18:40

BigData————Spark

spark是一个快速的通用的集群计算平台。特点：快速：比hadoop快出100倍，hadoop框架mapreduce计算需要落地。map任务结束后将结果输出到磁盘或者hdfs，reduce从hdfs读取数据，计算结果又放到hdfs上，涉及到i/o。同时shuffle机制也需要i/o，伴随数据迁移。耗费时间。spark相对而言，将mapreduce的计算过程需要的数据尽量的放到内存，当达到一定阈值才
cool_cool_coo1·2020-08-17 18:40

BigData————MapReduce组件InputFormat

思考:在运行MapReduce程序时，输入的文件格式包括:基于行的日志文件、二进制格式文件、数据库表等。那么,针对不同的数据类型，MapReduce是如何读取这些数据的呢?inputformat：输入格式化FileInputFormat常见的接口实现类包括:TextInputFormat、KeyValueTextInputFormat、NLineInputFomat、CombineTestInpu
cool_cool_coo1·2020-08-17 18:39

BigData————小总结

hadoop：生态圈hdfsmapreduce计算框架yarnHdfs：分布式文件系统，用于n个服务器数据的管理。每台服务器都需要安装hdfs分布式文件系统client:客户端用于交互DatanodeNamenode,文件分片Namenode：负责存储元数据-->块大小数量及位置。。。与datanode交互Datanode：实际数据存储的操作SecondaryNamenode：负责辅助Nameno
cool_cool_coo1·2020-08-17 18:08

颜色空间以及如何在OpenCV和Python中使用它们

Itmaybetheeraofdeeplearningandbigdata,wherecomplexalgorithmsanalyzeimagesbybeingshownmillionsofthem,butcolorspacesarestillsurprisinglyusefulforimageanalysis.Simplemethodscanstillbepowerful
cumei1658·2020-08-17 12:08

在Xshell下安装mysql以及jdk的解压与配置

一、linux-jdk安装1.启动虚拟机cd/opt/2.展示opt文件夹下的文件列表ls-la3.创建jdk安装路径（install安装包装载文件夹；bigdata解压安装文件夹）mkdirbigdatainstall4
Better0417·2020-08-17 11:49

大话CNN经典模型：VGGNet

2019独角兽企业重金招聘Python工程师标准>>>——原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。
weixin_33961829·2020-08-17 10:31

大话CNN经典模型：VGGNet

摘要:本文主要介绍卷积神经网络（CNN）的经典模型VGGNet的特点和网络结构，包括VGG16、VGG19等——原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注
雪饼ai·2020-08-17 10:50

cdh 6哈希验证失败解决方法

当安装cdh6，使用本地搭建的parcel时，出现了哈希验证失败的问题：查看了parcel的sha值，与官网的一致，没有问题：#parcelsha值[root@localhostbigdata]#sha1sumCDH
mythsc·2020-08-17 09:09

闷棍暴打面试官 SpringCloud源码系列 : (一) SpringCloud的前世今生

如果你是一位软件行业从业者，尤其是从事服务器端或者后台系统软件开发，相信近年来一定被层出不穷的商业名词所包围：NoSQL、BigData、Web-scale、Sharding、Eventualconsistency
萧子山·2020-08-17 09:45

spark-任务提交多个jar包问题（Oozie调度）

spark-submit\--classcom.xxx.bigdata.handler.xxx\--运行的主类--masteryarn\--deploy-modeclient\--driver-memory1g
Master_slaves·2020-08-17 07:47

HA HADOOP集群和HIVE部署

HDFSHAHADOOP集群部署1.集群环境节点分布JournalNode：bigdatasvr01,bigdatasvr02，bigdatasvr03namenode:bigdatasvr02(active
yjyzsl·2020-08-17 07:27

Hadoop第一坑：集群搭建只显示一个datanode

原因是因为bigdata02和03从节点为bigdata01主节点搭建伪分布式后克隆而来，所以三台机器的datanode占用一个datanode的Id造成了上
無所謂擁有·2020-08-16 22:23

几种大数阶乘算法效率比较（Java）

完整代码：packagebigdatamul;importjava.math.BigInteger;/***大数阶乘**@Description:TODO(大数阶乘)**@authoryzy*@date2016
Lovnx·2020-08-16 20:19

Hadoop权威指南 NCDC 天气数据样本下载

完全称不上“BIGDATA”，于是我现在提供一个方法获取1901年到2014年的天气数据样本。
lzslywl·2020-08-16 19:35

这个事关中国人幸福感的问题，能解决吗？

来源：大数据DT（ID：bigdatadt）传统意义上，陆地、海洋和天空是国家安全的主战场。进入互联网时代后，网络空间成为国家安全新的一极。网络空间的发展，促进了世界经济的繁荣进步，同时也带来了新
大数据v·2020-08-16 17:11

【POJ2069&HDU3007】模拟退火算法之最小球/圆覆盖

启蒙博客：https://blog.csdn.net/AI_BigData_wh/article/details/77943787?
_奶酪·2020-08-16 11:02

什么是大数据，大数据的处理流程介绍

大数据，bigdata，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。
人工智能爱好者·2020-08-16 10:15

[bigdata-086] python3+neo4j 从mysql数据库读取记录然后创建节点和关系写入到neo4j

1.测试1.1web界面http://tz211:7474/browser/在这里执行MATCH(n)RETURNn，能看到节点和相互关系一共是3个节点，6个相互关系1.2在211执行cypher-shell./cypher-shell-uneo4j-p1234561.3执行convert-test.py上述1.1和1.2和1.3是一致的。1.4在web节点执行删除所有节点命令然后再找查询节点，发
未济2019·2020-08-16 08:50

利用scikitlearn画ROC曲线

具体是这个参数的设置pos_label，以前在unionbigdata实习时学到的。重点是以下的代码需要
mishidemudong·2020-08-16 08:24

数据挖掘：如何寻找相关项

数据挖掘：如何寻找相关项2012/02/04|分类：IT技术,程序员|0条评论|标签：BIGDATA,大数据,数据挖掘,数据科学家分享到：1英文原文：bionicspirit.com，编译：CSDN张志平导读
pi9nc·2020-08-16 07:28

C++大整数类

头文件#pragmaonce#include#includeusingnamespacestd;typedeflonglongINT64;classBigData{public:friendostream
MineYuer·2020-08-16 06:36

Matplotlib调用MySQL的数据实现可视化

importmatplotlib.pyplotaspltimportpymysql#连接数据库db=pymysql.connect(host='localhost',user='root',passwd='cbj123',port=3306,db='bigdata
坚哥哥不是你大爷·2020-08-16 05:31

[大数据-hadoop基础]window下编译hadoop2.7.4-eclipse mar2插件

编译hadoop2.7.4-eclipsemar2插件准备条件:1.将自编译的hadoop-2.7.4.tar.gz解压到D:\BigData\hadoop-2.7.4(管理员运行winRAR，否则会解压失败
zhua26·2020-08-16 05:21

CentOS7 桌面版改成最小化版

CentOS7桌面版改成最小化版1.获取当前系统启动模式：systemctlget-default[root@bigdata111/]#systemctlget-defaultgraphical.target
Jackson_MVP·2020-08-15 21:03

快数据与大数据的结合(VoltDB + Hadoop)

VoltDB提供了实时摄取数据与分析的能力(FastData)，Hadoop作为大数据分析的平台(BigData)。
老白号·2020-08-15 14:14

面向大数据异构系统的神威并行存储系统

论文引用格式：何晓斌,蒋金虎.面向大数据异构系统的神威并行存储系统[J].大数据,2020,6(4):30-39.HEXB,JIANGJH.Sunwayparallelstoragesystemforbigdataheterogen
唐名威·2020-08-15 09:08
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他