Hadoop大数据

Hadoop大数据资源分享

为什么80%的码农都做不了架构师？>>>http://bbs.superwu.cn/forum.php?mod=viewthread&tid=760&extra=page%3D1资源分享redis中文入门手册更多精彩内容请关注：http://bbs.superwu.cn关注超人学院微信二维码：关注超人学院java免费学习交流群：转载于:https://my.oschina.net/crxy/bl
weixin_34336292·2020-09-13 20:22

超人学院Hadoop大数据资源共享

超人学院Hadoop大数据资源共享-----数据结构与算法（java解密版）http://yunpan.cn/cw5avckz8fByJ訪问passwordb0f8很多其它精彩内容请关注：http://
weixin_34293246·2020-09-13 20:50

hadoop大数据最全环境变量配置-一键搞定

#jdkexportJAVA_HOME=/home/soft/jdkexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#scalaexportSCALA_HOME=/home/soft/scala/exportPATH=$SCALA_HOME/bin:$PATH#hadoopexportHADOOP_HOME=/home
永宸·2020-09-13 19:28

大数据第三季--flume（day2)-徐培成-专题视频课程

讲师介绍徐培成更多讲师课程IT十八掌创始人兼首席大数据开发技术金牌讲师，曾任驿统金（上海）网络技术有限公司总经理，主导与光大银行总行重点合作的阳光驿站金融结算系统的研发，并指导团队在阿里公有云上规划、部署Hadoop
十八掌教育·2020-09-13 18:07

轻松getHadoop大数据开发技术，这一篇文章够了

Hadoop是一个开源框架，可编写和运行分布式应用处理大规模数据。分布式计算是一个宽泛并且不断变化的领域。具备以下4个特性：1)方便：Hadoop运行在由一般商用机器构成的大型集群上，或者云计算服务上，比如EC2。2)健壮：Hadoop致力于在一般商用硬件上运行，其架构假设硬件会频繁失效，Hadoop可以从容地处理大多数此类故障。3)可扩展：Hadoop通过增加集群节点，可以线性地扩展以处理更大的
qunqun8889·2020-09-13 12:02

企业级Hadoop大数据平台实战（3）——三个节点实现（1个master+2个slave）

前面我们实现了单机版的hadoop分布式文件系统，接下在多个节点上实现1.在真机上再创建两个全新的快照并且用真机连接注意:had2是域名，server2是主机名称2.在真机上搭建共享yum源，开启apache服务，关闭防火墙3.在三个节点上均安装nfs服务并且开启服务4.在server1（master节点）上配置nfs服务，设置共享目录，并且开启服务5.在server2和server3上面测试一下
温柔梦9527·2020-09-11 23:02

谈谈ASP.NET CORE发展始末与优势

（2）2010年以JAVA为代表的Hadoop大数据兴起后，微软跟进失败，曾今也实现了一套ap
David Hongyu·2020-09-11 23:21

记一次hadoop大数据导出

需求：导出一个月数据提供测试分析实施：直接hive-e“xxxxx”>testdata.txt然后看输出信息，map%1%2%3......%100，但是reduce一直是0%，等啊等，等了十几个小时，还是0%，最后杀掉进程，再试了几次，现象一样，可知每次等十几个小时，一转眼，两天了。于是怀疑集群有问题，排查了好久，没发现问题。又怀疑where条件有问题，折腾了半天还是一样。后来加上了limit先
weixin_34150503·2020-09-11 20:57

Hive 3.1.2安装（基于Centos7.x和Hadoop3.2.1）

Hive3.1.2安装（基于Centos7.x和Hadoop3.2.1）背景Hadoop大数据套件被应用后，进行数据处理就必须编写mapreduce代码。
闻香识代码·2020-09-11 18:13

2019年最新Hadoop大数据开发学习路线图

https://mp.weixin.qq.com/s/uGcVmNXfhnkwPBnoD1Fn1Q欢迎关注我的订阅号：java进阶
hooroom·2020-09-11 12:13

Cloudera ：一些关键组件的角色信息

Hadoop大数据平台集群角色简称如图：（1）搭建小规模集群一般是为了支撑专有业务，受限于集群的存储和处理能力，不太适合用于多业务的环境。
花和尚也有春天·2020-09-11 11:58

Hadoop架构原理、三大组件详解（笔记）

Hadoop大数据处理的意义：Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提
luyanbin_lqq·2020-09-11 02:26

大数据入门-基础篇01-hadoop框架简介

声明：本文主要根据八斗学院孙国宇老师的Hadoop大数据实战手册进行的整理，仅限入门学习！第一章hadoop简介Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。
DataScientistGuo·2020-09-10 18:49

Hadoop大数据生态系统测试环境构建——基于CentOS7.8部署Hadoop3.1.4集群

1、准备三台测试机器并配置好网络和免密登录，配置4G双核500G，系统CentOSLinuxrelease7.8.2003(Core)（如果觉得麻烦可以在虚拟机上搭建）ip和hostname分别是：192.168.236.128Master.Hadoop192.168.236.129Slave1.Hadoop192.168.236.130Slave2.Hadoop我们可以先简单试下有没有问题[ro
codenow.fun·2020-09-04 12:53

实习项目——基于hadoop大数据的集群管理项目总结

项目背景：VXrail是中小企业的提供虚拟桌面架构，远程办公，私有云相关服务。与VBlock和VxRack一起搭建一套完整的企业级别的解决方案，通过VMwareVcent实现统一的管理同时还提供企业的复制和保护能力。Vxrail是以集群节点的形式组成。整个系统中我们负责的是集群节点的管理系统和集群以及集群节点的监控系统的后台的开发。我们团队负责是的负责负责是Vxrail系统中的后台系统业务的开发，
庄小焱·2020-09-04 10:09

2019年最新Hadoop大数据开发学习路线图

5G元年正式开启和4G相比，5G到底有何不同？比如10G视频，4G下载需15分钟，5G仅9秒十年前4G到来，谁能想到他巨大的改变了我们的生活方式和缔造了无数企业，5G让我们拭目以待吧！5G的到来让人工智能，工业互联，智慧城市更是加快了步伐，而大数据正是基础。大数据框架Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业
金光闪闪耶·2020-08-24 08:36

Hadoop大数据分析 基于Hadoop 3的HDFS高可用(一) --Hadoop 3的特性及环境搭建简述

零基础来学Hadoop大数据分析。（大晚上的，博主表示想吃大鸡腿了。。。）1.1Hadoop
舍予尘寰·2020-08-23 21:09

视频教程-Tensorflow之目标检测-计算机视觉

大数据产品经理和人工智能架构师等岗位，现在就职于北京一家教育机构从事教育工作，先后出版或参与出版的书籍有：《移动互联Android系统设计与开发》、《物联网网关设计与开发》、《云应用系统开发》、《云数据中心基础》、《hadoop
学院导师-朱胜·2020-08-22 14:13

CSDN 我回来了

作为通信工程专业的学生，有很多次都想放弃做程序员，感觉程序员很辛苦也不是像当初学的时候那么有趣好玩，记得第一次编程写出了一个C语言求长方形面积的程序都高兴的飞起来，到如今写springboot，springcloud，hadoop
Qing丶Jack·2020-08-21 16:05

2019-01-23

1.计算机网络（http，https，tcp/udp）2.mysql／redis／memcache/mongdb3.linux4.hadoop大数据5.openstack6.其它（Nginx....）7
hekang01·2020-08-21 12:48

贵阳大数据是什么？Hadoop是什么？云计算是什么？

科多大数据为你解答Hadoop大数据开发入门课程：hadoop大数据与hadoop云计算，Hadoop最擅长的事情就是可以高效地处理海量规模的数据，这样Hadoop就和大数据及
大数据在说话·2020-08-20 23:25

关于Xshell和SecureCRTPortable等等各种软件无法连接Ubuntu的问题

关于Xshell和SecureCRTPortable等等各种软件无法连接Ubuntu的问题本人是计算机萌新，本科数据科学与大数据技术，大二了开了一门hadoop大数据技术，需要用到ubuntu操作系统。
WOSHIDUZUI·2020-08-20 22:50

Apache Kylin安装部署

0x01Kylin安装环境Kylin依赖于hadoop大数据平台，安装部署之前确认，大数据平台已经安装Hadoop,HBase,Hive。
ningwang·2020-08-20 20:24

Apache Kylin安装部署

0x01Kylin安装环境Kylin依赖于hadoop大数据平台，安装部署之前确认，大数据平台已经安装Hadoop,HBase,Hive。
ningwang·2020-08-20 16:55

Apache Kylin安装部署

0x01Kylin安装环境Kylin依赖于hadoop大数据平台，安装部署之前确认，大数据平台已经安装Hadoop,HBase,Hive。
ningwang·2020-08-20 16:55

《数据可视化与数据挖掘——基于Tableau和SPSS Modeler图形界面》之连接数据库

Tableau还可以连接更多的服务器，包括传统的数据库软件如IBMDB2、IBMNetezza和Teradata等，也包括目前比较热门的Hadoop大数据相关数据库，如ClouderaHadoop、MapRHadoopHive
王国平·2020-08-20 07:02

Hadoop 3.1.3 本地、伪分布、完全分布环境搭建 学习笔记

文章目录Hadoop大数据特点（4V）hadoop的优势一、Hadoop组成（重点）ModulesHDFS架构YARN架构MapReduce架构大数据生态体系二、Hadoop运行环境搭建（开发重点）虚拟机环境准备安装
VanasWang·2020-08-19 08:45

hadoop大数据各个组件默认端口及相关配置

组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口HDFSDataNode50020dfs.datan
@进行中·2020-08-18 11:51

搭建4个centOs集群

1、在虚拟机中安装CentOS启动一个virtualbox虚拟机管理软件（vmware，我早些年，发现不太稳定，主要是当时搭建一个hadoop大数据的集群，发现每次休眠以后再重启，集群就挂掉了）virtualbox
错觉_Lai·2020-08-16 19:08

尚学堂百战程序员java架构、hadoop大数据、python人工智能、web前端、软件测试等项目视频、源码免费下载

课程进度同步更新尚学堂和百战程序员线下课程核心内容，2020年更新增加springcloud微服务架构、activeMQ消息队列、Zookeeper集群、dubbo等高级技术。掌握本套课程具备挑战20万年薪的技能（薪资以北上广深杭一线城市为准）。严格到天的课程，班主任一对一监督学习情况。每天都是“干货满满”，让你学到High，七个月在家也能“脱胎换骨”。注：线下课程的内容，请参考官方网站实时发布的
q344962056·2020-08-16 11:37

hadoop大数据平台部署坑点总结

最近学习大数据，需要在linux服务器上部署完全分布式的hadoop+hive+hbase系统，先简单介绍一下（引自百度百科）：Hadoop是一个分布式系统基础架构。它实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。提供高吞吐量（highthroughput）来访问应用程序的数据，非常适合那些有着超大数据集（largedataset）的应用程序。它
小·幸·运·2020-08-14 14:51

金融科技&大数据产品推荐：BIGDAF——专业的Hadoop大数据安全防火墙

BIGDAF是国内第一个网关级Hadoop大数据安全防火墙，也是目前唯一通过公安部认证的Hadoop安全防护产品，具备“软件-硬件-云”多样化产品形态官网|www.datayuan.cn微信公众号ID|
数据猿·2020-08-13 10:43

Hadoop大数据入门到实战（第四节） - HDFS文件系统（使用）

这一小节我们来学习：1.HDFS的设计，2.HDFS常用命令。HDFS的设计分布式文件系统客户：帮我保存一下这几天的数据。程序猿：好嘞，有多大呢？客户：1T。程序猿：好没问题，买个硬盘就搞定了。一个月后…客户：帮我保存下这几个月的数据。程序猿：好嘞，这次有多大呢？客户：1024T。哇，这么大吗？没有这么大的硬盘买呀，而且好像也没听过一台计算机可以存放1024T的数据。程序猿：哦，对了我可以部署10
vip2193·2020-08-12 13:22

hadoop大数据平台

一般hadoop不能安装在root用户下，所以首先新建一个用户。[root@server1~]#useraddhadoop[root@server1~]#su-hadoop下载安装包hadoop-3.2.1.tar.gz和jdk-8u241-linux-x64.tar.gz本地离线将压缩包解压，并且做两个软链接方便以后升级使用。[hadoop@server1~]$tarzxfjdk-8u241-l
passnetY·2020-08-11 22:16

Hadoop大数据组件安装 史上最详细教程 手把手教会你安装

Hadoop安装--大数据组件安装--史上最完整教程--手把手教会你安装——彻底揭开大数据技术的面纱，让小白彻底进入大数据技术领域交个朋友，微：zytbft安装的Hadoop的生态圈组件有如下几个（以后会不断补充完善起来了）。（1）Hadoop（单机模式独立，伪分布式伪分布式，全分布式全分布式）（2）Zookeeper（单机模式，全分布式）（3）Hadoop的HA模式（4）Hive（5）HBase
专注大数据开发·2020-08-11 02:44

linux学习数据

linux学习因为要学习Hadoop大数据，会用到Linux服务器集群来做，因此有必要回顾一下当年大一所学习的Linux知识1|1①Linux系统有7个运行级别(runlevel)：运行级别0：系统停机状态
悄悄成长·2020-08-10 21:00

Hive 2.1源码解析及工业级优化

Hive2.1、最新版本、最新特性课程名称：《Hive2.1源码解析及工业级优化》第一期基础要求：本课程面对有Java基础，有Hadoop大数据平台基础，希望进一步了解Hive数据仓库的朋友课程大纲：1
zhangye19920611·2020-08-10 08:16

Hadoop大数据平台实践（二）：Hadoop生态组件的学习文档

Hadoop基础组件学习-Yzg-2019-03-06Hadoop基础组件学习文档..1简介..4HDFS.5HDFS读文件..6HDFS写文件..7Mapreduce8单词计数..9数据去重..9单表关联..10多表关联..11Hadoop流..12Hadoop流的工作原理..13Hadoop流的命令..13HadoopStreaming的优缺点..15Yarn.15Resourcemanage
有腹肌的小蝌蚪_·2020-08-09 03:24

hive SQL语句执行过程

hiveSQL语句执行过程背景了解：hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表
松子-招财猫·2020-08-09 01:09

LInux回顾与Shell编程

一、Linux回顾因为要学习Hadoop大数据，会用到Linux服务器集群来做，因此有必要回顾一下当年大一所学习的Linux知识①Linux系统有7个运行级别(runlevel)：运行级别0：系统停机状态
清风紫雪·2020-08-08 22:00

大数据实训-Hadoop生态

大数据Hadoop大数据生态2020年6月15日8:470.Linux1.HDFS分布式文件系统2.MapReduce并行计算框架3.Hive数据仓库4.sqoop数据集成工具HDFSRDBMS5.用户行为分析项目大数据产生的三个助推力
OneSeek·2020-08-08 10:17

视频教程-Hadoop大数据从入门到精通-Hadoop

Hadoop大数据从入门到精通十年项目经验，曾经任职中国移动架构师，丰富的教学经验让无数人获得高薪任亮¥600.00立即订阅订阅后：请点击此处观看视频课程视频教程-Hadoop大数据从入门到精通-Hadoop
weixin_29232607·2020-08-07 19:35

Hadoop相关技术博客链接

【运维类型】HDFS文件系统JAVAapi访问接口（基于hadoop大数据平台）【运维类型】hive安装过程全程解析、hive常规操作、说明【运维类型】超时用集群脚本ync.sh、xcall.sh【运维类型
十点进修·2020-08-06 10:30

hadoop大数据集群搭建详细教程

1.集群结构(hadoop3.1.1+zookeeper3.5.5+hbase2.0.0+spark2.3.4+phoenix5.0.0)类型zookeeperHbaseSparkPhoenixmasterNameNode否HMasterMastercore+serverjar包slave1DataNode是HRegionServerWorkercore+serverjar包slave2DataN
mythsc·2020-08-04 20:51

分布式系统与 Google 早期的三篇论文

版本号修改时间修订人修改备注1.02019-10-30汐雪池间初稿Google在2003~2006年间发表的三篇论文为今天Hadoop大数据生态的发展奠定了技术基础，工程师利用市场上相对廉价的通用计算设备
陆上溪流·2020-08-04 15:47

Hadoop大数据平台实战 —— 三个节点（1个master+2个slave）实现全分布式操作

Fully-DistributedOperation（全分布式操作）主机名IP节点性质hadoop192.168.0.3主节点hadoop2192.168.0.5从节点hadoop3192.168.0.6从节点小规模集群：nfs−utils\color{#FF0000}{小规模集群：nfs-utils}小规模集群：nfs−utilshadoop主机下载nfs-utils修改配置信息vim/etc/
dsd2333·2020-08-03 19:19

Hadoop大数据平台实战 —— 基础概念

Hadoop起源于Google的三大论文：GFS：Google的分布式文件系统GoogleFileSystemMapReduce：Google的MapReduce开源分布式并行计算框架BigTable：一个大型的分布式数据库上述三大论文的演变关系：GFS——->HDFSGoogleMapReduce——->HadoopMapReduceBigTable——->HBaseHadoop名称的由来：Ha
dsd2333·2020-08-03 19:19

Hadoop大数据平台实战 —— Hadoop单机操作和伪分布式操作

Hadoop下载与安装由于Hadoop底层是用Java编写，因此还需要安装JDK下载Hadoop和JDK的源码包新建普通用户，将源码包移动到普通用户下，并切换到普通用户useradddsdmvjdk-8u181-linux-x64.tar.gzhadoop-3.2.1.tar.gz/home/dsd/su-dsd解压JDK源码包并做软链接tarzxfjdk-8u181-linux-x64.tar.
dsd2333·2020-08-03 19:19

spark中的Dataset和DataFrame

参考《Spark与Hadoop大数据分析》VenkatAnkam和官方文档。
YangJianShuai·2020-08-03 09:17

Spring Boot入门样例-380-hadoop整合hadoop大数据系统

SpringBoot入门样例-380-hadoop整合hadoop大数据系统hadoop一个大数据开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。
huashenghn·2020-08-02 20:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他