HPE大数据学习

大数据学习HDFS三个进程都以hadoop001启动

我们在之前学习了hdfs的部署，那么我们对于三个进程的配置都应该很熟悉了，这三个进程都是以IP对外监听的。当我们在Hadoop的家目录下执行sbin/stop-dfs.sh命令后我们发现：NameNode和DataNode是在hadoop001下关闭的，SecondaryNameNode是在[0.0.0.0]下关闭的那么我们如何让这三个进程都统一是在hadoop001下关闭的呢？对于进程NameN
louiezhang13·2018-10-22 22:03

大数据学习之路107-spark streaming基于mysql历史state统计

packagecom.test.sparkStreamingimportjava.sql.{DriverManager,PreparedStatement}importcom.typesafe.config.{Config,ConfigFactory}importorg.apache.log4j.{Level,Logger}importorg.apache.spark.SparkConfimpor
爱米酱·2018-10-18 20:52

大数据学习之路106-spark streaming统计结果写入mysql

我们首先将数据库的配置信息写到配置文件中。要使用配置文件的话，首先我们要在pom文件中导入配置文件读取依赖：com.typesafeconfig1.3.3代码如下：packagecom.test.sparkStreamingimportjava.util.Propertiesimportcom.typesafe.config.{Config,ConfigFactory}importorg.apac
爱米酱·2018-10-18 19:39

编程字典-大数据学习线路图

Java教程Java教程Java简介Java开发环境配置Java基础语法Java对象和类Java基本数据类型Java变量类型Java修饰符Java运算符Java循环结构Java分支结构JavaNumber类JavaCharacter类JavaString类JavaStringBuffer和StringBuilder类Java数组Java日期和时间Java正则表达式Java方法Java流(Strea
qq5bc6cc054dff5·2018-10-17 14:40

这么详细的大数据学习方向，早就该收藏了，从入门到精通

很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，就是这样的。
yoku酱·2018-10-12 16:02

大数据学习路线（2018年最新整理）

星期课程内容内容安排“领会平台”实验文档第一阶段（java基础+MySql数据库+爬虫+javaweb可视化）1Java环境搭建+数据类型Java数据类型2运算符+流程控制（if-else、switch）Java运算符1Java运算符23流程控制（循环）Java流程控制4Java数组（定义、遍历、二维数组）Java基础训练-数组图书管理系统5面向对象：类和对象、方法定义、重载、方法传参封装:Pri
xingdianxing·2018-10-12 14:50

Case ID 00755439 - HPE DL580 Gen9 机器问题

下载F10的镜像文件，以下是下载地址https://support.hpe.com/hpsc/swd/public/detail?
Suffering-·2018-10-10 16:04

分布式存储

大数据学习日记Day01分布式存储组成元素Namenode：管理元数据。SecondiryNamenode：帮助Namenode完成重演合并操作。Datanode：储存源数据。
CodeTravell·2018-10-09 23:16

分布式存储与HDFS

大数据学习一什么是大数据简述大数据技术分布式计算机器学习分布式存储HDFSHDFS上传文件备份机制client向DataNode写数据client向datanode读数据持久化的详细过程再来简单说说心跳机制当集群启动时安全模式
暴走的Aluuubbarrrr·2018-10-09 20:53

直播 | Hadoop On Kubernetes建模分享

分享时间：10月9日20:30分享主题：HadoopOnKubernetes建模分享分享人介绍：吴治辉，HPE资深架构师。
Docker_·2018-10-09 07:00

想要学习大数据技术 这些基础你都掌握了吗

主要分析如下：大数据学习群119599574大数据技术学习，需要的基础之一：编程基础Java：学
大数据开发交流·2018-10-08 13:09

大数据是什么？华为云学院带你探索大数据之旅

展开我们本次的大数据学习之旅！大数据是什么，内容将包括大数据的产生，发展大数据的基本概念。首先我们来追溯一下大数据的产生与发展，大数据的产生和发展主要经历了三个阶段。第一个阶段，我们称为是萌芽期！
weixin_33714884·2018-10-08 11:53

大数据学习系列——HIVE学习分区

Hive查询表的分区信息语法：SHOWPARTITIONSday_hour_table;大数据学习群119599574静态分区Hive在创建表时添加partit
大数据开发交流·2018-10-07 11:08

大数据学习之小白快速了解flume

大数据学习群1195995741、sourcesources是flume日志采集的起点，监控日志文件系统目录。
大数据开发交流·2018-10-05 11:57

大数据学习路线图

一、入门准备1、linux操作基础1)Linux的介绍，Linux的安装：VMwareWorkstation虚拟软件安装过程、CentOS虚拟机安装过程2)Linux的常用命令：常用命令的介绍、常用命令的使用和练习（文件操作、用户管理与权限、免密登陆配置与网络管理）3)Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；4)Linux启动流程，运行级别详解，c
找个借口安静·2018-10-02 11:43

史上最全大数据学习资源整理

史上最全大数据学习资源整理-----------------------------------------------------------------------------------转载自链接
Lynn_whu·2018-10-02 00:39

大数据学习之路85-spark2.0中的DataSet和DataFrame简介

DataSet是spark2.0提出来的新东西，我们来玩一下：这次我们就不用SparkContext了，所以我们也不需要SparkConf了。DataSet使用的是SparkSession.SparkSession其实是一个单例。我们可以通过同样的方式创建schema,可是没有了SparkContext我们怎么创建RDD读取文件呢？我们可以通过SparkSession得到SparkContext,
爱米酱·2018-09-29 21:44

如何快速成长为技术大牛？阿里资深技术专家的总结亮了

欢迎大家加群一起学习交流，群里每天有大咖分享免费课程和视频资源哦python学习q群：250933691大数据学习交流458345782java学习群625241190写在前面不管是开发、测试、运维，每个技术人员心里多多
yoku酱·2018-09-29 16:53

大数据学习笔记 之 大数据概述

大数据与云计算、互联网1、云计算的概念。云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力。云计算代表了以虚拟化技术为核心，以低成本为目标的、动态可拓展的网络应用基础设施，是近年来最具代表性的网络计算技术与模式。云计算包括3种典型的服务模式：IaaS（基础设施即服务）、PaaS（平台即服务）、SaaS（软件即服务）。IaaS：将基础设施（计算资源和存储）作为服务出租。PaaS：把平台作为服务出
liushilin呀·2018-09-27 16:39

大数据培训课程安排

大数据发展如火如荼，近年来，许多小伙伴都加入了大数据学习的大军，是自学还是参加专业的大数据培训，成了大家谈论的话题，但重点是，不管是自学大数据技术还是参加大数据培训，都要有一个好的学习方法和科学的大数据学习课程
科多兽兽·2018-09-26 11:44

【大数据学习】之hdfs hadoop-2.6.0-cdh5.7.0部署（hadoop用户）

1.添加sudo权限的无密码访问的hadoop用户（1）[root@hadoop001~]#useraddhadoop（2）跟着修改/etc/sudoers文件，vi/etc/sudoers用命令cat/etc/sudoers|grephadoop查看一下结果（3）切换用户：su-hadoop2.下载hadoop我们不选择apachehadoop的部署，因为我们不单单部署hadoop，还有hive
奔走觅衣粮·2018-09-26 00:16

史上最新最全面的java大数据学习路线（新手小白必看版本）

第一阶段：大数据基础Java语言基础阶段1.1：Java开发介绍1.1.1Java的发展历史1.1.2Java的应用领域1.1.3Java语言的特性1.1.4Java面向对象1.1.5Java性能分类1.1.6搭建Java环境1.1.7Java工作原理1.2：熟悉Eclipse开发工具1.2.1Eclipse简介与下载1.2.2安装Eclipse的中文语言包1.2.3Eclipse的配置与启动1.
程序员日常·2018-09-20 09:41

大数据学习线路图

大数据学习线路图Java教程Java教程Java简介Java开发环境配置Java基础语法Java对象和类Java基本数据类型Java变量类型Java修饰符Java运算符Java循环结构Java分支结构JavaNumber
hixiaoyang·2018-09-19 19:41

最详细的大数据学习路线图

一、入门准备1、linux操作基础Linux的介绍，Linux的安装：VMwareWorkstation虚拟软件安装过程、CentOS虚拟机安装过程Linux的常用命令：常用命令的介绍、常用命令的使用和练习（文件操作、用户管理与权限、免密登陆配置与网络管理）Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；Linux启动流程，运行级别详解，chkconfig
科大勒布朗·2018-09-19 17:20

大数据学习之Linux命令二

1.管道符|&grep命令形如命令1|命令22.修改用户密码passwdusernameusername表示所要修改密码的用户名，在修改了用户的家目录路径后可能会出现登录不上，或者格式与往常不一样，这时可使用命令cp/ect/sket.*新的家目录地址3.修改权限权限分为：读、写、执行，代表数字分别为4、2、1，其字母方便表示为r、w、x，无权限为-.如rw-数字为6，可依次类推我们通过ll查看r
louiezhang13·2018-09-16 18:22

大数据学习路线图 让你精准掌握大数据技术学习？

原文链接：http://www.cnblogs.com/Aa123456780/p/9645900.html大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发，大数据开发课程采用真实商业数据源并融合云计算+机器学习，让学员有实力入职一线互联网企业。今天小编的技术分享详细学习大
QSC199712181·2018-09-14 12:00

大数据学习之路（跟着大神学习一波）

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）大数据学习群：119599574
大数据开发交流·2018-09-13 12:38

大数据-大数据学习过程

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师
懒猫阿迪·2018-09-13 11:50

大数据学习之Linux命令一

这学期开始跟着若泽学大数据，最近有些事情耽搁了写博客，即日起开始打卡，记录每次课上知识点，如有问题还望大家指出。1.pwd查看当前光标所在的路径2.家目录用户所在的默认的目录/root超级管理员root/根目录，也就是起始位置3.cd表示切换cdpath从当前路径切换到你所指定的pathcd/user切换到用户user所在的目录cd~切换当前用户的家目录cd-切换到上一次目录cd../切换到上一层
louiezhang13·2018-09-12 00:55

网络编程入门

另外本博客会持续更新大数据学习的资料，包括概念，原理，搭建，入门案例，小案例等，感兴趣的童鞋，欢迎关注，多多交流。
xipenfei·2018-09-11 19:17

大数据学习之路74-mapPartitionsWithIndex的使用

mapPartitionsWithIndex既可以拿到分区的迭代器，又可以拿到分区编号。我们如果要使用这个方法的话，还需要传入一个函数，参数为一个int值一个迭代器，然后这个方法就会将分区编号传给int值，将这个分区编号中的值传入迭代器，我们对这些数据操作之后同样应该返回一个迭代器。valarr=Array(1,2,3,4,5,6,7,8,9)valrdd1=sc.parallelize(arr,
爱米酱·2018-09-11 09:48

学习大数据要什么基础知识？学到什么程度才能从事大数据行业？

首先我们了解下对于大数据学习者本身的学历水平的要求目前大多数的机构，对于大数据学习者要求必须是大专学历以上，而且大专学历还要求是计算机相关专业的，如果是本科及本科以上的，则对专业要求适当的放宽。
大数据开发交流·2018-09-07 11:17

科技股闪崩的真正原因 3个核心问题你需要知道

【美国2000亿美元征税聚焦科技电子】外媒报道四家大型技术公司(思科、戴尔、HPE和柏博网络)已致函美国贸易代表，要求某些产品免受tariffed中国
摩尔金融精选·2018-09-07 00:00

Spark大数据学习笔记_第3篇_Hive的安装

Spark大数据学习笔记_第3篇_Hive的安装Spark大数据学习笔记_第3篇_Hive的安装1.安装hive包2.安装mysql3.配置hive-site.xml4.配置hive-env.sh和hive-config.sh5
superbeyone·2018-09-06 17:47

笔记网站

技术路线：Java学习路线图人工智能+Python学习路线图前端与移动开发学习路线图H5+全栈工程师学习路线图产品经理学习路线图云计算大数据学习路线图1.IT社区:推荐www.cnblogs.com/www.csdn.net
weixin_34270865·2018-09-05 07:40

大数据学习笔记1：在虚拟机安装Linux

一、什么是LinuxLinux是什么？Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux的基本思想有两点：第一，一切都是文件；第二，每个软件都
fueen·2018-09-03 17:46

计算机小白大数据学习线路图

人们常说毕业三五年后就可以看出一个人的未来。工作三五年后有人月收入过万，开始在老家买房;有人零存款，继续每天租房的生活。不是后者不拼搏，只是入错了行而已。现在有一个行业“薪”机炸裂，可以迅速帮你“脱贫”，你会抓住这个机会吗?没错，我们说的就是大数据行业。首先，来看看大数据有多火吧。近几年，大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中，同时也在我国和其他国家的政府报告中多次被提及，大数据无
肖晓晓·2018-08-31 14:17

大数据学习笔记03-HDFS-HDFS组件介绍及Java访问HDFS集群

HDFS组件概述NameNode存储数据节点信息及元文件，即：分成了多少数据块，每一个数据块存储在哪一个DataNode中，每一个数据块备份到哪些DataNode中这个集群有哪些DataNode，每一个DataNode的主机名、磁盘容量大小等信息SecondaryNameNode辅助NameNode来提高性能，以及防止丢数据的DataNode真正存储数据的节点Client比如命令行、webHDFS
weixin_30908707·2018-08-29 21:00

大数据和云计算技术周报（第66期)

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技
大数据和云计算技术·2018-08-27 07:15

大数据学习路线+Java转行大数据最新最全的必备第一手资料

学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（hadoop-hdfs理论hadoop-hdfs集群搭建hadoop-hdfs2.x&apihadoop-MR理论hadoop-MR开发&源码分析hadoop-MR源码分析hadoop-MR开发案例hadoop-MR开发案例）（三）Hive理论（Hive介绍以及安
weixin--yxxy1919·2018-08-26 09:29

2018最新大数据学习路线从入门到精通

第一阶段：Linux理论，，，需要大数据学习视频资料可以关注我（1）Linux基础；（2）Linux-shell编程；（3）高
大数据群722680258·2018-08-25 23:16

大数据学习之路44-hbase结构原理快速理解

HBASE数据库介绍：hbase是bigtable的开源java版本，是建立在hdfs之上，提供高可靠性，高性能，列存储，可伸缩，实时读写nosql的分布式数据库系统，它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务（可通过hive支持来实现多表join等复杂操作）主要用来存储结构化和半结构化的松散数据HBASE查询数据功能很简单，不支持j
爱米酱·2018-08-23 15:59

H3C的HPE ProLiant DL380 Gen9 ILO、RAID、OS安装配置

1.配置ILO1.1设置远程管理IP自检中——按F9，进入BIOS SystemConfiguration——回车选择Ilo4ConfigurationUtility——回车NetworkOption——回车将DHCPEnable设置为OFF,并手动配置IP地址F10保存，选择Y最后一步，回车显示等待30秒返回重新启动，然后按ESC返回找到重新启动回车。1.2导入ILO许可配置iLO的IP地址后，
小丫么小垃圾·2018-08-22 15:17

大数据学习之路36-hive的自定义函数示例，复杂数据解析

假如说我们有这样的数据：1,zhangsan:18:beijing|male|it,20002,lisi:28:beijing|female|finance,40003,wangwu:38:shanghai|male|project,20000假如这些数据由某个应用系统产生在hdfs的如下目录中：/log/data/2018-08-21/需要放进hive中去做数据挖掘分析可以先建一张外部表，跟原始
爱米酱·2018-08-21 16:58

大数据学习之路35-hive的join

selectjoininnerjoinleftjoin==leftouterjoinrightjoin==rightouterjoinfullouterjoin我们先来创建数据和表：内连接（内连接的本质其实是取笛卡尔集）：selecta.*,b.*fromt_aajoint_bbona.id=b.id;左外连接：selecta.*,b.*fromt_aaleftjoint_bbona.id=b.i
爱米酱·2018-08-21 11:13

大数据学习之路34-hive的DML语法，加载数据，load,insert，多重插入

DML:1.加载数据到表中：loadinsert插入单条数据：insertintotablet_seqvalues('10','xx','beijing',28);这条语句的本质是，会执行一个mapreduce，将这条数据生成一个文件。文件的格式是这个表所要求的格式。我们在hive中也可以访问hdfs:dfs-ls/;这时候我们会发现，这时候查询的执行速度会比在linux终端执行的时候快很多。这是
爱米酱·2018-08-21 09:54

279.11G 大数据学习资料分享

阅读更多上篇文章分享的是Hadoop学习资料，还没看见的同学，点击这里查看->大数据之Hadoop学习教程分享为什么是279.11G？小编本来打算分开分享的，想了下太麻烦了，还是一次性分享的比较好，所以看了下整理的大数据资料，除了电子版外，总共279.11G，所以后面很长一段时间会不考虑分享大数据资料，需要的同学抓紧了。总共是几份教程呢？总共6份教程这6份教程并不都是纯粹的讲解大数据具体知识点的，
code小生·2018-08-20 22:00

279.11G 大数据学习资料分享

阅读更多上篇文章分享的是Hadoop学习资料，还没看见的同学，点击这里查看->大数据之Hadoop学习教程分享为什么是279.11G？小编本来打算分开分享的，想了下太麻烦了，还是一次性分享的比较好，所以看了下整理的大数据资料，除了电子版外，总共279.11G，所以后面很长一段时间会不考虑分享大数据资料，需要的同学抓紧了。总共是几份教程呢？总共6份教程这6份教程并不都是纯粹的讲解大数据具体知识点的，
code小生·2018-08-20 22:00

大数据学习之路32-hive的DDL语法，修改表名，列定义

1.重命名表：altertable原表名renameto新表名;2.增加更新列：altertabletable_nameadd|replacecolumns(col_namedata_type);//add代表新增加一个字段，字段位置在所有列后面（partition列前）replace则表示替换表中所有字段。如果这个表中原来有三个字段的数据，如果替换成了两个字段，则查询的时候只会显示两个字段的数据
爱米酱·2018-08-20 21:04

大数据学习之路31-hive的DDL语法，新增，删除分区，向分区中导入数据

1.添加分区我们来看看当前的分区表：这个分区是前面我们直接将数据导入进去的：loaddatalocalinpath'/root/web.log.1'intotablet_daypartition(day='2018-08-20');接下来我们直接创建一个分区：然后我们可以向新增的分区表中导入数据：使用load的方式：loaddatalocalinpath'/root/web.log.2'intot
爱米酱·2018-08-20 20:38
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他