HPE大数据学习

作为一个Android开发者，你迷茫了吗？

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自
数据工程师大牛·2020-09-12 15:09

什么条件下 零基础转行学大数据容易成功

大数据学习资料分享群：119599574谈起零基础学习大数据
大数据开发交流·2020-09-12 15:13

法线贴图的原理和实现

本文出自：http://shiba.hpe.sh.cn/jiaoyanzu/wuli/showArticle.aspx?
weixin_30888413·2020-09-12 14:04

大数据学习 ------- Hbase 与hadoop区别 Hbase 与关系型数据库的区别 Hbase特点

Hbase与hadoop的区别？1、HDFS是一个分布式文件系统，存储大量的数据。Hbase是数据库是建立在HDFS之上的2、HDFS不支持单条记录的快速检索，而Hbase检索是最基本的功能3、HDFS提供是一个高延迟的处理,hbase提供了单行记录低延迟的随机访问Hbase与关系型数据库的区别？1Hbase没有事务的支持，hbase存储的数据都是非结构化或者半结构化的数据，而关系型数据库存储的都
Z_Data·2020-09-12 10:46

大数据学习笔记27：MR案例——多输入源处理成绩

文章目录一、提出任务原始成绩数据任务1、整合两个文件的成绩数据任务2、统计每个学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiInScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreRecordReader12、创建ScoreInputFormat13、创建ScoreRe
howard2005·2020-09-12 06:28

Zookeeper知识点总结

本文是大数据学习总结系列第二篇之ZooKeeper，上一篇是hadoopHadoop知识点整理本文是根据《从Paxos到Zookeeper分布式一致性原理与实践》的知识点进行整理总结。
大数据DL·2020-09-12 04:04

利用虚拟机快速搭建大数据学习平台

一.环境准备win7、vmware、centos镜像、crt远程登录软件1.1下载安装Vmware链接：https://pan.baidu.com/s/1_bwt383Y57n-OCrVJ59L8A提取码：7dpo下载完成后出现如下文件：点击VMware-workstation-full-14.1.3-9474260.exe文件进行安装，选择安装目录，输入文件中激活密钥。1.2下载虚拟机镜像下载地
坚持，再坚持一下·2020-09-12 03:59

大数据学习（一）：Hue Server简单介绍

一Hue架构图二Hue支持组件（Huewebserver）Hue支持展示多种组件，目前支持HDFS、Hive、YARN/MapReduce、Oozie、Solr、ZooKeeper以及Spark。Hue是建立在DjangoPython的Web框架上的Web应用程序，采用了MTV(模型M-模板T-视图V)的软件设计模式。（DjangoPython是开放源代码的Web应用框架。）Hue由“Superv
猪笨是念来过倒·2020-09-12 02:02

大数据学习40：Flume metric 注解

启动flume监控的一种方式：flume-ngagent\--namea1\--conf$FLUME_HOME/conf\--conf-file$FLUME_HOME/conf/exec-memory-hdfs-partition.conf\-Dflume.root.logger=INFO,console\-Dflume.monitoring.type=http\-Dflume.monitorin
月魂_123123·2020-09-12 02:15

大数据学习39：ElasticSearch 常用查询2

ES常用查询21、子条件查询：特定字段查询所指特定值Querycontext在查询中，除了判断文档是否满足查询条件外，ES还会计算一个_score来标识匹配程度。旨在判断目标文档和查询条件匹配的有多好。常用查询：(1)、全文本查询：针对文本类型数据#模糊匹配1POST127.0.0.1:9200/book/_search{"query":{"match":{"author":"wxk"}}}#模糊
月魂_123123·2020-09-12 02:15

大数据学习38：ElasticSearch 基础和常用命令-增删改查

基础概念集群和节点索引：含有相同属性的文档集合，索引通过名字识别，小写英文字母命名，不能中划线数字等类似database分片：每个索引都有多个分片，每个分片是一个Lucene索引好处：提高io读写效率分片只能在创建索引的时候指定，后期不能修改备份：拷贝一份分片就完成了分片的备份好处：当主分片不可用，备份即可顶替备份可以查询，可以分摊压力备份可以动态修改类型：索引可以定义一个或多个类型，文档必须属于
月魂_123123·2020-09-12 02:15

大数据学习11：Maven编译报错以及解决方法，配置aliyun库

一、场景在用maven对hadoop，spark等进行源码编译的时候，经常会遇到编译报错。以下为一些解决办法。二、报错与分析排查：[ERROR]Failedtoexecutegoalorg.apache.maven.plugins:maven-remote-resources-plugin:1.5:process(default)onprojectspark-yarn_2.11:Failedtor
月魂_123123·2020-09-12 02:14

服务器显卡直通和GPU问题分析

显卡适配关系服务器作为比较特殊的设备，和普通PC不同，支持的显卡型号有限，以下为我从HPE官网找到的显卡适配关系，与其说是显卡，不如说是GPU，更偏向于计算，适合搞AI（所以一开始有朋友问我是不要开始搞大数据或者人工智能了
Danileaf_Guo·2020-09-11 23:29

大数据学习之路97-kafka直连方式（spark streaming 整合kafka 0.10版本）

我们之前SparkStreaming整合Kafka的时候用的是傻瓜式的方式-----createStream,但是这种方式的效率很低。而且在kafka0.10版本之后就不再提供了。接下来我们使用Kafka直连的方式，这种方式其实是调用Kafka底层的消费数据的API,我们知道，越底层的东西效率也就越高。使用之前的方式是要连接到zookeeper的，而现在的方式则不需要。代码如下：packageco
爱米酱·2020-09-11 22:27

Flink从入门到放弃(入门篇1)-Flink是什么

图片显示不了，戳这里：github.com/wangzhiwubi…插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注，大数据学习路线最新更新
weixin_33770878·2020-09-11 17:21

在大数据学习中Hadoop和Spark哪个更好就业？

一提到大数据，人们就会想到Hadoop，然而，最近又有个Spark似乎成了后起之秀，也变得很火，似乎比Hadoop更具优势，更有前景，那么，想要学习大数据的学员就要问了，在大数据学习中Hadoop和Spark
大数据开发交流·2020-09-11 16:32

大数据学习之Flink——11侧输出流 Side Output

1.为什么需要SideStream在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；flink中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据2.如何使用SideStream要使用S
Jiang锋时刻·2020-09-11 14:33

大数据处理框架的类型、比较和选择

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307，裙里都是学大数据开发的，如果你正在学习大数据
深夜女的程序员敲代码·2020-09-11 12:45

数据科学研究院第四届“院长接待日”成功举办

数据院院长俞士纶出席了这场别开生面的院长接待日，并聆听来自不同学校、院系的十余名同学对于大数据学习、未来技术发展、职业规划等方面的问题，也针对目前学生所处的情境和遇到的问题给出了悉心的指导和答疑。
数据派THU·2020-09-11 10:32

大数据学习笔记—Hadoop概述

Hadoop概述一、Hadoop是什么二、Hadoop的特点（4高）三、Hadoop的版本演变四、Hadoop的发行版本五、Hadoop生态圈六、Hadoop典型应用架构一、Hadoop是什么Hadoop是一个有Apache基金会所开发的分布式系统基础架构。二、Hadoop的特点（4高）高可靠性:.Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢
小才鄕·2020-09-11 10:26

大数据学习笔记—Hadoop运行环境搭建

Hadoop运行环境搭建一、安装前准备二、Hadoop的安装1.单机模式2.伪分布式3.完全分布式一、安装前准备1.在Windows系统下装有VMwareworkstationpro的PC[具体操作略]2.在VMwareworkstationpro中安装并开启Linux虚拟机（Ubuntu16）[具体操作略]3.关闭防火墙如果不关闭Ubuntu操作系统防火墙，可能会出现以下几种情况：（1）无法正常
小才鄕·2020-09-11 10:54

大数据学习笔记—大数据概论

大数据概论一、大数据的概念二、大数据的特点（4V）三、大数据的应用场景四、大数据的发展前景五、大数据部门的业务流程/组织结构一、大数据的概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。二、大数据的特点（
小才鄕·2020-09-11 07:59

想入坑大数据？必须要规划学习路线

干货走起，闲话不多说，以下就是小编整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、
次世代群901739356·2020-09-10 23:28

大数据学习笔记（六）

一、Azkaban介绍1.1Azkaban是什么Azkaban是由Linkedin开源的一个批量工作流任务调度工具，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种k/v(properties)格式文件来建立任务之间的依赖关系，并提供一个易于使用的web用户界面来维护和跟踪工作流。1.2为什么要使用Azkaban一个完整的数据分析系统通常都是由大量任务单元组成，比如s
伤心程序员·2020-09-10 22:42

大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群

集群规划主机IP安装的软件运行的进程mini1192.168.33.61jdk、hadoopNameNode、ResourceManager、SecondaryNameNodemini2192.168.33.62jdk、hadoopDataNode、NodeManagermini3192.168.33.63jdk、hadoopDataNode、NodeManager1.准备Linux环境1.1先将
dream-on·2020-09-10 18:56

整理的最全大数据学习之路「大神必修课」

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师
金罗老师·2020-09-10 16:44

大数据学习整理篇（十）大数据应用场景和展现方式整理

根据目前比较通用的大数据应用场景，做了如下整理和分析，具体算法，请自行百度：应用场景算法大类具体算法展现方式会员画像，会员细分聚类模型KMeans聚类饼状图,柱状图预测，预警回归模型线性回归柱状图IVR分析，功能埋点分析关联分析Apriori算法关系图IVR分析FP-growth算法关系图功能埋点会员兴趣，偏好，行为分析协同过滤User-BasedCF雷达图根据会员有共同的行为分析，历史记录，猜出
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（六）CentOS 7.8搭建Zeppelin 0.9.0-preview2最新版，并使用phoenix访问hbase

基于项目中要使用Spark的原因，所以使用Zeppelin使用SparkML，并进行数据展示是比较好的选择，在搭建0.9.0的时候也解决了几个入坑问题，现在把具体情况说明下：1.首先下载最新的0.9.0-preview2版本下载1.5G的zeppelin-0.9.0-preview2-bin-all.tgz2.下载完后，使用tar-xzvf解压文件3.修改/etc/profile文件，最下面添加如
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（九）idea创建可以使用scala和java在spark运行的示例

1.新建Java的maven工程后续把groupid和artifactid和版本定义好就行2.定义pom文件，添加具体jar包请查看上篇文章整理篇（八）https://blog.csdn.net/penker_zhao/article/details/108361732scala需要增加新的打包文件，加入到pom文件，具体如下：org.scala-toolsmaven-scala-pluginco
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（七）Linux下使用Docker搭建Spark多节点，Phoenix单机版，然后使用Spark访问Phoenix(java示例成功版）

我们的大数据平台之前定义的步骤就是，使用ETL工具从关系型数据库抽取到HBase，然后通过Phoenix的二级索引，SQL关联查询，将大数据需要学习的训练集以及验证集提供给spark，调用sparkml的机器学习类库，做相应的算法分析，比如线性回归算法和决策树算法等等，最后生成临时表到phnenix的，使用zeppelin将数据展示出来，整个大数据平台的思路就是这样。下面我们按照步骤逐一展开：1.
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（八）Zeppelin连接Spark

Zeppelin单独1.5g的版本自带了Spark，所以可以使用local方式直接连接自带的spark。然后可以嵌入scala语言，进行数据统计，如下图所示：新建一个note，Interpreter选择spark可以将下列语句直接带入到一个paragraph中，如下图所示：下面的代码来自（https://blog.csdn.net/majianxiong_lzu/article/details/8
我还要去追逐我的梦·2020-09-10 10:47

大数据学习：离线数仓

学习地址：Bilili1数据仓库概念2项目需求及架构设计2.1项目需求分析2.2阿里云技术框架2.2.1技术选型2.2.3系统数据流程设计
chaoge_dgqb·2020-09-10 09:46

【论文阅读】RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D-HPE,CVPR2019

摘要：简单的神经网络只会记忆训练集中2D与3D的拟合坐标，而不会考虑其真正的投影关系。因此本文利用GAN学习3D坐标的同时学习相机参数，通过重投影损失，降低直接估计的过拟合问题。该方法能对未知数据具有很好泛化能力。一、介绍模型包含三部分,输入到3Dpose输出的生成器，判别3Dpose是否合理可行的判别器，以及学习相机参数的NN。其中，判别器不仅记忆了来自数据集的3Dpose，还能有效学习到判断合
睡觉不准打呼噜·2020-08-26 23:01

大数据学习之SPARK的重要性

为了辅助大家更好去了解大数据技术，本文集中讨论Spark的一系列技术问题，大家在学习过程中如果遇到困难，可以留言互动，我都将「知无不言，言无不尽」！本文摘自科多大数据武老师的笔记，感谢整理//话题1：MapReduce的局限性有哪些？回复：①MapReduce框架局限性它仅支持Map和Reduce两种操作，而且处理效率低效，具体有这四点：a.Map中间结果写磁盘，Reduce写HDFS，多个MR之
彧11·2020-08-26 23:40

大数据学习路线及各阶段学习书籍推荐

大数据学习路线及各阶段学习书籍推荐！废话不多说，直接切入主题，有需要的小伙伴可以参考学习！
QFdongdong·2020-08-26 22:34

大数据的应用是否会带来大众隐私观的变革？

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份
数据工程师金牛·2020-08-26 12:29

大数据学习之Hadoop集群搭建（二）

目录一、Hadoop集群规划二、配置样板节点1、虚拟机硬件信息2、本地登录配置（1）root用户登录（2）关闭防火墙（3）修改主机名和IP地址（4）配置hosts（5）创建用户设置密码（6）添加sudo权限（7）切换用户验证sudo命令（8）创建软件安装目录3、远程登录配置（1）Xshell远程登录（3）安装jdk和hadoop（4）修改hadoop配置文件（5）配置主机免密登录三、克隆样板节点搭
青衫红叶·2020-08-26 11:23

大数据学习之路108-spark streaming基于redis历史state统计

我们之前使用sparkstreaming做过基于mysql的历史state统计，但是当时的方法很笨，因为写到mysql中第一是性能不好，第二是编码麻烦，所以一般不会有人那么做。而且当时的数据来源是socket。所以现在我们的业务就是：通过一个客户端工具实时的写数据到kafka中，然后通过sparkstreaming实时的监控并消费出来。写入到redis中进行实时的统计。首先我们需要写一个客户端程序
爱米酱·2020-08-26 09:51

大数据学习线路

语言基础篇Java基础篇整个大数据开发技术栈我们从实时性的角度来看，主要包含了离线计算和实时计算两大部分，而整个大数据生态中的框架绝大部分都是用Java开发或者兼容了Java的API调用，那么作为基于JVM的第一语言Java就是我们绕不过去的坎，Java语言的基础也是我们阅读源码和进行代码调优的基础。Java基础主要包含以下部分：语言基础锁多线程并发包中常用的并发容器语言基础Java的面向对象Ja
加码帝国·2020-08-25 12:47

大数据自学，大数据学习路线，大数据学习资源持续更新

学习教程我们一直在更新什么是软件开发：链接:https://pan.baidu.com/s/1MviYOSm6DMJyaLB5LKrxyA密码:eixvHadoop/HDFS学习教程：链接:https://pan.baidu.com/s/13AbsS6esQXPcu760FPBo5w密码:qa9h链接:https://pan.baidu.com/s/1x9GxPIPXKIq0yMUC-1FFeg密
小牛学堂·2020-08-25 08:58

能拿50W+年薪的大数据学习路线！

技术更新迭代速度很快，我们必须时刻保持危机感！一步跟不上，步步跟不上！大数据是当时时代下一门炙热的IT学科，行情十分火爆，不论是阿里巴巴、百度这样的大公司，还是中小企业都很重视，甚至是第一个纳入国家战略的技术，政府扶持力度大，支持甚多！面对这样的大环境下，大数据相关岗位薪水高，就业前景好。因此也吸引了一大批有志之士，想学习并从事大数据相关工作。大数据前景分析随着国家重视大数据，政府扶持大数据，大数
juan777·2020-08-25 07:17

大数据学习之路（一）VMware CentOS7 安装

1、安装VMware14Pro(自己百度去，版本最好12以上，低版本对CentOS7支持不够)一般IntelVT-x处于禁用状态，要启动虚机需要设为启用。重启计算机，进入bios模式（我的机器是Fn+f1），一般在Advanced、Security、BIOSFeatures、Configuration下面，找到IntelVirtualizationTechnology按回车键选择Enabled，表
zsy_li·2020-08-25 06:35

基于大数据学习算法的优惠券预测模型

2019独角兽企业重金招聘Python工程师标准>>>一、目标：预测买家是否会购买某类商品，然后将优惠券发给最有可能购买的人群，从而提升转化率和客单价。（转化率-从意向购买到实际付款；客单价-用户单次购物花费金额）二、分析：落实到算法模型上，包含两个核心的问题2.1、优惠券发给谁，即客户群选择客户群选择实际上是预测买家的购买倾向，并依据购买倾向的强弱来给出排序的结果，落实到学习模型层面来解决。这个
weixin_33686714·2020-08-25 05:56

大数据学习——jdk安装和hadoop安装

1、centos7修改主机文件：masterslave1slave2vim/etc/hosts192.168.58.10master192.168.58.11slave1192.168.58.12slave2检测是否能ping通：pingmasterpingslave1pingslave1(三台机子分别执行)2、centos7SSH互信配置：masterslave1slave2ssh-keygen
Junh.K·2020-08-25 04:43

2.大数据学习之旅——红黑树

红黑树自平衡二叉查找树—时间复杂度O(logn)特征：每一个节点非红即黑根节点一定是黑色所有的叶子节点一定是黑色的nil节点红节点的子节点一定是黑节点任意一条路径中的黑色节点个数一致插入的节点一定是红色修复：当前节点为红，并且父节点且叔父节点为红，那么将父节点以及叔父节点涂黑，然后将祖父节点涂红当前节点为红，并且父节点为红且叔父节点为黑，当前节点为右子叶，以当前节点为轴进行左旋当前节点为红，并且父
零零天·2020-08-25 04:06

【大数据学习】centos7安装

一、下载镜像镜像下载地址：https://mirrors.aliyun.com/centos/7.8.2003/isos/x86_64/CentOS-7-x86_64-Minimal-2003.iso二、使用VMWare安装一直按照图中的勾选即可。下图选择下载好的镜像位置：选完镜像之后点击下一步：下图处理器和核心数，如果机器性能不高，可以全部选1，我的是6核12线程的，就选大了一些。下图是内存设置
沉淀技术这十年·2020-08-25 04:18

大数据学习中的---------搭建全分布式集群

一、搭建全分布式集群首先规划集群的节点数在服务器上面的分配比如我们可以规划为：(1)hadoop00014Gnamenoderesourcemanager(2)datanodenodemanager(3)hadoop00021Gdatanodenodemanagersecondarynamenodehadoop00031Gdatanodenodemanager二、SSH无密登录配置（1）基本语法s
董耕寿 Vol·2020-08-25 02:13

大数据学习之路——安装虚拟机和centos7系统的配置

1、安装虚拟机下载虚拟机：https://www.vmware.com/cn/products/workstation-pro.html自己百度一个key遇到的问题：1）、重启系统，进入BIOS2）、选择advanced选项卡，选择CPUsetup3）、选择IntelVirtualizationTechnology，disable改成enable，保存4）、重启电脑，打开虚拟机。2、安装镜像（ce
Junh.K·2020-08-25 02:00

sparkStreaming：实时流计算Java案例

spark是Scala写出来的了，但是我现在还没系统的学习Scala，所以只能用java写spark程序了，spark支持java，而且Scala也基于JVM,不说了，直接上代码这是官网上给出的例子，大数据学习中经典案例单词计数在
花和尚也有春天·2020-08-24 17:31

大数据学习系列之二 ----- HBase环境搭建(单机)

引言在上一篇中搭建了Hadoop的单机环境，这一篇则搭建HBase的单机环境环境准备1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40G2，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)HBase:1.6.2(hbase-1.2.6-b
weixin_34406086·2020-08-24 17:33
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他