ML&DL-大数据学习

大数据之Linux下Solr如何搭建集群？这里有十年架构师总结经验！ 一：Solr简介 Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通...

功能：1、集中式的配置信息2、自动容错3、近实时搜索4、查询时自动负载均衡在这里我还是要推荐下我自己建的大数据学习交流群：532218147，
大数据学习05·2020-07-09 12:01

强烈推荐-十四个鲜为人知的大数据学习网站

关注:程序员大牛↑，走好数据之路欢迎关注微信公众号：程序员大牛，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区。对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入头条数据爱好者交流群:532218147，数据爱好者们都在这儿。数据分析重要性越来越多的管理者意识到数据分析对经济发展、企业运营的重要意义在古代，得琅琊阁者得天
大数据学习05·2020-07-09 12:16

大数据学习的思维原理（定制产品原理）

大数据的学习原理有很多，我们在前面众多的文章中给大家介绍了很多的思维原理，这些都是非常重要的，而大数据学习的思维原理中还有一个定制产品原理，是一般产品经理需要注意的事情，下面就小编为大家介绍一下这个定制产品原理
CDA·数据分析师·2020-07-09 10:45

大数据学习笔记 第一章 大数据简介与概论

大数据笔记第一章Hadoop简介Hadoop简介Apache开源软件计算框架：分布式、可靠、可伸缩搜索引擎、海量数据存储。Hadoop发展史2002Apache抓取网页，数十亿存储瓶颈GFS论文（谷歌），以分布式存储大量数据NDFSHDFS的前身2004MapReduce映射化解2005Nutch应用MR2006MapReduce和NDFS分离，行程Hadoop作为独立项目2008Yahoo\一万
数据汪东哥·2020-07-09 09:03

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

目录引言目录一、环境选择1，集群机器安装图2，配置说明3，下载地址二、集群的相关配置1，主机名更改以及主机和IP做相关映射2，ssh免登录3，防火墙关闭4，时间配置5，快捷键设置(可选)6，整体环境变量设置二、Hadoop的环境搭建1，JDK配置2，hadoop配置3，hadoop启动四、Spark的环境配置1，Scala配置2，Spark配置3，spark启动五、Zookeeper的环境配置1，
weixin_33842328·2020-07-09 09:17

大数据与云计算学习（1）

大数据学习一、大数据概述：1、大数据概念和特征。
猿小白_white·2020-07-09 05:53

大数据学习路线之hive存储格式

好程序员大数据学习路线之hive存储格式，hive的存储格式通常是三种：textfile、sequencefile、rcfile、orc、自定义sethive.default.fileformat=TextFile
xinxindsj·2020-07-09 02:59

大数据学习环境配置——windows和macOS下的python+mysql+hadoop+spark配置

随着大数据的热度与市场需求不断提升，学习大数据的小伙伴越来越多，然而，大家的个人电脑平时可能都用做了打游戏，看剧，逛论坛，没有配置过一套适合于学习大数据的环境，于是乎感叹万事开头难，今天，就带大家打开大数据世界的大门，带领大家在自己的电脑下配置Hadoop+Spark+Mysql，当然，还有Python3+JupyterNotebook的开发环境。PART1——Windows系统下的配置（以Win
夏洛克江户川·2020-07-08 18:23

Linux下轻量级的集群管理利器ClusterShell

最近在进行大数据学习，集群中系统环境的配置，Hadoop和Spark的各种配置文件分发搞得我心力憔悴。最终，还是选择了一款轻量级的集群管理软件。
Jackeroo·2020-07-08 15:05

大数据学习——spark笔记

变量的定义vala:Int=1varb=2方法和函数区别：函数可以作为参数传递给方法方法：deftest(arg:Int):Int=>Int={方法体}valfun=（test_:Int=>(Int=>Int)）=>函数体逻辑执行语句vala=if(条件){执行逻辑返回值}else{执行逻辑}while(条件){执行逻辑}valarr=Array(1,2,3,4,5)for(i1)valmap=M
weixin_30514745·2020-07-08 13:19

大数据学习笔记(spark总结)

Spark的运行模式local，standalone，yarn，mesos。yarn还分为yarn-client和yarn-master.Spark名词Standalone模式下：Master：集群中含有Master进程的节点。Master是整个集群的控制器，负责整个集群的正常运行。Worker：Worker是工作节点，接收主节点的命令并进行状态汇报。Yarn模式下：ResourceManager
smy12138·2020-07-08 06:24

大数据学习——TensorFlow学习笔记1—keras、梯度下降算法、多层感知器

一、tensorflow的特点与概述《TENSORFLOWROADMAP》1、What’sthepointofthisopensourceproject?Thepointofthisrepositoryisthattheresourcesarebeingtargeted.Theorganizationoftheresourcesissuchthattheusercaneasilyfindtheth
_路漫漫其修远·2020-07-08 06:08

大数据学习必须掌握的五大核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散
yoku酱·2020-07-08 05:45

克隆虚拟机的相关配置【大数据学习起步阶段】

我们事先从他人或自己已经配置好的上边克隆一个配置完好的虚拟机，开启虚拟机，然后就要对虚拟机进行如下配置，供以后使用。第一步：vi/etc/udev/rules.d/70-persistent-net.rules目的：修改IP地址更改三处内容：1>删除第一个画圈部分；dd(快捷键）2>复制第二个画圈部分；鼠标右键，复制3>将第三个地方的1改为0；shift+$直接来到末尾，进入编辑模式，更改；第二步
哥格·2020-07-08 03:35

CSS行内块元素与行内元素

块元素的例子：address-地址blockquote-块引用center-举中对齐块dir-目录列表div-常用块级容易，也是csslayout的主要标签dl-定义列表fieldset-form控制组
林初盛·2020-07-08 02:37

大数据学习系列（七）Hadoop伪分布式项目及环境搭建

一、环境准备1.准备一台虚拟机虚拟机安装请移步另一篇博客：https://blog.csdn.net/qq_40825301/article/details/1052144402.配置ip:我配置的ip为：192.168.40.33，保证能访问外网3.配置hostname:eleven-24.配置hosts：192.168.40.33eleven-25.关闭防火墙，避免后期发生问题找不到原因二、环
番茄滚蛋·2020-07-08 01:25

大数据学习系列（十）Hadoop2.X搭建HA（高可用）分布式集群

2.此环境是在大数据学习系列（八）Hadoop1.X全分布式项目及环境搭建的基础上进行搭建的，所以需先准备好那个环境，包括IPhostshostname配置，hadoopjdk的安装及配置等。
番茄滚蛋·2020-07-08 01:53

大数据学习系列（八）Hadoop1.X全分布式项目及环境搭建

一、环境准备1.准备四台虚拟机，虚拟机安装及克隆，配置ip请移步另一篇博客：https://blog.csdn.net/qq_40825301/article/details/1052144402.每台虚拟机修改hostname，我四台虚拟机配置的是eleven-2,eleven-3,eleven-4,eleven-5.命令：vi/etc/sysconfig/network编辑后保存：3.每台虚拟
番茄滚蛋·2020-07-08 01:53

大数据学习系列（九）Hadoop1.X痛点分析及Hadoop2.X提出的解决方案

一、Hadoop1.X痛点分析上篇博客搭建了hadoop1.x的全分布式集群项目，角色及角色之间的关系如下图：搭建完成后会发现有明显的问题，该集群只有一台服务器位namenode角色，而在整个hadoop系统中，namenode的作用和责任又如此之大，如果namenode节点挂掉了，那么就意味着整个hadoop系统挂掉，因为所有的文件上传及管理操作及计算操作都是通过client(客户端)去请求na
番茄滚蛋·2020-07-08 01:53

22.大数据学习之旅——scala手把手带你入门

Scala介绍Scala介绍官方网址：http://www.scala-lang.org官网对scala的介绍：Scala既是面向对象的语言，也是面向函数的语言。scala可以为你在做大量代码重用和扩展是提供优雅的层次结构，并可以通过高阶函数来实现这样的目标。（高阶函数是函数式编程里的特性之一，允许函数作为参数传递，也允许函数作为返回值来返回）Scala创始人MartinOdersky马丁·奥德斯
零零天·2020-07-08 00:17

java开发师不能不知道的10个大数据 的工具和框架

分享之前我还是要推荐下我自己创建的大数据学习资料分享群710219868备注风火这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，
风火数据·2020-07-07 23:45

大数据学习之路8-NAMENODE元数据管理机制

1.namenode的元数据放在内存加磁盘中。为什么要放在内存中？因为客户端经常要做一些操作。那么namenode放在内存中是什么东西？是一颗树，这个树其实就是一个对象。我们可以估计一下这个对象的大小。每记录一个块，就要耗费大概150Byte。假如我们存10个块，就是1.5k，存10000个块就是1.5M,再扩大1000倍就是1.5G。这里只是namenode的大小，如果一个块128M则整个文件将
爱米酱·2020-07-07 23:49

985毕业大佬打造大数据学习路线

先来了解一下什么是大数据？一种规模大到在获取，存储，管理，分析方面大大超出了传统大数据的软件工具能力范围的数据集合，（数据多到爆表PB级别）数据将到达PB或者PB级别以上，从而带来的数据存储，管理，分析方面的一些新的解决方案，这些新的解决方案都属于数据的范畴，大数据其实说的不是一门技术，而是说的是数据到达这个级别以后我们对这些级别的数据，对于这些量级的数据，进行存储，管理，分析，的解决方案跟传统的
大数据基础入门教程·2020-07-07 17:54

2019版云计算大数据学习路线图(含大纲+视频+工具+书籍+面试)

一、2019新版大数据学习路线图---每阶段能力培养及可掌握的能力二、2019新版大数据学习路线图---每阶段学习大纲及各阶段知识点三、2019新版大数据学习路线图---每阶段课程设置背景四、2019新版大数据学习路线图
Hekliu·2020-07-07 14:13

零基础学习大数据就业好吗，如何快速实现就业？

文章来源：加米谷大数据学习大数据，很多人最初都是跟风而来，对于行业没有基本的了解，对于未来的就业情况也没有清晰的认识，只是凭着一腔热情，想先学学大数据。
huifeideyugo123·2020-07-07 10:29

大数据学习（一） Linux学习

•新建虚拟机安装系统设定3个盘符，第一个为引导盘，第二个为内存占用盘，第三个为使用盘。设置IP地址1.–vi/etc/sysconfig/network-scripts/ifcfg-eth0•用#注释MAC地址•ONBOOT=yes•BOOTPROTO=static•IPADDR=192.168.1.250•NETMASK=255.255.255.0•GATEWAY=192.168.1.2•DNS
hpukevin·2020-07-07 09:38

2.5 Linux(Ubuntu18.04)安装数据库PostgreSQL

2.5Linux(Ubuntu18.04)安装数据库PostgreSQL“卜算子·大数据”一个开源、成体系的大数据学习教程。
王小雷-多面手·2020-07-07 07:52

大数据学习-Java JVM垃圾回收机制

一、概述：本文作为大数据基础的Java部分，上一篇说明了Linux的常用命令，今天学习了Java的高级特性，我们关注与Java的内存管理的机制，也就是垃圾是如何回收的俗称GC问题，这里用《深入理解Java虚拟机》的要解决的问题作为概述，解决三个问题：哪些内存需要回收？线程公有的部分，一般是Java堆和方法区，两个算法判断是否需要回收引用计数法和可达性分析算法（也称跟搜索法）什么时候回收？Java堆
慕久久·2020-07-07 06:22

大数据学习笔记之项目（二）：离线平台部署

文章目录离线平台部署项目开发流程项目调研项目需求分析1.3、方案设计1.3.1、概要设计1.3.2、详细设计编码实现1.4.1、单元测试1.4.2、集成测试1.4.3、压力测试1.4.4、用户测试二、大数据常用应用2.1、数据出售2.2、数据分析2.2.1、百度统计2.2.2、友盟2.2.3、其他统计分析组织2.3、搜索引擎2.3.1、solr2.3.2、luence2.3.3、luence&so
Leesin Dong·2020-07-07 06:20

[大数据学习研究] 4. Zookeeper-分布式服务的协同管理神器

本来这一节想写Hadoop的分布式高可用环境的搭建，写到一半，发现还是有必要先介绍一下ZooKeeper这个东西。ZooKeeper理念介绍ZooKeeper是为分布式应用来提供协同服务的，而且ZooKeeper本身也是分布式的，由分布在至少三台机器上，这几台机器形成一个Quorum，就像一个剧团一样。这个团里有个团长，就是leader的角色，其他的是follower。这个剧团里的每个人脑子里都记
weixin_30951743·2020-07-06 19:57

大数据学习(十)mapjoin reducejoin

目的我们一开始有两个数据，一个是学生表另一个是选课表注：实际情况中学生表是一个比较小的表，二选课表是大表我们通过mapreduce程序实现将选课表中的学号换成姓名。得到新的数据mapjoin目录结构这一次并不需要用到reduce阶段，但是在reducejoin中会使用。我们先看相对简单的mapjoin。先看代码mapClasspackagemapJoin;importorg.apache.comm
Braylon1002·2020-07-06 15:45

大数据学习之Linux基础

大数据学习之Linux基础自定义Linux虚拟机安装网络配置1.node1网络配置2.通过快照克隆虚拟机3.配置其他三个节点虚拟机Linux简单命令shell命令运行原理图1.关机与重启2.判断命令的命令
zjh246890·2020-07-06 13:39

#大数据和云计算机技术社区#博客精选（2017）

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。大数据和云计算技术周报（第8期）:NoSQL特辑大数据和云计
大数据和云计算技术·2020-07-06 11:50

大数据学习路线（完整详细版）

java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,sparkcore,sparksql,sparkstr
xinyuan_java·2020-07-06 09:26

大数据开发实战：数据流图及相关数据技术

1、大数据流程图2、大数据各个环节主要技术在这里还是要推荐下我自己建的大数据学习交流群:9437**91324，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入,大家都是软件开发党，不定期分享干货
weixin_45732643·2020-07-06 06:54

大数据学习之路--搭建hadoop集群一键免密登录，以及分发部署脚本

关于hadoop集群搭建的内容比较多，这里主要介绍三个与集群搭建相关的三个shell脚本。1.一键生成免密登录脚本①visshpass.sh#!/bin/bash#Name:sshpass.sh#Time:17/03/2018#Author:zsd#Purpose:ForfastandeasysetupoftheSSHPasswordlessaccessamongallthenodes#inacl
weixin_42823956·2020-07-06 04:42

大数据学习笔记 第二章 大数据处理架构Hadoop

Hadoop简介Hadoop是Apache软件基金会旗下的开源平台可支持多种编程语言——跨平台Hadoop两大核心——HDFS+MapReduce集群分布式处理大型公司都在用。Hadoop具有可靠性Hadoop具有高效性Hadoop具有很好的可扩展性Hadoop具有高容错性Hadoop具有成本低Hadoop的不同版本ApacheHadoopHadoop1.0HDFS与MapReduceHadoop
数据汪东哥·2020-07-06 03:12

网站流量日志数据自定义采集（上）

说明本次主要说的是网络流量日志的自定义采集，是大数据学习的入门第一步。文章分为上下两部分，上部分为背景介绍，原理分析，设计实现三部分，上部分主要是以文字和原理为主。
xipenfei·2020-07-06 03:19

Python新手写出漂亮的爬虫代码1——从html获取信息

Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻，会觉得是一个高大上的东西，仿佛九阳神功和乾坤大挪移一样，和别人说“老子会爬虫”，就感觉特别有逼格，但是又不知从何入手，这里
夏洛克江户川·2020-07-06 01:00

大数据入门——Java基本语法

大数据开发课程有几个月的Java学习，然后进入大数据部分，打牢Java基础，有助于大数据学习。
G小曲·2020-07-05 22:41

大数据学习二框架安装部署之 HADOOP

大数据学习二框架安装部署之JDKHADOOP框架安装部署属于Java进程，启动JVM进程，运行服务。
木子_muzi·2020-07-05 12:17

大数据学习之Hadoop分布式文件系统HDFS

3.分布式文件系统HDFS3.1分布式文件系统分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就大大降低了硬件上的开销。图3.1.1计算机集群的基本架构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主
Elinice·2020-07-05 12:13

大数据学习路线

大数据不是某个专业或一门编程语言，实际上它是一系列技术的组合运用。有人通过下方的等式给出了大数据的定义。大数据=编程技巧+数据结构和算法+分析能力+数据库技能+数学+机器学习+NLP+OS+密码学+并行编程虽然这个等式看起来很长，需要学习的东西很多，但付出和汇报是成正比的，至少和薪资是成正比的。既然要学的知识很多，那么一个正确的学习顺序就非常关键了。实验楼为「大数据」制定了一条专业的学习路径，希望
qq_44682761·2020-07-05 10:29

大数据学习（一）完整的大数据知识体系，大数据学习路线图

将给各位大佬分享真正关于大数据的干货，小编目前也在学习中，希望和大家共勉吧！大数据的话题近几年是越来越火了，马云曾说：21世纪的竞争是数据的竞争，谁掌握数据，谁就掌握未来！多么痛的领悟。大数据是一个很庞大的只是体系，学习的过程很枯燥，需要大量的练习、记忆、思考，我也没想着在十天半个月给大家分享完它，因为我没这个能力，但是只要坚持，付出和回报总是成正比的。大数据是什么大数据=编程技巧+数据结构和算法
安靜@忧伤·2020-07-05 10:50

大数据学习hadoop3.1.13——Hive操作命令相关

一、HiveJDBC访问1）启动beeline客户端bin/beeline-ujdbc:hive2://hadoop101:10000-ncaron2）看到如下界面Connectingtojdbc:hive2://hadoop101:10000Connectedto:ApacheHive(version3.1.2)Driver:HiveJDBC(version3.1.2)Transactionis
Caron_xcb·2020-07-05 09:14

领导周末喊程序员修bug，程序员：我是来上班的，不是卖身的

给我推荐一个大数据学习交流
王大纲·2020-07-05 09:31

大数据入门培训之大数据开发基础知识学习

大数据的本质一、数据的存储：分布式文件系统(分布式存储)在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取套系统的大数据学习
金罗老师·2020-07-05 08:50

从业大数据方向，需要掌握哪些技能，具体学习路线是什么？

一、大数据相关工作介绍大数据方向的工作目前主要分为三个主要方向:1.大数据工程师2.数据分析师3.大数据科学家4.其他（数据挖掘等）二、大数据工程师的技能要求附上大数据工程师技能图：大数据学习资料分享群
大数据开发交流·2020-07-05 08:38

大数据学习笔记五（HBase）

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表推荐学习网站：http://dblab.xmu.edu.cn/blog/tag/hbase/HBase出现的原因：Hadoop可以很好地
绿洲守望者·2020-07-05 06:55

大数据学习十七：Spark2.3.1编译

1、源码下载地址：http://spark.apache.org/downloads.html2、本次编译所用环境（请确保有VPN，否则一些包无法下载，会编译失败）JDK1.8Maven3.3.9Scala2.11.8Hadoop2.6.0-cdh-5.7.0Hive1.1.0Flume1.6.0zookeeper3.4.53、CentOS7下载Git#yuminstallgit-y4、修改/ho
RacyFu·2020-07-05 05:41
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他