大数据学习指北

大数据学习笔记——windows环境下配置hadoop

在windows中idea直接运行spark代码出现缺少winutils.exe报错情况，需要配置Hadoop运行环境可能出现如下报错：缺少winutils.exeCouldnotlocateexecutablenull\bin\winutils.exeinthehadoopbinaries缺少hadoop.dllUnabletoloadnative-hadooplibraryforyourpla
新宿一次狼·2020-08-20 08:43

零基础进阶大数据学习笔记——Linux系统终端命令（一）

Linux与windows主要区别Linux严格区分大小写Linux一切皆文件Linux不区分扩展名扩展名是为了让管理员使用目录：/proc:虚拟文件系统，数据保存在内存中，存放当前进程信息。常用命令：suroot普通用户切换root用户su-root表示用户和环境变量一起切换（-和root之间有空格）mkdir创建文件夹touch创建文件date查看当前时间mv移动文件或目录rm删除文件（如果删
BigDate_lover·2020-08-20 07:03

iOS 混编 模块化/组件化 经验指北

为了表示我对『饱醉豚』事件的不满，还是把文章导向我自己的博客吧：博客链接1.开篇本文的初衷，是为了给正在做混编或者模块化的同学们一个建议和参考。因为来饿厂以后做的项目是全公司唯一一个Swift/OC混编的iOS项目，所以一路上踩坑无数，现在把一些踩坑的过程和经验总结起来，供大家参考。相信在浏览本文后，一定会有所收获。我来的时候项目已经开始Swift改造了，慢慢的把项目Swift化，新代码都是Swi
周小鱼Cocoa·2020-08-20 06:33

大数据学习笔记——用dbeaver6.2.4连接hive1.2

给hive装备上一个可视化工具，那是相当给力的。dbeaver连接hive的时候，需要以下步骤：1、启动MySQL数据库，hive的元数据存储在mysql中2、cd/export/servers/apache-hive-1.2.1-bin/bin进入hive安装的bin目录3、nohuphive--servicemetastore-p9083>/dev/null&后台启动metastore4、no
新宿一次狼·2020-08-20 05:40

「斑愿称为最肝」小狮子前端知识食谱 / 生日之际，好运分享 / 秋招和你手摸手入大厂【史上最全指北】 | CSDN技术征文

生日之际，记录自己前端拼搏之路~2020年8月12日，破壳的一天，小狮子の21岁。特意在前一周准备了这篇博文，记录自己前端拼搏之路。此外，也入驻了掘金社区，发现了许多优秀前端博主，他们的文章内容输出都非常精致，我觉得有必要好好学习一下。下文会有一部分自己感想，如果大家想要看干货的话，不妨跳到正文处阅读即可。其余部分闲暇时间阅读一下也是不错的嗷。生日愿望：希望拿到一个满意的offer，成为一个优秀的
一百个Chocolate·2020-08-20 05:35

大数据学习笔记——Python基础（上）

一、Python知识点1.变量&运算符2.jupyternotebook常用快捷键Esc和Enter在命令和编辑模式之间跳转。命令模式下：A键，将在选中单元格上方插入新单元格B键，将在选中单元格下方插入一个单元格按两次D键，可以删除单元格Z键，撤消已删的但与前各Y键，将选中的单元格变成代码单元格F键、弹出’查找和替换’菜单编辑模式下：Shift+Enter:运行本单元，并选中下个单元Ctrl+En
芭蕉鱼的学习笔记·2020-08-20 05:08

大数据学习笔记——大数据学习过程中的重点

目前大数据开发方面，市场上最主要的还是用spark做开发居多。这一点也可以从招聘网站上可以看到。整个大数据体系经过这么多年的发展，相当的繁杂，各种各样的组件，但是其中有一些已经过时了，或者用的少了，其实干脆就不用学了，免得浪费时间。下面介绍自己学习过程中的大数据重点。1.linuxlinux系统肯定是基础了，大数据集群是运行在这上面的。linux在服务器上面一般是用centos系统，还分6.x版本
新宿一次狼·2020-08-20 05:26

萌妹子Python入门指北（一）

原文链接http://ixindoo.com/archives/46《萌妹子Python入门指导》系列，以下简称萌妹子系列是教没有任何编程基础的妹子如何去写python代码，最终实现一些小工具的开发，请Python大牛们直接绕道。如果有想学习python的同学，也可以持续关注本系列。本人在某互联网公司做运维，虽然python学的不是很好，但足以教一个完全不懂python的人，也希望在撰文的过程中提
xindoo·2020-08-20 02:51

萌妹子Python入门指北（四）

这个系列其实是想给非计算机专业的人一个python的入门指导，已经写了3篇，这篇拖了好久了。我开始觉得学编程真的很难，计算机有些方面的知识真是常人所不能理解的，仅仅靠这几篇文章肯定是做不到入门的，如果各位真想学python，还是希望各位能去看更多python的例子，当然我这个系列的文章还是会继续写下去的，我尽自己可能不让本系列变成《python从入门到放弃》。在上一篇文章中我们讲到了选择和循环，这
xindoo·2020-08-20 02:19

Python 简单入门指北（试读版）

本文是我小专栏中Python简单入门指北一文的前半部分，如果你能坚持读完并且觉得有一定收获，建议阅读原文，只需一杯咖啡钱就可以阅读更精彩的部分，也可以订阅小专栏或者加入我的知识星球，价格都是66元永久。
weixin_33835690·2020-08-19 23:59

股市抄底避雷指北

前几日美国浑水公司成功狙击“国货之光”瑞幸咖啡，使其股价暴跌80%。最近其创始人陆正耀又来了一手弃车保帅，划清瑞幸咖啡和神州租车的关系，以保护在港股已经暴跌了50%的神州租车股价。饮鸩止渴，神州租车股价在反弹30%之后又连跌了2天。虽然在出了这样的事情之后，不少“白莲花”怒斥瑞幸咖啡，它在透支中国公司的国际信誉，这样会让更多的中国公司被做空机构盯上等等。正所谓苍蝇不叮无缝的蛋，做空机构和特朗普完全
汽扯扒谈·2020-08-19 20:45

大数据学习？

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同
大数据05·2020-08-19 19:52

SQL Server数据库对象信息的获取，大数据学习必须get到的点！2018-08-13

学会大数据是一个要点，那么如何学习会大数据底层才是最好的在开发基于SQLServer数据库的应用程序时，经常会遇到需要知道SQLServer数据库对象的相关信息的情况，例如SQLServer中有哪些数据库，这些数据库中有哪些数据表，每个数据表有哪些字段，这些字段是什么属性等。笔者在开发一个数据库导入程序时就遇到了这些问题，经过一番摸索，较好地解决了上述问题，现在把实现方法介绍给大家。程序界面如下图
飞上天的猫神·2020-08-19 19:35

新娘刚被接走，婚礼摄影师记录下娘家人真实一幕…

来源：央视新闻（cctvnewscenter）综合星视频、腾讯新闻人间指北版权归原作者所有，如有侵权请及时联系近日一名担任婚礼摄影师的网友发布了一段视频记录了婚礼中女方家人送走新娘后家中的画面一幕幕让人泪目新娘的爷爷站在窗前的小凳子上久久不愿离去哪怕楼下已没有孙女的身影新娘父亲强忍着眼中的泪水终于还是忍不住回到房间偷偷抹眼泪新娘母亲发现后走进房间拍着丈夫的肩膀安慰他还帮丈夫擦去眼泪这名网友说
私家车第一广播·2020-08-19 18:51

微信JS-SDK的指北

前言：今年以来基本上就是接手公司的微站项目，从一个传统的PHP网站到使用VUE1.0进行前后端分离重构，对于一个在微信上面运营的网站，少不了要跟微信JS-SDK打交道。下面针对一些值得记录的地方进行一些总结。JS-SDK的用法在微信公众号后台配置安全域名，也就是要使用JS-SDK的域名。在页面的script标签中引入JS-SDK的代码即可，现在还支持使用AMD/CMD标准模块加载方法。使用wx.c
LoneRanger·2020-08-19 17:41

web主题适配方案指北

前置知识在这里了解实现网页主题切换的相关知识。CSS变量要实现主题切换需要了解css自定义属性。当然，本文还提供了其他实现方式，为了不给您接下来的阅读带来阻碍，先了解它。变量的声明声明变量时，变量名前要加上--，例如--example:20px即是一个css声明语句。意思是将20px赋值给--example变量。所以css变量又叫做css自定义属性。在css的任何选择器中都可以声明css变量，通常
GZ^·2020-08-19 12:00

大数据学习笔记（十六）-Hue的安装部署和使用

1.Hue的安装参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.7.0/manual.html①安装Hue的依赖sudoyuminstallantasciidoccyrus-sasl-develcyrus-sasl-gssapigccgcc-c++krb5-devellibtidylibxml2-devellibxslt-dev
狂暴棕熊·2020-08-19 10:51

python 正则指北之我的总结

本文经本人搜索网络加上个人理解整理而成，如有侵权，请告知，会立即删除！正则引擎大体上可分为不同的两类：DFA和NFA，而NFA又基本上可以分为传统型NFA和POSIXNFA。DFADeterministicfiniteautomaton确定型有穷自动机NFANon-deterministicfiniteautomaton非确定型有穷自动机TraditionalNFAPOSIXNFADFA引擎因为不
dianxunma2886·2020-08-19 09:27

大数据学习3-Hadoop伪分布式搭建和使用

伪分布式：就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作而分布式：一.搭建：安装jdk配置环境安装hadoop配置环境变量-------在本地模式中依旧也要做前几步骤---------修改配置文件：①配合core-site.xml配置完可以进行用cat命令查看core-site.xml文件：②配置hdfs-site.xml启动运行集群：第一步.初始化配置文件（也就是格式化）
风吹海洋浪·2020-08-19 08:00

官瓷重楷模，精华四海粹！

狭义的官窑，指北宋和南宋时在京城汴京（汴梁，今开封）和临安（今杭州）由宫廷设窑烧造的一类青瓷，故又有“旧官”和“新官”之分，前者为北宋官窑，后者为南宋官窑。
骨玩·2020-08-19 07:01

Spark这是要一统江湖的节奏

在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享
yoku酱·2020-08-19 07:41

webpack成长指北第7章---webpack的css\less\scss样式打包

webpack成长指北第7章---webpack的css\less\scss样式打包前言案例webpack打包css文件安装loadercss嵌套css图片背景css-loader配置项css打包成单独文件添加浏览器厂商前缀安装
Boale_H·2020-08-19 07:00

webpack成长指北第9章---webpack如何对icon字体进行打包

webpack成长指北第9章---webpack如何对icon字体进行打包前言下载icon图标项目目录项目代码前言在项目中，我们有时候会引入icon字体来实现一些图标的展示，但是之前文章有说过，webpack
Boale_H·2020-08-19 07:29

webpack成长指北第8章---webpack的CSS Modules打包

webpack成长指北第8章---webpack的CSSModules打包何为CSSModules案例CSS模块化打包何为CSSModulesCSSModules，样式的模块化，实际上就是所有的类名都只有局部作用域的
Boale_H·2020-08-19 07:29

webpack成长指北第6章---webpack的图片引入

webpack成长指北第6章---webpack的图片引入案例项目目录代码打包loaderurl-loader安装url-loader配置webpackurl-loader的limit案例我们先尝试一下直接引入图片然后打包项目
Boale_H·2020-08-19 07:28

电子罗盘如何选型

电子罗盘又称作数字罗盘，作为一种重要的导航定向工具,正越来越多的应用于组合导航和指北系统。当前大多数的组合导航系统都使用到电子罗盘。若按照有无倾角补偿，可分为二维罗盘和三维罗盘两种。
莫论阴晴圆缺·2020-08-19 05:16

Shader学习指北

开始：创建一个shader脚本unity自带的shader脚本有四个StandardSurfaceShader（标准表面着色器）：最标准的初始着色器。（一般都用这个）这个Shader模板的脉络很清晰，先是定义一些属性，然后在SubShader中设置渲染模式，层次细节LOD的值，然后开启一个CG编程语言模块，写一些编译指令#pragma，声明一下变量让属性值在CG块中可见，定义输入结构，然后填充一下
shelven丶·2020-08-19 03:23

大数据分析：智能交通发展的引擎

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习
数据工程师大牛·2020-08-19 01:36

017指北与游移方位惯导系统知识梳理

与其说梳理两种惯导方式，还不如说是一种，因为游移惯导就是为了解决指北惯导跟踪不上地理系而改进的，仅与指北惯导存在一个游移方位角αα的关系。另外在学习中看了好几本不同的书，所以字母表示我都感觉混乱。
参天尽物·2020-08-19 01:25

官窑是由皇家御窑生产的瓷器？

狭义的官窑，指北宋和南宋时在京城汴京（汴梁，今开封）和临安（今杭州）由宫廷设窑烧造的一类青瓷，故又有“旧官”和“新官”之分，前者为北宋官窑，后者为南宋官窑。
骨玩·2020-08-19 00:43

vercel使用指北

首先介绍一下啥是vercel引用官方(https://vercel.com/home)介绍Vercelistheoptimalworkflowforfrontendteams.All-in-one:StaticandJamstackdeployment,ServerlessFunctions,andGlobalCDN.无脑机器翻译一下：Vercel是前端团队的最佳工作流。所有功能:静态和Jamst
吞石鱼·2020-08-18 21:43

大数据学习之Linux基础

大数据学习之Linux基础自定义Linux虚拟机安装网络配置1.node1网络配置2.通过快照克隆虚拟机3.配置其他三个节点虚拟机Linux简单命令shell命令运行原理图1.关机与重启2.判断命令的命令
ytt999·2020-08-18 18:06

大数据学习路线（自己制定的，从零开始）

大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Sto
weixin_34318956·2020-08-18 17:47

大数据学习（八）：mapreduce编程案例-计算访问次数最多的5个网站

数据2017/07/28qq.com/a2017/07/28qq.com/bx2017/07/28qq.com/by2017/07/28qq.com/by32017/07/28qq.com/news2017/07/28sina.com/news/socail2017/07/28163.com/ac2017/07/28sina.com/news/socail2017/07/28163.com/spo
qq_33252988·2020-08-18 16:53

如何从零开始规划大数据学习之路！

大数据学习QQ群：716581014如何开始学习大数据？人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和
你的龙哥哥·2020-08-18 15:44

从零开始的大数据学习

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同
金罗老师·2020-08-18 13:21

14.大数据学习之旅——HBASE表设计&HBase优化

HBASE表设计Rowkey设计Rowkey是不可分割的字节数，按字典排序由低到高存储在表中。在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能，原因有两个：1）Region基于Rowkey为一个区间的行提供服务，并且负责区间的每一行；2）HFile在硬盘上存储有序的行。这两个因素是相互关联的。当Re
零零天·2020-08-18 11:21

大数据学习之spark—RDD操作、DAG依赖 shuffle

sparkspark:集批处理，实时流处理，交互式查询，机器学习，图计算为一体Spark与MapReduce的比较一个hadoopjob会进行多次的磁盘读写会有一定的性能瓶颈spark允许在内存中缓存输入输出，上一个job结果马上可以被下一个使用1、RDD（ResilientDistributedDataset）:spark分布式的内存抽象--（弹性分布式数据集）。允许用户执行多个查询时显示将工作
转让半包_辣条·2020-08-18 11:49

怎样系统规划大数据学习之路？

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。这正是我想要撰写本文的原因。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职
大数据基础入门教程·2020-08-18 11:09

技术新人的大数据之路

不可否认，大数据学习最重要的是学习的能力，这种能力要远比你掌握的知识多少要重要，所以，练习大于理论，加油吧。
晓阳的数据小站·2020-08-18 11:01

大数据学习笔记之Hadoop（二）：HDFS文件系统

文章目录一HDFS概念1.1概念1.2组成1.3HDFS文件块大小二HFDS命令行操作三HDFS客户端操作3.1eclipse环境准备3.1.1jar包准备3.2通过API操作HDFS3.2.1HDFS获取文件系统3.2.2HDFS文件上传3.2.3HDFS文件下载3.2.4HDFS目录创建3.2.5HDFS文件夹删除3.2.6HDFS文件名更改3.2.7HDFS文件详情查看3.2.8HDFS文件
as403045314·2020-08-18 10:38

正式进入Hadoop学习 不会再有比我还全面的大数据学习（三） Hadoop生态圈

废寝忘食整理出来的知识梳理，希望能对大家有所帮助一、概述1.1大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产1.2大数据面临的问题数据的存储：单机存储有限，如何解决海量存储？（分布式、集群等）数据的分析：单机的算力有限，如何在合理时间内对数据完成成本运算？1.3大数据的特点4VVolume数据量Velocity时效Variety
热忱 ㅤ ㅤ·2020-08-18 10:37

27.大数据学习之旅——SparkStreaming&spark mllib数据挖掘与机器学习

SparkStreaming介绍概述SparkStreaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，以吞吐量高和容错能力强著称。SparkStreamingVSStorm大体上两者非常接近，而且都处于快速迭代过程中，即便一时的对比可能某一方占优势。在Spark老版本中，SparkStreaming的延迟级别达到秒级，而Storm可以达到毫秒级别。而在
零零天·2020-08-18 10:08

25.大数据学习之旅——Spark集群模式安装&Spark架构原理

实现步骤：1）上传解压spark安装包2）进入spark安装目录的conf目录3）配置spark-env.sh文件配置示例：#本机ip地址SPARK_LOCAL_IP=hadoop01#spark的shuffle中间过程会产生一些临时文件，此项指定的是其存放目录，不配置默认是在/tmp目录下SPARK_LOCAL_DIRS=/home/software/spark/tmpexportJAVA_HO
零零天·2020-08-18 10:08

15.大数据学习之旅——Storm

Storm介绍介绍官方网址：http://storm.apache.org/官方对于Storm的介绍：ApacheStormisafreeandopensourcedistributedrealtimecomputationsystem.Stormmakesiteasytoreliablyprocessunboundedstreamsofdata,doingforrealtimeprocessin
零零天·2020-08-18 10:08

23.大数据学习之旅——scala进阶

函数式编程的概念编程范式函数式编程是一种编程范式，我们常见的编程范式有：1）命令式编程（Imperativeprogramming），常见的面向对象编程是也是一种命令式编程。比如java，c等。命令式编程是完全依托于冯诺依曼体系机来实现的，即代码最后会转变为一条条的指令去执行，所以指令式编程的时间复杂度是和指令数相关的。根据摩尔定律，冯诺依曼体系机的性能可能本世纪30年代就不再提高，即当冯诺依曼体
零零天·2020-08-18 10:08

24.大数据学习之旅——spark手把手带你入门

Spark介绍ApacheSpark™isafastandgeneralengineforlarge-scaledataprocessing.SparkIntroduceRunprogramsupto100xfasterthanHadoopMapReduceinmemory,or10xfasterondisk.ApacheSparkhasanadvancedDAGexecutionengineth
零零天·2020-08-18 10:08

大数据学习之Spark——04RDD概述及创建

一.RDD概述1.什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。2.RDD的五大特性RDD是由一系列partition组成算子(函数)是作用在RDD的partition上的RDD之间有依赖关系分区器是作用在k,v格式的RDD上partitio
Jiang锋时刻·2020-08-18 10:11

大数据学习之Spark——01Spark概述

一.Spark初始1.什么是SparkSpark是一种基于内存的快速,通用,可扩展的大数据分析引擎ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法
Jiang锋时刻·2020-08-18 10:50

4.大数据学习之旅——Avro

一、概述Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据。它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到Hadoop服务的通讯提供一种电报格式。二、序列化和反序列化概述数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络中传
零零天·2020-08-18 01:16
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他