bigData 第43页

http://www.36dsj.com/archives/7220

大数据（BigData）大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。

zhaoyaming555·2020-06-30 15:23

大数据的定义

对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

zhaosansao·2020-06-30 15:05

hadoop解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps

解决：没有把yarn下的包以及yarn下的lib目录下的包导入packagecn.itheima.bigdata.hadoop.mr.wordcount;im

小嘎子闯天涯·2020-06-30 13:03

永洪BI——国内领军的一站式大数据分析平台

平台：CentOS类型：虚拟机镜像软件包：jdk-7.79-linuxyonghongbi.shbasicsoftwarebigdatabusinessintelligencecommercialTomcat

zangdalei·2020-06-30 12:51

什么是物联网？从大数据谈起

物联网(InternetofThingsIOT)在大数据(BigData)之后顺理成章的响应起来，比起较为看不见的大数据，物联网看得见摸得着，而且也是人类从19世纪第一次工业革命之后，第一次考虑地球永续的产业升级

yujianta14·2020-06-30 10:00

大数据、数据分析和数据挖掘的区别

数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断：1、大数据（bigdata

非科班大数据工程师·2020-06-30 10:27

Impala高性能探秘之Runtime Filter

前言书接上文，如果说HDFS的数据访问层各个BigDataSQLEngine做的都大同小异的话，那么RuntimeFilter（下文简称RF）则是Impala比较独特的”黑科技”了,在深入学习Impala

教练_我要踢球·2020-06-30 09:23

大数据时代快速SQL引擎-Impala

背景随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、几百M也要放到Hadoop上作分析，只会适得其反，但是当面对真正的BigData

教练_我要踢球·2020-06-30 09:22

你们是不是很缺大数据工程师？

所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~BigData01我眼中的大数据现状!其实个人在大数据在大数据这个坑中，细细算来时

youzhouliu·2020-06-30 09:28

机器学习：KNN用java代码实现

KNN的model类：packagecom.spring5.bigdata.knn;/***@authoryinxf*@date2020-05-16*/publicclassKn

菜鸟笔记·2020-06-30 07:08

大数据计算？hadoop了解一下！

咱们先来看看百度百科的定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

MOOJ·2020-06-30 07:49

中科院 | 大数据的力量来自“大成智慧”信息时代大数据的再认识

文章出处：http://www.thebigdata.cn/YeJieDongTai/29119.html大数据已成为媒体与大众关注的新技术，大数据的应用也预示着信息时代将进入一个新阶段，但人们对大数据的认识有一个不断加深的过程

GeoWin_CAU·2020-06-30 06:14

2000个软件开发领域的高频特殊词及精选例句（一）

1、单词hadoop的匹配文本：SubashD'SouzaisaprofessionalsoftwaredeveloperwithstrongexpertiseincrunchingbigdatausingHadoop

sdfjlkjsdfsaldfsdf·2020-06-30 06:48

做为一名大数据新手，应该通过这篇文章了解大数据

大数据，bigdata，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。

yalin7076·2020-06-30 05:45

大数据学习笔记（一）

一、大数据大数据（bigdata），指无法在一定时间范围呢用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率的多样化的信息资产。

xxiaoMinGLL·2020-06-30 04:30

Java大数据学习

背景近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛，很多人都想要从事大数据技术开发工作，但是，请问要怎么做，路线是什么？从哪里开始学？学哪些？这是一个大问题。

WizradMyL·2020-06-30 04:23

大数据及大数据框架

大数据（BigData)是一种规模庞大的数据集合，一般单台计算机的能力范围无法对数据集进行获取、存储、管理和分析。因此大数据又和云计算和分布式集群密不可分。大数据是互联网发展至今一个时代的产物。

仁鱼·2020-06-30 04:32

Python中的十大图像处理工具

来源|大数据文摘(BigDataDigest)编译|张秋玥、小七、蒋宝尚本文主要介绍了一些简单易懂最常用的Python图像处理库。当今世界充满了各种数据，而图像是其中高的重要组成部分。

数智物语·2020-06-30 02:48

大数据：大数据知识框架汇总（四）

一、什么是大数据大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

敬谦·2020-06-30 01:56

ambari添加redis组件（包含有 redis-sentinel和redis cluster）

redis-sentinel相应的地址：https://github.com/Symantec/ambari-redis-servicerediscluster插件地址：https://github.com/cas-bigdatalab

xiaozou_it·2020-06-30 01:40

Apache Kylin优化之—Cube的高级设置

转载：http://bigdata.51cto.com/art/201705/538648.htm根据本系列的原理介绍，在Kylin的高级设置中，用户可以根据查询需求对Cube构建预计算的结果进行优化(

顺顺顺子·2020-06-30 01:57

Hadoop-zookeeper环境配置

安装包下载链接：https://pan.baidu.com/s/10L21P0HvQBlTGVUdk86Nlw提取码：xkkx复制这段内容后打开百度网盘手机App，操作更方便哦主机IP映射[root@bigdata101module

数据涵·2020-06-29 23:19

hbase--环境配置

hbase.apache.org/链接：https://pan.baidu.com/s/1woeVPNUKHNQxmyz3Fv4CVw提取码：bw2j复制这段内容后打开百度网盘手机App，操作更方便哦1、解压安装[root@bigdata101software

数据涵·2020-06-29 23:19

安装mysql初始化失败

root@bigdata-159:mysql#./bin/mysqld--defaults-file=/etc/my.cnf--initialize--user=mysql.

暗香浮动，月黑风高·2020-06-29 23:27

转载：使用Pandas&NumPy进行数据清洗的6大常用方法

使用Pandas&NumPy进行数据清洗的6大常用方法转载：http://bigdata.51cto.com/art/201804/569690.htm数据科学家花了大量的时间清洗数据集，并将这些数据转换为他们可以处理的格式

xc555·2020-06-29 23:16

深度学习平台H2O简介

,andscalablemachinelearningandpredictiveanalyticsplatformthatallowsyoutobuildmachinelearningmodelsonbigdataandprovideseasyproductionalizationofthosemodelsin

倔强不倒翁·2020-06-29 23:10

有了这个开源项目，再也不怕去BAT和字节跳动面试考算法了

已有Android项目集成Flutter寻坑记“37岁，年薪50万，一夜被裁”：伪上班，毁掉了多少中国年轻人本文转载自大数据文摘（id:BigDataDigest）GitHub标星15K，这个开源项目让算法真的动了起来一门编程语言入门之后

Java和Android架构·2020-06-29 23:32

港京共创投资基金何绍钧: AI的威力还远未显露

何绍钧先生精通互联网系统架构、移动通信技术、LBS、O2O、AI和BigData，今天，品途资本论对话何先生，这次给您带来的是他对当下风口行业的深刻看法。不要盲目寻找「场景」自我介绍一

投资人说·2020-06-29 22:32

2019 年最值得阅读的 8 本数据仓库方向的书

1，PracticalGuidetoSAPHANAandBigDataAnalytics这是一本为SAPBI,BigData以及IT架构师而写的书，详细介

dbLenis·2020-06-29 21:33

第一个MapReduce程序

hadoopjarwordcount.jarshizhan.WordcountDriver/wordcount/input/wordcount/outputMapper类packagecn.itcast.bigdata.mr.wcdemo

绛门人·2020-06-29 20:41

Linux 用户管理以及权限相关

用户管理root用户的家目录下创建用户hadoop查看用户信息返回后切换至hadoop用户家目录下更改密码设置密码为Bigdata@123完成后切换至根目录登出（或者moba新建页面）用hadoop用户登录输入密码实现登录成功后切换至

日写BUG八百行·2020-06-29 18:36

java获取访问者真实ip和真实地址以及运营商

附上工具类复制即可用packagecom.vimi8.bigdata.auth.utils;importnet.sf.json.JSONObject;importorg.apache.commons.lang.StringUtils

键盘上的艺术家·2020-06-29 18:32

数据流技术在GPU和大数据处理中的应用

,窦勇.数据流技术在GPU和大数据处理中的应用.大数据[J],2020,6(3):117-128SUHY,MEISZ,LIRC,DOUY.TheusageofdataflowmodelinGPUandbigdataprocessing

唐名威·2020-06-29 16:31

数据安全治理的几个基本问题

数据安全治理的几个基本问题杜跃进论文引用格式：杜跃进.数据安全治理的几个基本问题.大数据[J],2018,4(6):85-91DUYueJin.Severalbasicquestionsaboutdatasecuritygovernance.Bigdataresearch

唐名威·2020-06-29 16:57

专题：大数据安全和隐私保护

专题：大数据安全和隐私保护BigDataSecurityandPrivacyProtection导读：随着DT时代的到来，数据像石油一样成为一种战略资源，给社会生产生活带来了深远的影响。

唐名威·2020-06-29 16:56

《大数据》2015年第2期“前沿”——大数据技术发展的十个前沿方向（上）

大数据技术发展的十个前沿方向（上）吴甘沙英特尔中国研究院doi:10.11959/j.issn.2096-0271.2015023TenFrontiesforBigDataTechnologies(PartA

唐名威·2020-06-29 16:53

程序员深夜用Python跑神经网络，只为用中二动作关掉台灯

编译｜啤酒泡泡、曹培信来源｜大数据文摘（ID：BigDataDigest）原文｜MakeArtWithPython此前，关于关灯这件事，这一届网友永远不会让人失望，他们开发出了各种关灯大法：当然少不了憨豆先生最简单粗

weixin_45545884·2020-06-29 16:24

大数据实践--使用kafka和flume组合进行日志采集

之后输入下述命令开启zookeeper服务：zkServer.shstart输入：cd/home/user/bigdata/apache-flume-1.9.0-bin进入flume目录，之后输入：bin

这周写文章了吗·2020-06-29 15:31

Scala函数编程进阶

函数和变量一样，作为Scala的一等公民，函数可以直接赋值给变量；如：valhiData=hiBigData_valhiData=hiBigData_hiData("Spark")defhiBigData

SunnyMore·2020-06-29 14:33

用spark streaming实时读取hdfs数据并写入elasticsearch中

1、写sqoop脚本将mysql数据定时导入到hdfs中，然后用sparkstreaming实时读取hdfs的数据，并把数据写入elasticsearch中2、代码：packagecom.bigdataimportorg.apache.spark

小帅热爱难回头·2020-06-29 14:42

服务协调组件zookeeper

.zookeeper的安装3.1上传zk安装包3.2解压3.3配置（先在一台节点上配置）3.3.1添加一个zoo.cfg配置文件3.3.2修改配置文件（zoo.cfg）3.3.3在（dataDir=/bigdata

韩利鹏·2020-06-29 13:37

为什么现在越来越多的企业都在争相抢夺 Java大数据开发人才？

专业的来讲：大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优

金豆数据工程师·2020-06-29 13:12

HBase安装过程中遇到的问题

1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常，进程如下：[root@bigdata120~]#jps26341HMaster26642Jps7524NameNode7974NodeManager7521DataNode7974NodeManager7703SecondaryNameNode7870ResourceManager

weixin_44023894·2020-06-29 11:58

为什么人们不再热议“大数据”

作者｜WillOremus译者｜薛命灯编辑｜EmilyAI前线出品｜ID：ai-front2012年2月，纽约时报周日评论（SundayReview）版块一篇题为“大数据时代（TheAgeofBigData

AI前线·2020-06-29 09:28

Oracle 生成一张测试表并插入随机的个人基本信息数据

Oracle生成一张测试表并插入随机的个人基本信息数据表名（HIBOX_User_Bigdata）字段信息姓名性别民族员工籍贯员工工号（8位）员工政治面貌0=群众，1=少先队员，2=共青团员，3=党员、

HighBox·2020-06-29 09:44

Azkaban实战

Azkaba内置的任务类型支持command、java一、单一job案例（1）创建job描述文件[itstar@bigdata111jobs]$vimfirst.job#first.jobtype=commandcommand

故明所以·2020-06-29 08:00

5亿整数的大文件，怎么排序

问题给你1个文件bigdata，大小4663M，5亿个数，文件中的数据随机,如下一行一个整数：61963023557681612158020393452095006174677379343122016371712330287901712966901

VinneMe·2020-06-29 08:13

Hadoop伪分布式集群搭建

wgethttp://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz2、解压Hadoop压缩包mkdir/bigdatatar-zxvfhadoop

帅气陈吃苹果·2020-06-29 04:34

GitHub上7000+Star的Python常用代码合集，值得收藏！

作者|二胖并不胖来源|大数据前沿（ID:bigdataqianyan）今天二胖给大家介绍一个由一个国外小哥用好几年时间维护的Python代码合集。

Python大本营·2020-06-29 04:42

一个小兔子的大数据见解2

BigData阿里的大数据解决方案MAXCOMPUTEDATAWORKSQUICKBI1、Vmware增强2、1.1、VMware虚拟网络设备1.1.1、虚拟网卡、虚拟交换机虚拟网卡：宿主机有自己的网卡

会武术的科学家·2020-06-29 04:17

推荐频道

bigData