BIGDATA

注意，你的隐私将被大数据阴影包围！— 工业风向标

大数据（BigData）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
科易网·2020-08-24 01:26

Spark的driver理解和executor理解

为此我自己研究了一下，网友大多都说是对的有不同想法的请评论2.现在我有三台电脑分别是192.168.10.82–>bigdata01.hzjs.co192.168.10.83–>bigdata02.hzjs.co19
liweihope·2020-08-24 01:30

HBASE-1.2.4批量导入_ImportTsv

3、exportHADOOP_CLASSPATH=/home/takchi/Bigdata/hbase-1.2.4/lib/*:$HADOOP_CLASSPATH4、bin/hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.columns
挨踢的小胖·2020-08-24 00:25

3个线程顺序打印ABC

packagecom.imooc.bigdata.hbase.api;importjava.util.concurrent.ExecutorService;importjava.util.concurrent.Executors
Winmusic·2020-08-23 23:35

BigData – Join中竟然也有谓词下推!?

本文由网易云发布。在之前的文章中简要介绍了Join在大数据领域中的使用背景以及常用的几种算法－broadcasthashjoin、shufflehashjoin以及sortmergejoin等，对每一种算法的核心应用场景也做了相关介绍，这里再重点说明一番：大表与小表进行join会使用broadcasthashjoin，一旦小表稍微大点不再适合广播分发就会选择shufflehashjoin，最后，两
网易数帆·2020-08-23 23:35

软件测试开篇词-从“小工”到“专家”

面对势不可挡的ABC（AI+BigData+Cloud）技术浪潮，无论是从被测对象本身的复杂性、多样性和规模性来讲，还是从测试技术以及测试基础架构从无到
YuriDanny·2020-08-23 20:18

大数据Hive系列之Hive API

Maven依赖配置4.0.0com.volitation.hivebigdata-data-management1.0.0-SNAPSHOTjarUTF-81.84.111.2.12.1.1spring-milestoneshttp
王者的路注定孤独·2020-08-23 20:19

Linux

1.Linux系统常规设设置IP地址创建用户adduserkfkpasswordkfkExit文件中设置主机名vi/etc/sysconfig/network主机名映射vi/etc/hostsIP地址bigdata-pro01
土豆有点·2020-08-23 19:17

Spring Boot+高德地图热力图动态数据展示+MySQL

项目目录pom.xml4.0.0com.bigdatasid-web0.0.1-SNAPSHOTjarsid-webDemoprojectforSpringBootorg.springframework.bootspring-boot-starter-parent2.0.3
jy02268879·2020-08-23 17:32

BigData – Join中竟然也有谓词下推!?

转自：http://hbasefly.com/2017/04/10/bigdata-join-2/上文简要介绍了Join在大数据领域中的使用背景以及常用的几种算法－broadcasthashjoin、shufflehashjoin
严国华·2020-08-23 14:31

Big Data Management笔记02：MapReduce &Spark

BigDataManagement笔记02：MapReduce&SparkMapReduceMapReduceinHadoopShuffleSparkSparkArchitectureResilientDistributedDataset
MYJace·2020-08-23 13:44

使用neo4j存储树形无限级菜单

对于树形菜单，想必大家都不陌生，这种业务数据，由于量小，关系复杂，所以在关系型数据库中，存储的格式一般都如下所是：id,name,pid01,bigdata,00002,hadoop,01003,spark
三劫散仙·2020-08-23 11:28

冒泡排序算法思路

具体思路见转载：https://www.cnblogs.com/bigdata-stone/p/10464243.html
Nonechance·2020-08-23 08:13

Apache Phoenix 使用小记

ApachePhoenix使用小记phoenix建表语句在hbase的中namespace为bigdata中创建一个user表，将id和createTime作为主键ROWKEY，对边进行加盐分为10个Region
边跳舞边打代码的仔·2020-08-23 04:19

kafka练习测试

/kafka-topics.sh--zookeeperhd1.bigdata:2181,master1.bigdata:2181,master2.bigdata:2181--create--topicalbert
wzw12315·2020-08-23 04:02

单链表实现LRU Cache

packagealgo.linkedlist;/***Copyright(c)2020bigdataALLRightsReserved*Project:learning*Package:algo.linkedlist
HeartisTiger·2020-08-23 03:58

Kafka生产者之自定义分区器

自带的分区器，会根据key计算出来一个hash值，这个hash值会对应某一个分区如果key相同的，那么hash值必然相同，key相同的值，必然是会被发送到同一个分区3.自定义分区器packagecom.bigdata.test
HeartisTiger·2020-08-23 03:58

快速排序

packagesort;/***Copyright(c)2020bigdataALLRightsReserved*Project:learning*Package:sort*Version:1.0**@
HeartisTiger·2020-08-23 03:58

大数据入门：Spark+Kudu的广告业务项目实战笔记(二)

的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计packagecom.imooc.bigdata.cp08
大数据技术与架构·2020-08-23 03:04

利用Flink迁移MYSQL数据Demo

环境1Flink1.4.12java1.8+3mysql5.7+Demo需求利用Flink从MYSQL数据库迁移数据并对数据进行处理后将数据迁移到另一个MYSQL库案例代码packagecom.bigdata.flink.java.demo
菲橙·2020-08-23 03:01

Spark启动时出现Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configur

loggingto/home/hadoop/spark-1.6.0-cdh5.13.2/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-bigdata.outfail
Crazy丶魂仔_·2020-08-23 02:19

Spark快速入门

BasicsMoreonRDDOperationsCaching二、编写独立运行的应用程序本文主要内容来源于官方SparkQuickStart，spark版本为spark-2.4.6-bin-hadoop2.7，环境为Windows，spark路径为：D:\BigData
天一涯·2020-08-23 00:02

大数据学习路线2019版（附全套视频教程及网盘下载）

大数据（BIGDATA）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
weixin_30950887·2020-08-22 23:28

使用R语言进行主题发现（一）

步骤一：读取文本并进行预处理本实验中主要对从SCI引文数据库中关于bigdata的索引记录进行分析，文件后缀为，目录为c:\\data\\,具体代码为：#获取目录下所有的txt文本路径fileList<
weixin_30724853·2020-08-22 23:47

继“ABC”之后，“ABCD”又是个什么“鬼”？

随着百度举办ABCSummit，“ABC”理论逐渐被大家所熟知，即人工智能（AI）+大数据（BigData）+云计算（Cloud），然而，在近日举办的销售易用户大会“Engage2017”上，销售易首席数据科学家赵宇辰又提出了
科技峰行者·2020-08-22 22:45

hadoopHA(高可用)namenode节点配置故障自动转移失败

在配置ha高可用的配置中，按照网上博客教程配置hdfs的故障自动转移失败，举例来说：bigdata1和bigdata2这两个namenode节点配置完成后，将bigdata1设置为activebigdata2
盖世英雄来了·2020-08-22 22:26

HA集群 执行 hdfs haadmin -transitionToActive 失败

查看master上namenode启动日志，如下：IncompatibleclusterIDforjournalStorageDirectory/home/hadoop-zero/bigdata/dfs
贝格逮塔·2020-08-22 22:57

京东广告推荐机器学习系统实践

【转】http://bigdata.it168.com/a2016/0913/2915/000002915998.shtml包勇军，2014年4月加入京东数字营销业务部，参与组建并带领模型团队，自主研发出京东大规模机器学习平台
人称杨老师·2020-08-22 21:04

数据湖和数据中台是什么关系？终于有人讲明白了

作者：石秀峰来源：谈数据（ID：learning-bigdata）01那些让人眼花缭乱的概念不知道大家有没有发现，这几年的数据领域有好多的概念，例如：大数据、人工智能、物联网、边缘计算、数据治理、数据湖
大数据v·2020-08-22 20:52

Spark的driver理解和executor理解

为此我自己研究了一下，网友大多都说是对的有不同想法的请评论二、现在我有三台电脑分别是192.168.10.82–>bigdata01.hzjs.co192.168.10.83–>bigdata02.hzjs.co19
三 丰·2020-08-22 20:47

happyBase例子

参考路径：https://happybase.readthedocs.io/en/latest/1、安装模块pipinstallhappybase2、root@BigData-Dev-1:~#pythonPython2.7.6
TracyGao01·2020-08-22 18:25

hbase的高级特性之主从复制

主从复制hbase的主从复制是默认关闭的，如果需要该功能需要在hbase-site.xml开启因为hbase的配置文件很少，一般配置都配置在hbase-site.xml中同样我们测试时候使用一个伪分布的环境bigdata111
枣泥馅·2020-08-22 18:09

Alluxio介绍

附件参考资料:http://blog.csdn.net/lipeng_bigdata/article/details/50947891
u011180846·2020-08-22 18:03

Spark之BroadCast

packagecom.uplooking.bigdata.core.p3;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext
维维weiwei·2020-08-22 18:50

大数据【十三】Hadoop多个虚拟机运行start-dfs.sh和start-yan.sh出现问题 / no nodemanager to stop的问题

问题当时启动了XShell的功能，然后我一共有三个虚拟机：bigdata111和bigdata112和bigdata113.是完全分布式构造。
你的橙子·2020-08-22 18:11

BigData – Join中竟然也有谓词下推!?

欢迎访问网易云社区，了解更多网易技术产品运营经验。在之前的文章中简要介绍了Join在大数据领域中的使用背景以及常用的几种算法－broadcasthashjoin、shufflehashjoin以及sortmergejoin等，对每一种算法的核心应用场景也做了相关介绍，这里再重点说明一番：大表与小表进行join会使用broadcasthashjoin，一旦小表稍微大点不再适合广播分发就会选择shuf
yijian2595·2020-08-22 18:53

Machine Learning Scientist Sr at Robert Half

Itsagreatquestionandmeritssomeelaboration.Sotheshortanswerishadoopandsparkarenotevenapplestoapples.Letmeillustratethroughmyownpersonalexperience1.Sayacompanyiswantingtogetintothebigdataecosystem.Atypi
miller_lover·2020-08-22 17:51

Flink学习--EventTime和Watermarks案例实践

文章转载自：https://blog.csdn.net/xu47043...作者：bigdata1024侵删watermarks的生成方式有两种：1：WithPeriodicWatermarks：周期性的触发
小明的数据脚印·2020-08-22 16:38

Spark 广播变量的使用(Java版)

原文地址:https://www.cnblogs.com/learn-bigdata/p/10794881.html广播变量:主要应用与Driver创建的变量,在Executor端需要用到时,可以使用广播变量
QQ_2413096787·2020-08-22 16:54

AnalyticDB for MySQL技术架构解析

企业数据需求不断变化，近年来变化趋势日益明显，从数据的3V特性看：体积，速度和变化；BigData强调数据量，PB级以上，是静态数据。
阿里云云栖号·2020-08-22 13:23

python 连接数据库，查询结果写入数据到excel

excelimportpymysqlimportxlwtdefget_sel_excel(file_excel):#建立连接conn=pymysql.connect(host="100.100.100.0",port=3306,user="test",passwd="123",db="bigdata
weixin_33812433·2020-08-22 03:43

jsessionid问题解决方案

bigdatafish2016-11-2417:31jessionid会话盗用漏洞，现在是两种方案：1.方案一：用户IP和用户会话绑定，目前F5代理后获取不到真实机器的IP，2.方案二：判断jessionid
师太，老衲把持不住了·2020-08-22 03:46

AnalyticDB for MySQL技术架构解析

企业数据需求不断变化，近年来变化趋势日益明显，从数据的3V特性看：体积，速度和变化；BigData强调数据量，PB级以上，是静态数据。
阿里云云栖号·2020-08-22 02:37

将安全开发流程扩展到云和大数据

英文原文：Extendyoursecuredevelopmentprocesstothecloudandbigdata简介：云计算和大数据正在改变着企业。
原文链接·2020-08-22 01:18

Tinghua Data Mining

=Listening数据WhatisBigData?BigData:DataMningDataIntegration&AnalasisTheProcessofDataMiningDM
aihuo4431·2020-08-22 01:16

Failed to mount tmpfs at /run: Operation not permitted [!!!!!!] Failed to mount API filesystems, fre

错误信息：[docker@bogon~]$dockerrun-it-hslave02--nameslave02coca123/bigdataFailedtomounttmpfsat/run:Operationnotpermitted
coca丶丶·2020-08-21 21:54

电影评分分析-大数据项目

数据集还存放在了Hive上，表名为“bigdata_cases
海贼工作室·2020-08-21 21:54

mongoDB4.2.8备份恢复与导出导入

创建备份目录：mkdir-p/bigdata/mongodb-4.2.8/mongodump语法：mongodump-hlocalhost:27017-ddmp_phone-o/bigdata/mongodb
浅汐王·2020-08-21 20:52

大数据笔记-zookeeper

单机版的ZooKeeper～～＞步骤：①解压：tar-zxvfzookeeper-3.4.6.tar.gz配置环境变量：vim/etc/profile.d/bigdata.sh添加配置信息：#profilezookeperexportZK_HOME
JulyTail·2020-08-21 17:33

kafka windows 搭建 及 Java客户端Demo

环境搭建zookeeper-3.4.10：1.配置zookeeper的配置文件conf/zoo.cfgdataDir=D:/bigdata/zookeeper-3.4.10/data其他参数默认2.启动
bartonJing·2020-08-21 13:51
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他