BIGDATA 第23页

Linux基本命令大全

一、Linux命令行[user@bigdata~]$[root@bigdata~]#1、user、root当前操作的用户；2、@bigdata当前的主机名；3、~当前用户主目录，如/home/user；

凌夺风·2020-09-17 07:23

Spark的开窗函数demo+解析：

源文件内容示例：http://bigdata.beiwang.cn/laolihttp://bigdata.beiwang.cn/laolihttp://bigdata.beiwang.cn/haiyuanhttp

Lyy1016·2020-09-17 05:03

日华媒：大数据让中日地方经济分出“明暗”

日本《新华侨报》6月6日文章，原题：大数据在让中日地方经济分出“明暗”第一次听到日文的“BigData”这个词时，为到底翻译成“海量数据”还是“大数据”，费了一些周折。

weixin_33888907·2020-09-17 05:24

Oralce GoldenGate与Kafka集群集成

本文介绍如何配置OracleGoldenGate同步数据到Kafka，包括OGG源端安装配置，OGGforBigDatareplication安装配置，以及如何与Kafka集群集成。

Warren·2020-09-17 05:01

oracle goldengate for bigdata

--安装需要的软件包：#yum-yinstallrlwrapunzip--解压软件：#unzipOGG_BigData_Linux_x64_12.3.2.1.1.zipArchive:OGG_BigData_Linux_x64

vkingnew·2020-09-17 05:57

OGG-03059 Operating system character set identified as UTF-8.

viewreportRITPUX01***********************************************************************OracleGoldenGateforBigDataVersion12.3.2.1.1

Pluto_W-J·2020-09-17 04:59

【Kafka】 kafka集群升级导致broker.id发生变动变动引起的问题

1.概述转载：http://791202.com/2020/02/01/bigdata/362/2.详情最近遇到一个问题，由于kafka集群升级导致每个broker.id出现了变动，但是topic的partition

九师兄·2020-09-17 02:18

hive安装配置

1、解压hive压缩包到/opt/bigdata/hadoop下2、把hive文件夹名修改成hive110方便阅读操作3、在hive110/conf下新增hive-site.xml文件4、将mysql-java

yu247809536·2020-09-17 02:04

ZooKeeper的安装详细图解

1、解压文件到/opt/bigdata/hadoop,照着图中代码修改文件名，创建软链接2、如果zookeeper中光标闪动则软链接创建成功3、修改配置文件4、在zkdata创建一个myid文件加1，2

yu247809536·2020-09-17 02:04

用Maven来开发Hadoop应用

4.0.0com.xxx.yyybigdata1.0-SNAPSHOTapachehttp://maven.apache.orgorg.apache.hadoophad

Herry_Lee·2020-09-17 01:40

继“ABC”之后，“ABCD”又是个什么“鬼”？

随着百度举办ABCSummit，“ABC”理论逐渐被大家所熟知，即人工智能（AI）+大数据（BigData）+云计算（Cloud），然而，在近日举办的销售易用户大会“Engage2017”上，销售易首席数据科学家赵宇辰又提出了

写bug的小妞儿·2020-09-16 18:22

hive导出csv文件

hive-e'sethive.execution.engine=tez;sethive.cli.print.header=true;sethive.resultset.use.unique.column.names=false;select*fromxyy_bigdata_ods.user_city_tag

时间_实践·2020-09-16 15:52

Linux_BigData常用配置/命令

文章目录Linux双网卡配置HadoopZookeeperHBase单机HiveHive表操作HiveSQL操作Hive函数FlumeKafkaKafkaStreamingSparkFlinkLinux双网卡配置vi/etc/sysconfig/network-scripts/ifcfg-eth0#配置网卡/更改IPrm-rf/etc/udev/rules.d/70-persistent-net.

HuiGe94v587·2020-09-16 12:23

Spark学习笔记一之为什么Spark这么牛逼

2015年6月，Spark最大的集群来自腾讯——8000个结点，单个Job最大来自阿里巴巴和Databricks——1PBUseofMapReduceengineforBigDataprojectswilledecline

Shockang·2020-09-16 11:06

java大数据最全课程学习笔记(1)--Hadoop简介和安装及伪分布式

目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的giteepagesHadoop简介和安装及伪分布式大数据概念大数据概论大数据(BigData):指无法在一定时间范围内用常规软件工具进行捕捉,

假装文艺范儿·2020-09-16 11:08

Qt笔记-多线程检索数据库（单例多重锁，QtConcurrent::blockingMapped）

程序运行截图如下：这里有下面这个类BigDataTest对数据进行的类。MySQLInstance采用单例双重锁模式对数据库进行操作。

IT1995·2020-09-16 09:51

将一个js项目改造成vue项目

本地环境:node版本:8.11.4vue版本:3.4.1;开发工具vscode1、创建一个空的vue项目（vuecreatebigdata_reprot_web）2、找到项目的空白页,改造该页面改造思路

weixin_30344795·2020-09-16 08:19

大数据时代

一、大数据出现的背景进入2012年，大数据(bigdata)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

明耀先森·2020-09-16 07:08

maven-plugin集合

不多说，直接上pommaven-assembly-pluginfalsejar-with-dependenciescom.pack.bigdata.test.KafkaClientTestorg.apache.maven.pluginsmaven-war-plugin2.2UTF

小蜗牛也有梦想·2020-09-16 07:42

Hue遇到SASL报错

服务之后，连接Hive，运行Hql遇到这个错误：CouldnotstartSASL:Errorinsasl_client_start(-4)SASL(-4):nomechanism解决办法：[root@bigdatatest03

XK&RM·2020-09-16 06:53

Debezium for PostgreSQL to Kafka

wediscussthenecessityofsegregatedatamodelforreadandwriteanduseeventsourcingforcapturedetaileddatachanging.Thesetwoaspectsarecriticalfordataanalysisinbigdataworld.Wewillcomparesomecandida

weixin_30432007·2020-09-16 04:50

大数据学习笔记六（MapReduce）

的两大核心是HDFS和MapReduce，HDFS是分布式文件系统，而MappReduce的工作是进行数据处理推荐MapReduce学习链接：http://dblab.xmu.edu.cn/post/bigdata-online-course

绿洲守望者·2020-09-16 03:27

浅说“迁移学习”（Transfer Learning）

2019独角兽企业重金招聘Python工程师标准>>>——原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。什么是迁移学习？

weixin_33788244·2020-09-16 01:19

Flink web UI的使用介绍

:flinkrun-myarn-cluster-cflink.window.FlinkWindowDemo-yn2-ys4-nmhbase-yjm2048-ytm2048-p9/home/jason/bigdata

JasonLee'blog·2020-09-16 00:22

Generate input file for OVITO

2usingSystem.Collections.Generic;3usingSystem.IO;4usingSystem.Linq;5usingSystem.Text;6usingSystem.Threading.Tasks;78namespaceappbigdata9

weixin_34056162·2020-09-16 00:18

Scala 集合之 Map

想要可变的类型需要引包不可变(默认:):scala.collection.immutableMap()可变:scala.collection.mutablemutable.Map()packagecom.huadian.bigdata.gatherobjectMapDemo

不觉-·2020-09-15 23:32

sparkstreaming和kafka集成知识回顾

高级的API，自动维护偏移量，达到固定时间才进行处理，效率低，并且容易丢失数据Direct直连方式，相当于直接连到kafka的分区上，使用kafka底层的API，效率高，需要自己维护偏移量启动kafka/bigdata

Show_Action·2020-09-15 21:09

算法可视化：把难懂的代码画进梵高的星空

转自：大数据文摘|bigdatadigestO'ReillyData获转载授权独立心灵的力量被高估了……真正的力量源自于外部能提高认知能力的帮助。——唐纳德本文重点研究算法。

OReillyData·2020-09-15 21:08

2015“泛在测绘与位置大数据应用”国际工程论坛

The2015InternationalCAESymposiumonUbiquitousSurveying,MappingandBigDataofLocations2015“泛在测绘与位置大数据应用”国际工程论坛李德仁

weixin_30315905·2020-09-15 20:57

Elasticsearch6.5.*集群搭建

一、环境准备(一)、新增用户启动Elasticsearch需要使用非Root用户，否则会报错这里新增一个bigdata用户useraddbigdata#为用户添加密码：passwdbigdata#将

黑尾土拨鼠·2020-09-15 20:00

Linux下/var/spool/postfix/maildrop 的作用与清理

Linuxの/var/spool/postfix/maildrop的作用与清理在对公司老旧服务器进行巡检的时候，发现有一台服务器的空间被占满，遂进行检查清理[root@bigdata~]#df-hFilesystemSizeUsedAvailUse

yahaha我去·2020-09-15 20:02

星环一站式大数据平台-4.6

平台：arm类型：ARM模板软件包：星环一站式大数据平台basicsoftwarebigdatahadooptdhtostranswarp大数据星环科技星环一站式大数据平台云操作系统服务优惠价:按服务商许可协议云服务器费用

zangdalei·2020-09-15 18:43

hadoop,pySpark环境安装与运行实战《一》

1）安装javajdk下载javajdk并在~/.bash_profile配置,jdkmac路径查找方式#exportJAVA_HOME=/Users/wangyun/Documents/BigData

爬虫研究僧·2020-09-15 18:24

PySpark之算子综合实战案例《三》

flatmap进行切分成单词，然后进行map转化成（k，num），再通过reducebykey累加，defwordCount():#file='file:///Users/wangyun/Documents/BigData

爬虫研究僧·2020-09-15 18:24

基于Docker Centos7容器搭建Docker Swarm集群

dockerrm-f$(dockerps-aq)一次性删除全部镜像dockerrmi-f$(dockerimagels)反向删除镜像dockerrmi-f$(dockerimagels|grep-vcentos7-bigdata1

zhengzaifeidelushang·2020-09-15 16:19

02 数据运算控制流

袋熊饲养员·2020-09-15 15:25

Flink消费Kafka数据写入Elasticsearch

packagecom.bigdata.flink.sinks;importcom.bigdata.project.utils.FlinkUtils;importorg.apache.flink.api.common.functions.RuntimeCont

weixin_43861104·2020-09-15 15:54

Research Path Milestone

IamnowpursuingPh.D.DegreeinShanghaiJiaoTongUniversity,advisedbyProf.YongYu.Myresearchinterestsincludebigdatamining

南极光·2020-09-15 14:57

Spark SQL数据源

1.数据源1：JDBC1.1使用load方法连接JDBC读取数据packagecom.bigdata.spark.day1021importjava.util.Propertiesimportorg.apache.log4j

米斯特拉克·2020-09-15 14:32

微博消息分析-大数据项目

数据集还存放在了Hive上，表名为“bigdata_cases.post”。各字段的定义为：字段定义PostId微博标识符UserId用户标识符UtcTime微博发布的标准Unix时

海贼工作室·2020-09-15 14:00

大数据入门：Spark+Kudu的广告业务项目实战笔记(二)

第一章点这里传送1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计packagecom.imooc.bigdata.cp08.businessimportcom.imooc.bigdata.cp08

Tai_Park·2020-09-15 14:05

Spark Sql 小文件问题

参考：https://github.com/Intel-bigdata/spark-adaptivehttp://spark.apache.org/docs/latest/configuration.html

RunTravis·2020-09-15 13:34

管道过滤模式大数据_大数据管道配方

管道过滤模式大数据介绍(Introduction)IfyouarestartingwithBigDataitiscommontofeeloverwhelmedbythelargenumberoftools

weixin_26713521·2020-09-15 11:38

netty echo 例子

//ECHO协议，服务器实现packagecom.bigdata.jboss.basic;importorg.jboss.netty.channel.Channel;importorg.jboss.netty.channel.ChannelHandlerContext

iteye_19462·2020-09-15 10:23

rc

转载于:https://www.cnblogs.com/yueyebigdata/p/8662117.html

weixin_34221775·2020-09-15 09:12

Windows连接Linux虚拟机里面的Docker容器

二、操作2.1关闭Linux中的防火墙[root@bigdata~]#systemctlstopfirewalld.servi

weixin_33850890·2020-09-15 09:39

生成百万条测试数据的sql

1、建表#新建库createdatabasebigData;usebigData;#1建表deptCREATETABLEdept( idINTUNSIGNEDPRIMARYKEYAUTO_INCREMENT

Matrix_Dev·2020-09-15 09:01

大数据并不总是意味着很大

http://bigdataanalyticsnews.com/big-data-doesnt-always-mean-big/大数据并不总是意味着很大随着技术的发展，现在的趋势是几乎每个公司都将大数据当作重点

橘子派·2020-09-15 08:44

spark云计算环境下的大数据

标题：aparallelrandomforestalgorithmforbigdatainasparkcloudcomputingenvironment摘要【如何高效且准确地从数据集中获取有价值的知识】

代码_c·2020-09-15 05:47

推荐频道

BIGDATA