bigData

Hadoop之Spark框架研究相关知识汇总

内容简介：一、Spark初现二、Spark—大数据BigData处理框架三、Spark与Hadoop之比较一、Spark初现Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。
zhongwen7710·2020-07-10 14:43

java字符串中多个空格替换成一个空格

欢迎访问：西北工业大学-大数据与知识管理研究室（NorthwesternPolytechnicalUniversity-BigDataandKnowledgeManagementLab），链接：http
HamaWhite·2020-07-10 12:38

一、大数据技术与应用学习日志第一篇

在百度百科中对大数据的词条有以下解释：  对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。
wxiaokai_·2020-07-10 12:43

Spark实现根据学科取得最受欢迎的老师的topn（简单优化及自定义分区）

Spark实现TopN问题这是数据：http://bigdata.edu360.cn/laozhanghttp://bigdata.edu360.cn/laozhanghttp://bigdata.edu360
wlk_328909605·2020-07-10 12:27

HCIA-BigData HDFS实验

第一次接触HDFS需要注意:在linux中使用hdfs时要把linux的文件系统和hdfs文件系统分开,两个文件系统容易搞混1.查看命令使用说明2.查看linux文件系统和hdfs文件系统的根目录3.在HDFS文件系统上创建/test/test1目录4.将本地文件test.txt放到HDFS指定目录/test/test15.将HDFS文件系统的/test/test1目录下的test.txt文件下载
TKE_kolento.·2020-07-10 11:57

【2015年第4期】大数据技术发展的十个前沿方向（下）

大数据技术发展的十个前沿方向（下）吴甘沙英特尔中国研究院doi:10.11959/j.issn.2096-0271.2015044TenFrontiesforBigDataTechnologies(PartC
唐名威·2020-07-10 11:25

专业英语

前沿技术大数据bigdata：Adatasetswithlargedataandcomplexdata,whichcannotbecaptured,managed,andprocessedbyconventionalsoftwaretoolswithinacertaintimerange.Anditneedsnewprocessingmodetohavesomestrongerabilities
分子( • ̀ω•́ )✧·2020-07-10 11:12

我对大数据的看法

我对大数据的看法2015年02月28日17:03:59我爱小源阅读数：4900大数据大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、
weixin_30919429·2020-07-10 07:33

面试：谈谈你对大数据的理解

大数据概念：大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
weixin_30776545·2020-07-10 06:24

Linux文件已删除，引用未释放（deleted）

大量剩余的磁盘空间不清楚怎么丢失了…问题重现：通过指令：lsof|grepdeleted指令，查看当前系统句柄未释放情况[root@bigdata-hadoop2:/proc/21893/fd]#lsof
敲代码的水獭·2020-07-10 05:41

读书笔记：《大数据时代 BIG DATA》

《大数据时代BIGDATA》维克托.迈尔-舍恩伯格/肯尼思.库克耶著(2014年读到的一本书，温故而求知新）大数据，量变到质变。
Rolei_zl·2020-07-10 04:25

大数据基本概念

1.1、大数据概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
打开世界的源代码·2020-07-10 03:52

Spark之TopN

packagecom.uplooking.bigdata.core.p3;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
维维weiwei·2020-07-10 03:56

pytorch实践中module 'torch' has no attribute 'form_numpy'问题的解决

在测试torch最基本的示例的情况下，居然碰到了个pytorch无法转化numpy为Tensor的问题，呈现的问题如下：ndscbigdata@ndscbigdata:~/work/change/AI$
sparkexpert·2020-07-10 02:18

Spark SQL用UDF实现按列特征重分区

欢迎关注，浪尖公众号，bigdatatip，建议置顶。
大数据星球-浪尖·2020-07-10 01:48

springboot主项目打包，找不到符号，程序包不存在

主项目maveninstall打包报错如下：项目结构，主项目data-center，集成bigdatabi项目、datahub项目：1、主项目data-center结构如图2、bigdatabi项目如图
qq_42714869·2020-07-10 00:09

纽约出租车 spark分析 Echart可视化

实验github仓库：https://github.com/zx4321/BigDataVisualizationhttps://github.com/zx4321/BigDataSpark1.问题描述题号
qq_39529154·2020-07-09 23:07

hadoop jar 执行错误

另一种是打成Runnablejar这两种方式在使用hadoopjar的时候是不一样的，如果是直接打成jar，就是那种文件非常小的那种方式：那么运行的方法是：hadoopjarmr1.jarcom.thp.bigdata.wcdemo.WordcountDriver
汤愈韬·2020-07-09 23:08

大数据技术时代的发展

大数据（bigdata），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
山山不川·2020-07-09 20:01

用16G内存在Java Map中处理30亿对象

转自http://www.coderli.com/translate-java-collections-bigdata-mapdb在一个下雨的夜晚，我在思考Java中内存管理的问题，以及Java集合对内存使用的效率情况
lmiky·2020-07-09 19:55

如何合理设置hadoop相关组件的jvm Xmx

No,我说的不仅仅是这个问题，比如，你看到/usr/local/bigdata/jdk/bin/java-Xmx2048m-Djava.net.preferIPv4Stack=true-Dhadoop.log.dir
梅降雪·2020-07-09 19:02

Market Guide for AIOps Platforms

id=1-5UWPRFW&ct=181126&st=sbAIOpsplatformsenhanceIToperationsthroughgreaterinsightsbycombiningbigdata
dechen6073·2020-07-09 15:13

大数据技术原理与应用 第二章 大数据处理架构Hadoop

厦门大学林子雨老师课程——大数据技术原理与应用学习笔记参考资料：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson01.Hadoop的核心是分布式文件系统
chenhui229·2020-07-09 14:15

vmware10上三台虚拟机的Hadoop2.5.1集群搭建

安装参考博客：1http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/2http://f.dataguru.cn/thread-18125
baixlzju·2020-07-09 13:06

个人对大数据概念的理解（知识结构）

可以无限扩展，简单廉价的服务器或者PC端就可以大数据的起源（鼻祖）：google的三大论文GFS-------产生HDFS分布式文件系统（分布式的存储）MapReduce---------分布式的处理BigData
Lewis.Lee·2020-07-09 13:10

AI助力数字化转型：亚信参展MWC亮点抢先看

作为本届大会的参展商之一，第二次参加MWC上海的亚信科技也将以“使能智慧运营助力数字化转型”为主题，在展会上全面展示自己在IoT物联网、AI人工智能、BigData大数据、SDN/NFV、DevOps、
趣味科技v·2020-07-09 12:36

年薪50万的BD和AI人才即将在第五届CCF大数据与计算智能大赛中脱颖而出

2017第五届中国计算机学会（CCF）大数据与计算智能大赛(BigData&ComputingIntelligenceContest,简称“BDCI”)启动仪式于9月24日在北京梅地亚中心酒店正式启动。
Z1Y492Vn3ZYD9et3B06·2020-07-09 12:47

伟大前程与技术难关：量子机器学习该如何走进现实？

在我们描述21世纪刚刚过去的第二个十年的技术版图中，人工智能（AI）、大数据（BigData）、云计算（Cloud）、物联网（IoT）是几个无论如何也绕不开的术语。
脑极体·2020-07-09 11:31

Bigdata and Deep Learning Lecture points(1)

LiDengfromMicrosoftResearch,gaventhelectureatPekingUniversityatJuly11-12,2015.Link:普适计算与大数据BasicsWhatisDeepLearninghttps://en.wikipedia.org/wiki/Deep_learningDeeplearninlgisabranchofMachineLearningbas
勃兰登堡公爵·2020-07-09 10:17

HDFS的类学习和API基本操作

conf=newConfiguration();conf.set("fs.defaultFS","hdfs://bigdata:9000");conf.set("dfs.client.use.datanode.hostname
Tanglement·2020-07-09 10:00

大数据如何改善社会治理

与此同时，国外学术界和政府管理部门近年来也发起了一项“大数据社会福祉”(BigDataforSocialGood)运动。与我国的目标相似，该运动也尝试将大数据技术与社会治理相结合，以数据驱动的方式应
weixin_33841503·2020-07-09 09:16

基于大数据的线上线下电商用户数据挖掘研究

From：http://www.thebigdata.cn/JieJueFangAn/11932p2.htmlOnline-to-Offline(简称O2O)电子商务模式，是一个连接线上用户和线下商家的多边平台商业模式
weixin_30527551·2020-07-09 09:20

java实现mqtt连接池

publicclassServerMQTTPool{/***链接池对象*/privatestaticListmqttList=null;privateListmysqldumplist=(newBigdataAlltopicService
深刻。·2020-07-09 08:33

【论文笔记】Beyond the Patchwise Classification：SSFCN for HIC

:Spectral-SpatialFullyConvolutionalNetworksforHyperspectralImageClassification,”inIEEETransactionsonBigData
immortal12·2020-07-09 08:56

java 调用接口代码实例

packagecom.zhuoshi.jcbigdata.spark.jinjingzheng;importjava.io.BufferedReader;importjava.io.InputStreamReader
旋奘·2020-07-09 08:24

MySQL高级学习（9）存储过程练习

1.建表#新建库createdatabasebigData;usebigData;#1建表deptCREATETABLEdept(idINTUNSIGNEDPRIMARYKEYAUTO_INCREMENT
星河Galaxy·2020-07-09 07:24

漫谈分布式系统(3) -- 再也不怕存不下

关注公众号「漫谈大数据」（ID:sobigdata），听我娓娓道来。也欢迎转发朋友圈分享给更多人。
秦夏·2020-07-09 07:40

一些开放的可以调用的API接口

haoservice、阿凡达、数据堂、apix、通联api接口汇总的平台——apistore、京东万象、阿里云、数据宝、数粮楼上提的百度和聚合都是挺有代表性的，如果真找好玩的，可以去google一下，或者看看bigdatalandscape
面壁思过程·2020-07-09 07:26

TD-IDF在spark中的使用(ml方式)

现在我写了一个比较完整的例子来展示一下,该例子包含了数据导入(为了统一,将文件导入了数据库),处理,以及结果导出功能.importorg.apache.spark.mllib.linalg.Vectorimportcom.zte.bigdata.vmax.machinelearning.common
zrc199021·2020-07-09 06:34

你我的大数据

其实大数据是一种商业上的叫法，跟概率学有关，大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能
西部先生·2020-07-09 03:49

大数据培训：生活中这些场景都用到了大数据

来源：千锋大数据一、什么是大数据大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产
程序员日常·2020-07-09 03:25

Giraph源码分析（四）—— Master 如何检查Worker启动成功

欢迎大家加入Giraph技术交流群：228591158欢迎访问：西北工业大学-大数据与知识管理研究室（NorthwesternPolytechnicalUniversity-BigDataandKnowledgeManagementLab
HamaWhite·2020-07-09 02:03

Mapreduce的简单实现和步骤

packagecom.qfedu.bigdata.MR;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path
林筱·2020-07-08 20:53

IntelliJ IDEA pycharm win10连接访问虚拟机hdfs目录（使用插件）hadoop

BigDataTools，pycharm下也有
kukufufu·2020-07-08 19:06

大数据BigData之Hive的结构

文章目录  1.Hive结构介绍  2.结构描述    2.1用户接口主要有三个：CLI，Client和WUI    2.2Hive将元数据存储在数据库中，如mysql、derby    2.3解释器、编译器、优化器、执行器  3.Hive和普通DB的异同  4.元数据  5.数据存储1.Hive结构介绍Hive构建在Hadoop的HDFS和MapReduce之上，用于管理和查询结构化/非结构化数
weixin_34216036·2020-07-08 17:12

阿里代志远：借鉴Google MegaStore 探索分布式关系型数据库

>>>摘要：HBTC2012(Hadoop&BigDataTechnologyConference2012）即将召开，为了让读者可以提前了解一下目前国内各个公司在Hadoop和大数据方面的运用，CSDN
weixin_33816946·2020-07-08 15:41

storm+mysql集成

使用storm自带的JdbcInsertBolt插入数据maven4.0.0com.sid.bigdatastorm0.0.1jarstormhttp://maven.apache.orgUTF-81.1.1org.apache.stormstorm-core
piziyang12138·2020-07-08 13:25

数据治理工具

DataGovernanceTools-EvaluationCriteria,BigDataGovernance,内容：前言第一部分：导论：1：数据治量简介定义案例分析数据治理的支柱摘要2：企业数据管理参考架构
半_调_子·2020-07-08 12:30

何为大数据

百度百科定义：大数据（bigdata），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
我的笨毛毛·2020-07-08 11:06

使用 Pandora 平台轻松玩转大数据

大数据（英语：Bigdata），又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。
七牛云·2020-07-08 08:47
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他