imf

IMF SparkStreaming 自定义EventLoop 从入门到放弃

1、自定义一个IMFEventLoop2、自定义一个IMFEventLoopTest测试类运行结果com.dt.spark.sparkstreaming.IMFEventLoopTest=====IMFEventLoopfromlearntogiveup!=========IMFEventLoop的start调用onstart,unitIMFEventLoop的构造函数启用了一个线程，eventT
段智华·2016-05-15 21:26

第3课：通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming

第一部份课堂的第一部份是用IMF晚上案例实战课的程序再运行一次，把数据再次输入数据库里面，从图一你可以看出里面有很多运行细节，例如receiver.ReceiverSupervisor，receiver.BlockManager
IMF-无情JC·2016-05-09 21:00

印度的不良贷款问题是全亚洲最差

国际货币基金组织（IMF）
xueyuluochen·2016-05-05 15:00

第3课：通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming

第3课：通过案例对SparkStreaming透彻理解三板斧之三：解密SparkStreaming  1、DT大数据梦工厂微信公众号DT_Spark  2、IMF晚8点大数据实战YY直播频道号：68917580
葛晨鑫·2016-05-04 20:00

imf大数据：第95课：streaming实战，实现在线热搜索词

importorg.apache.spark.SparkConf importorg.apache.spark.streaming.{Duration,Seconds,StreamingContext} objectclass_95_OnlineHottestItems{ /***使用Scala开发集群运行的Spark在线黑名单过滤程序*@authorDT大数据梦工厂*新浪微博：http:/
freshghost1·2016-05-02 16:00

IMF SPARK 源代码发行定制班 预习课程 Spark框架源码的调试 (2) 从master worker main入口进行调试

1.在Master所在节点的conf/spark-env.sh脚本中添加以下配置：exportSPARK_MASTER_OPTS="$SPARK_MASTER_OPTS-Xdebug-server-Xrunjdwp:transport=dt_socket,address=5005,server=y,suspend=y"2.stoproot@master:/usr/local/spark-1.6.1
duan_zhihua·2016-05-02 12:00

IMF SPARK 源代码发行定制班 预习课程 IDEA Spark应用程序的调试 (1)从SparkSubmit入口进行调试

IDEASpark应用程序的调试从SparkSubmit入口进行调试1.下载spark-1.6.1登录官网http://spark.apache.org/2.安装IntelliJIDEA。进入下载页面：http://www.jetbrains.com/idea/download/，选择对应版本，下载并安装到集群中某个节点上192.168.189.2（作为后续调试时的IDE）。3.将IDEA、IDE
段智华·2016-05-01 18:20

IMF SPARK 源代码发行定制班 预习课程 IDEA Spark应用程序的调试 (1)从SparkSubmit入口进行调试

 IDEASpark应用程序的调试从SparkSubmit入口进行调试1.下载spark-1.6.1登录官网http://spark.apache.org/2.安装IntelliJIDEA。进入下载页面：http://www.jetbrains.com/idea/download/，选择对应版本，下载并安装到集群中某个节点上192.168.189.2（作为后续调试时的IDE）。 3.将IDEA、I
duan_zhihua·2016-05-01 18:00

[置顶] 第86课 SparkStreaming数据源Flume实际案例分享

本课是由DT大数据梦工厂推出的IMF传奇行动Spark课程的第86讲，本课内容如下：（1）什么是Flume；（2）Flume+Kafka+SparkStreaming应用场景；（3）Kafka数据写入SparkStreaming
DT_Spark·2016-04-28 10:00

第89课 SparkStreaming on Kafka解析和安装实战

本课是由DT大数据梦工厂推出的IMF传奇行动Spark课程的第89讲，本课分两部分讲解：（1）Kafka的概念、架构和用例场景；（2）Kafka的安装和实战。
DT_Spark·2016-04-26 18:00

spark spark streaming + kafka direct方式消费消息

方式消费消息 前提：spark安装成功，spark1.6.0zookeeper安装成功kafka安装成功集群环境见：《0423_SparkStreaming数据源kafka解析和安装配置及测试实战预习》，请在IMF
柯里昂·2016-04-25 06:00

hdfs架构分析与第一个hdfs应用程序

参考王家林大数据IMF系列场景hdfs架构分析与第一个hdfs应用程序分析HDFS架构.主从结构-主节点，只有一个：namenode(HA下会有多个NameNode)-从节点，有很多个：datanodes.namenode
PENGYUCHENG32109·2016-04-24 16:00

VM 虚拟机固定IP方法

如下操做可以固定IP取消DHCP选项，记住DHCP下子网IP和子网掩码记下网关进入虚拟机，右上角设置手动并配上IP，网关和DNS一样感谢DT_大数据梦工厂IMF成员，北京-Yasser的知识分享。
柯里昂·2016-04-23 10:00

第87课 Flume推送数据到SparkStreaming案例实战和内幕源码解密

本课是由DT大数据梦工厂推出的IMF传奇行动Spark课程的第87讲，本期内容有：（1）FlumeonHDFS案例回顾（2）Flume推送数据到SparkStreaming实战（3）原理绘图剖析一、FlumeonHDFS
DT_Spark·2016-04-22 14:00

IMF传奇行动第82课：Spark Streaming第一课：案例动手实战并在电光石火间理解其工作原理

流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等；通信时代的手机、平板、智能设备、物联网等会产生很多实时数据，数据流无
csdn_zf·2016-04-17 12:00

第84课 StreamingContext、DStream、Receiver深度剖析

本课是由DT大数据梦工厂推出的IMF传奇行动Spark课程的第84课，本期内容主要有：（1）StreamingContext功能及源码剖析；（2）DStream功能及源码剖析；（3）Receiver功能及源码剖析
DT_Spark·2016-04-07 14:00

两性战争不只在和颐酒店，更在职场

编者按昨天被某女生在某酒店遭遇危险一幕刷屏，心惊之余，联想到了一桩旧闻：2011年5月国际货币基金组织（IMF）总裁多米尼克·斯特劳斯-卡恩(DominiqueStrauss-Kahn)因涉嫌性侵女服务员而成为新闻焦点
中欧商业评论·2016-04-07 00:00

IMF百日大喜超大活动

为庆祝IMF百日大喜，回馈众粉丝关注与厚爱，同时感谢IMF成员的合作与支持，DT大数据梦工厂特别推出IMF百日庆典领红包及现场报名IMF享有最大幅度优惠价格活动！
sunharvey·2016-03-26 19:02

IMF 传奇行动 启动SPARK master无法启动 内存不够问题解决) failed to map 715849728 bytes for committing reserved memory.

[root@masterhadoop]#cd/usr/local[root@masterlocal]#lsapache-hive-1.2.1hadoop-2.6.0libsharebinIMFdatatestlibexecspark-1.0.0-bin-hadoop1derby.logIMFlinuxshellmetastore_dbspark-1.6.0-bin-hadoop2.6etcincl
段智华·2016-03-13 20:51

IMF 传奇行动 启动SPARK master无法启动 内存不够问题解决) failed to map 715849728 bytes for committing reserved memory.

[root@masterhadoop]#cd/usr/local[root@masterlocal]#lsapache-hive-1.2.1 hadoop-2.6.0  lib          sharebin               IMFdatatest   libexec      spark-1.0.0-bin-hadoop1derby.log         IMFlinuxshe
duan_zhihua·2016-03-13 20:00

中国税负低于发达国家？刘士余想引导外资入市! | 财经日日评

2015年中国宏观税负29.1%按国际货币基金组织（IMF）统计口径，2015年中国宏观税负均为29.1%，计入土地出让净收益后为30.1%，低于世界平均38.8%的水平，而且既明显低于发达国家平均42.8%
吴晓波频道·2016-02-24 00:00

Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结(DT大数据梦工厂)

内容：1、分配Driver(Cluster)；2、为Application分配资源；3、两种不同的资源分配方式彻底解密；4、Spark资源分配的思考；Spark最最重要的，这个内容每个IMF成员必须掌握
feiweihy·2016-02-20 13:25

IMF前期知识储备-What is Spark详细讲解（四大特性）

Spark官方网站使用如下简洁的语言描述了Spark我们可以从中提取出如下信息：Spark是一个引擎快速通用Spark可以用来处理数据数据是大规模的Spark本身并不提供数据存储能力，它只是一个计算框架它的快速体现在什么地方呢？如果处理的数据在内存中，运行MapReduce比hadoop要快100倍以上，要是数据在磁盘中，也比Hadoop快10倍以上。为什么会快呢，Spark在处理数据的时候，使用
lqding1980·2016-02-16 17:23

IMF前期知识储备-What is Spark详细讲解（四大特性）

Spark官方网站使用如下简洁的语言描述了Spark我们可以从中提取出如下信息：Spark是一个引擎快速通用Spark可以用来处理数据数据是大规模的Spark本身并不提供数据存储能力，它只是一个计算框架它的快速体现在什么地方呢？如果处理的数据在内存中，运行MapReduce比hadoop要快100倍以上，要是数据在磁盘中，也比Hadoop快10倍以上。为什么会快呢，Spark在处理数据的时候，使用
lqding1980·2016-02-16 17:23

Hadoop 排序 SortData

Hadoop排序1、源代码（IMF）packagecom.dtspark.hadoop.hellomapreduce;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration
段智华·2016-02-13 10:18

Hadoop 排序 SortData

Hadoop排序 1、源代码（IMF）packagecom.dtspark.hadoop.hellomapreduce;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration
duan_zhihua·2016-02-13 10:00

大数据 IMF 传奇 困扰很久的问题解决！ecliplse 远程提交程序到虚拟机 hadoop集群 ，ecliplse 没有显示输出 的问题解决！

问题：1、ecliplse远程提交程序到虚拟机hadoop集群，运行wordcount程序有问题，又没有提示，当时下载了 windows32的winutils.exe hadoop.dll，以为解决了2、ecliplse远程提交程序到虚拟机hadoop集群，运行天气预报程序temperature又有问题，但ecliplse无显示，不知道哪里有问题了？  直接打成jar在hadoop运行ok，程序没
duan_zhihua·2016-02-11 10:00

大数据 IMF传奇行动 hadoop 中 开发mapreduce 天气预报的例子

大数据IMF传奇行动hadoop中开发mapreduce天气预报的例子1、拿到数据文件0067011990999991950051507004888888889999999N9+00001+99999999999999999999990067011990999991950051512004888888889999999N9
段智华·2016-02-11 09:37

大数据 IMF传奇行动 hadoop 中 开发mapreduce 天气预报的例子

大数据IMF传奇行动 hadoop中开发mapreduce天气预报的例子 1、拿到数据文件0067011990999991950051507004888888889999999N9+00001+99999999999999999999990067011990999991950051512004888888889999999N9
duan_zhihua·2016-02-11 09:00

大数据IMF-L38-MapReduce内幕解密听课笔记及总结

本期内容：1MapReduce架构解密2MapReduce运行集群研究3通过Java编程操作MapReduce实战Hadoop从2。0开始就已经必须运行在Yarn上面了，1.0时根本不关心Yarn。现在是MR，也是讲Yarn的，而且已经是基础入门阶段。零基础已经过去了。明天开始-20个左右的MapReduce代码的集合讲解一：基于Yarn的MapReduce架构1.MR代码程序是基于实现Mappe
zhangym195·2016-02-10 09:11

大数据IMF-L38-MapReduce内幕解密听课笔记及总结

本期内容：1MapReduce架构解密2MapReduce运行集群研究3通过Java编程操作MapReduce实战Hadoop从2。0开始就已经必须运行在Yarn上面了，1.0时根本不关心Yarn。现在是MR，也是讲Yarn的，而且已经是基础入门阶段。零基础已经过去了。明天开始-20个左右的MapReduce代码的集合讲解一：基于Yarn的MapReduce架构1.MR代码程序是基于实现Mappe
zhangym195·2016-02-10 09:11

大数据IMF-L38-MapReduce内幕解密听课笔记及总结

上午课程：6：00amHadoopMapReduce内幕解密：MR架构解密MR运行集群研究JAVA操作MR实战【随课笔记】：一：基于Yarn的MapReduce架构1.MapReduce代码程序是基于实现Mapper和Reducer两大阶段构成的，其中Mapper是把一个计算任务分解成很多小任务进行并行计算，Reduce进行最后的统计的工作的；2.Hadoop2.x开始是基于Yarn运行的（1.x
zhangym195·2016-02-10 09:04

大数据IMF传奇 java开发hadoop wodcount和hdfs文件 ！

大数据IMF传奇java开发hadoopwodcount和hdfs文件建立！
段智华·2016-02-09 19:56

大数据IMF传奇 java开发hadoop wodcount和hdfs文件 ！

 大数据IMF传奇java开发hadoopwodcount和hdfs文件建立！
duan_zhihua·2016-02-09 19:00

大数据 IMF传奇 sparkpi 运行5万次

1.这个可以运行的./spark-submit--classorg.apache.spark.examples.SparkPi--masterspark://master:7077../lib/spark-examples-1.6.0-hadoop2.6.0.jar100016/02/0719:28:23INFOscheduler.TaskSetManager:Finishedtask993.0i
段智华·2016-02-07 20:35

大数据 IMF传奇 sparkpi 运行5万次

1.这个可以运行的 ./spark-submit --classorg.apache.spark.examples.SparkPi --masterspark://master:7077  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100016/02/0719:28:23INFOscheduler.TaskSetManager:Finishedtask
duan_zhihua·2016-02-07 20:00

大数据 IMF 传奇 spark -history在分布式 集群 的安装部署 及问题解决

配置SparkHistoryServer1.在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf，将spark-defaults.conf.template改名为spark-defaults.confmvspark-defaults.conf.templatespark-defaults.confroot@master:/usr/local
段智华·2016-02-07 18:09

大数据 IMF 传奇 spark -history在分布式 集群 的安装部署 及问题解决

配置SparkHistoryServer 1.在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf，将spark-defaults.conf.template改名为spark-defaults.conf mvspark-defaults.conf.templatespark-defaults.conf   root@master:/usr/
duan_zhihua·2016-02-07 18:00

大数据 IMF传奇 如何搭建 8台设备的SPARK分布式 集群

1.下载spark-1.6.0-bin-hadoop2.6.tgz2.解压root@master:/usr/local/setup_tools#tar-zxvfspark-1.6.0-bin-hadoop2.6.tgz3.配置Spark的全局环境变量输入#vi/etc/profile打开profile文件，按i可以进入文本输入模式，在profile文件的增加SPARK_HOME及修改PATH的环境
段智华·2016-02-07 17:23

大数据 IMF传奇 如何搭建 8台设备的SPARK分布式 集群

1.下载spark-1.6.0-bin-hadoop2.6.tgz2.解压root@master:/usr/local/setup_tools#tar-zxvfspark-1.6.0-bin-hadoop2.6.tgz3.配置Spark的全局环境变量输入#vi/etc/profile打开profile文件，按i可以进入文本输入模式，在profile文件的增加SPARK_HOME及修改PATH的环境
duan_zhihua·2016-02-07 17:00

大数据 IMF传奇行动 如何 搭建 8台设备的 hadoop分布式集群

硬件配置华为RH2285设备2CPU8核16线程48G内存380G硬盘1.配置Hadoop的全局环境变量输入名称#vi/etc/profile打开profile文件，按i可以进入文本输入模式，在profile文件的最后增加HADOOP_HOME及修改PATH的环境变量，输入:wq！保存退出。exportHADOOP_HOME=/usr/local/hadoop-2.6.0exportPATH=.:
段智华·2016-02-07 14:05

大数据 IMF传奇行动 如何 搭建 8台设备的 hadoop分布式集群

硬件配置 华为RH2285设备2CPU8核16线程48G内存 380G硬盘1.配置Hadoop的全局环境变量输入名称#vi/etc/profile打开profile文件，按i可以进入文本输入模式，在profile文件的最后增加HADOOP_HOME及修改PATH的环境变量，输入:wq！保存退出。exportHADOOP_HOME=/usr/local/hadoop-2.6.0 exportPATH
duan_zhihua·2016-02-07 14:00

大数据IMF 传奇 8台设备如何实现免密码的SSH登录呢 ？脚本分发 解决方案

vi/etc/hostnameroot@ubuntu:~#vi/etc/hosts192.168.189.1master192.168.189.2worker1192.168.189.3worker2192.168.189.4worker3192.168.189.5worker4192.168.189.6worker5192.168.189.7worker6192.168.189.8worker7
duan_zhihua·2016-02-07 13:00

大数据IMF传奇行动 UBUNTU的SSH SECURECRT不能登陆 与 vmvare net 8的问题解决

 UBUNTU的SSH SECURECRT不能登陆1\安装SSHsudoapt-getinstallopenssh-server2\sshserver是否启动：ps-e|grepssh3\重启SSH服务：sudo/etc/init.d/sshstopsudo/etc/init.d/sshstart4\此时securecrt还无法登录SSH5、root@ubuntu:/home/duanzhihua
duan_zhihua·2016-02-07 07:00

大数据IMF传奇行动 IDEA导入spark源代码！ 走入spark源代码世界！

maven的setting：G:\IMFBigDataSpark2016\IMFIdeaWorkspace\tools\apache-maven-3.3.9-bin\apache-maven-3.3.9\confG:\IMFBigDataSpark2016\IMFIdeaWorkspace\spark160repository repository：G:\IMFBigDataSpark2016\I
duan_zhihua·2016-02-06 22:00

大数据IMF行动传奇 迈向SparkContext天堂之门！ 探索天堂之门！

1、编写的一个WordCount的例子，其中有： valconf=newSparkConf()//创建SparkConf对象 conf.setAppName("Wow,MyFirstSparkApp!")//设置应用程序的名称， conf.setMaster("local")//程序在本地运行 valsc=newSparkContext(conf) 2、valsc=newSparkContext(
duan_zhihua·2016-02-04 12:00

大数据IMF传奇行动 Spark pi 例子计算 解析 百万次的运算

 圆周率pi的计算：1、原理r是圆的半径圆的面积公式：C=π×r^2 圆面积=x^2+y^2正方形面积公式：S=k^2    边长为1的1/4的圆面积π*1^2/4；边长为1的正方形面积1那设想边长为1的1/4的圆中的某个点落到边长为1的正方形中的概率为p，则p=（π*1^2/4）/1，即π=4p；p为概率，也可设想边长为1的圆面积π×1^2，边长为2的正方形面积2*2=4，圆中点落入正方形的概率
duan_zhihua·2016-02-03 13:00

Hash-based Shuffle内幕彻底解密

Hash-basedShuffle内幕彻底解密视频学习来源：DT-大数据梦工厂IMF传奇行动视频本期内容：1HashShuffle彻底解密2ShufflePluggable解密3SortedShuffle
kxr0502·2016-02-01 07:12

Spark集群中WordCount运行原理

以数据流动的视角解释一下wordcount运行的原理 packagecom.imf.spark.wordcount importorg.apache.spark.
Kevin12·2016-02-01 01:43

大数据IMF传奇行动 Spark history-server 配置 ！运维人员的强大工具

配置SparkHistoryServer1.在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf，将spark-defaults.conf.template改名为spark-defaults.confmvspark-defaults.conf.templatespark-defaults.conf2.对spark-defaults.conf
段智华·2016-01-29 18:56
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他