E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
王家林
hdfs架构分析与第一个hdfs应用程序
参考
王家林
大数据IMF系列场景hdfs架构分析与第一个hdfs应用程序分析HDFS架构.主从结构-主节点,只有一个:namenode(HA下会有多个NameNode)-从节点,有很多个:datanodes.namenode
PENGYUCHENG32109
·
2016-04-24 16:00
VM 虚拟机固定IP方法
感谢
王家林
老师的知识分享
王家林
老师名片:中国Spark第一人新浪微博:http://weibo.com/ilovepains微信公众号:DT_Sp
柯里昂
·
2016-04-23 10:00
综合案例 第80课:Spark SQL网站搜索综合案例实战 以京东找出搜索平台上用户每天搜索排名5名的产品,The hottest!
***
王家林
老师授课http://weibo.com/ilovepains*/每天晚上20:00YY频道现场授课频道68917580/***@authorDT大数据梦工厂*新浪微博:http://weibo.com
段智华
·
2016-04-19 19:02
Hadoop
综合案例 第80课:Spark SQL网站搜索综合案例实战 以京东找出搜索平台上用户每天搜索排名5名的产品,The hottest!
***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580 /** *@authorDT大数据梦工厂 *新浪微博:http:/
duan_zhihua
·
2016-04-19 19:00
10w分区表,hive能跑,sparksql运行也完全能跑起来
使用SparkSql操作10w+分区表及SparkSQL性能优化总结/***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580
duan_zhihua
·
2016-04-16 21:00
第83课:使用Scala和Java两种方式实战Spark Streaming开发 本地webui小技巧
***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580SparkStreaming JavaStreamingContextjsc
duan_zhihua
·
2016-04-16 21:00
Akka初体验之scala版word-count 的实现
参考《scala深入浅出实战》
王家林
场景akka入门之用akka实现一个word计数程序环境架构实验这里只列出关键类的源码,整个项目的源代码参见:https://github.com/pengyucheng
彭宇成
·
2016-04-12 18:50
Scala
初体验
Akka初体验之scala版word-count 的实现
参考《scala深入浅出实战》
王家林
场景akka入门之用akka实现一个word计数程序环境架构实验这里只列出关键类的源码,整个项目的源代码参见:https://github.com/pengyucheng
PENGYUCHENG32109
·
2016-04-12 18:00
第76课:Spark SQL基于网站Log的综合案例实战之Hive数据导入、Spark SQL对数据操作每天晚上20:00YY频道现场授课频道68917580
/***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580 第76课:SparkSQL基于网站Log的综合案例实战之Hive
duan_zhihua
·
2016-04-07 21:00
第75课:Spark SQL基于网站Log的综合案例实战每天晚上20:00YY频道现场授课频道68917580
/***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580 生成log日志
duan_zhihua
·
2016-04-06 21:00
第73课内幕资料详细版 Spark SQL Thrift Server 实战 每天晚上20:00YY频道现场授课频道68917580
第73课SparkSQLThriftServer实战/***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道689175801.启动hadooproot
duan_zhihua
·
2016-04-04 20:00
Spark 之SparkContext 源码精读1
用于创建RDD、广播变量、累加器变量;接下来,咱们一起从源码开始,强烈建议读者把源码下载下来,和
王家林
老师一起分析源码。
柯里昂
·
2016-04-04 19:00
spark
王家林
SparkContext
DT_Spark
第68课 Spark sql 通过JDBC 操作 Mysql 每天晚上20:00YY频道现场授课频道68917580
/***
王家林
老师授课http://weibo.com/ilovepains */ 每天晚上20:00YY频道现场授课频道68917580输入mysql>select*from dthadoop;+-
duan_zhihua
·
2016-04-03 23:00
第5课:实战演示JVM三大性能调优参数:-Xms -Xmx -Xss
王家林
老师微博:http://weibo.com/ilovepains/第3课:1、应用程序是多线程的,多线程共享全局共享内存空间,每个线程也有自己的内存空间,线程与全局共享内存空间怎么交互呢?
段智华
·
2016-04-03 19:13
大数据JVM性能优化实战
第5课:实战演示JVM三大性能调优参数:-Xms -Xmx -Xss
王家林
老师微博:http://weibo.com/ilovepains/第3课:1、应用程序是多线程的,多线程共享全局共享内存空间,每个线程也有自己的内存空间,线程与全局共享内存空间怎么交互呢?
duan_zhihua
·
2016-04-03 19:00
第2课:全球详细图解JVM内存三大核心区域及其JVM内存案例实战剖析
王家林
老师微博:http://weibo.com/ilovepains/ 第2课:全球详细图解JVM内存三大核心区域及其JVM内存案例实战剖析 debug截图
duan_zhihua
·
2016-04-03 09:00
第1课:实战演示JVM内存四大类型问题:Heap、Stack、Contant、DirectMemory等
王家林
老师微博:http://weibo.com/ilovepains/第1课:实战演示JVM内存四大类型问题:Heap、Stack、Contant、DirectMemory等 运行结果
duan_zhihua
·
2016-04-03 07:00
单例类型初体验与在链式调用中的应用
参考文献scala深入浅出实战经典.
王家林
http://www.wtoutiao.com/p/119t7hn.html场景单例类型初体验与在链式调用中的应用实验packagecom.scode.scala
PENGYUCHENG32109
·
2016-04-01 15:00
模式匹配常见应用形态
参考文献scala深入浅出实战经典.
王家林
场景赋值语句、for循环与提取器下的模式匹配实战实验packagecom.scode.scala importscala.Range /** *author:IvyPeng
PENGYUCHENG32109
·
2016-04-01 12:00
第72课:Spark SQL UDF和UDAF解密与实战 每天晚上20:00YY频道现场授课频道68917580
/***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580 输入数据 "Spark","Spark","Hadoop","
duan_zhihua
·
2016-03-31 22:00
GUI 初体验与事件处理实战
参考文献scala深入浅出实战经典.
王家林
官网swing组件单独成jar说明: http://www.scala-lang.org/news/2.11.0/scala.swing包下载地址:http:/
PENGYUCHENG32109
·
2016-03-30 11:00
第70课:Spark SQL内置函数解密与实战 每天晚上20:00YY频道现场授课频道68917580
每天晚上20:00YY频道现场授课频道68917580每天晚上20:00YY频道现场授课频道68917580/***
王家林
老师授课http://weibo.com/ilovepains */ 源文件valuserData
duan_zhihua
·
2016-03-28 21:00
Scala的函数定义、流程控制和异常处理
根据观看
王家林
老师的课程来做的笔记。初步入门Scala要安装好javajdk和Scala,注意要对应的版本。
u013058160
·
2016-03-28 19:00
并发编程初体验
参考文献scala深入浅出实战经典.
王家林
幂等性的理解 http://www.cnblogs.com/weidagang2046/archive/2011/06/04/2063696.html 致谢博主
PENGYUCHENG32109
·
2016-03-28 14:00
隐式转换最佳实践
参考文献scala深入浅出实战经典.
王家林
场景常用隐式转换开发中经典实用方式实验packagecom.scode.scala importjava.io.File importscala.io.Source
PENGYUCHENG32109
·
2016-03-28 07:00
隐式参数出体验
参考文献scala深入浅出实战经典.
王家林
场景隐式参数出的基本概念实验packagecom.scode.scala importjava.io.File importscala.io.Source /*
PENGYUCHENG32109
·
2016-03-28 07:00
隐式类与隐式对象初体验
参考文献scala深入浅出实战经典.
王家林
场景隐式类与隐式对象语法与简单实用实验packagecom.scode.scalaimportjava.io.Fileimportscala.io.Source
PENGYUCHENG32109
·
2016-03-28 07:00
第69课:Spark SQL通过Hive数据源JOIN实战 每天晚上20:00YY频道现场授课频道68917580
/***
王家林
老师授课http://weibo.com/ilovepains*/ 每天晚上20:00YY频道现场授课频道68917580源文件person.txt Michael29 Andy30
duan_zhihua
·
2016-03-27 21:00
List深入浅出之基本语法与源码分析
场景List基本语法、源码分析(后续补充)参考文献scala深入浅出实战经典.
王家林
实验packagecom.scode.scala importjava.util.Queue /** *author:
PENGYUCHENG32109
·
2016-03-26 22:00
泛型与类型变量Bounds初体验与代码实战
参考文献scala深入浅出实战经典.
王家林
场景scals中泛型的表现形式与Bounds代码实战实验packagecom.scode.scala importscala.reflect.ClassTag
PENGYUCHENG32109
·
2016-03-26 22:00
第67课:Spark SQL下采用Java和Scala实现Join的案例综合实战(巩固前面学习的Spark SQL知识)
/***
王家林
老师授课http://weibo.com/ilovepains*/ 源文件{"name":"Michael","score":90}{"name":"Andy","score":80
duan_zhihua
·
2016-03-26 22:00
Currying & Partial[applied] function 初体验
参考文献1、
王家林
.scala深入浅出实战经典2、http://www.cnblogs.com/nixil/archive/2012/05/16/2503722.html3、http://spreadscala.iteye.com
PENGYUCHENG32109
·
2016-03-22 22:00
case class与case object实战
参考文献scala深入浅出实战经典.
王家林
场景caseclass与caseobject的基本使用与嵌套case实验packagecom.scode.scala /***author:IvyPeng*function
PENGYUCHENG32109
·
2016-03-20 12:00
scala
语言
第57课 spark sql on hive实战
/***
王家林
老师授课 http://weibo.com/ilovepains */ 第57课sparksqlonhive实战1、配置/usr/local/spark-1.6.0-bin-hadoop2.6
duan_zhihua
·
2016-03-20 09:00
第62课:Spark SQL下的Parquet使用最佳实践和代码实战
/***
王家林
老师授课http://weibo.com/ilovepains*/ 元数据:users.parquet 运行结果
duan_zhihua
·
2016-03-18 21:00
第61课:Spark SQL数据加载和保存内幕深度解密实战
/***
王家林
老师授课http://weibo.com/ilovepains*/ 第61课:SparkSQL数据加载和保存内幕深度解密实战源文件people.json{"name":"Michael"
duan_zhihua
·
2016-03-17 21:00
SPARK 使用Java 在IDE中实战RDD和DataFrame动态转换操作
/***
王家林
老师授课http://weibo.com/ilovepains*/ 源文件1,Spark,72,Hadoop,113,Flink,5 运行结果
duan_zhihua
·
2016-03-16 21:00
使用java 将 Spark RDD和DataFrame转换
/***
王家林
老师授课http://weibo.com/ilovepains*/ 数据源文件1,Spark,72,Hadoop,113,Flink,5 运行结果
duan_zhihua
·
2016-03-16 16:00
用spark自带的示例SparkPi测试scala和spark集群
在按照
王家林
的文档安装完scala,spark集群和idea-IC开发工具后,用spark自带的示例SparkPi测试scala和spark集群1、按照
王家林
文档中的方法把spark自带的SparkPi
即将起飞的笨鸟
·
2016-03-08 15:42
Hadoop
Spark
安装scala和spark遇到的问题和解决方法
1、安装jdk的时候,可以参考实验室安装hadoop文档、
王家林
的文档和叶怡新的博客,但是要注意最后要做以下操作:sudoupdate-alternatives--install/usr/bin/javajava
即将起飞的笨鸟
·
2016-03-07 20:52
java
Spark
第一课 Scala光速入门
第一课Scala光速入门
王家林
_DT大数据梦工厂http://blog.sina.com.cn/s/blog_686c3cfb0102w4uz.html要点速记defsum(numbers:Int*)=
Crystal_Zero
·
2016-03-06 20:00
scala
大数据
王家林
谈Spark性能优化第二季!(DT大数据梦工厂)
内容:1、Task性能优化;2、数据倾斜性能优化;3、网络性能优化;==========Task性能优化============1、慢任务的性能优化:可以考虑每个partition处理的数据量,同时建议开启spark.speculation(任务推测执行模式,检索partition任务执行的话,可能就几个任务比较慢,这样减少可能每个partition的任务都减少),就是任务还没完成的情况下,开启相
feiweihy
·
2016-02-25 17:39
spark
性能优化
王家林谈
王家林
谈Spark性能优化第一季!(DT大数据梦工厂)
内容:1、Spark性能优化需要思考的基本问题;2、CPU和Memory;3、并行度和Task;4、网络;==========
王家林
每日大数据语录============
王家林
每日大数据语录Spark篇
feiweihy
·
2016-02-25 17:47
spark
性能优化
王家林谈
Day19 实现二次排序
本文来自
王家林
大数据梦工厂整理:http://weibo.com/ilovepains 分别用java和scala实现二次排序分析://按照order和Serializable实现自定义排序的key /
·
2016-02-19 00:00
Hadoop深入浅出实战经典视频教程(共22讲)
Hadoop深入浅出实战经典视频教程(共22讲)该视频教程共22讲,由
王家林
老师主讲。 播放列表第01讲:为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark?
芝加哥09
·
2016-02-17 10:40
hadoop
大数据
云计算
big
Bata
关于spark的一些资料总结
http://spark.apache.org/docs/1.4.1/sql-programming-guide.html这里一定要好好看,里面的小例程最好都实现一下2、51学院(很多人做spark都是从
王家林
这里入手的
LY-林雨
·
2016-01-19 15:09
spark
关于spark的一些资料总结
http://spark.apache.org/docs/1.4.1/sql-programming-guide.html这里一定要好好看,里面的小例程最好都实现一下2、51学院(很多人做spark都是从
王家林
这里入手的
chenyanqiao2010
·
2016-01-19 15:00
java
scala
spark
spark
大数据
dl
第13课Spark内核架构解密
spark内核原理(必须有一个大型项目经验);第二阶段:spark运行的各种环境,各种故障的解决,性能优化(精通spark内核、运行原理);第三阶段:流处理、机器学习为鳌头,需要首先掌握前两个阶段的内容;跟随
王家林
老师的零基础讲解
lhui798
·
2016-01-17 11:00
第六课spark分布式环境搭建
spark内核原理(必须有一个大型项目经验);第二阶段:spark运行的各种环境,各种故障的解决,性能优化(精通spark内核、运行原理);第三阶段:流处理、机器学习为鳌头,需要首先掌握前两个阶段的内容;跟随
王家林
老师的零基础讲解
lhui798
·
2016-01-10 20:00
第7课在自己搭建的spark集群下运行程序实例
spark内核原理(必须有一个大型项目经验);第二阶段:spark运行的各种环境,各种故障的解决,性能优化(精通spark内核、运行原理);第三阶段:流处理、机器学习为鳌头,需要首先掌握前两个阶段的内容;跟随
王家林
老师的零基础讲解
lhui798
·
2016-01-10 19:00
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他