描述一下Spark的DAG原理?

DAG(Directed Acyclic Graph）有向无环图，Spark中使用DAG对RDD的关系进行建模，描述了RDD的依赖关系，这种关系也被称之为lineage"血统"，RDD的依赖关系使用Dependency维护，Dependency分为宽依赖（一个父RDD被多个子RDD分区使用，有shuffle)和窄依赖(一个父RDD只被一个子RDD分区使用)，DAG在Spark中对应的实现为DAGScheduler。

用户提交的Flink Job会被转化成一个DAG任务运行。一个Flink任务的DAG生成计算图大致经历以下三个过程:

StreamGraph最接近代码所表达的逻辑层面的计算拓扑结构，按照用户代码的执行顺序向

StreamExecutionEnvironment添加StreamTransformation构成流式图。JobGraph从、StreamGraph生成，将可以串联合并的节点进行合并，设置节点之间的边，安排资源共享slot槽位和放置相关联的节点，上传任务所需的文件，设置检查点配置等。相当于经过部分初始化和优化处理的任务图。

ExecutionGraph由JobGraph转换而来，包含了任务具体执行所需的内容，是最贴近底层实现的执行图。
了解更多大数据培训相关技术内容欢迎关注小编！

你可能感兴趣的:(大数据spark)

  • Spark Chapter 8 Spark SQL 深海suke
    【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用SQL语句进行大数据分析hive的问题：底层MR，2.x之后可以用spark应用场景SQLonHadoop:Hive,Shark(不维护了)，Impala（Cloudera，内存使用较多），Pre
  • 基于SPARK的淘宝用户购物行为可视化分析 番茄薯仔 sparkspark大数据hadoop
    基于SPARK的淘宝用户购物行为可视化分析这篇文章旨在练习大数据Spark操作，做一些简单的分析。后续阶段将基于三台虚拟机情况下进行调优，以期实现性能最优化。数据来源数据集：淘宝用户购物行为数据集_数据集-阿里云天池(aliyun.com)下载到：/opt/module/taobao/UserBehavior.csv商品类目纬度数据来源：bigdata_analyse/category.sqlat
  • 大数据Spark实战高手之路职业学习路线图 smileyboy2009 hadoopsparksparkhadoop
    从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试，一次性彻底掌握Spark，成为云计算大数据时代的幸运儿和弄潮儿，笑傲大数据职场和人生！学习条件1，掌握Scala；2，精通Spark企业及开发；3，精通Spark框架源码实现；4，掌握S
  • Java优质资源汇总（持续更新） tcoding java
    文章目录JavaJVM并发MySQL优化大数据Java美团后台标签文章美团java标签文章JVMJavaHotspotG1GC的一些关键技术美团JVM标签文章并发从ReentrantLock的实现看AQS的原理及应用不可不说的Java“锁”事CompletableFuture原理与实践Java线程池实现原理及其在美团业务中的实践MySQL优化官方文档：MySQL优化大数据Spark调优（基础篇）s
  • 大数据课程结构 张一峰 大数据大数据
    1、第一阶段javaSE基础阶段-张一峰2、第二阶段-JavaWeb+数据库阶段-张3、第三阶段-大数据分布式架构-张一峰4、第四阶段-大数据Hadoop实战-张一峰5、第五阶段-大数据spark实战-张一峰6、第六阶段-大数据机器学习实战-张一峰
  • 大数据Spark学习笔记—sparkcore Int mian[] 大数据大数据sparkhadoopscala分布式
    目录Spark概述核心模块Spark编程配置IDEA配置scala环境WordCount案例Spark-Standalone运行环境Local配置步骤集群分工解压文件修改配置启动集群配置历史服务器Spark-Yarn运行环境配置步骤配置历史服务器Windows运行环境配置步骤常用端口号Spark架构核心组件DriverExecutorMaster&WorkerApplicationMasterHa
  • 大数据SparkSql创建临时表并查询数据 Vincer_DB 大数据Scala大数据SparkSQL
    importorg.apache.spark.sql.{DataFrame,SparkSession}importorg.apache.spark.sql.types.{LongType,StringType,StructType}/***AuthorVincer*Date2019/09/2610:10*LanguageScala*/objectStreamingDS{defmain(args:A
  • 软件开发学习资料大全 时光如水_岁月如哥 others开发
    进入大数据SparkSQL的世界链接：https://pan.baidu.com/s/1_AINgCN8KaQEbnJRkWnKdw提取码：7j85Java深入微服务原理改造房产销售平台链接：https://pan.baidu.com/s/1O7VE9AOB8AKaYYp0d1HOrw提取码：2f9i表白神器链接：https://pan.baidu.com/s/1EXK0BYqX-gXuhZGOW
  • 大数据Spark实时搜索日志实时分析 赵广陆 sparksparkbigdatahadoop
    目录1业务场景2初始化环境2.1创建Topic2.2模拟日志数据2.3StreamingContextUtils工具类3实时数据ETL存储4实时状态更新统计4.1updateStateByKey函数4.2mapWithState函数5实时窗口统计1业务场景百度搜索风云榜（http://top.baidu.com/）以数亿网民的单日搜索行为作为数据基础，以搜索关键词为统计对象建立权威全面的各类关键词
  • 大数据Spark对SogouQ日志分析 赵广陆 spark
    目录1业务需求2准备工作2.1HanLP中文分词2.2样例类SogouRecord3业务实现3.1读取数据3.2搜索关键词统计3.3用户搜索点击统计3.4搜索时间段统计3.5完整代码1业务需求使用搜狗实验室提供【用户查询日志(SogouQ)】数据，使用Spark框架，将数据封装到RDD中进行业务数据处理分析。数据网址：http://www.sogou.com/labs/resource/q.php
  • 大数据Spark Streaming入门 赵广陆 sparksparkbigdata
    目录1官方案例运行2编程实现2.1StreamingContext2.2编写代码2.3Streaming应用监控3Streaming工作原理3.1创建StreamingContext3.2接收器接收数据3.3汇报接收Block报告3.4Streaming工作原理总述1官方案例运行SparkStreaming官方提供Example案例，功能描述：从TCPSocket数据源实时消费数据，对每批次Bat
  • 【Todo】【读书笔记】大数据Spark企业级实战版 & Scala学习 weixin_33813128 scala大数据java
    目录：/Users/baidu/Documents/Data/Interview/Hadoop-Spark-Storm-Kafka下了这本《大数据Spark企业级实战版》，另外还有一本《Spark大数据处理：技术、应用与性能优化(全)》先看前一篇。根据书里的前言里面，对于阅读顺序的建议。先看最后的Scala实践三部曲吧。scala学习，我觉得这一段写的很好：objectHello{defmain(
  • 大数据Spark DStream 赵广陆 sparksparkscalabigdata
    目录1DStream是什么2DStreamOperations2.1函数概述2.2转换函数：transform2.3输出函数：foreachRDD3流式应用状态1DStream是什么SparkStreaming模块将流式数据封装的数据结构：DStream（DiscretizedStream，离散化数据流，连续不断的数据流），代表持续性的数据流和经过各种Spark算子操作后的结果数据流。离散数据流（
  • 大数据Spark性能优化指南基础 金光闪闪耶
    在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能
  • 实战：大数据Spark简介与docker-compose搭建独立集群 小沈同学呀 spark大数据docker大数据sparkdocker
    文章目录前言技术积累Spark简介Spark核心功能及优势Spark运行架构Spark独立集群搭建安装docker和docker-composedocker-compose编排docker-compose编排并运行容器Spark集群官方案例测试写在最后前言很多同学都使用过经典的大数据分布式计算框架hadoop，其分布式文件系统HDFS对数据管理很友好，但是计算能力较Spark还是不足。俗话说工欲善
  • 大数据spark相关总结 有文化233 小知识点
    0、什么是sparkApacheSpark™是用于大规模数据处理的统一分析引擎。它可以高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。1、初始化SparkSpark程序必须做的第一件事情是创建一个SparkContext对象，它会告诉Spark如何访问集群。要创建一个SparkC
  • PySpark之Python版本如何选择(详细版) eaglecolin 大数据pythonspark大数据
    问题背景公司目前有两套Spark集群和一套Hadoop集群用来做数据相关的存储和计算。Hadoop的版本是2.7，Spark两套集群，一个是2.1.0版本，一个是2.4.3版本。但是两个Spark集群安装的Python版本都是一样的，都是3.6.8之前对大数据Spark了解不多，接手之后协助开发在提交PythonSpark任务的时候遇到问题。最终定位是因为Python版本的问题导致的。关于PySp
  • 大数据Spark面试，distinct去重原理，是如何实现的 喵感数据
    最近，有位朋友问我，distinct去重原理是怎么实现的？“在面试时，面试官问他了解distinct算子吗？”“了解啊，Spark的rdd，一种transFormation去重的算子，主要用来去重的”。“哟，看来你经常使用distinct算子，对distinct算子很熟悉啊”。“好说，好说”。“那你能说说distinct是如何实现去重的吗？”我朋友支支吾吾半天：“就是这样、那样去重的啊”。“这样、
  • 尚硅谷大数据技术Spark教程-笔记08【SparkSQL（介绍、特点、数据模型、核心编程、案例实操、总结）】 upward337 #Spark大数据sparksparkSQLsqlDataFrame
    尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据技术Spark教程-笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】尚硅谷大数据技术Spark教
  • 尚硅谷大数据技术Spark教程-笔记09【SparkStreaming（概念、入门、DStream入门、案例实操、总结）】 upward337 大数据大数据sparkSparkStreamingDstream案例实操
    尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据技术Spark教程-笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】尚硅谷大数据技术Spark教
  • spark-env.sh配置——Spark学习日记 YYYYYY. Sparkspark-env.sh
    大数据Spark不显示Worker问题配置好spark后，输入jps只有Master，没有Worker修改spark-env.sh文件找到spark-env.sh位置//我的spark-env.sh位置/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf如果有template结尾的文件，都重命名为去掉template编辑spark-env.sh文件vim
  • 大数据Spark、Mr、Impala使用parquet、textfile、snappy等不同数据存储编码和压缩的效率实测对比以及项目选型 Kevin_鹿 数据中台数仓大数据spark数据仓库大数据parquetsnappy
    整体说明会进行此次检测的背景介绍，通过官方以及自己的学习了解进行一些基础解释；使用具体的线上数据进行压缩比，查询性能的测试；查询性能的不同场景，大数据计算、用户查询性能等，包含Spark以及Impala的性能测试【这部分都是生产中会实际遇到的，希望能给大家阐述的清晰】；包含具体生产场景的项目选型；背景当前背景为生产中真是遇到的问题，并且进行测试和选型；当前数据层作为数据湖的上游，作为所有数据分析的
  • 大数据Spark SparkSession的3种创建方式 Scala语言实现 申子辰林 ScalaBigDataSparkscalaspark大数据
    1、什么是SparkSessionSparkSession是ApacheSpark2.0版本引入的一个编程接口，用于与Spark进行交互。它是Spark应用程序的入口点，提供了一种方便的方式来创建DataFrame、DataSet和SQLContext等数据结构，并且可以配置各种Spark应用程序的选项。SparkSession还管理了Spark应用程序的运行环境，包括Spark集群的连接，以及将
  • 尚硅谷大数据技术Spark教程-笔记01【Spark(概述、快速上手、运行环境)】 延锋L #Spark大数据spark尚硅谷hadoop计算
    视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据技术Spark教程-笔记01【SparkCore(概述、快速上手、运行环境)】尚硅谷大数据技术Spark教程-笔记02【SparkCore(运行架构、核心编程、案例实操)】尚硅谷大数据技术Spark教程-笔记03【SparkSQL(概述、核心编程、项目实战)】尚硅谷大数据技术Spark教程-笔记04【Spark
  • 大数据Spark Dataset 赵广陆 sparksparkscalabigdata
    目录1Dataset是什么2对比DataFrame3RDD、DF与DS转换4面试题：如何理解RDD、DataFrame和Dataset1Dataset是什么Dataset是在Spark1.6中添加的新的接口，是DataFrameAPI的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame的优点。与RDD相比：保存了更多的描述信息，概念上等同于关系型数据库中的二维表；与DataFr
  • Spark工作总结（干货篇） 治愈爱吃肉 大数据spark大数据分布式
    Spark学习总结文章目录Spark学习总结什么是大数据Spark介绍及特点Spark架构及重要角色Spark程序启动流程基础篇`Dataset`和`DataFrame`广播变量累加器算子篇转化算子，行动算子，持久化算子的区别非shuffle类算子shuffle类算子`sortby`和`sortbykey``groupByKey`和`reduceByKey`扩展篇广播变量特性是不能修改分组取`to
  • 大数据 Spark 架构 起飞后的菜鸟
    大数据Spark架构一．Spark的产生背景起源1.spark特点1.1轻量级快速处理Saprk允许传统的hadoop集群中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10倍，Spark通过减少对磁盘的io达到性能上的提升，他将中间处理的数据放到内存中，spark使用了rdd（resilientdistributeddatasets）数据抽象这允许他在内存中存储数据，
  • 大数据开发之路：hive篇 乐姐 大数据大数据大数据学习大数据开发大数据入门hive
    引语大数据开发之路漫漫其修远兮，吾将上下而求索。很多入门大数据的小伙伴，可能第一个接触到的，就是一只可爱的“小象”，也就是我们的大数据领域的数据仓库工具hive。这只小象给我们提供了方便类SQL查询语言HQL来操纵数据，使得我们一开始不用编写复杂的代码，就可以轻松的探索数据。Hive对于熟悉传统数据库的同学来说，算是很友好的一个入门工具。想成为云计算大数据Spark高手，看这里！戳我阅读年薪50W
  • 基于大数据spark+hadoop的图书可视化分析系统 计算机老哥 Java实战项目spark大数据hadoopmybatisdjango
    作者主页：计算机毕设老哥精彩专栏推荐订阅：在下方专栏Java实战项目专栏Python实战项目专栏安卓实战项目专栏微信小程序实战项目专栏文章目录Java实战项目专栏Python实战项目专栏安卓实战项目专栏微信小程序实战项目专栏一、开发介绍1.1开发环境二、系统介绍2.1图片展示三、部分代码设计总结有问题评论区交流Java实战项目专栏Python实战项目专栏安卓实战项目专栏微信小程序实战项目专栏一、开
  • 挨踢部落第一期：Spark离线分析维度 weixin_33815613 大数据移动开发嵌入式
    活动说明：挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。话题关键词：大数据spark数据分析数据画像部落阵容：徐韬，龙珠直播大数据主管；王劲，数果科技联合创始人；面向对象：初级开发工程师，数据分析师，运维工程师参与方式：加入51CTO开发者QQ
  • ios内付费 374016526 ios内付费
    近年来写了很多IOS的程序，内付费也用到不少，使用IOS的内付费实现起来比较麻烦，这里我写了一个简单的内付费包，希望对大家有帮助。   具体使用如下: 这里的sender其实就是调用者，这里主要是为了回调使用。 [KuroStoreApi kuroStoreProductId:@"产品ID" storeSender:self storeFinishCallBa
  • 20 款优秀的 Linux 终端仿真器 brotherlamp linuxlinux视频linux资料linux自学linux教程
      终端仿真器是一款用其它显示架构重现可视终端的计算机程序。换句话说就是终端仿真器能使哑终端看似像一台连接上了服务器的客户机。终端仿真器允许最终用户用文本用户界面和命令行来访问控制台和应用程序。（LCTT 译注：终端仿真器原意指对大型机-哑终端方式的模拟，不过在当今的 Linux 环境中，常指通过远程或本地方式连接的伪终端，俗称“终端”。） 你能从开源世界中找到大量的终端仿真器，它们
  • Solr Deep Paging(solr 深分页) eksliang solr深分页solr分页性能问题
    转载请出自出处：http://eksliang.iteye.com/blog/2148370 作者：eksliang(ickes) blg:http://eksliang.iteye.com/ 概述 长期以来，我们一直有一个深分页问题。如果直接跳到很靠后的页数，查询速度会比较慢。这是因为Solr的需要为查询从开始遍历所有数据。直到Solr的4.7这个问题一直没有一个很好的解决方案。直到solr
  • 数据库面试题 18289753290 面试题 数据库
    1.union ,union all 网络搜索出的最佳答案： union和union all的区别是,union会自动压缩多个结果集合中的重复结果，而union all则将所有的结果全部显示出来，不管是不是重复。 Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序； Union All：对两个结果集进行并集操作，包括重复行，不进行排序； 2.索引有哪些分类？作用是
  • Android TV屏幕适配 酷的飞上天空 android
    先说下现在市面上TV分辨率的大概情况 两种分辨率为主 1.720标清，分辨率为1280x720. 屏幕尺寸以32寸为主，部分电视为42寸 2.1080p全高清，分辨率为1920x1080 屏幕尺寸以42寸为主，此分辨率电视屏幕从32寸到50寸都有   适配遇到问题，已1080p尺寸为例： 分辨率固定不变，屏幕尺寸变化较大。 如：效果图尺寸为1920x1080，如果使用d
  • Timer定时器与ActionListener联合应用 永夜-极光 java
    功能:在控制台每秒输出一次   代码: package Main; import javax.swing.Timer; import java.awt.event.*; public class T { private static int count = 0; public static void main(String[] args){
  • Ubuntu14.04系统Tab键不能自动补全问题解决 随便小屋 Ubuntu 14.04
    Unbuntu 14.4安装之后就在终端中使用Tab键不能自动补全，解决办法如下：   1、利用vi编辑器打开/etc/bash.bashrc文件（需要root权限） sudo vi /etc/bash.bashrc  接下来会提示输入密码 2、找到文件中的下列代码 #enable bash completion in interactive shells #if
  • 学会人际关系三招 轻松走职场 aijuans 职场
    要想成功，仅有专业能力是不够的，处理好与老板、同事及下属的人际关系也是门大学问。如何才能在职场如鱼得水、游刃有余呢？在此，教您简单实用的三个窍门。 　　第一，多汇报 最近，管理学又提出了一个新名词“追随力”。它告诉我们，做下属最关键的就是要多请示汇报，让上司随时了解你的工作进度，有了新想法也要及时建议。不知不觉，你就有了“追随力”，上司会越来越了解和信任你。 　　第二，勤沟通 团队的力
  • 《O2O：移动互联网时代的商业革命》读书笔记 aoyouzi 读书笔记
    移动互联网的未来：碎片化内容+碎片化渠道=各式精准、互动的新型社会化营销。   O2O：Online to OffLine 线上线下活动 O2O就是在移动互联网时代，生活消费领域通过线上和线下互动的一种新型商业模式。   手机二维码本质：O2O商务行为从线下现实世界到线上虚拟世界的入口。   线上虚拟世界创造的本意是打破信息鸿沟，让不同地域、不同需求的人
  • js实现图片随鼠标滚动的效果 百合不是茶 JavaScript滚动属性的获取图片滚动属性获取页面加载
    1,获取样式属性值 top 与顶部的距离 left 与左边的距离 right 与右边的距离 bottom 与下边的距离 zIndex 层叠层次     例子:获取左边的宽度,当css写在body标签中时 <div id="adver" style="position:absolute;top:50px;left:1000p
  • ajax同步异步参数async bijian1013 jqueryAjaxasync
            开发项目开发过程中，需要将ajax的返回值赋到全局变量中，然后在该页面其他地方引用，因为ajax异步的原因一直无法成功，需将async:false，使其变成同步的。         格式： $.ajax({ type: 'POST', ur
  • Webx3框架（1） Bill_chen eclipsespringmaven框架ibatis
    Webx是淘宝开发的一套Web开发框架，Webx3是其第三个升级版本；采用Eclipse的开发环境，现在支持java开发； 采用turbine原型的MVC框架，扩展了Spring容器，利用Maven进行项目的构建管理，灵活的ibatis持久层支持，总的来说，还是一套很不错的Web框架。 Webx3遵循turbine风格，velocity的模板被分为layout/screen/control三部
  • 【MongoDB学习笔记五】MongoDB概述 bit1129 mongodb
    MongoDB是面向文档的NoSQL数据库，尽量业界还对MongoDB存在一些质疑的声音，比如性能尤其是查询性能、数据一致性的支持没有想象的那么好，但是MongoDB用户群确实已经够多。MongoDB的亮点不在于它的性能，而是它处理非结构化数据的能力以及内置对分布式的支持(复制、分片达到的高可用、高可伸缩)，同时它提供的近似于SQL的查询能力，也是在做NoSQL技术选型时，考虑的一个重要因素。Mo
  • spring/hibernate/struts2常见异常总结 白糖_ Hibernate
    Spring ①ClassNotFoundException: org.aspectj.weaver.reflect.ReflectionWorld$ReflectionWorldException 缺少aspectjweaver.jar，该jar包常用于spring aop中   ②java.lang.ClassNotFoundException: org.sprin
  • jquery easyui表单重置(reset)扩展思路 bozch formjquery easyuireset
    在jquery easyui表单中 尚未提供表单重置的功能，这就需要自己对其进行扩展。 扩展的时候要考虑的控件有： combo,combobox,combogrid,combotree,datebox,datetimebox 需要对其添加reset方法，reset方法就是把初始化的值赋值给当前的组件，这就需要在组件的初始化时将值保存下来。 在所有的reset方法添加完毕之后，就需要对fo
  • 编程之美-烙饼排序 bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; /* *《编程之美》的思路是：搜索+剪枝。有点像是写下棋程序：当前情况下，把所有可能的下一步都做一遍；在这每一遍操作里面，计算出如果按这一步走的话，能不能赢（得出最优结果）。 *《编程之美》上代码有很多错误，且每个变量的含义令人费解。因此我按我的理解写了以下代码： */
  • Struts1.X 源码分析之ActionForm赋值原理 chenbowen00 struts
    struts1在处理请求参数之前，首先会根据配置文件action节点的name属性创建对应的ActionForm。如果配置了name属性，却找不到对应的ActionForm类也不会报错，只是不会处理本次请求的请求参数。 如果找到了对应的ActionForm类，则先判断是否已经存在ActionForm的实例，如果不存在则创建实例，并将其存放在对应的作用域中。作用域由配置文件action节点的s
  • [空天防御与经济]在获得充足的外部资源之前,太空投资需有限度 comsci 资源
          这里有一个常识性的问题:       地球的资源,人类的资金是有限的,而太空是无限的.....       就算全人类联合起来,要在太空中修建大型空间站,也不一定能够成功,因为资源和资金,技术有客观的限制.... &
  • ORACLE临时表—ON COMMIT PRESERVE ROWS daizj oracle临时表
    ORACLE临时表 转 临时表：像普通表一样，有结构，但是对数据的管理上不一样，临时表存储事务或会话的中间结果集，临时表中保存的数据只对当前 会话可见，所有会话都看不到其他会话的数据，即使其他会话提交了，也看不到。临时表不存在并发行为，因为他们对于当前会话都是独立的。 创建临时表时，ORACLE只创建了表的结构（在数据字典中定义），并没有初始化内存空间，当某一会话使用临时表时，ORALCE会
  • 基于Nginx XSendfile+SpringMVC进行文件下载 denger 应用服务器Webnginx网络应用lighttpd
        在平常我们实现文件下载通常是通过普通 read-write方式，如下代码所示。 @RequestMapping("/courseware/{id}") public void download(@PathVariable("id") String courseID, HttpServletResp
  • scanf接受char类型的字符 dcj3sjt126com c
    /* 2013年3月11日22:35:54 目的：学习char只接受一个字符 */ # include <stdio.h> int main(void) { int i; char ch; scanf("%d", &i); printf("i = %d\n", i); scanf("%
  • 学编程的价值 dcj3sjt126com 编程
    发一个人会编程, 想想以后可以教儿女, 是多么美好的事啊, 不管儿女将来从事什么样的职业, 教一教, 对他思维的开拓大有帮助   像这位朋友学习:   http://blog.sina.com.cn/s/articlelist_2584320772_0_1.html   VirtualGS教程 (By @林泰前): 几十年的老程序员，资深的
  • 二维数组（矩阵）对角线输出 飞天奔月 二维数组
    今天在BBS里面看到这样的面试题目,   1，二维数组（N*N），沿对角线方向，从右上角打印到左下角如N=4： 4*4二维数组  { 1 2 3 4 } { 5 6 7 8 } { 9 10 11 12 } {13 14 15 16 } 打印顺序  4 3 8 2 7 12 1 6 11 16 5 10 15 9 14 13 要
  • Ehcache（08）——可阻塞的Cache——BlockingCache 234390216 并发ehcacheBlockingCache阻塞
    可阻塞的Cache—BlockingCache          在上一节我们提到了显示使用Ehcache锁的问题，其实我们还可以隐式的来使用Ehcache的锁，那就是通过BlockingCache。BlockingCache是Ehcache的一个封装类，可以让我们对Ehcache进行并发操作。其内部的锁机制是使用的net.
  • mysqldiff对数据库间进行差异比较 jackyrong mysqld
      mysqldiff该工具是官方mysql-utilities工具集的一个脚本，可以用来对比不同数据库之间的表结构，或者同个数据库间的表结构    如果在windows下，直接下载mysql-utilities安装就可以了，然后运行后，会跑到命令行下： 1） 基本用法    mysqldiff --server1=admin:12345
  • spring data jpa 方法中可用的关键字 lawrence.li javaspring
    spring data jpa 支持以方法名进行查询/删除/统计。 查询的关键字为find 删除的关键字为delete/remove (>=1.7.x) 统计的关键字为count (>=1.7.x)   修改需要使用@Modifying注解 @Modifying @Query("update User u set u.firstna
  • Spring的ModelAndView类 nicegege spring
    项目中controller的方法跳转的到ModelAndView类，一直很好奇spring怎么实现的？ /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * yo
  • 搭建 CentOS 6 服务器(13) - rsync、Amanda rensanning centos
    （一）rsync Server端 # yum install rsync # vi /etc/xinetd.d/rsync service rsync { disable = no flags = IPv6 socket_type = stream wait
  • Learn Nodejs 02 toknowme nodejs
    （1）npm是什么 npm is the package manager for node 官方网站：https://www.npmjs.com/ npm上有很多优秀的nodejs包，来解决常见的一些问题，比如用node-mysql，就可以方便通过nodejs链接到mysql，进行数据库的操作 在开发过程往往会需要用到其他的包，使用npm就可以下载这些包来供程序调用 &nb
  • Spring MVC 拦截器 xp9802 spring mvc
    Controller层的拦截器继承于HandlerInterceptorAdapter HandlerInterceptorAdapter.java  1  public   abstract   class  HandlerInterceptorAdapter  implements  HandlerIntercep
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他