anonymox
anonymox

pyspark的使用

文章目录

  • 一、连接pyspark
    • 先启动hadoop和spark
    • 创建SparkContext
      • 方式1：通过pyspark下的shell.py
      • 方式2：自行创建
  • 二、创建RDD
    • 并行集合 sc.parallelize()
    • 文件系统数据集读取数据 sc.textFile()
  • 三、单个RDD的操作
    • map()和flatMap()
    • 过滤 filter()
    • reduce()和reduceByKey()
    • countByValue()
  • 四、两个RDD之间的集合操作

一、连接pyspark

先启动hadoop和spark



































你可能感兴趣的:(#,——spark)






    

  • Azkaban各种类型的Job编写
__元昊__

    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
    

    • 

  • 关于HDP的20道高级运维面试题
编织幻境的妖
运维

    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
    

    • 

  • 【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理
音乐学家方大刚
ScalaHadoophadoopscalaspark

    风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
    

    • 

  • Spark面试整理-Spark是什么？
不务正业的猿
面试Sparkspark大数据分布式

    ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。自那时起，Spark已经成为大数据处理中最受欢迎和广泛使用的框架之一。下面是Spark的一些关键特点：速度：Spark使用了先进的DAG（有向无环图）执行引擎，可以支持循环数据流和内存计算。这使得Spark在数据处理方面
    

    • 

  • Spark Q&A
耐心的农夫2020

    Q:在读取文件的时候，如何忽略空gzip文件?A:从Spark2.1开始，你可以通过启用spark.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。可以将下面的选项添加到你的spark-submit或者pyspark命令中。--confspark.sql.files.ignoreCorruptFiles=true另外spark支持的选项可以通过在spark-shell
    

    • 

  • linux安装单机版spark3.5.0
爱上雪茄
大数据JAVA知识spark大数据分布式

    一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0三、spark环境变量配置exportJAVA_HOME=/usr/local/jdk1.8.0_391exportJRE_HOME=/usr/local/jdk1.8.0_391/jr
    

    • 

  • Spark的数据结构——RDD
bluedraam_pp
Sparkspark数据结构大数据

    RDD的5个特征下面来说一下RDD这东西，它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域，大数据都是分割成若干个部分，放到多个服务器上，这样就能做到多线程的处理数据，这对处理大数据量是非常重要的。分区意味着，可以使用多个线程了处理。Afunctionforcomputingeachsplit：作用在
    

    • 

  • 大数据开发（Spark面试真题-卷一）
Key-Key
大数据spark面试

    大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。3、请解释一下Spark中的shuffle是什么，以及为什么shuffle操作开销较大？4、请解释一下Spark中的RDD持久化（Caching）是什么以及为什么要使用持久化？5、请解释一下Spark中ResilientDistribut
    

    • 

  • 基于HBase和Spark构建企业级数据处理平台
weixin_34071713
大数据数据库爬虫

    摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。演讲嘉宾简介：李伟（花名：沐远），阿里云数据库技术专家。专注于大数据分布式计算和数据库领域，具有6年分布式开发经验，先后研发Spark及自主研发内存计算，目前为广大公有云用户提供专业的云HBase数据
    

    • 

  • lightGBM专题4:pyspark平台下lightgbm模型保存
I_belong_to_jesus
大数据

    之前的文章（pysparklightGBM1和pysparklightGBM2）介绍了pyspark下lightGBM算法的实现，本文将重点介绍下如何保存训练好的模型，直接上代码：frompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportStringIndexer#配置spark,创建SparkSession对象spark=Spark
    

    • 

  • 大数据开发（Spark面试真题-卷六）
Key-Key
大数据spark面试

    大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？2、SparkDAGScheduler、TaskScheduler、SchedulerBackend实现原理？3、介绍下Sparkclient提交application后，接下来的流程？4、Spark的cache和persist的区别？它们是transformation算子还是ac
    

    • 

  • 大数据开发（Hadoop面试真题-卷二）
Key-Key
大数据hadoop面试

    大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？3、请解释一下Hadoop的工作原理及其组成部分？4、HDFS读写流程是什么样子？5、Hadoop中fsimage和edit的区别是什么？6、Spark为什么比MapReduce更快？7、详细描述一
    

    • 

  • Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化
勇于自信

    SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。它的基本的SQL执行的模型，都是类似的，首先都是要生成一条SQL语句执行计划。执行计划即从哪里查询，在哪个文件，从文件中查询哪些数据，此外，复杂的SQL还包括查询时是否对表中的数据进行过滤和筛选等等。2.UnresolvedLogicalPlan未
    

    • 

  • 大数据开发（Hadoop面试真题-卷九）
Key-Key
大数据hadoop面试

    大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？2、既然HBase底层数据是存储在HDFS上，为什么不直接使用HDFS，而还要用HBase?3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
    

    • 

  • Spark Streaming（二）：DStream数据源
雪飘千里

    1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数
    

    • 

  • Spark常见问题汇总
midNightParis
sparkspark

    注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、OperationcategoryREADisnotsupportedinstatestandb
    

    • 

  • SparkShop开源可商用，匹配小程序H5和PC端带分销功能！
行动之上
源码免费下载小程序

    SparkShop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统；包含小程序商城、H5商城、公众号商城、PC商城、App，支持页面diy、秒杀、优惠券、积分、分销、会员等级。营销功能采用插件化的方式方便扩展、二次开发源码下载地址你别走吖Σ(っ°Д°;)っ(chaobiji.cn)
    

    • 

  • 【Hadoop】在spark读取clickhouse中数据
方大刚233
HadoopScalahadoopsparkclickhouse

    读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
    

    • 

  • Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数
不想起的昵称
hivesparkhive数据仓库

    背景：在数仓任务中，经常要解决小文件的问题。有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢？看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
    

    • 

  • hive join中出现的数据暴增（数据重复）
不想起的昵称
hive大数据hadoophive

    什么是join过程中导致的数据暴增？例如：给左表的每个用户打上是否是新用户的标签，左表的用户数为100，但是关联右表之后，得到的用户数为200甚至更多什么原因导致的数据暴增呢？我们来看一下案例：spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid>union
    

    • 

  • hive四种常见的join
不想起的昵称
hive大数据hadoophdfshive

    1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname>unionall>select3asuser_id,'xiaoxin'asname>),>>test2as(>select1asuser_id,19asage>unionall
    

    • 

  • Spark整合hive（保姆级教程）
万家林
sparkhivesparkhadoop

    准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop，如果不会安装可以跳转到Linux安装配置Hadoop2.6操作步骤：1、将hive的conf目录下的hive-site.xml拷贝到spark的conf目录下（也可以建立软连接）cp/opt
    

    • 

  • 在 Spark 数据导入中的一些实践细节
NebulaGraph

    best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱。然而，从性能上来看，Neo4j的原生图存储有着不可替代的性能优势，这一点是之前调研的JanusGraph、Dgraph等都难以逾越的鸿沟。即使JanusGraph在OLAP上面非常
    

    • 

  • Spark开发_简单DataFrame判空赋值逻辑
Matrix70
Spark开发_工作spark大数据分布式

    valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]valdfin=if(!dfin1.isEmpty)dfin1elseinputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFr
    

    • 

  • Spark SQL编程指南
<>=
spark

    SparkSQL编程指南SparkSQL是用于结构化数据处理的一个模块。同SparkRDD不同地方在于SparkSQL的API可以给Spark计算引擎提供更多地信息，例如:数据结构、计算算子等。在内部Spark可以通过这些信息有针对对任务做优化和调整。这里有几种方式和SparkSQL进行交互，例如DatasetAPI和SQL等，这两种API可以混合使用。SparkSQL的一个用途是执行SQL查询。
    

    • 

  • Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列
aoyi1337
python

    单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求，本来需要使用spark进行处理的，但是没想到什么优雅的解决方案，所以打算先使用pandas找找感觉。样例数据如下所示。df=pd.DataFrame([{"uid":1,"detail":'家电无失败'},{"uid":2,"detail":'无失败'},{"uid":3,"detail":'1337点卡成功'}])然后
    

    • 

  • 航班数据预测与分析
林坰
大数据spark航班数据分析杜艳辉

    流程：数据来源：数据集预览（原始数据500w行，使用excel打不开，因此使用notepad++打开）：。。。数据清洗：数据存储到HDFS：使用pyspark对数据进行分析：//数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=SparkContext()sqlContext=SQLContext(sc)airpo
    

    • 

  • 再聊阴影裁剪与高性能视锥剔除

unity

    【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！一、实际需求因为项目的树与草都采用ComputeShader剔除的GPUInstance绘制，所以需要自己实现阴影投递物的裁剪方法。也就是每一帧具体让哪些物体绘制ShadowMap。该计算的精确性会很影响树（有大量顶点又需要用AlphaTest镂空）的渲染性能。
    

    • 

  • spark为什么比mapreduce快？

后端

    spark为什么比mapreduce快？首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），而不是shuffle次数，因为shuffle是根据数据重组的次数而定，所以shuffle次数不能减少所以总结spark比mapreduce快的原
    

    • 

  • [CDH] Spark 属性、内存、CPU相关知识梳理
枪枪枪
Sparksparkscalabigdata

    version：2.4.0-cdh6.3.0文章目录sparkproperties常用配置sparktasksparktask使用的cpu核数sparkarchitecturesparkmemorysparkonyarn问题1：什么情况下使用spark.executor.memoryOverhead问题2:什么情况下使用spark.executor.memory小总结：归根结底，spark中的cp
    

    • 

  • VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite
iwindyforest
vmwaremac os10.10workstationplayer

    最近尝试了下VMware下安装MacOS 系统，
安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章，
只能提供大概的思路， 但是实际安装起来由于版本问题， 走了不少弯路， 所以我尝试写以下总结， 希望能给有兴趣安装OSX的人提供一点帮助。
 
 
写在前面的话：
其实安装好后发现， 由于我的th
    

    • 

  • 关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？
deathwknight
JavaScriptjava框架

    本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：[email protected]）
一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下
平台
    

    • 

  • 如何把maven项目转成web项目
Kai_Ge
mavenMyEclipse

    创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
    

    • 

  • 主管？？？
Array_06
工作

    转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html
很久以前跟同事参加的培训，同事整理得很详细，必须得转！
前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
    

    • 

  • python内置函数大全
2002wmj
python

    最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
    

    • 

  • JSP页面通过JQUERY合并行
357029540
JavaScriptjquery

    在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示
如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码
function mergeCell(){
        var trs = $("#table tr");
&nb
    

    • 

  • Java基础
冰天百华
java基础

    学习函数式编程
package base;
import java.text.DecimalFormat;
public class Main {
public static void main(String[] args) {
// Integer a = 4;
// Double aa = (double)a / 100000;
// Decimal
    

    • 

  • unix时间戳相互转换
adminjun
转换unix时间戳

    如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000)
getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
    

    • 

  • 作为一个合格程序员该做的事
aijuans
程序员

    作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多
2、考虑自己明天应该做的主要工作 把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作
3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法 出错不要紧，最重
    

    • 

  • 由html5视频播放引发的总结
ayaoxinchao
html5视频video

    前言
 
项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。
 
视频结构
 
本该直接介绍html5的<video>的，但鉴于本人对视频
    

    • 

  • 解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat
bewithme
httpclient

         如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误
 
javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
    

    • 

  • Jedis连接池的入门级使用
bijian1013
redisredis数据库jedis

    Jedis连接池操作步骤如下：
        a.获取Jedis实例需要从JedisPool中获取；
        b.用完Jedis实例需要返还给JedisPool；
        c.如果Jedis在使用过程中出错，则也需要还给JedisPool；
packag
    

    • 

  • 变与不变
bingyingao
不变变亲情永恒

    变与不变
   周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，
   各种店铺都换了好几茬，这些是变的。
   三年前还很流行的一款手机在今天看起来已经落后的不像样子。
   三年前还运行的好好的一家公司，今天也已经不复存在。
   一座座高楼拔地而起，
    

    • 

  • 【Scala十】Scala核心四：集合框架之List
bit1129
scala

    Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解
 
1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量
 
2. 给变量赋值(注意val关键字，a，b
    

    • 

  • Nested Functions in C
bookjovi
cclosure

     
Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。
 
既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
    

    • 

  • Java-Collections Framework学习与总结-WeakHashMap
BrokenDreams
Collections

            总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。
       
强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
    

    • 

  • 读《研磨设计模式》-代码笔记-解释器模式-Interpret
bylijinnan
java设计模式

    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
package design.pattern;
/*
* 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象
*
* 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值
* 多
    

    • 

  • After Effects操作&快捷键
cherishLC
After Effects

    1、快捷键官方文档
中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html
英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html
2、常用快捷键
    

    • 

  • Maven 常用命令
crabdave
maven

    Maven 常用命令
 
mvn archetype:generate
mvn install
mvn clean
mvn clean complie
mvn clean test
mvn clean install
mvn clean package
mvn test
mvn package
mvn site
 
mvn dependency:res
    

    • 

  • shell bad substitution
daizj
shell脚本

    #!/bin/sh
/data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
    

    • 

  • Java SE 第二讲（原生数据类型 Primitive Data Type）
dcj3sjt126com
java

    Java SE  第二讲：
1.   Windows: notepad, editplus, ultraedit, gvim
Linux: vi, vim, gedit
2.   Java 中的数据类型分为两大类：
1）原生数据类型  （Primitive Data Type）
2）引用类型（对象类型）  （R
    

    • 

  • CGridView中实现批量删除
dcj3sjt126com
PHPyii

    1，CGridView中的columns添加
array(
'selectableRows' => 2,
'footer' => '<button type="button" onclick="GetCheckbox();" style=&
    

    • 

  • Java中泛型的各种使用
dyy_gusi
java泛型

    Java中的泛型的使用：1.普通的泛型使用
在使用类的时候后面的<>中的类型就是我们确定的类型。
public class MyClass1<T> {//此处定义的泛型是T
private T var;
public T getVar() {
return var;
}
public void setVa
    

    • 

  • Web开发技术十年发展历程
gcq511120594
Web浏览器数据挖掘

    回顾web开发技术这十年发展历程：
Ajax
03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。
彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
    

    • 

  • openSession()与getCurrentSession()区别：
hetongfei
javaDAOHibernate

    来自 http://blog.csdn.net/dy511/article/details/6166134
1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。
2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。
这里getCurrentSession本地事务(本地
    

    • 

  • 第一章 安装Nginx+Lua开发环境
jinnianshilongnian
nginxluaopenresty

    首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
    

    • 

  • HSQLDB In-Process方式访问内存数据库
liyonghui160com

     
 
HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。
 
先睹为快！
 
下面是一个In-Process方式访问内存数据库的代码示例：
 
 
下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）
 
import java.s
    

    • 

  • Java线程的5个使用技巧
pda158
java数据结构

    Java线程有哪些不太为人所知的技巧与用法？ 　　萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常
工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。 
    

    • 

  • 开发资源大整合：编程语言篇——JavaScript（1）
shoothao
JavaScript

    概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。  
  程序包管理器
  管理javascript库并提供对这些库的快速使用与打包的服务。
Bower - 用于web的程序包管理。
component - 用于客户端的程序包管理，构建更好的web应用程序。
spm - 全新的静态的文件包管
    

    • 

  • 避免使用终结函数
vahoa.ma
javajvmC++

    终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。
 
    我自己总结了一下这一条的综合性结论是这样的：
1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方
    

    • 














按字母分类：
ABCDEFGHIJKLMNOPQRSTUVWXYZ其他