learneraiqi
learneraiqi

spark 发布 2.2.0版本

  • Apache Spark 2.2.0是2.x分支上的第三次主版本发布，其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说，这次发布的版本的焦点在于其易用性、稳定性，并完善、解决了超过1100个问题(目前来看，实际上有1146个问题，具体内容可以在spark的 jira上看到)。
  • 这次版本主要对一下几个模块着做了修改
    • Core and Spark SQL
    • Structured Streaming
    • MLlib
    • SparkR
    • GraphX
    • Deprecations
    • Changes of behavior
    • Known Issues
    • Credits

Core and Spark SQL(内核和spark SQL)

  • API更新
    • SPARK-19107：支持通过DataFrameWriter和catalog来创建hive表
      • DataFrameWriter是spark.sql下的一个接口，主要用于将数据集写到外部存储系统中
      • Catalog同样是spark.sql的一个接口，用于提供标准API访问spark SQL中的元数据
    • SPARK-13721：支持hive的LATERAL VIEW OUTER explode()功能
      • LATERAL VIEW OUTER explode()是hive所提供的一行转多列的方法(详情 现在这里挖个坑，找个时间来添一下)
    • SPARK-18885:针对数据源和hive的正/反序列化数据的同一建表语法
    • SPARK-16475:对sql查询中的 BROADCAST, BROADCASTJOIN, and MAPJOIN增加广播提示功能
    • SPARK-18350:支持本地回话时区(为了解决机器处于不同时区、或者不同用户处于不同时区所产生的时间不同问题)
    • SPARK-19261:支持扩展的sql语法alter table table_name add cloumns
    • SPARK-20420:增加external catalog时间
      • external catalog
    • SPARK-18127：增加spark的钩子和扩展点
      • 这是Srinath提出的一个改进点，其本意是希望通过自定义spark会话的方式来来实现以下目标：增加自定义的分析规则，如实现递归操作;增加自己的分析检查，如对数据源做特殊的检查，在发现问题的时候可以提前发现；增加自定义优化等
    • SPARK-20576：在Dataset/DataFrame中支持通用的提示函数
    • SPARK-17203：数据源操作不应该区分大小写
    • SPARK-19139：为spark增加AES基础认证机制
  • 性能和稳定
    • 代价优化器
      • 针对filter,join,aggregate,project和limit/sample操作的评估基数
      • 对join重排序进行优化
      • 对TPC-DS利用启发式星型结构进行优化
    • 引入一个基于聚合操作的jvm对象
    • 部分聚合支持hive UDAF 函数
    • 对CSV和JSON的文件列表/IO进行优化
    • 解决不可撤销/不可杀死的任务耗尽系统资源的问题
    • 拓扑结构的块复制问题
  • 其他值得注意的改变
    • 支持解析多行JSON文件
    • 支持解析多行CSV文件
    • 支持分区表的表分析命令
    • 在完成插入和创建hive表后丢弃阶段字典和数据文件
    • 视图更加文健、标准而不需要大量的SQL扩展
    • 支持从hive 2.0/2.1的模型仓库中读取数据
    • 提供提交协议的RDD端口API
    • 对定时调度任务增加黑名单列表
    • 移除对hadoop 2.5和更早版本的支持
    • 移除对java7的支持

Structured Streaming(结构流)

  • 常规应用
    • Structured Streaming(结构流)的API现在属于常规应用，不再具有实验标签
  • kafka 优化
    • 支持在流中或者批量从kafka中读取/写入数据
    • 使用一个缓存的kafka生产者通过kafka sink向kafka写入数据
  • API更新
    • 使用[flat]MapGroupWithState时支持复杂状态执行和超时
    • 支持一次触发器
  • 其他不重要的改变
    • 增加一个测试和基准的rate source(信率源)
  • structtured streaming 编程指南

MLlib

  • 基于data-frame的新算法API
    • 线性SVC
      • SVC: support vector classification(支持向量聚类算法)
    • 基于data-frame API的卡方检验
    • 基于data-frame API的相关分析
    • 基于特征转化的确实值处理
    • 广义线性模型增加Tweedie分布
    • 频繁项集挖掘中的FPGrowth算法和关联规则
  • 已存在的算法中增加python和R的api
    • Gradient Boosted Trees(梯度提升树)
    • 二分k均值
    • 局部敏感哈希 参考
    • pySpark的分布式主成分分析和矩阵奇异值分解
  • 主要bug修复
    • DistributedLDAModel.logPrior计算准确率修复
    • EMLDAOptimizer因类型匹配错误失败(由GraphX checkpointing的bug导致)
    • 修复在二项式广义线性模型中计算信息准则错误问题
      • AIC ：AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的， 因此又称赤池信息量准则
    • 在某些输入数据中训练二分K均值模型报"java.util.NoSuchElementException: key not found"错误
    • pyspark.ml.Pipeline 在多线程模式使用时会出问题
    • 框约束的逻辑回归
  • MLlib编程指南

SparkR

  • SparkR在2.2.0版本焦点主要集中在:增加了大量现存Spark SQL特性的支持 *主要特征
    • Structured Streaming API支持R语言
    • 完整的catalogAPI可以支持R语言
    • to_json,from_json的列函数
    • 合并dataFrame 和 合并列
    • 支持dataFrame的checkpointing
    • R中approxQuantile函数支持多列计算
  • SparkR编程指南

GraphX图计算

  • bug修复
    • 图计算接收器从PageRank中获取到了不准确的结果
    • 图顶点Rdd/边缘RDD做checkpoint操作时出现ClassCastException异常
  • GraphX编程指南

不赞成

  • python
    • 放弃对python2.6的支持
  • MLlib
    • spark.ml LDA类不应该在spark.mllib的API中暴露，在spark.ml.LDAModel中，不提倡oldLocalModel 和 getModel
  • SparkR
    • 不提倡创建外部表

方式改变

  • MLlib
    • 开发API ALS.train()使用默认参数0.1代替1.0，为了匹配常规算法API中的默认参数设置
  • sparkR:
    • 为SparkR的高斯矩阵模型增加对数似然估计，但是引入一个sparkR的模型不会持续兼容：高斯矩阵模型在SparkR 2.1中已经被移除，可能不会在sparkR 2.2中重新引入。我们计划在将来对其保持向后兼容。
由于知识局限，文中可能有些地方翻译的不准确，欢迎批评指正。更多信息请多关注ApacheCN

你可能感兴趣的:(Spark相关)

  • 头歌实践教学平台 Python程序设计 实训答案（三） 学习的锅 头哥实践教学平台实训答案python
    第七阶段文件实验一文本文件的读取第1关：学习-Python文件之文本文件的读取任务描述本关任务：使用open函数以只写的方式打开文件，打印文件的打开方式。相关知识为了完成本关任务，你需要掌握：文本文件；open函数及其参数；文件打开模式；文件对象常用属性；关闭文件close函数。#请在下面的Begin-End之间按照注释中给出的提示编写正确的代码##########Begin###########
  • 大模型实战—你的个人AI数字大脑Khoj 不二人生 大模型人工智能大模型
    Khoj是你的开源个人AI伴侣，提供即时答案。Khoj轻松地深入知识，简化复杂信息，整合你的个人背景，并根据你的独特需求量身定制响应。在线问题：如果你有一个问题需要从互联网获取最新的信息，Khoj可以进行在线搜索，找到相关答案。例如，查询当前的天气情况或某个新闻事件的最新动态。本地笔记和文档：如果你有很多保存的笔记、PDF文件、Markdown文档、GitHub仓库或Notion文件，Khoj可以
  • 1-5 Python 入门之运算符的使用 Sa_sa_ki_Haise python
    第1关：算术、比较、赋值运算符100任务要求参考答案评论201任务描述相关知识算术运算符比较(关系)运算符赋值运算符编程要求测试说明任务描述在编程时，我们常常需要对数值或对象进行算术、比较运算和赋值运算，以此来实现我们的功能需求。本关介绍Python中的一些基本运算符，并要求对给定的苹果和梨的数量进行算术运算、比较、赋值运算，然后输出相应的结果。相关知识要实现上述功能，需要用到Python中的各种
  • 2025年第二届机器学习与神经网络国际学术会议(MLNN 2025) 分享学术科研与论文的禁小默 机器学习神经网络人工智能
    重要信息官网：www.icmlnn.org时间：2025年4月22-24日地点：中国-重庆简介2025年第二届机器学习与神经网络国际学术会议（MLNN2025）围绕学习系统与神经网络的核心理论、关键技术和应用展开讨论，涵盖深度学习、计算机视觉、自然语言处理、强化学习等多个子领域，通过特邀报告、主题演讲、海报展示等形式，展示相关领域的最新研究成果和技术创新。征稿主题神经网络机器学习深度学习算法及应用
  • 网安会有35岁中年危机吗，还有网安将来发展怎么样？网络安全工程师可以干到多大年龄 认真写程序的强哥 web安全干货分享黑客技术网络安全渗透测试编程计算机
    关于35岁中年危机这个问题，我想说，在网安行业里，这根本就不是个事儿！！与传统的IT行业不同，网安行业更加注重实战经验和技能深度，而不是单一的年龄因素。随着经验的积累，网络安全工程师在面对复杂问题时，反应更快、决策更准，这种价值是无法用年龄来衡量的。所以，只要你保持学习热情，不断提升自己的技能，35岁不仅不是终点，反而可能是你职业生涯的新起点。初入计算机行业的人或者想转行大学计算机相关专业准程序员
  • 关于MTU的使用（TCP/IP网络下载慢可能与此有关） Littlehero_121 bug总结网络tcp/iplinux
    参考链接：告诉你mtu值怎么设置才能网速最好！-Win7系统之家出现网络速度被限制，可能与MTU值相关，先查看下本机的MTUwin+R,然后输入：netshinterfaceipv4showsubinterfaces，查看自己网络中的MTU，一般默认1500，则预示着你使用单包的字节数可能在1500以内，如果想要速度增加，则需自行修改MTU值，否则可能网速被限制
  • 【Python系列】高效Parquet数据处理策略：合并与分析实践 小团团0 python开发语言
    在大数据时代，数据的存储、处理和分析变得尤为重要。Parquet作为一种高效的列存储格式，被广泛应用于大数据处理框架中，如ApacheSpark、ApacheHive等。Parquet是一个开源的列存储格式，它被设计用于支持复杂的嵌套数据结构，同时提供高效的压缩和编码方案，以优化存储空间和查询性能。以下将详细介绍如何使用Python对Parquet文件进行数据处理与合并，并提供相应的源码示例。一、
  • 如何在百度搜索上删除与自己名字相关的资料 weixin_locy06 百度
    个人信息的网络足迹如同一张无形的网，将我们与世界的每一个角落紧密相连。然而，当某些与自己名字相关的资料不再希望被公众轻易检索到时，如何在百度搜索中有效“隐身”，成为了一个亟待解决的问题。面对复杂多变的网络环境，自行删除百度上的相关资料往往困难重重，但并非无解。本文腾轩科技传媒分享如何在百度搜索上删除与自己名字相关的资料。如果自己不懂怎么操作看左上方。一、为何自行删除难上加难？解决方案之前，重要的是
  • Java并发实战——线程池一篇详解 1加1等于 Java并发java多线程
    本文将深入探讨Java线程池的各个方面，从基础概念到高级应用，从而全面掌握线程池的使用，解决频繁地创建和销毁线程带来巨大的系统开销，包括内存消耗、CPU时间浪费等，通过复用线程，避免了线程的频繁创建和销毁，从而提高了系统的性能和稳定性。本文目录一、线程池简介二、线程池优点三、线程池相关概念ThreadPoolExecutor的构造函数任务队列拒绝策略四、线程池的使用五、线程池工厂类固定大小线程池单
  • 2-Spring-基于xml配置bean 技不如人，甘拜下风 javaspringspringxmljava
    Spring-基于xml配置bean文章目录Spring-基于xml配置bean一.Bean实例化的4种方式1.1无参数构造方法(开发最常用)1.2静态工厂方法1.3实例工厂方法1.4FactoryBean方式（Spring底层使用较多）1.5FactoryBean与BeanFactory区别二.Bean相关知识2.1Bean的作用域2.2Bean的生命周期2.3Bean的属性注入2.3.1构造方
  • 前端面试常见的计算机网络内容梳理 GISer_Jinger 前端javascript
    前端面试常见的计算机网络内容梳理，我得从搜索结果里找相关的信息。先看看各个网页的内容。网页1和网页2主要讲OSI模型、TCP/IP模型，ARP、DNS、TCP/UDP区别这些基础概念，这些都是常考的点。网页3提到了TCP三次握手、HTTP缓存、跨域方法，还有CDN原理，这些都是前端面试的重点。网页4详细讨论了HTTP请求方法、状态码、请求头和响应头，这些内容也很关键。网页5提到了HTTPS加密原理
  • 【BUAA S4 OS】Lab2 内存管理 Roisy++ OSBUAA笔记linux
    文章目录指导书梳理内核程序启动物理内存管理链表宏虚拟内存管理两级页表结构访问内存与TLB重填EntryHi、EntryLo0、EntryLo1TLB相关指令TLB的维护时纪exam前准备提醒参数、宏、函数缩写对照地址相互转换相关从地址中获取信息函数作用Exam翻车分析题目理解出现偏差——理解错题意&以为实现了自映射机制【疑问】页表在虚拟内存中不应该是连续的吗，这样怎么保证其连续性？【延伸】页表到底
  • GSMA SAS 安全生产审计检查清单 SofterICer eSIMSAS安全网络
    GSMASAS安全生产审计检查清单以下是根据GSMAFS.18-SecurityAccreditationScheme-ConsolidatedSecurityRequirementsandGuidelinesv11.1文档中与安全生产相关的章节，整理的安全生产审计检查清单。该清单涵盖了生产流程安全的关键领域、控制措施和最佳实践，并按照文档结构进行组织。1.生产流程控制控制措施/要求适用性状态备注
  • Spring MVC +Spring 框架学习总结-入门必学知识点 柚子味* Javaspringspringmvcjavaspringmvc
    Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。spring相关视频教程：https://www.bilibili.com/video/BV1nz4y1d7uySpringMVC是Spr
  • ubuntu设置开机自动运行应用 李某学编程 李某学ubuntuubuntu服务器运维
    系统版本：Ubuntu24.04.1LTS桌面版按招网上的资料显示，当前版本主要的实现方式有以下两种，方式1：通过图形界面的【启动应用程序】设置开机自启动；方式2：配置为服务实现开机自启动。但是在我的电脑上方式2总是报Qt相关的错误，所以只能使用方式1，配置方法如下：拿截图软件snipaste来举例，在文件夹/usr/share/applications下配置文件snipaste.desktop，
  • 整形在内存中的存储（例题逐个解析） 祁同伟. #C语言c语言
    目录一.相关知识点1.截断：2.整形提升：3.如何截断，整型提升？（1）负数（2）正数（3）无符号整型，高位补0注意：提升后得到的是补码。要根据打印类型，判断是否有符号位；有效数字二.例题1.2.3.4.疑问：不应该算数转换为unsignedint吗？5.6.一.相关知识点1.截断：直接保留低位的二进制位2.整形提升：表达式中的字符(char)和短整形(short)操作数在使用之前被转换为普通整型
  • 前端实现埋点&监控 Cipher_Y 前端
    前端实现埋点&监控实现埋点功能的意义主要体现在以下几个方面：数据采集：埋点是数据采集领域（尤其是用户行为数据采集领域）的术语，它针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。通过埋点，可以收集到用户在应用中的所有行为数据，例如页面浏览、按钮点击、表单提交等。数据分析：采集的数据可以帮助业务人员分析网站或者App的使用情况、用户行为习惯等，是后续建立用户画像、用户行为路径等数据产
  • 【设计模式】命令模式 浅慕Antonio 设计模式设计模式命令模式
    命令模式命令（Command）模式是一种行为型模式，其实现有些烦琐，适用于一些比较专用的场合。本章首先通过一个采用命令模式编写的范例引入命令模式的概念，然后具体阐述命令模式适用的场景，达到让读者对该模式活学活用的目的。在本章的最后，还将阐述命令模式的特点以及一些值得深入思考的话题。9.1通过一个范例引出命令模式代码编写方法设想来到一家饭馆，点两个菜吃——红烧鱼和锅包肉，编写一下这个饭馆的相关代码：
  • 31天Python入门——第11天:挑战一口气把闭包·装饰器讲明白 安然无虞 Python手把手教程python开发语言后端pyqt
    你好，我是安然无虞。文章目录1.闭包扩展知识:闭包的自由变量是如何存储的2.装饰器装饰器的应用场景3.补充练习1.闭包闭包是指在一个函数内部定义的函数，并且这个内部函数可以访问外部函数的变量、参数.换句话说，闭包是一个包含了函数及其相关引用环境的组合体.在Python中，当一个函数返回了内部函数的引用时，这个内部函数可以访问并操作外部函数的局部变量，它就创建了一个闭包,即使外部函数已经执行完毕，它
  • 给美国客户设计的一个24V5A反激式开关电源_光耦TL431环路补偿_极点_零点 巾帼嵌入式 自动控制开关电源开关电源
    电源设计其实并不难,一个是变压器,一个是环路补偿,EMI相关问题看当地标准首先是变压器然后是环路补偿fc8.265k,推断此位置增益0.0db,相位裕度55度,系统稳定
  • 【传输层协议】TCP协议详解（上） 望舒_233 Linux网络tcp/ip网络服务器
    前言TCP（TransmissionControlProtocol，传输控制协议）是TCP/IP协议栈中的核心协议，作为互联网通信的基石，承担着确保数据可靠传输的重要职责。接下来我将分两篇文章，从四个部分带大家学习一些与TCP相关的基本概念和机制，首先我将带大家认识一下TCP报头字段的含义，然后了解TCP保证可靠性的一些机制，接下来是TCP进行效率优化的机制，最后是TCP与应用层相关的概念。本篇文
  • 量子化学仿真软件：Quantum Espresso_（7）.ph.x模块使用 kkchenjj 分子动力学2分子动力学仿真模拟性能优化模拟仿真
    ph.x模块使用1.ph.x模块概述ph.x是QuantumEspresso软件套件中的一个重要模块，用于计算材料的声子谱和相关的物理性质，如热导率、热膨胀系数等。声子是晶格振动的量子化模式，对理解材料的热力学性质、电输运性质以及光学性质至关重要。ph.x模块基于密度泛函微扰理论（DensityFunctionalPerturbationTheory,DFPT）进行计算，能够高效地处理周期性固体系
  • What's new in dubbo-go v3.3.0
    我们dubbogo社区很高兴地宣布发布最新版本v3.3.0！这一版本带来了多个Bug修复、新特性以及代码优化，显著提升了dubbogo的稳定性与功能性。版本亮点在本次更新中，我们对多个核心组件进行了改进，以解决服务发现、注册中心相关的问题，并优化内存管理，减少内存泄漏。此外，我们增强了底层通信库的错误处理能力，并提升了系统的整体稳定性，为Go开发者提供更强大、更可靠的微服务开发体验。本次更新的主要
  • 20190626_二次开发BarTender打印机_C#代码_一边读取TID_一边打印_打印机POSTEK weixin_30784141 c/c++数据库
    demo代码如下:privatevoidbtnPrint_Click(objectsender,EventArgse){if(this.btnPrint.Text=="停止打印"){SetBtnPrintUIEnable();return;}//禁用界面上的相关按钮SetBtnPrintUIDisable();vardt=newDataTable();newTask(()=>{///开始的打印//
  • Angular与Laravel的CSRF问题探讨与解决 t0_54manong 编程问题解决手册angular.jslaravelcsrf个人开发
    在现代Web开发中，安全性是一个不容忽视的关键问题。跨站请求伪造（CSRF）攻击是常见的安全威胁之一，幸运的是，Laravel框架已经为我们提供了强大的CSRF保护机制。然而，当我们将Angular前端与Laravel后端集成时，可能会遇到一些CSRF相关的挑战。今天我们将通过一个具体的案例来探讨如何解决Angular与Laravel之间的CSRF问题。背景介绍假设我们有一个使用Angular开发
  • 学习Video.js 前端熊猫 VideoPlayer学习
    查阅官方文档，学习video.js相关属性、回调与方法：播放器选项设置①标准的video标签属性②data-setup属性传递JSON③创建播放器实例以第二个参数配置videojs('my-player',{controls:true,autoplay:false,preload:'auto'});//修改选项varplayer=videojs('my-player');player.option
  • 深夜惊魂：当监控告警“撒谎”时，SRE 如何逆风翻盘？ YAMLMaster kubernetes运维开发devops容器云原生
    Yorkshire,England引言我们这一篇也是含金量十足，如果面试官让你说个你处理过的比较有意思的案例，可以跟他讲讲，让他也见见世面。好吧，我们直接开始，最后有相关的群，有兴趣可以加入。开始一、故障场景深度还原时间：2025年1月3日02:00（GMT+8）环境：•数据库集群：MySQL8.0.35，通过KubeBlocks部署（3节点，跨AZ）•监控架构：•Prometheus-Opera
  • Java进阶——数组超详细整理 1加1等于 Javajava数据结构
    数组是一种基础且重要的数据结构，广泛应用于各种场景，本文将深入探讨Java数组的相关知识点，并结合实际场景展示其应用。本文目录一、数组声明与初始化1.声明方式2.初始化方法3.长度特性二、内存管理三、数组遍历与操作1.遍历方式2.数组填充四、多维数组五、数组工具类Arrays六、数组与集合的转换1.数组转集合2.集合转数组总结一、数组声明与初始化1.声明方式数组的声明有两种方式：int[]prod
  • 关于Makefile中通配符的相关内容，以及‘%’和‘*’的区别 litvm 【韦东山】嵌入式Linux课程学习笔记服务器linux经验分享
    1.通配符定义通配符是指在操作系统中，用于代替其它字符或字符串的符号，可以匹配符合相应规则的文件或目录。即：可以使用通配符代表许多同种格式的文件。如：*.o表示所有的.o文件在命令行中，常用的通配符有以下几种：1.*(星号)：表示任意长度的任意字符（包括空字符），可以出现在文件名中的任意位置。2.?(问号)：表示一个任意字符，且只能替代一个字符。3.[](中括号)：可匹配其中某个指定字符，可以出现
  • MongoDB慢日志查询及索引创建 laolitou_1024 中间件微服务数据库mongodb
    MongoDB的慢日志（SlowQueryLog）对于运维和程序员来说都非常重要，因为它直接关系到数据库的性能和应用程序的稳定性。以下分享介绍下MongoDB慢日志查询及索引创建相关的一些笔记。一，准备1.使用db.currentOp()实时监控db.currentOp()可以查看当前正在执行的操作，适合捕捉瞬时的高CPU操作。db.currentOp()示例：过滤长时间运行的操作db.curre
  • JAVA基础 灵静志远 位运算加载Date字符串池覆盖
    一、类的初始化顺序 1 （静态变量，静态代码块）-->（变量，初始化块）--> 构造器 同一括号里的，根据它们在程序中的顺序来决定。上面所述是同一类中。如果是继承的情况，那就在父类到子类交替初始化。 二、String 1 String a = "abc"; JAVA虚拟机首先在字符串池中查找是否已经存在了值为"abc"的对象，根
  • keepalived实现redis主从高可用 bylijinnan redis
    方案说明 两台机器（称为A和B），以统一的VIP对外提供服务 1.正常情况下，A和B都启动，B会把A的数据同步过来（B is slave of A） 2.当A挂了后，VIP漂移到B；B的keepalived 通知redis 执行：slaveof no one，由B提供服务 3.当A起来后，VIP不切换，仍在B上面；而A的keepalived 通知redis 执行slaveof B，开始
  • java文件操作大全 0624chenhong java
    最近在博客园看到一篇比较全面的文件操作文章，转过来留着。 http://www.cnblogs.com/zhuocheng/archive/2011/12/12/2285290.html 转自http://blog.sina.com.cn/s/blog_4a9f789a0100ik3p.html 一.获得控制台用户输入的信息    &nbs
  • android学习任务 不懂事的小屁孩 工作
    任务 完成情况 搞清楚带箭头的pupupwindows和不带的使用 已完成 熟练使用pupupwindows和alertdialog，并搞清楚两者的区别 已完成 熟练使用android的线程handler,并敲示例代码 进行中 了解游戏2048的流程，并完成其代码工作 进行中-差几个actionbar 研究一下android的动画效果，写一个实例 已完成 复习fragem
  • zoom.js 换个号韩国红果果 oom
    它的基于bootstrap 的 https://raw.github.com/twbs/bootstrap/master/js/transition.js  transition.js模块引用顺序 <link rel="stylesheet" href="style/zoom.css"> <script src=&q
  • 详解Oracle云操作系统Solaris 11.2 蓝儿唯美 Solaris
    当Oracle发布Solaris 11时，它将自己的操作系统称为第一个面向云的操作系统。Oracle在发布Solaris 11.2时继续它以云为中心的基调。但是，这些说法没有告诉我们为什么Solaris是配得上云的。幸好，我们不需要等太久。Solaris11.2有4个重要的技术可以在一个有效的云实现中发挥重要作用：OpenStack、内核域、统一存档（UA）和弹性虚拟交换（EVS）。 
  • spring学习——springmvc（一） a-john springMVC
    Spring MVC基于模型-视图-控制器（Model-View-Controller，MVC）实现，能够帮助我们构建像Spring框架那样灵活和松耦合的Web应用程序。   1，跟踪Spring MVC的请求 请求的第一站是Spring的DispatcherServlet。与大多数基于Java的Web框架一样，Spring MVC所有的请求都会通过一个前端控制器Servlet。前
  • hdu4342 History repeat itself-------多校联合五 aijuans 数论
    水题就不多说什么了。 #include<iostream>#include<cstdlib>#include<stdio.h>#define ll __int64using namespace std;int main(){ int t; ll n; scanf("%d",&t); while(t--)
  • EJB和javabean的区别 asia007 beanejb
    EJB不是一般的JavaBean,EJB是企业级JavaBean,EJB一共分为3种,实体Bean,消息Bean,会话Bean,书写EJB是需要遵循一定的规范的,具体规范你可以参考相关的资料.另外,要运行EJB,你需要相应的EJB容器,比如Weblogic,Jboss等,而JavaBean不需要,只需要安装Tomcat就可以了   1.EJB用于服务端应用开发, 而JavaBeans
  • Struts的action和Result总结 百合不是茶 strutsAction配置Result配置
        一:Action的配置详解:      下面是一个Struts中一个空的Struts.xml的配置文件     <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE struts PUBLIC &quo
  • 如何带好自已的团队 bijian1013 项目管理团队管理团队
    在网上看到博客" 怎么才能让团队成员好好干活"的评论，觉得写的比较好。 原文如下： 我做团队管理有几年了吧，我和你分享一下我认为带好团队的几点： 1.诚信         对团队内成员，无论是技术研究、交流、问题探讨，要尽可能的保持一种诚信的态度，用心去做好，你的团队会感觉得到。 2.努力提
  • Java代码混淆工具 sunjing ProGuard
    Open Source Obfuscators ProGuard http://java-source.net/open-source/obfuscators/proguardProGuard is a free Java class file shrinker and obfuscator. It can detect and remove unused classes, fields, m
  • 【Redis三】基于Redis sentinel的自动failover主从复制 bit1129 redis
    在第二篇中使用2.8.17搭建了主从复制，但是它存在Master单点问题，为了解决这个问题，Redis从2.6开始引入sentinel，用于监控和管理Redis的主从复制环境，进行自动failover，即Master挂了后，sentinel自动从从服务器选出一个Master使主从复制集群仍然可以工作，如果Master醒来再次加入集群，只能以从服务器的形式工作。   什么是Sentine
  • 使用代理实现Hibernate Dao层自动事务 白糖_ DAOspringAOP框架Hibernate
    都说spring利用AOP实现自动事务处理机制非常好，但在只有hibernate这个框架情况下，我们开启session、管理事务就往往很麻烦。 public void save(Object obj){ Session session = this.getSession(); Transaction tran = session.beginTransaction(); try
  • maven3实战读书笔记 braveCS maven3
    Maven简介 是什么？ Is a software project management and comprehension tool.项目管理工具 是基于POM概念(工程对象模型) [设计重复、编码重复、文档重复、构建重复，maven最大化消除了构建的重复] [与XP：简单、交流与反馈；测试驱动开发、十分钟构建、持续集成、富有信息的工作区]     功能：
  • 编程之美-子数组的最大乘积 bylijinnan 编程之美
    public class MaxProduct { /** * 编程之美 子数组的最大乘积 * 题目: 给定一个长度为N的整数数组，只允许使用乘法，不能用除法，计算任意N-1个数的组合中乘积中最大的一组，并写出算法的时间复杂度。 * 以下程序对应书上两种方法，求得“乘积中最大的一组”的乘积——都是有溢出的可能的。 * 但按题目的意思，是要求得这个子数组，而不
  • 读书笔记-2 chengxuyuancsdn 读书笔记
    1、反射 2、oracle年-月-日 时-分-秒 3、oracle创建有参、无参函数 4、oracle行转列 5、Struts2拦截器 6、Filter过滤器(web.xml) 1、反射 (1)检查类的结构 在java.lang.reflect包里有3个类Field,Method,Constructor分别用于描述类的域、方法和构造器。 2、oracle年月日时分秒 s
  • [求学与房地产]慎重选择IT培训学校 comsci it
          关于培训学校的教学和教师的问题,我们就不讨论了,我主要关心的是这个问题       培训学校的教学楼和宿舍的环境和稳定性问题       我们大家都知道，房子是一个比较昂贵的东西，特别是那种能够当教室的房子... &nb
  • RMAN配置中通道(CHANNEL)相关参数 PARALLELISM 、FILESPERSET的关系 daizj oraclermanfilespersetPARALLELISM
    RMAN配置中通道(CHANNEL)相关参数 PARALLELISM 、FILESPERSET的关系 转 PARALLELISM --- 我们还可以通过parallelism参数来指定同时"自动"创建多少个通道： RMAN > configure device type disk parallelism 3 ; 表示启动三个通道，可以加快备份恢复的速度。
  • 简单排序:冒泡排序 dieslrae 冒泡排序
    public void bubbleSort(int[] array){ for(int i=1;i<array.length;i++){ for(int k=0;k<array.length-i;k++){ if(array[k] > array[k+1]){
  • 初二上学期难记单词三 dcj3sjt126com sciet
    concert 音乐会 tonight 今晚 famous 有名的；著名的 song 歌曲 thousand 千 accident 事故；灾难 careless 粗心的，大意的 break 折断；断裂；破碎 heart 心（脏） happen  偶尔发生，碰巧 tourist 旅游者；观光者 science （自然）科学 marry 结婚 subject 题目；
  • I.安装Memcahce 1. 安装依赖包libevent Memcache需要安装libevent,所以安装前可能需要执行 Shell代码 收藏代码 dcj3sjt126com redis
    wget http://download.redis.io/redis-stable.tar.gz tar xvzf redis-stable.tar.gz cd redis-stable make   前面3步应该没有问题，主要的问题是执行make的时候，出现了异常。 异常一： make[2]: cc: Command not found 异常原因：没有安装g
  • 并发容器 shuizhaosi888 并发容器
       通过并发容器来改善同步容器的性能，同步容器将所有对容器状态的访问都串行化，来实现线程安全，这种方式严重降低并发性，当多个线程访问时，吞吐量严重降低。    并发容器ConcurrentHashMap       替代同步基于散列的Map，通过Lock控制。   &nb
  • Spring Security（12）——Remember-Me功能 234390216 Spring SecurityRemember Me记住我
    Remember-Me功能   目录   1.1     概述 1.2     基于简单加密token的方法 1.3     基于持久化token的方法 1.4     Remember-Me相关接口和实现
  • 位运算 焦志广 位运算
    一、位运算符Ｃ语言提供了六种位运算符： & 按位与 | 按位或 ^ 按位异或 ~ 取反 << 左移 >> 右移 1. 按位与运算 按位与运算符"&"是双目运算符。其功能是参与运算的两数各对应的二进位相与。只有对应的两个二进位均为1时，结果位才为1 ，否则为0。参与运算的数以补码方式出现。 例如：9&am
  • nodejs 数据库连接 mongodb mysql liguangsong mongodbmysqlnode数据库连接
    1.mysql 连接    package.json中dependencies加入     "mysql":"~2.7.0"    执行 npm install      在config 下创建文件 database.js    
  • java动态编译 olive6615 javaHotSpotjvm动态编译
        在HotSpot虚拟机中，有两个技术是至关重要的，即动态编译(Dynamic compilation)和Profiling。     HotSpot是如何动态编译Javad的bytecode呢？Java bytecode是以解释方式被load到虚拟机的。HotSpot里有一个运行监视器，即Profile Monitor,专门监视
  • Storm0.9.5的集群部署配置优化 roadrunners 优化storm.yaml
    nimbus结点配置（storm.yaml）信息： # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional inf
  • 101个MySQL 的调节和优化的提示 tomcat_oracle mysql
    　1. 拥有足够的物理内存来把整个InnoDB文件加载到内存中——在内存中访问文件时的速度要比在硬盘中访问时快的多。 　　2. 不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读取的，它的速度很慢。 　　3. 使用电池供电的RAM（注：RAM即随机存储器）。 　　4. 使用高级的RAID（注：Redundant Arrays of Inexpensive Disks，即磁盘阵列
  • zoj 3829 Known Notation(贪心) 阿尔萨斯 ZOJ
    题目链接：zoj 3829 Known Notation 题目大意：给定一个不完整的后缀表达式，要求有2种不同操作，用尽量少的操作使得表达式完整。 解题思路：贪心，数字的个数要要保证比∗的个数多1，不够的话优先补在开头是最优的。然后遍历一遍字符串，碰到数字+1，碰到∗-1,保证数字的个数大于等1，如果不够减的话，可以和最后面的一个数字交换位置（用栈维护十分方便），因为添加和交换代价都是1
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他