learneraiqi
learneraiqi

spark 发布 2.2.0版本

  • Apache Spark 2.2.0是2.x分支上的第三次主版本发布，其他两个版本分别2.0.x,2.1.x两个主版本以及下属的分支版本。这次发布spark移除了Structured Streaming的实验标签。也就是说，这次发布的版本的焦点在于其易用性、稳定性，并完善、解决了超过1100个问题(目前来看，实际上有1146个问题，具体内容可以在spark的 jira上看到)。
  • 这次版本主要对一下几个模块着做了修改
    • Core and Spark SQL
    • Structured Streaming
    • MLlib
    • SparkR
    • GraphX
    • Deprecations
    • Changes of behavior
    • Known Issues
    • Credits

Core and Spark SQL(内核和spark SQL)

  • API更新
    • SPARK-19107：支持通过DataFrameWriter和catalog来创建hive表
      • DataFrameWriter是spark.sql下的一个接口，主要用于将数据集写到外部存储系统中
      • Catalog同样是spark.sql的一个接口，用于提供标准API访问spark SQL中的元数据
    • SPARK-13721：支持hive的LATERAL VIEW OUTER explode()功能
      • LATERAL VIEW OUTER explode()是hive所提供的一行转多列的方法(详情 现在这里挖个坑，找个时间来添一下)
    • SPARK-18885:针对数据源和hive的正/反序列化数据的同一建表语法
    • SPARK-16475:对sql查询中的 BROADCAST, BROADCASTJOIN, and MAPJOIN增加广播提示功能
    • SPARK-18350:支持本地回话时区(为了解决机器处于不同时区、或者不同用户处于不同时区所产生的时间不同问题)
    • SPARK-19261:支持扩展的sql语法alter table table_name add cloumns
    • SPARK-20420:增加external catalog时间
      • external catalog
    • SPARK-18127：增加spark的钩子和扩展点
      • 这是Srinath提出的一个改进点，其本意是希望通过自定义spark会话的方式来来实现以下目标：增加自定义的分析规则，如实现递归操作;增加自己的分析检查，如对数据源做特殊的检查，在发现问题的时候可以提前发现；增加自定义优化等
    • SPARK-20576：在Dataset/DataFrame中支持通用的提示函数
    • SPARK-17203：数据源操作不应该区分大小写
    • SPARK-19139：为spark增加AES基础认证机制
  • 性能和稳定
    • 代价优化器
      • 针对filter,join,aggregate,project和limit/sample操作的评估基数
      • 对join重排序进行优化
      • 对TPC-DS利用启发式星型结构进行优化
    • 引入一个基于聚合操作的jvm对象
    • 部分聚合支持hive UDAF 函数
    • 对CSV和JSON的文件列表/IO进行优化
    • 解决不可撤销/不可杀死的任务耗尽系统资源的问题
    • 拓扑结构的块复制问题
  • 其他值得注意的改变
    • 支持解析多行JSON文件
    • 支持解析多行CSV文件
    • 支持分区表的表分析命令
    • 在完成插入和创建hive表后丢弃阶段字典和数据文件
    • 视图更加文健、标准而不需要大量的SQL扩展
    • 支持从hive 2.0/2.1的模型仓库中读取数据
    • 提供提交协议的RDD端口API
    • 对定时调度任务增加黑名单列表
    • 移除对hadoop 2.5和更早版本的支持
    • 移除对java7的支持

Structured Streaming(结构流)

  • 常规应用
    • Structured Streaming(结构流)的API现在属于常规应用，不再具有实验标签
  • kafka 优化
    • 支持在流中或者批量从kafka中读取/写入数据
    • 使用一个缓存的kafka生产者通过kafka sink向kafka写入数据
  • API更新
    • 使用[flat]MapGroupWithState时支持复杂状态执行和超时
    • 支持一次触发器
  • 其他不重要的改变
    • 增加一个测试和基准的rate source(信率源)
  • structtured streaming 编程指南

MLlib

  • 基于data-frame的新算法API
    • 线性SVC
      • SVC: support vector classification(支持向量聚类算法)
    • 基于data-frame API的卡方检验
    • 基于data-frame API的相关分析
    • 基于特征转化的确实值处理
    • 广义线性模型增加Tweedie分布
    • 频繁项集挖掘中的FPGrowth算法和关联规则
  • 已存在的算法中增加python和R的api
    • Gradient Boosted Trees(梯度提升树)
    • 二分k均值
    • 局部敏感哈希 参考
    • pySpark的分布式主成分分析和矩阵奇异值分解
  • 主要bug修复
    • DistributedLDAModel.logPrior计算准确率修复
    • EMLDAOptimizer因类型匹配错误失败(由GraphX checkpointing的bug导致)
    • 修复在二项式广义线性模型中计算信息准则错误问题
      • AIC ：AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的， 因此又称赤池信息量准则
    • 在某些输入数据中训练二分K均值模型报"java.util.NoSuchElementException: key not found"错误
    • pyspark.ml.Pipeline 在多线程模式使用时会出问题
    • 框约束的逻辑回归
  • MLlib编程指南

SparkR

  • SparkR在2.2.0版本焦点主要集中在:增加了大量现存Spark SQL特性的支持 *主要特征
    • Structured Streaming API支持R语言
    • 完整的catalogAPI可以支持R语言
    • to_json,from_json的列函数
    • 合并dataFrame 和 合并列
    • 支持dataFrame的checkpointing
    • R中approxQuantile函数支持多列计算
  • SparkR编程指南

GraphX图计算

  • bug修复
    • 图计算接收器从PageRank中获取到了不准确的结果
    • 图顶点Rdd/边缘RDD做checkpoint操作时出现ClassCastException异常
  • GraphX编程指南

不赞成

  • python
    • 放弃对python2.6的支持
  • MLlib
    • spark.ml LDA类不应该在spark.mllib的API中暴露，在spark.ml.LDAModel中，不提倡oldLocalModel 和 getModel
  • SparkR
    • 不提倡创建外部表

方式改变

  • MLlib
    • 开发API ALS.train()使用默认参数0.1代替1.0，为了匹配常规算法API中的默认参数设置
  • sparkR:
    • 为SparkR的高斯矩阵模型增加对数似然估计，但是引入一个sparkR的模型不会持续兼容：高斯矩阵模型在SparkR 2.1中已经被移除，可能不会在sparkR 2.2中重新引入。我们计划在将来对其保持向后兼容。
由于知识局限，文中可能有些地方翻译的不准确，欢迎批评指正。更多信息请多关注ApacheCN

你可能感兴趣的:(Spark相关)

  • Collection的子接口之【List】 丶小鱼丶 Java集合框架list数据结构
    目录List自身提供了和index相关的方法List的特点List的常见实现类ArrayList底层数据结构是数组懒加载的体现最大容量为int类型的最大值扩容机制使用equals方法来判断是否包含某个元素随机增删元素效率较低，需要移动元素，时间复杂度为O(n)LinkedList底层数据结构是双向链表add(Ee)和remove()方法获取元素需要遍历节点，效率较低，时间复杂度为O(n)随机增删元
  • 运行go程序时出现的同包多文件不能调用的问题 wjhx golanggolang开发语言后端
    翻出一个以前的项目，使用go编写，运行在linux上，当前在win11上运行，vscode下launch.json配置如下：{//使用IntelliSense了解相关属性。//悬停以查看现有属性的描述。//欲了解更多信息，请访问:https://go.microsoft.com/fwlink/?linkid=830387"version":"0.2.0","configurations":[{"n
  • 互联网大厂Java面试实战：严肃面试官与搞笑谢飞机的三轮提问 Fu Dun Yao Java场景面试宝典Java面试JUCJVM多线程线程池HashMap
    互联网大厂Java面试实战：严肃面试官与搞笑谢飞机的三轮提问本文通过一个面试故事，展示了互联网大厂Java求职者与严肃面试官的对话。面试官就Java核心技术、JUC、JVM、多线程、线程池、HashMap、ArrayList、Spring及相关框架、分布式技术、消息队列、中间件、数据库、Linux、Docker、设计模式及DDD等多个技术点，分三轮提问。求职者谢飞机偶尔能准确回答简单问题获得认可，
  • linux系统中如何查看日志 (常用命令) darling_user Linux
    cattail-f日志文件说明/var/log/message系统启动后的信息和错误日志，是RedHatLinux中最常用的日志之一/var/log/secure与安全相关的日志信息/var/log/maillog与邮件相关的日志信息/var/log/cron与定时任务相关的日志信息/var/log/spooler与UUCP和news设备相关的日志信息/var/log/boot.log守护进程启动
  • 【学习】《算法图解》第六章学习笔记：广度优先搜索 自学也学好编程 程序人生
    前言《算法图解》第六章为我们介绍了一种基础且强大的图搜索算法——**广度优先搜索(Breadth-FirstSearch,BFS)**。这种算法能够系统地探索图中的节点，常用于解决两类核心问题：一是判断从一个节点到另一个节点是否存在路径；二是在无权图中找到两个节点之间的最短路径。本笔记将深入探讨图的基本概念、BFS的工作原理、其实现方式以及相关的性能分析。一、图（Graph）简介在讨论BFS之前，
  • MATLAB算法实战应用案例精讲-【数模应用】主效应&交互效应&单独效应 林聪木 matlab算法开发语言
    目录前言几个相关概念因素和水平主效应单纯主效应交互作用效应或影响（effect）因素之间的相互制约和影响两因素交互作用三因素及多因素交互作用几个高频面试题目什么是主效应,交互效应,单独效应？回归分析中是必须加入控制变量的吗？如果假如控制变量之后，显著性不高了该怎么办？控制变量说明控制变量选择控制变量处理主效应和交互效应的联系与区别如何依据主效应和交互效应描述结果？算法原理数学模型主效应二分变量交互
  • 阿里云Redhat系Linux修改ssh默认端口 z同学的编程之旅 环境搭建阿里云linuxssh
    阿里云Redhat系Linux修改ssh默认端口在阿里云买了个服务器，想着ssh的默认端口是22，这不安全。我就将修改ssh默认端口的过程记录下来了，方便日后回看。本命令适用于Redhat系Linux，例如Redhat、Centos、AlibabaCloudLinux、OracleLinux、RockyLinux、AlmaLinux等。我为什么知道这些Linux？因为公司有内核相关业务，接触的多了
  • 面试官是怎么筛选简历的 慕慕涵雪月光白 算法
    在互联网行业工作十几年，管理过团队，做过经理、总监，看过几千份简历，面试过几百位程序员，包括前端、后端、客户端，也面试过其他岗位，比如产品、设计、运营等。这个过程中最耗时的就是筛简历了，现在一个岗位放出去能收到几百份简历，人力资源会筛掉9成，到我这又会筛掉剩下的9成，最终能进入面试环节的可能就3~5个人。这中间最重要的就是简历，它的质量跟你的求职成功率强相关。所以我想从面试官的角度来说一说写简历要
  • 登录操作系统报错：-bash: fork: Cannot allocate memory Lz__Heng 故障处理运维Linux运维服务器linux
    问题描述服务器无法正常访问，检查操作系统监控，CPU使用率过高SSH远程登录服务器报错：-bash:fork:Cannotallocatememory排查思路该报错一般为pid进程数量超出，可以排查当前操作系统pid数量和相关设置如下：#查看当前操作系统的内核PID_max参数设置sysctl-a|greppid#默认为32768#查看当前操作系统systctl中是否有对pid的大小进行额外设置c
  • vue3中实现高德地图地址搜索自动提示（附源码） 年纪轻轻就扛不住 VUE开发语言vue.js前端框架前端
    Vue3实现高德地图搜索自动提示功能引言上一篇文章详细讲解了如何在Vue3项目中集成高德地图，本文将重点介绍地址搜索自动提示功能的实现。1.功能介绍搜索提示（AutoComplete）是一种实时提示功能，当用户输入关键字时，可以智能地给出相关的提示信息，帮助用户快速找到目标位置。2.插件初始化首先在插件列表中添加AMap.AutoComplete：AMapLoader.load({plugins:
  • 网络安全相关专业就业，零基础入门到精通，看这一篇分析就够了
    对于就业环境来说，都说不好，但我分析下来，其实网络安全专业还是有很多选择或出路的。有不少部门，可能很多人没有之前都没有听说过，平时也没有关注这块的招聘或者考编信息。今天，统一整理一下，方便大家获取。1、政府部门与事业单位在政府部门与事业单位中，网络安全专业毕业生有多个选择：公安局、网信办等部门：虽然工作压力较大，但待遇优厚且有编制保障。省直、市直单位信息中心：性价比高且有编制保障，是一个稳定且不错
  • CIANNA由天体物理学家提供/为天体物理学家提供的卷积交互式人工神经网络 struggle2025 神经网络
    一、软件介绍文末提供程序和源码下载CIANNA是一个通用的深度学习框架，主要用于天文数据分析。根据天体物理问题解决的相关性添加功能和优化。CIANNA可用于为各种任务构建和训练大型神经网络模型，并提供高级Python接口（类似于keras、pytorch等）。CIANNA的特点之一是它定制实施了受YOLO启发的对象探测器，用于2D或3D射电天文数据产品中的星系探测。该框架通过低级CUDA编程完全实
  • Midscene.js介绍和使用 望华笙 测试工具ui前端
    Midscene.js介绍和使用由于课程任务的需要，本人去寻找了AI+软件测试的相关应用，发现了Midscene这一便利的UI自动化测试工具。本篇博客主要对Midscene作了介绍，也给出了本人在使用Midscene过程中遇到的问题及摸索到的解决方案。Midscene.js是一个开源的基于多模态大型语言模型的UI自动化测试工具，它是由字节的web-infra团队开发。它能够智能地“解析”用户界面并
  • pnpm命令
    文章目录1.卸载指定包2.安装指定版本包3.清除pnpm的缓存4.其他相关操作5.版本选择语法6.工作空间示例（monorepo）7.注意事项在pnpm中管理包的特定版本安装和卸载操作如下：1.卸载指定包#卸载单个包pnpmremove#示例：卸载lodashpnpmremovelodash#卸载多个包pnpmremove#全局卸载pnpmremove--global2.安装指定版本包#精确安装特
  • .net core 定时任务 香煎三文鱼 C#.netcore.netcore定时任务
    这篇文章过来讲个小东西，也是大家在日常开发中也经常需要面临的问题：后台定时任务处理。估计大家看到这句就已经联想到QuartZ等类似第三方类库了，不好意思，后边的事情和它们没有关系。考虑到简单灵活,满足要求就够的编程风格.还是打算自己弄一个.当然这篇文章里不牵扯到具体的持久化,这个需要按照自己的项目需求去配置.关于IHostedService和BackgroundService需要自己百度一下.相关
  • PettingZoo:多智能体强化学习的标准API 资源存储库 多智能体强化学习人工智能深度学习
    PettingZoo:AStandardAPIforMulti-AgentReinforcementLearningPettingZoo:多智能体强化学习的标准API目录Abstract摘要1Introduction1介绍2BackgroundandRelatedWorks2背景及相关工作2.1PartiallyObservableStochasticGamesandRLlib2.1部分可观察随机
  • 工厂模式深度解析：工厂方法 vs 抽象工厂 hixiaoyang 设计模式
    1.核心概念对比1.1工厂方法模式（FactoryMethod）工厂方法模式定义一个创建对象的接口，但让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。关键结论：工厂方法是"单个产品等级结构"的创建解决方案，通过子类化实现具体创建逻辑1.2抽象工厂模式（AbstractFactory）抽象工厂模式提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。关键结论：抽象工厂是
  • 【LeetCode】滑动窗口相关算法题 在成都搬砖的鸭鸭 Golang刷LeetCode算法leetcode
    目录1、介绍2、核心思想3、算法题【1】长度最小的子数组1、介绍滑动窗口算法是一种高效处理数组/字符串子序列化问题的技术，它通过维护一个动态的窗口来避免不必要的重复计算。2、核心思想1、窗口定义：使用两个指针表示当前考察的子序列2、窗口移动：右指针扩张，扩大窗口范围，包含新元素；左指针收缩，缩小窗口范围，排除旧元素3、状态维护：在窗口移动过程中维护关键状态信息3、算法题【1】长度最小的子数组Lee
  • 中国双非高校经费TOP榜数据分析 归零鸟 高考考研高校大学
    当我们习惯性仰望985、211这些“国家队”时，一批地方重点支持的高校正悄悄发力，手握重金，展现出不逊于名校的“钞能力”。特别是“双非”大学中的佼佼者，它们的年度经费预算，足以让许多普通院校望尘莫及。今天就带大家揭开2024年全国高校经费预算的神秘面纱，尤其关注那些没有985/211光环，却获得财政“真金白银”大力支持的双非实力派们！（数据综合整理自各高校2024年公开预算报告及相关教育资讯平台，
  • Golang数据结构与算法：实现经典算法的Go版本 Golang编程笔记 golang算法开发语言ai
    Golang数据结构与算法：实现经典算法的Go版本关键词：Golang、数据结构、算法、经典算法、Go实现摘要：本文将带领大家深入探索在Golang中实现经典算法。我们会先介绍一些基础的数据结构和算法概念，然后用生动的故事和例子来解释这些概念，接着给出核心概念之间的关系。通过详细的代码示例，展示如何在Go语言里实现这些经典算法，还会介绍它们的实际应用场景、相关工具和资源，探讨未来的发展趋势与挑战。
  • 【iOS】iOS崩溃总结 ZFJ_张福杰 iOS开发objective-ciosswift
    【iOS】iOS崩溃总结一、前言之前写了一篇博文《【Flutter】程序报错导致的灰屏总结》，浏览量、收藏率和点赞量还挺高，还被收录了，就想着总结一下iOS崩溃，这个也是在iOS面试中经常被问到的。在iOS开发过程中，导致App崩溃的原因多种多样，大致可以分为以下几大类，还是很想说，代码规范很重要，代码格式化也能方便我们查找BUG！！！二、内存相关问题访问野指针（野地址）访问已经被释放的对象（Us
  • 微信小程序节点相关总结
    微信小程序节点事件总结bindtap、catchtap、bindclick的区别？`bindclick`和`bindtap`的区别在于：e.target和e.currentTargete.typee.timeStamp触摸事件属性（针对触摸类事件）坐标信息事件绑定数据冒泡与捕获相关其他特殊属性**常见事件类型及特有属性****总结**bindtap、catchtap、bindclick的区别？bi
  • AI原生应用领域反馈循环：助力应用持续进化 AI天才研究院 计算AI大模型企业级应用开发实战AI人工智能与大数据AI-nativeai
    AI原生应用领域反馈循环：助力应用持续进化关键词：AI原生应用、反馈循环、持续进化、数据驱动、用户体验摘要：本文围绕AI原生应用领域的反馈循环展开探讨。首先介绍了反馈循环在AI原生应用中的重要性，接着详细解释了反馈循环的核心概念及其相关要素。通过具体的算法原理和操作步骤展示了反馈循环如何在技术层面实现。以实际项目案例说明反馈循环在实际开发中的应用和效果。还探讨了反馈循环在不同场景下的应用，推荐了相
  • AI原生应用性能优化：混合推理的7个最佳实践 AI天才研究院 计算AI大模型企业级应用开发实战AI人工智能与大数据AI-native性能优化ai
    AI原生应用性能优化：混合推理的7个最佳实践关键词：AI原生应用、性能优化、混合推理、最佳实践、推理效率摘要：本文主要探讨了AI原生应用性能优化中混合推理的相关内容。首先介绍了文章的背景、目的、预期读者和文档结构等信息，接着对混合推理的核心概念进行了通俗易懂的解释，并阐述了各核心概念之间的关系，给出了核心概念原理和架构的文本示意图以及Mermaid流程图。详细讲解了核心算法原理和具体操作步骤，用数
  • 利用大数据领域Doris提升企业数据决策效率 大数据洞察 大数据网络ai
    利用大数据领域Doris提升企业数据决策效率关键词：大数据、Doris、企业数据决策、数据处理、效率提升摘要：本文围绕利用大数据领域的Doris来提升企业数据决策效率展开。首先介绍了背景，包括目的、预期读者、文档结构和相关术语。接着阐述了Doris的核心概念、架构以及与其他系统的联系。详细讲解了Doris的核心算法原理和具体操作步骤，并给出Python代码示例。同时介绍了相关的数学模型和公式。通过
  • java-数组常用api 远方啊~~ javajavajavascriptgit
    Java数组相关api数组array中的api1.获取数组长度：arrays.length()在Java中要求一个数组的长度是可以直接用length属性来获取的int[]A={1,2,3};intlen=A.length;在Java中这种方式就可以直接获取到数组的长度。值得注意的是，在Java中还有一个length()方法。这个方法是针对字符串而言的，只能用来求字符串长度。此外还有一个size(
  • Nuitka打包python脚本 __如风__ python开发语言
    Python脚本打包Python是解释执行语言，需要解释器才能运行代码，这就导致在开发机上编写的代码在别的电脑上无法直接运行，除非目标机器上也安装了Python解释器，有时候还需要额外安装Python第三方包，相当麻烦。事实上Python并不适合干这种事，但有时候确实需要Python编写的程序打包给他人一键运行。思路通常都是分析脚本依赖（所有使用到的模块），然后收集相关资源，为了能在目标机器上正确
  • SQL学习笔记1
    1.数据库1、什么是数据库数据库（DB）即用于存放数据的服务器，如MySQL等软件是数据库管理系统（DBMS），用于管理存放在数据库中的数据，SQL是用于操作DBMS的标准语言。2、数据库的类型数据库分为关系型数据库和非关系型数据库；关系型数据库是指用建立在关系模型上互相关联的二维表组成的数据库，MySQL是用于管理关系型数据库的数据库管理系统2.MySQL启动与连接1、MySQL启动安装好MyS
  • 中断与其他函数共享变量、临界资源的保护 匠在江湖 C语言知识点单片机嵌入式硬件
    volatilevolatile概念作用volatile(英译:易变的)是一个特征修饰符关键字，防止编译器对修饰的变量相关代码进行优化，每次使用都重新读取变量的值，而不是使用寄存器里的备份。volatile字面意思不太好理解，其实它是提醒编译器这个变量是易变的，不要去优化它！XBYTE[2]=0x55;XBYTE[2]=0x56;XBYTE[2]=0x57;XBYTE[2]=0x58;对外部硬件而
  • 全局变量中断原子操作_51单片机解决中断和主程序共享全局变量的方法 学弱猹 全局变量中断原子操作
    51单片机解决中断和主程序共享全局变量的方法所谓原子操作,并不是指一条指令,而是指一系列操作不能被打断.这种操作与临界区是密切相关的,可以说原子操作就是临界区引发出来的需求.以上是给大家提供资料查找的入口,下面我用通俗的话说说,但切不要认为自已看懂了就可以不去查以上相关资料了,知道啥叫"通俗"吗?呵呵.废话不多说:在多进程的系统里(比如多任务,比如中断服务程序),假如两组程序都要访问同一个资源,而
  • JAVA基础 灵静志远 位运算加载Date字符串池覆盖
    一、类的初始化顺序 1 （静态变量，静态代码块）-->（变量，初始化块）--> 构造器 同一括号里的，根据它们在程序中的顺序来决定。上面所述是同一类中。如果是继承的情况，那就在父类到子类交替初始化。 二、String 1 String a = "abc"; JAVA虚拟机首先在字符串池中查找是否已经存在了值为"abc"的对象，根
  • keepalived实现redis主从高可用 bylijinnan redis
    方案说明 两台机器（称为A和B），以统一的VIP对外提供服务 1.正常情况下，A和B都启动，B会把A的数据同步过来（B is slave of A） 2.当A挂了后，VIP漂移到B；B的keepalived 通知redis 执行：slaveof no one，由B提供服务 3.当A起来后，VIP不切换，仍在B上面；而A的keepalived 通知redis 执行slaveof B，开始
  • java文件操作大全 0624chenhong java
    最近在博客园看到一篇比较全面的文件操作文章，转过来留着。 http://www.cnblogs.com/zhuocheng/archive/2011/12/12/2285290.html 转自http://blog.sina.com.cn/s/blog_4a9f789a0100ik3p.html 一.获得控制台用户输入的信息    &nbs
  • android学习任务 不懂事的小屁孩 工作
    任务 完成情况 搞清楚带箭头的pupupwindows和不带的使用 已完成 熟练使用pupupwindows和alertdialog，并搞清楚两者的区别 已完成 熟练使用android的线程handler,并敲示例代码 进行中 了解游戏2048的流程，并完成其代码工作 进行中-差几个actionbar 研究一下android的动画效果，写一个实例 已完成 复习fragem
  • zoom.js 换个号韩国红果果 oom
    它的基于bootstrap 的 https://raw.github.com/twbs/bootstrap/master/js/transition.js  transition.js模块引用顺序 <link rel="stylesheet" href="style/zoom.css"> <script src=&q
  • 详解Oracle云操作系统Solaris 11.2 蓝儿唯美 Solaris
    当Oracle发布Solaris 11时，它将自己的操作系统称为第一个面向云的操作系统。Oracle在发布Solaris 11.2时继续它以云为中心的基调。但是，这些说法没有告诉我们为什么Solaris是配得上云的。幸好，我们不需要等太久。Solaris11.2有4个重要的技术可以在一个有效的云实现中发挥重要作用：OpenStack、内核域、统一存档（UA）和弹性虚拟交换（EVS）。 
  • spring学习——springmvc（一） a-john springMVC
    Spring MVC基于模型-视图-控制器（Model-View-Controller，MVC）实现，能够帮助我们构建像Spring框架那样灵活和松耦合的Web应用程序。   1，跟踪Spring MVC的请求 请求的第一站是Spring的DispatcherServlet。与大多数基于Java的Web框架一样，Spring MVC所有的请求都会通过一个前端控制器Servlet。前
  • hdu4342 History repeat itself-------多校联合五 aijuans 数论
    水题就不多说什么了。 #include<iostream>#include<cstdlib>#include<stdio.h>#define ll __int64using namespace std;int main(){ int t; ll n; scanf("%d",&t); while(t--)
  • EJB和javabean的区别 asia007 beanejb
    EJB不是一般的JavaBean,EJB是企业级JavaBean,EJB一共分为3种,实体Bean,消息Bean,会话Bean,书写EJB是需要遵循一定的规范的,具体规范你可以参考相关的资料.另外,要运行EJB,你需要相应的EJB容器,比如Weblogic,Jboss等,而JavaBean不需要,只需要安装Tomcat就可以了   1.EJB用于服务端应用开发, 而JavaBeans
  • Struts的action和Result总结 百合不是茶 strutsAction配置Result配置
        一:Action的配置详解:      下面是一个Struts中一个空的Struts.xml的配置文件     <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE struts PUBLIC &quo
  • 如何带好自已的团队 bijian1013 项目管理团队管理团队
    在网上看到博客" 怎么才能让团队成员好好干活"的评论，觉得写的比较好。 原文如下： 我做团队管理有几年了吧，我和你分享一下我认为带好团队的几点： 1.诚信         对团队内成员，无论是技术研究、交流、问题探讨，要尽可能的保持一种诚信的态度，用心去做好，你的团队会感觉得到。 2.努力提
  • Java代码混淆工具 sunjing ProGuard
    Open Source Obfuscators ProGuard http://java-source.net/open-source/obfuscators/proguardProGuard is a free Java class file shrinker and obfuscator. It can detect and remove unused classes, fields, m
  • 【Redis三】基于Redis sentinel的自动failover主从复制 bit1129 redis
    在第二篇中使用2.8.17搭建了主从复制，但是它存在Master单点问题，为了解决这个问题，Redis从2.6开始引入sentinel，用于监控和管理Redis的主从复制环境，进行自动failover，即Master挂了后，sentinel自动从从服务器选出一个Master使主从复制集群仍然可以工作，如果Master醒来再次加入集群，只能以从服务器的形式工作。   什么是Sentine
  • 使用代理实现Hibernate Dao层自动事务 白糖_ DAOspringAOP框架Hibernate
    都说spring利用AOP实现自动事务处理机制非常好，但在只有hibernate这个框架情况下，我们开启session、管理事务就往往很麻烦。 public void save(Object obj){ Session session = this.getSession(); Transaction tran = session.beginTransaction(); try
  • maven3实战读书笔记 braveCS maven3
    Maven简介 是什么？ Is a software project management and comprehension tool.项目管理工具 是基于POM概念(工程对象模型) [设计重复、编码重复、文档重复、构建重复，maven最大化消除了构建的重复] [与XP：简单、交流与反馈；测试驱动开发、十分钟构建、持续集成、富有信息的工作区]     功能：
  • 编程之美-子数组的最大乘积 bylijinnan 编程之美
    public class MaxProduct { /** * 编程之美 子数组的最大乘积 * 题目: 给定一个长度为N的整数数组，只允许使用乘法，不能用除法，计算任意N-1个数的组合中乘积中最大的一组，并写出算法的时间复杂度。 * 以下程序对应书上两种方法，求得“乘积中最大的一组”的乘积——都是有溢出的可能的。 * 但按题目的意思，是要求得这个子数组，而不
  • 读书笔记-2 chengxuyuancsdn 读书笔记
    1、反射 2、oracle年-月-日 时-分-秒 3、oracle创建有参、无参函数 4、oracle行转列 5、Struts2拦截器 6、Filter过滤器(web.xml) 1、反射 (1)检查类的结构 在java.lang.reflect包里有3个类Field,Method,Constructor分别用于描述类的域、方法和构造器。 2、oracle年月日时分秒 s
  • [求学与房地产]慎重选择IT培训学校 comsci it
          关于培训学校的教学和教师的问题,我们就不讨论了,我主要关心的是这个问题       培训学校的教学楼和宿舍的环境和稳定性问题       我们大家都知道，房子是一个比较昂贵的东西，特别是那种能够当教室的房子... &nb
  • RMAN配置中通道(CHANNEL)相关参数 PARALLELISM 、FILESPERSET的关系 daizj oraclermanfilespersetPARALLELISM
    RMAN配置中通道(CHANNEL)相关参数 PARALLELISM 、FILESPERSET的关系 转 PARALLELISM --- 我们还可以通过parallelism参数来指定同时"自动"创建多少个通道： RMAN > configure device type disk parallelism 3 ; 表示启动三个通道，可以加快备份恢复的速度。
  • 简单排序:冒泡排序 dieslrae 冒泡排序
    public void bubbleSort(int[] array){ for(int i=1;i<array.length;i++){ for(int k=0;k<array.length-i;k++){ if(array[k] > array[k+1]){
  • 初二上学期难记单词三 dcj3sjt126com sciet
    concert 音乐会 tonight 今晚 famous 有名的；著名的 song 歌曲 thousand 千 accident 事故；灾难 careless 粗心的，大意的 break 折断；断裂；破碎 heart 心（脏） happen  偶尔发生，碰巧 tourist 旅游者；观光者 science （自然）科学 marry 结婚 subject 题目；
  • I.安装Memcahce 1. 安装依赖包libevent Memcache需要安装libevent,所以安装前可能需要执行 Shell代码 收藏代码 dcj3sjt126com redis
    wget http://download.redis.io/redis-stable.tar.gz tar xvzf redis-stable.tar.gz cd redis-stable make   前面3步应该没有问题，主要的问题是执行make的时候，出现了异常。 异常一： make[2]: cc: Command not found 异常原因：没有安装g
  • 并发容器 shuizhaosi888 并发容器
       通过并发容器来改善同步容器的性能，同步容器将所有对容器状态的访问都串行化，来实现线程安全，这种方式严重降低并发性，当多个线程访问时，吞吐量严重降低。    并发容器ConcurrentHashMap       替代同步基于散列的Map，通过Lock控制。   &nb
  • Spring Security（12）——Remember-Me功能 234390216 Spring SecurityRemember Me记住我
    Remember-Me功能   目录   1.1     概述 1.2     基于简单加密token的方法 1.3     基于持久化token的方法 1.4     Remember-Me相关接口和实现
  • 位运算 焦志广 位运算
    一、位运算符Ｃ语言提供了六种位运算符： & 按位与 | 按位或 ^ 按位异或 ~ 取反 << 左移 >> 右移 1. 按位与运算 按位与运算符"&"是双目运算符。其功能是参与运算的两数各对应的二进位相与。只有对应的两个二进位均为1时，结果位才为1 ，否则为0。参与运算的数以补码方式出现。 例如：9&am
  • nodejs 数据库连接 mongodb mysql liguangsong mongodbmysqlnode数据库连接
    1.mysql 连接    package.json中dependencies加入     "mysql":"~2.7.0"    执行 npm install      在config 下创建文件 database.js    
  • java动态编译 olive6615 javaHotSpotjvm动态编译
        在HotSpot虚拟机中，有两个技术是至关重要的，即动态编译(Dynamic compilation)和Profiling。     HotSpot是如何动态编译Javad的bytecode呢？Java bytecode是以解释方式被load到虚拟机的。HotSpot里有一个运行监视器，即Profile Monitor,专门监视
  • Storm0.9.5的集群部署配置优化 roadrunners 优化storm.yaml
    nimbus结点配置（storm.yaml）信息： # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional inf
  • 101个MySQL 的调节和优化的提示 tomcat_oracle mysql
    　1. 拥有足够的物理内存来把整个InnoDB文件加载到内存中——在内存中访问文件时的速度要比在硬盘中访问时快的多。 　　2. 不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读取的，它的速度很慢。 　　3. 使用电池供电的RAM（注：RAM即随机存储器）。 　　4. 使用高级的RAID（注：Redundant Arrays of Inexpensive Disks，即磁盘阵列
  • zoj 3829 Known Notation(贪心) 阿尔萨斯 ZOJ
    题目链接：zoj 3829 Known Notation 题目大意：给定一个不完整的后缀表达式，要求有2种不同操作，用尽量少的操作使得表达式完整。 解题思路：贪心，数字的个数要要保证比∗的个数多1，不够的话优先补在开头是最优的。然后遍历一遍字符串，碰到数字+1，碰到∗-1,保证数字的个数大于等1，如果不够减的话，可以和最后面的一个数字交换位置（用栈维护十分方便），因为添加和交换代价都是1
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他