山间浓雾有路灯
山间浓雾有路灯

8.Spark Sql

定义

SparkSql是Apache Spark大数据框架的一部分，主要用于处理结构化数据和对Spark数据执行类sql的查询，Spark为其提供了一个称为DataFrame的编程抽象，充当分布式sql查询引擎

功能

  • 集成：可以无缝将Sql查询与Spark程序混合
  • 统一数据访问：加载来自各种来源的数据
  • 兼容性：Spark Sql重用Hive前端和MetaStore，与现有Hive数据、查询和UDF的安全兼容，只需要和Hive一起安装即可
  • 标准连接：JDBC和ODBC
  • 扩展性：对交互式查询和长查询使用相同的引擎，Spark Sql利用RDD模型来支持查询容错，使其扩展大大型作业

框架

把数据接入到Spark Sql中，Spark Sql进行数据处理或算法实现，然后再把处理后的数据输出到相应的输出源


images

input（接入数据）：

  • 数据源丰富：Hive，json，txt，JDBC等
  • Spark Sql存在两个类进行对接：HiveContext和SQLContext，其中HiveContext继承了SQLContext的所有方法，同时又进行了扩展
  • SQLContext用于对接绝大多数类型数据源，HiveContext是SQLContext的超集

超集定义：如果一个集合S2中的每一个元素都在集合S1中，且集合S1中可能包含S2中没有的元素，则集合S1就是S2的一个超集，反过来，S2是S1的子集。 S1是S2的超集，若S1中一定有S2中没有的元素，则S1是S2的真超集，反过来S2是S1的真子集。

  • Spark Sql处理读取的数据，采用的是DataFrame中提供的方法

DataFrame

DataFrame是一个以命名列方式组织的分布式数据集，按照命名列的形式组织数据，等同于关系型数据库中的一个表
通过调用DataFrame的内容作为行RDD（RDD of Rows）返回的Rdd方法，可以将DataFrame转换成RDD
创建DataFrame方式

  • 已有RDD
  • 结构化数据文件
  • JSON数据
  • Hive表
  • 外部数据库

RDD以record为单位，Spark优化时无法洞悉record内部的细节，无法深度优化，限制了SparkSql性能的提升
DataFrame包含了每个record的metadata元数据信息，DataFrame的优化可以对列内部优化


images
细节

  • DataFrame是基于RDD的抽象，底层结构是RDD，Spark在你使用DataFrame时会优化你的代码


    images

  • Spark对于DataFrame在执行时间和内存使用上对于RDD有极大的优化

    • Catalyst引擎：使得执行时间减少75%
    • Project Tungsten Off-head内存管理：使内存使用量减少75%，无垃圾回收器

    off-head：本质是突破JVM内存管理限制，分配堆外内存

Catalyst（优化引擎）

  • 本质是把Sql、DataFrame相结合，以树tree的形式来存储、优化
  • SQL优化器核心执行策略的两个方向：规则和代价
    images

基于规则

基于规则体现在经验式、启发式的优化思路，更多的依靠前辈总结出来的优化规则，简单易行且能够覆盖到大部分优化逻辑
例如join算子（两张表做join）

  • 外排
    • 大循环外排：A，B两张表都很大，复杂度O（M * N），一般不用

    • 游标式外排：归并排序


      images
  • 内排
    • 小表放内存，大表做遍历（hive中的mapside join）

基于代价

  • 核心算子的优化
  • 评估每种策略选择的代价，根据代价估算，确定代价最小的方案
  • 代价估算模型，调整join的顺序，减少中间shuffle数据的规模

工作流程

parser

  • 是针对sql的解析器，SQLParser生成LogicPlan Tree
  • 主要先进行词法分析，再进行语法分析
    • 词法分析：将输入的sql语句串解析为一个一个的token，再根据一定语义规则解析为一颗语法树
    • 语法分析：再词法分析基础上，将单词序列组合成各类语法短语，组成各个LogicPlan

  • 示例
    一个示例性的sql语句（有两张表，其中people表主要存储用户基本信息，score表存储用户的各种成绩），通过parser解析后的AST语法树，如图所示


    images

analyzer

  • 遍历整个语法树，对树上的每个节点进行数据类型绑定以及函数绑定
  • 根据元数据表解析为包含必要列的表，并且相应字段解析为相应的数据类型，相应的计算逻辑解析为对应的函数

  • SparkSql中analyzer定义了各种解析规则


    images

  • 示例
    通过解析后的逻辑执行计划基本有了骨架，但是
    系统并不知道score，sum这些都是些什么，此时需要基本的元数据信息来表达这些词素，最重要的元数据信息主要包括两部分：
    1）表的Scheme：包括表的基本定义（列名，数据类型），表的数据格式（json，text），表的物理位置等
    2）基本函数信息：类消息
    analyzer会再次遍历整个语法树，对树上的每个节点进行数据类型绑定以及函数绑定，比如people词素会根据元数据表信息解析为包含age，id以及name三列的表，people，age会被解析为数据类型int的变量，sum会被解析为聚合函数


    images

optimizer

  • 是Catalyst的核心
  • 基于规则优化实际上对语法树再次做遍历，模式匹配能够满足特定细节的节点，再进行相应的等价交换，因此，基于规则优化说到底就是一棵树等价的转换为另一棵树
  • 经典规则

    • 谓词下推
      下图左边是经过analyzer解析后的语法树，语法树中两个表先做join，之后再使用age > 10对结果进行过滤。join算子通常是一个非常耗时的算子，耗时多少一般取决于参与join的两个表的大小，如果能够减少参与join两表的大小，就可以大大降低join算子所需时间。谓词下推就是这样一种功能，它会将过滤操作下推到join之前进行，下图中过滤条件age > 0 以及 id != null两个条件就分别下推到了join之前。这样，系统在扫描数据的时候就怼数据进行了过滤，参与join的数据量将会得到显著的减少，join耗时必然也会降低


      images

    • 常量累加
      常量累加其实很简单，就是 x + （1 + 2） --> x + 3，虽然是一个很小的改动，但是意义巨大。下图示例中如果没有进行优化的话，每一条结果都需要执行一次100 + 80的操作，然后再与变量math_score以及english_score相加，而优化后就不需要再执行100 + 80操作


      images

    • 列值裁剪
      下图示例中对于people表来说，并不需要扫描它的所有列值，而只需要列值id，所以在扫描people之后需要将其他列进行裁剪，只留下列id。这个优化一方面大幅度减少了网络、内存数据量消耗，另一方面对于列存数据库来说大大提高了扫描效率


      images

physical planning

用物理操作算子产生一个或者多个物理计划，然后用cost模型选择一个物理计划。目前基于cost-based的优化仅仅用于选择join算子，对已知的很小的relations。sparkSql会选择使用spark的提高的点对点的广播功能实现broadcast join。
示例
此时就需要将逻辑执行计划转换为物理执行计划，将逻辑上可行的执行计划变为Spark可以真正执行的计划。比如join算子，Spark根据不同场景为该算子制定了不同的算法策略，有BroadcastHashJoin、ShuffleHashJoin以及SortMergeJoin等（可以将join理解为一个接口，BroadcastHashJoin是其中一个具体实现），物理执行计划实际上就是在这些具体实现中挑选一个耗时最小的算法实现


images

执行计划

使用queryExecution方法查看逻辑执行计划，使用explain方法查看物理执行计划


images

你可能感兴趣的:(8.Spark Sql)

  • 深圳云盟智慧科技公司智慧停车管理系统GetVideo存在SQL注入漏洞 缘梦未来 漏洞复现科技安全web安全
    免责声明:本文旨在提供有关特定漏洞的深入信息，帮助用户充分了解潜在的安全风险。发布此信息的目的在于提升网络安全意识和推动技术进步，未经授权访问系统、网络或应用程序，可能会导致法律责任或严重后果。因此，作者不对读者基于本文内容所采取的任何行为承担责任。读者在使用本文信息时，必须严格遵循适用的法律法规及服务协议，自行承担一切风险与责任。如涉及侵权，请及时与我们联系，我们将尽快处理并删除相关内容。0x0
  • 复杂查询导致clickhouse宕机 null.equals() 数据库
    背景最近在研究clickhouse，发现了不少坑，有些坑是官方的无法解决，有些是配置的问题。配置问题及优化的问题就需要我们不断的调整配置以及优化sql。优化sql最主要是理解clickhouse是如何查询的，我们才能找到瓶颈点，找到优化方法。问题在8G内存4核CPU的机器上，单节点的默认配置的clickhouse，保存数据8000W+，一个复杂的多表关联的查询，每次查询到98%的时候，clickh
  • SQLException（SQL异常）可能的原因和解决方法 m0_74822999 sql数据库
    SQLException是在Java中处理数据库操作过程中可能发生的异常，通常是由于底层数据库操作错误或违反了数据库规则而引起的。以下是可能导致SQLException的一些原因以及相应的解决方法：连接问题：可能原因：数据库连接失败，可能是由于数据库服务器不可用、连接字符串错误、网络问题等。解决方法：检查数据库连接字符串、数据库服务器是否正常运行，确保网络连接可用。可以使用连接池来提高连接的复用性
  • 阿里异构离线数据同步工具/平台DataX boonya #开源观察#数据迁移#Dataxbigdatahbase数据库
    目录DataX商业版本FeaturesDataX详细介绍QuickStartSupportDataChannels阿里云DataWorks数据集成我要开发新的插件项目成员Licensehttps://github.com/alibaba/DataXDataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle
  • hvie SQL优化之where子句过滤模式 三生暮雨渡瀟瀟 hive调优hive
    本篇文章来源于《Hive性能调优实现》。在HiveSQL里面经常用到的过滤方法就是使用where子句，例如：explainselect*fromstudent_tb_seqwheres_age=19ands_namelike'%红%'ands_scorein(100,50,22);where子句在执行计划中以filter操作表示，代码如下：STAGEPLANS:Stage:Stage-1MapRe
  • PHP简单项目案例（改进版） 小邱同志~ PHPphpweb程序设计mysql数据库
    最近开学php，下午闲着没事干，想着做个小项目练练手，也就是用php写个网页，对数据库里的东西实现增删改查，下面给大家分享一下，由于本人的业务能力尚浅，大家有啥建议我很欢迎哦！简单效果：1.打开网页呈现数据库数据：2.删除功能，添加信息功能。3.信息修改功能（带数据进页面）下面便是源码：数据库文件：（数据库名：dataphp表名：student）/*SQLyog企业版-MySQLGUIv8.14M
  • SQL语言中的查询语句整理 唐僧洗头爱飘柔9527 sqlmysql数据库
    1、查询语句的介绍：本篇主要介绍sql语句里的查询语句，这其中包括了查询语句中的子内容，也就是拓展的内容，这些内容代入到查询语句中将会有更多的反应。2、查询语句：FROM命令：SELECT字段1,字段2,字段3FROM表文件名执行顺序：mysql共有7个查询命令，FROM命令永远是第一个执行的查询命令执行作用：FROM命令相当于一个读取流，分则将硬盘上表文件加载到内存中生成一个【临时表】供后续查询
  • sql 一行join 如何多表条件关联? tebukaopu148 sql数据库
    SELECTa.name,b.sortFROMaleftjoincona.uid=c.idLEFTJOINbONa.perid=b.idOR(a.peridISNULLANDa.bidisnotnullanda.bid=b.id)or(a.peridISNULLANDa.bidisnullandc.did=b.id)
  • MDX语言的语法 沈霁晨 包罗万象golang开发语言后端
    MDX（MultidimensionalExpressions）语言是一种用于多维数据库的查询语言，广泛应用于微软的SQLServerAnalysisServices（SSAS）中。MDX的设计初衷是为了对多维数据进行复杂的查询和分析，尤其是在数据仓库和商业智能领域。本文将从MDX的基础知识、语法结构、常用函数以及实际应用等多方面进行详细探讨。一、MDX语言的基础知识MDX语言的核心是对多维数据集
  • 深入探讨Web应用开发：从前端到后端的全栈实践 禁默 前端
    目录引言1.Web应用开发的基本架构2.前端开发技术HTML、CSS和JavaScript前端框架与库响应式设计与移动优先3.后端开发技术Node.js（JavaScript后端）Python（Flask和Django）RubyonRailsJava（SpringBoot）4.数据库选择与管理关系型数据库（SQL）非关系型数据库（NoSQL）5.API设计与开发RESTfulAPIGraphQL6
  • 【Springboot】——响应与分层解耦架构 Y小夜 架构springboot后端javaspring
    博主现有专栏：C51单片机（STC89C516），c语言，c++，离散数学，算法设计与分析，数据结构，Python，Java基础，MySQL，linux，基于HTML5的网页设计及应用，Rust（官方文档重点总结），jQuery，前端vue.js，Javaweb开发，设计模式、Python机器学习、Springboot等主页链接：Y小夜-CSDN博客目录响应响应数据✨@ResponseBody✨G
  • 微信小程序交易平台/基于微信小程序的购物系统/基于微信小程序的电商平台/基于微信小程序的商品销售系统 一枚小小程序员哈 微信小程序小程序
    摘要随着当今网络的发展，时代的进步，各行各业也在发生着变化，于是网络已经逐步进入人们的生活，给我们生活或者工作提供了新的方向新的可能。本毕业设计的内容是设计实现一个微信小程序交易平台。使用微信开发者是以java语言进行开发，MYSQL为数据库开发平台，Tomcat网络信息服务作为应用服务器。微信小程序交易平台的功能已基本实现，主要包括有商家、用户、商品分类、商品信息、商品咨询等功能。本微信小程序软
  • 卓越效能，极简运维，体验云上的Serverless架构，领取转轮日历！ 数据库阿里云
    技术解决方案【CloudUp挑战赛】」上线了！业务的持续稳定可服务，决定着企业对客户的服务质量，是企业发展的基础。应用部署的高可用架构和弹性能力对于业务的稳定与发展起着至关重要的作用，但企业同时需要考虑资源维护成本和费用成本。本方案采用云上的Serverless架构，整合了专有网络VPC、应用型负载均衡ALB、Serverless应用引擎以及PolarDBMySQL版Serverless数据库服务
  • mybatis 动态传入表名 注解_MyBatis构建sql时动态传入表名以及字段名 理柴德波浪技术 mybatis动态传入表名注解
    一直在使用Mybatis这个ORM框架，都是使用mybatis里的一些常用功能。今天在项目开发中有个业务是需要限制各个用户对某些表里的字段查询以及某些字段是否显示，如某张表的某些字段不让用户查询到。这种情况下，就需要构建sql来动态传入表名、字段名了。现在对解决方法进行下总结，希望对遇到同样问题的伙伴有些帮助。动态SQL是mybatis的强大特性之一，mybatis在对sql语句进行预编译之前，会
  • MySQL-事务隔离级别与MVCC 事务快照视图mysqlmvcc
    大家好，我是半夏之沫一名金融科技领域的JAVA系统研发我希望将自己工作和学习中的经验以最朴实，最严谨的方式分享给大家，共同进步写作不易，期待大家的关注和点赞关注微信公众号【技术探界】前言本篇文章首先会对数据库事务的几个基础概念进行说明，主要是事务ACID模型，并发事务带来的问题和事务隔离级别。然后在此基础上，会对MySQL的InnoDB引擎中的一致性非锁定读取（ConsistentNonlocki
  • Python学生成绩管理系统（完整代码） Want595 Python趣味编程数据库pythonmysql
    文章目录写在前面MySQL1.导入信息2.演示说明Python1.连接数据库2.登录界面3.注册界面4.主界面5.查询信息6.修改密码7.成绩分析7.1通过学号查询成绩7.2通过课程号查询成绩7.主函数下载代码系列文章写在后面写在前面Python实现一个简单的学生成绩管理系统的完整代码。本篇博客主要分为两大部分，数据库部分和Python程序设计部分，先将数据导入到数据库中，随后通过python程序
  • 卓越效能，极简运维，体验云上的Serverless架构，领取转轮日历！ 数据库阿里云
    技术解决方案【CloudUp挑战赛】」上线了！业务的持续稳定可服务，决定着企业对客户的服务质量，是企业发展的基础。应用部署的高可用架构和弹性能力对于业务的稳定与发展起着至关重要的作用，但企业同时需要考虑资源维护成本和费用成本。本方案采用云上的Serverless架构，整合了专有网络VPC、应用型负载均衡ALB、Serverless应用引擎以及PolarDBMySQL版Serverless数据库服务
  • MySQL数据迁移到PostgreSQL必备手册 胡妃意
    MySQL数据迁移到PostgreSQL必备手册【下载地址】MySQL数据迁移到PostgreSQL必备手册本仓库提供了一个名为“MySQL数据迁移到PostgreSQL必备手册.pdf”的资源文件，该手册详细介绍了如何将MySQL数据库中的数据迁移到PostgreSQL数据库中。通过本手册，您可以轻松掌握最简单且经过验证的数据迁移方法，确保迁移过程顺利进行项目地址:https://gitcode
  • 【Navicat+MySQL】 在Navicat内创建管理数据库、数据库表。 brhhh_sehe 面试学习路线阿里巴巴数据库mysqloracle
    一、数据库1.创建数据库使用CREATE命令可以创建一个数据库。CREATEDATABASE[[DEFAULT]CHARACTERSET][DEFAULT]COLLATE];–DEFAULT：指定默认值–CHARACTERSET：指定数据库字符集（charset），其后的_字符集名_要用MySQL具体支持的字符集名称代替，如utf-8–COLLATE：指定字符集的校对规则，其后的_校对规则名_要用
  • TiDB 和 MySQL 的关系：这两者到底有什么不同和联系？ 狮歌~资深攻城狮 tidb数据分析数据仓库
    TiDB和MySQL的关系：这两者到底有什么不同和联系？在了解TiDB和MySQL之间的关系时，很多人可能会有疑问：这两个数据库到底有什么区别和联系？是不是TiDB就是MySQL的升级版？或者TiDB是一种“替代品”，取代了MySQL的地位？今天我们就来聊一聊这两个数据库，揭开它们之间的关系，让大家更加清晰地理解它们的作用。1.MySQL——大众熟知的数据库首先，MySQL是一个开源的关系型数据库
  • 基于微信小程序的个人健康管理系统 计算机学姐 微信小程序源码微信小程序小程序springbootjavavue.jsintellij-ideamybatis
    作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：Java精选实战项目源码、Python精选实战项目源码、大数据精选实战项目源码系统展示基于微信小程序+Java+SpringBoot+Vue+
  • 从MySQL迁移到PostgreSQL的完整指南 m0_74825718 面试学习路线阿里巴巴mysqlpostgresql数据库
    1.引言在现代数据库管理中，选择合适的数据库系统对业务的成功至关重要。随着企业数据量的增长和对性能要求的提高，许多公司开始考虑从MySQL迁移到PostgreSQL。这一迁移的主要原因包括以下几个方面：1.1性能和扩展性PostgreSQL以其高性能和优秀的扩展能力而闻名。它支持复杂的查询优化和并发控制，能够更高效地处理大规模数据。与MySQL相比，PostgreSQL在处理复杂查询和大数据集时表
  • python cursor游标重置位置scroll_Python中使用MySQLdb连接MySQL ... 贺开 python
    ‘’‘#选择数据库conn.select_db('python');提交操作：conn.commit()回滚操作：conn.rollback()获取最近查询表的字段个数：conn.field_count上次查询或更新所发生行数：cursor.rowcountexcute(sql,单挑数据元组)、executemany(sql,序列)插入一条记录：executevalue=[1,"inserted?
  • 微服务与docker 当归1024 docker微服务docker架构
    准备工作在课前资料中给大家提供了黑马商城项目的资料，我们需要先导入这个单体项目。不过需要注意的是，本篇及后续的微服务学习都是基于Centos7系统下的Docker部署，因此你必须做好一些准备：Centos7的环境及一个好用的SSH客户端装好Docker会使用Docker如果是学习过上面Docker课程的同学，虚拟机中已经有了黑马商城项目及MySQL数据库了，不过为了跟其他同学保持一致，可以先将整个
  • Mysql-生产环境实战经验总结 猿与禅 MySQL底层原理及实战mysql数据库生产环境经验故障排查压测
    文章目录真实生产环境下的Mysql数据库机器配置如何规划互联网公司的生产环境数据库是如何进行性能压测1.准备测试环境2.构建测试场景3.性能测试4.监控与分析5.资源压力测试6.故障恢复测试7.文档记录与复盘8.安全与合规注意事项如何为生产环境中的数据库部署监控系统1.选择监控工具2.安装监控组件3.配置MySQL导出器4.配置Prometheus5.配置Grafana6.设置警报规则7.监控My
  • uniapps使用HTML5的io模块拷贝文件目录 PABL01 前端html5uniappsqlite
    最近在集成sqlite到uniapp的过程中，因为要将sqlite数据库预加载，所以需要使用HTML5的plus.io模块。使用过程中遇到了许多问题，比如文件路径总是解析不到等。尤其是应用私有文档目录’_doc’。根据官方文档：为了安全管理应用的资源目录，规范对文件系统的操作，5+API在系统应用目录的基础设计了应用沙盒目录，分为私有目录和公共目录两种类型，私有目录仅应用自身可以访问，公共目录在多
  • MySQL高可用性的守护者：主从复制的深度解析与实践指南 墨夶 数据库学习资料1mysqladb数据库
    在当今瞬息万变的数据驱动世界中，确保数据库系统的高可用性和数据一致性是每个企业IT架构师面临的重大挑战。对于依赖MySQL作为核心存储引擎的企业来说，如何构建一个稳定、可靠且易于维护的数据库集群至关重要。今天，我们将深入探讨MySQL主从复制技术，它是实现高可用性架构的关键组件之一。通过本文，您将不仅了解到主从复制的基本原理和配置方法，还将掌握如何优化性能、解决常见问题以及应对故障转移等高级技巧。
  • 为什么是B+树？【深度解读】 UPUP小亮 b树数据结构
    文章目录前言一、怎样的索引的数据结构是好的二、二分查找特点缺点三、二分查找树特点缺点四、自平衡二叉树特点缺点五、B树特点缺点六、B+树定义单点查询插入与删除效率范围查询总结七、MySQL的B+树InnoDB是如何存储数据的B+树是如何进行查询的聚簇索引和二级索引八、总结前言B+树是一种常用的索引数据结构，在数据库系统和文件系统中广泛应用。它相比于其他数据结构具有许多优点，下面我将一步一步介绍相关概
  • SQLmap 自动注入 -02 shenghuiping2001 网络安全sqlmapsql注入webmysql
    1:如果想获得SQL数据库的信息，可以加入参数:-dbssqlmap-u"http://192.168.56.133/mutillidae/index.php?page=user-info.php&username=xiaosheng&password=abc&user-info-php-submit-button=View+Account+Details"--batch-pusername-db
  • 22_设计方案（第四章） 珞圻-Health 信息化项目验收文档体系oracle数据库政务大数据
    4“一中心”设计“一中心”，即建设全区统一的不动产登记数据库，集成全区5个市22个县（区）的不动产登记数据，进行统一的数据存储、管理与应用。（1）市三区业务数据迁移对市三区的业务数据迁移到全区不动产登记数据库，现有市三区的业务数据存储在Oracle数据库中，而全区不动产登记数据统一存储在SQLServer数据库，因此，本项目需将现有Oracle数据库中的255万条业务数据的数据形式转换为SQLSe
  • Java 并发包之线程池和原子计数 lijingyao8206 Java计数ThreadPool并发包java线程池
    对于大数据量关联的业务处理逻辑，比较直接的想法就是用JDK提供的并发包去解决多线程情况下的业务数据处理。线程池可以提供很好的管理线程的方式，并且可以提高线程利用率，并发包中的原子计数在多线程的情况下可以让我们避免去写一些同步代码。     这里就先把jdk并发包中的线程池处理器ThreadPoolExecutor 以原子计数类AomicInteger 和倒数计时锁C
  • java编程思想 抽象类和接口 百合不是茶 java抽象类接口
    接口c++对接口和内部类只有简介的支持,但在java中有队这些类的直接支持   1 ,抽象类 :  如果一个类包含一个或多个抽象方法,该类必须限定为抽象类(否者编译器报错)   抽象方法 : 在方法中仅有声明而没有方法体    package com.wj.Interface;
  • [房地产与大数据]房地产数据挖掘系统 comsci 数据挖掘
           随着一个关键核心技术的突破,我们已经是独立自主的开发某些先进模块,但是要完全实现,还需要一定的时间...        所以,除了代码工作以外,我们还需要关心一下非技术领域的事件..比如说房地产     &nb
  • 数组队列总结 沐刃青蛟 数组队列
          数组队列是一种大小可以改变，类型没有定死的类似数组的工具。不过与数组相比，它更具有灵活性。因为它不但不用担心越界问题，而且因为泛型（类似c++中模板的东西）的存在而支持各种类型。      以下是数组队列的功能实现代码：   import List.Student; public class
  • Oracle存储过程无法编译的解决方法 IT独行者 oracle存储过程　
    今天同事修改Oracle存储过程又导致2个过程无法被编译，流程规范上的东西，Dave 这里不多说，看看怎么解决问题。   1.     查看无效对象 XEZF@xezf(qs-xezf-db1)> select object_name,object_type,status from all_objects where status='IN
  • 重装系统之后oracle恢复 文强chu oracle
    前几天正在使用电脑，没有暂停oracle的各种服务。 突然win8.1系统奔溃，无法修复，开机时系统 提示正在搜集错误信息，然后再开机，再提示的无限循环中。 无耐我拿出系统u盘 准备重装系统，没想到竟然无法从u盘引导成功。 晚上到外面早了一家修电脑店，让人家给装了个系统，并且那哥们在我没反应过来的时候， 直接把我的c盘给格式化了 并且清理了注册表，再装系统。 然后的结果就是我的oracl
  • python学习二（ 一些基础语法） 小桔子 pthon基础语法
    紧接着把！昨天没看继续看django 官方教程，学了下python的基本语法 与c类语言还是有些小差别： 1.ptyhon的源文件以UTF-8编码格式 2. /   除 结果浮点型 //  除 结果整形 %   除 取余数 *   乘 **  乘方 eg 5**2 结果是5的2次方25 _&
  • svn 常用命令 aichenglong SVN版本回退
    1 svn回退版本   1)在window中选择log,根据想要回退的内容,选择revert this version或revert chanages from this version 两者的区别:   revert this version:表示回退到当前版本(该版本后的版本全部作废)   revert chanages from this versio
  • 某小公司面试归来 alafqq 面试
    先填单子，还要写笔试题，我以时间为急，拒绝了它。。时间宝贵。 老拿这些对付毕业生的东东来吓唬我。。 面试官很刁难，问了几个问题，记录下； 1，包的范围。。。public,private,protect. --悲剧了 2，hashcode方法和equals方法的区别。谁覆盖谁.结果，他说我说反了。 3，最恶心的一道题，抽象类继承抽象类吗？（察，一般它都是被继承的啊） 4，stru
  • 动态数组的存储速度比较 集合框架 百合不是茶 集合框架
    集合框架： 自定义数据结构(增删改查等) package 数组; /** * 创建动态数组 * @author 百合 * */ public class ArrayDemo{ //定义一个数组来存放数据 String[] src = new String[0]; /** * 增加元素加入容器 * @param s要加入容器
  • 用JS实现一个JS对象，对象里有两个属性一个方法 bijian1013 js对象
    <html> <head> </head> <body> 用js代码实现一个js对象，对象里有两个属性，一个方法 </body> <script> var obj={a:'1234567',b:'bbbbbbbbbb',c:function(x){
  • 探索JUnit4扩展：使用Rule bijian1013 java单元测试JUnitRule
            在上一篇文章中，讨论了使用Runner扩展JUnit4的方式，即直接修改Test Runner的实现(BlockJUnit4ClassRunner)。但这种方法显然不便于灵活地添加或删除扩展功能。下面将使用JUnit4.7才开始引入的扩展方式——Rule来实现相同的扩展功能。 1. Rule       &n
  • [Gson一]非泛型POJO对象的反序列化 bit1129 POJO
    当要将JSON数据串反序列化自身为非泛型的POJO时，使用Gson.fromJson(String, Class)方法。自身为非泛型的POJO的包括两种： 1. POJO对象不包含任何泛型的字段 2. POJO对象包含泛型字段，例如泛型集合或者泛型类 Data类 a.不是泛型类， b.Data中的集合List和Map都是泛型的 c.Data中不包含其它的POJO    
  • 【Kakfa五】Kafka Producer和Consumer基本使用 bit1129 kafka
    0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（）   1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
  • lsyncd实时同步搭建指南——取代rsync+inotify ronin47
    1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是 inotify + rsync，但随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；更为要紧的是，加入inotify
  • java-9. 判断整数序列是不是二元查找树的后序遍历结果 bylijinnan java
    public class IsBinTreePostTraverse{ static boolean isBSTPostOrder(int[] a){ if(a==null){ return false; } /*1.只有一个结点时，肯定是查找树 *2.只有两个结点时，肯定是查找树。例如{5,6}对应的BST是 6 {6,5}对应的BST是
  • MySQL的sum函数返回的类型 bylijinnan javaspringsqlmysqljdbc
    今天项目切换数据库时，出错 访问数据库的代码大概是这样： String sql = "select sum(number) as sumNumberOfOneDay from tableName"; List<Map> rows = getJdbcTemplate().queryForList(sql); for (Map row : rows
  • java设计模式之单例模式 chicony java设计模式
    在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 　　作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。 单例模式的结构 　　单例模式的特点： 单例类只能有一个实例。 单例类必须自己创建自己的唯一实例。 单例类必须给所有其他对象提供这一实例。 　　饿汉式单例类   publ
  • javascript取当月最后一天 ctrain JavaScript
    <!--javascript取当月最后一天--> <script language=javascript> var current = new Date(); var year = current.getYear(); var month = current.getMonth(); showMonthLastDay(year, mont
  • linux tune2fs命令详解 daizj linuxtune2fs查看系统文件块信息
    一.简介： tune2fs是调整和查看ext2/ext3文件系统的文件系统参数，Windows下面如果出现意外断电死机情况，下次开机一般都会出现系统自检。Linux系统下面也有文件系统自检，而且是可以通过tune2fs命令，自行定义自检周期及方式。 二.用法： Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g grou
  • 做有中国特色的程序员 dcj3sjt126com 程序员
      从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有
  • Android：TextView属性大全 dcj3sjt126com textview
    android:autoLink    设置是否当文本为URL链接/email/电话号码/map时，文本显示为可点击的链接。可选值(none/web/email/phone/map/all)  android:autoText    如果设置，将自动执行输入值的拼写纠正。此处无效果，在显示输入法并输
  • tomcat虚拟目录安装及其配置 eksliang tomcat配置说明tomca部署web应用tomcat虚拟目录安装
    转载请出自出处：http://eksliang.iteye.com/blog/2097184 1.-------------------------------------------tomcat  目录结构 config：存放tomcat的配置文件 temp  ：存放tomcat跑起来后存放临时文件用的 work   ： 当第一次访问应用中的jsp
  • 浅谈：APP有哪些常被黑客利用的安全漏洞 gg163 APP
    首先，说到APP的安全漏洞，身为程序猿的大家应该不陌生；如果抛开安卓自身开源的问题的话，其主要产生的原因就是开发过程中疏忽或者代码不严谨引起的。但这些责任也不能怪在程序猿头上，有时会因为BOSS时间催得紧等很多可观原因。由国内移动应用安全检测团队爱内测（ineice.com）的CTO给我们浅谈关于Android 系统的开源设计以及生态环境。 1. 应用反编译漏洞：APK 包非常容易被反编译成可读
  • C#根据网址生成静态页面 hvt Web.netC#asp.nethovertree
    HoverTree开源项目中HoverTreeWeb.HVTPanel的Index.aspx文件是后台管理的首页。包含生成留言板首页，以及显示用户名，退出等功能。根据网址生成页面的方法：   bool CreateHtmlFile(string url, string path) { //http://keleyi.com/a/bjae/3d10wfax.htm stri
  • SVG 教程 （一） 天梯梦 svg
    SVG 简介 SVG 是使用 XML 来描述二维图形和绘图程序的语言。 学习之前应具备的基础知识： 继续学习之前，你应该对以下内容有基本的了解： HTML XML 基础 如果希望首先学习这些内容，请在本站的首页选择相应的教程。 什么是SVG？ SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量
  • 一个简单的java栈 luyulong java数据结构栈
    public class MyStack { private long[] arr; private int top; public MyStack() { arr = new long[10]; top = -1; } public MyStack(int maxsize) { arr = new long[maxsize]; top
  • 基础数据结构和算法八：Binary search sunwinner AlgorithmBinary search
    Binary search needs an ordered array so that it can use array indexing to dramatically reduce the number of compares required for each search, using the classic and venerable binary search algori
  • 12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 刘星宇 c面试
    12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 1.gets()函数 问：请找出下面代码里的问题： #include<stdio.h> int main(void) {     char buff[10];     memset(buff,0,sizeof(buff));
  • ITeye 7月技术图书有奖试读获奖名单公布 ITeye管理员 活动ITeye试读
    ITeye携手人民邮电出版社图灵教育共同举办的7月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 7月试读活动回顾： http://webmaster.iteye.com/blog/2092746 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《Java性能优化权威指南》
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他