使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》

作者：闻乃松

Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要基于HMS。实际上，基于HMS存储的元数据也只是很少的信息存储在HMS中，主体元数据还是存储在外部系统，如HDFS、MinIO等，所以这里也不得不提基于Hadoop存储的方式。

Iceberg的元数据管理通过Catalog类型指定，我们主要关注hive、hadoop和location_based_table这三种。

如果不指定任何Catalog类型，直接创建表会怎么样呢？

add jar /Users/deepexi/.m2/repository/org/apache/iceberg/iceberg-hive-runtime/0.13.2/iceberg-hive-runtime-0.13.2.jar;
SET hive.vectorized.execution.enabled=false; 
CREATE TABLE default.sample_local_hive_table_1( id bigint, name string ) 
    PARTITIONED BY( dept string ) 
    STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler';

创建Iceberg表需要借助HiveIcebergStorageHandler来实现，此时只会在本地HMS（hive-site.xml中配置） 中存储元数据，元数据表table_params显示，当前表的存储位置使用了本地HMS （hive-site.xml中配置）的文件存储路径：

使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》_第1张图片

这符合创建Hive表的常规动作。来看看，如果指定hive的Catalog，并配置远程的HMS，会怎么样？

注册hive类型的Catalog

这里注册了一个远端的HMS地址：

SET iceberg.catalog.another_hive.type=hive; 
SET iceberg.catalog.another_hive.uri=thrift://10.201.0.202:49153; 
SET iceberg.catalog.another_hive.warehouse=s3a://faas-ethan/warehouse/; 
SET hive.vectorized.execution.enabled=false;

在当前HiveCli创建Hive Iceberg 表，同时指定location 存储位置，使用上面注册的hive类型的Catalog：

 CREATE TABLE default.sample_hive_table_1( id bigint, name string ) 
     PARTITIONED BY( dept string ) 
     STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' location 's3a://faas-ethan/warehouse/default/sample_hive_table_1' 
     TBLPROPERTIES ('iceberg.catalog'='another_hive');

到本地HMS（hive-site.xml中配置） table_params元数据表中确认当前表的存储参数：

使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》_第2张图片

Location信息存储在SDS表中。该表存储类型为MANAGED_TABLE。再到远程HMS（another_hive.uri指定）的元数据表table_params看存储内容：

使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》_第3张图片

除了本地HMS存储的信息外，还多了有关Iceberg的统计信息、元数据位置信息。Location信息也同步复制了一份，存储在SDS表中，但该表存储类型变成了EXTERNAL_TABLE。由此可见，在Hive中创建Iceberg表，会在两边HMS分别存储一份元数据，只有这样，远端HMS中的Iceberg表才对本地HMS可见，所以必须保证远端HMS存在对应的数据库。如果在当前Hive Cli查看建表语句，会得到下面的输出：

show create table sample_hive_table_1; 
CREATE TABLE `sample_hive_table_1`( `id` bigint COMMENT 'from deserializer',    
                                   `name` string COMMENT 'from deserializer',   
                                   `dept` string COMMENT 'from deserializer') 
    ROW FORMAT SERDE    'org.apache.iceberg.mr.hive.HiveIcebergSerDe'  
    STORED BY    'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler'  
    WITH SERDEPROPERTIES (    'serialization.format'='1') 
    LOCATION  's3a://faas-ethan/warehouse/default/sample_hive_table_1' 
    TBLPROPERTIES (   
    'bucketing_version'='2',    
    'external.table.purge'='TRUE',    
    'iceberg.catalog'='another_hive',    
    'table_type'='ICEBERG',    
    'transient_lastDdlTime'='1659949858') 
 Time taken: 5.45 seconds, Fetched: 18 row(s)

这表示，Hive Cli返回的信息来自本地HMS，同普通Hive类似。

问题：如果只有远端HMS的Iceberg表，如何在本地HMS访问？

此时可以通过如下创建external外表的形式在本地HMS生成元数据：

CREATE EXTERNAL TABLE default.sample_hive_table_1( id bigint, name string ) 
     PARTITIONED BY( dept string ) 
     STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
     location 's3a://faas-ethan/warehouse/default/sample_hive_table_1' 
     TBLPROPERTIES ('iceberg.catalog'='another_hive');

这有什么作用？试试下面的语句：

select * from default.sample_local_hive_table_1,sample_hive_table_1;

看到没？它通过Hive SQL实现了跨HMS的联邦查询！

注册hadoop类型的Catalog

SET iceberg.catalog.hadoop_cat.type=hadoop; 
SET iceberg.catalog.hadoop_cat.warehouse=s3a://faas-ethan/warehouse;

用注册的hadoop类型的Catalog，创建hadoop Iceberg表：

CREATE TABLE default.sample_hadoop_table_1( id bigint, name string ) 
     PARTITIONED BY ( dept string ) 
     STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
     LOCATION 's3a://faas-ethan/warehouse/default/sample_hadoop_table_1' 
     TBLPROPERTIES ('iceberg.catalog'='hadoop_cat');

如果你去看存储的元数据，会发现它跟使用hive类型的Catalog创建的表，少了metadata_location属性：

使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》_第4张图片

同时在MinIo中的metadata元数据文件多了version-hint.text:

使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》_第5张图片

这是因为两者管理当前最新元数据的版本机制不同。所以你不能基于hadoop类型的Catalog ，创建hive类型的Catalog 的Iceberg表。反过来也一样不行。

问题：当前表通过Hive Cli创建，所以会在HMS存储元数据，假如Iceberg表通过Iceberg API创建，HMS完全没有相关信息，那如何才能访问这种hadoop Iceberg表呢？

此时通过location指定hadoop中存储表的路径，然后通过EXTERNAL将在HMS中注册元数据，Hive会自动从中推断表Schema：

SET iceberg.catalog.hadoop_cat.type=hadoop; 
SET iceberg.catalog.hadoop_cat.warehouse=s3a://faas-ethan/warehouse; 
CREATE EXTERNAL TABLE default.sample_hadoop_table_1 
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
location 's3a://faas-ethan/warehouse/default/sample_hadoop_table_1' 
TBLPROPERTIES ('iceberg.catalog'='hadoop_cat');

此时location必须符合格式：${iceberg.catalog.hadoop_cat.warehouse}/${dbName}/${tableName}，否则无法识别存储格式。

上述创建外表的方式也可以使用下面的方式实现：

 CREATE EXTERNAL TABLE default.sample_hadoop_table_1 
 STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
 location 's3a://faas-ethan/warehouse/default/sample_hadoop_table_1' 
 TBLPROPERTIES ('iceberg.catalog'='location_based_table');

小 结

使用Hive SQL 创建 Iceberg表，你可以基于hive、hadoop和location_based_table类型的catalog创建Iceberg表，其中location_based_table可以看做hadoop类型的简化形式，并将外部HMS中的表通过外表的形式注册到当前HMS，从而实现Hive 的联邦查询，但是hive和hadoop类型的表在版本管理上略有不同，所以只能在同类型的catalog表上映射外表。另外，由于Hive 版本跨度较大，存在较多的不同版本的HMS兼容性问题，如HMS 3.x无法读取HMS 2.x的元数据等。

你可能感兴趣的:(数据库sql)

  • 嵌入式数据库sqlite和rocksdb的介绍以及对比 问道飞鱼 数据库相关技术数据库sqliterocksdb
    SQLite和RocksDB都是非常流行的嵌入式数据库系统，但它们的设计理念和应用场景有所不同。下面是对这两个数据库系统的详细介绍以及它们之间的主要区别。SQLite简介SQLite是一个轻量级的关系数据库管理系统，完全由C语言编写而成。它以单一文件的形式存储数据库，并且不需要独立的服务器进程或管理程序。SQLite直接嵌入到应用程序中，这使得它非常适合移动设备、嵌入式系统和桌面应用程序。特点嵌入
  • MongoDB-聚合查询操作介绍 侯晓阳丶 MongoDBmongodb数据库linuxdba经验分享
    目录前言db.collection.aggregate()db.collection.aggregate()示例一db.collection.aggregate()示例二复杂的聚合操作通过mongoimport导入测试数据复杂的聚合操作示例聚合操作的偏好设置-project函数聚合操作的偏好设置-unwind函数前言MongoDB聚合操作相当于关系型数据库SQL语句的"groupby"、“orde
  • oracle 指令 sysdba,sqlplus命令行登录方法 as sysdba 凯尔卡 oracle指令sysdba
    sqlplus命令行登录方法assysdba2016年02月26日09:57:39weiling_shen阅读数：23739更多个人分类：数据库sqlplus有几种登陆方式比如：1.C:>sqlplus"/assysdba"--以操作系统权限认证的oraclesys管理员登陆2.C:>sqlplus/nolog--不在cmd或者terminal当中暴露密码的登陆方式SQL>conn/assysdb
  • android studio SQLite数据库的简单使用 爱掉发的小龙 oracle数据库androidstudiojavaandroidsqlite
    在AndroidStudio中使用数据库可以有多种方式，常见的几种方式包括使用SQLite数据库和使用SQLite数据库SQLite是一款轻量级的关系型数据库管理系统，在Android中被广泛使用。要在AndroidStudio中使用SQLite数据库，需要先创建一个数据库帮助类，这个类继承自SQLiteOpenHelper类，用于创建和管理数据库。在数据库帮助类中，可以定义表结构和数据库操作方法
  • Android的数据库SQLite进行数据存储与SharePreferences存储 程序员小徐同学 笔记android-studio
    Android的数据库SQLite进行数据存储与SharePreferences存储SQLite进行数据存储packagecom.example.administrator.myapplicationsqllite;importandroid.content.ContentValues;importandroid.content.Context;importandroid.database.Cur
  • 【SQL数据库技术开发】第8课时-数据库SQL INSERT INTO 语句 青少年编程作品集 【SQL数据库技术文档】SQL脚本研究数据库sqljavascriptes6linux
    SQLINSERTINTO语句INSERTINTO语句用于向表中插入新记录。SQLINSERTINTO语句INSERTINTO语句用于向表中插入新记录。SQLINSERTINTO语法INSERTINTO语句可以有两种编写形式。第一种形式无需指定要插入数据的列名，只需提供被插入的值即可：INSERTINTOtable_nameVALUES(value1,value2,value3,...);第二种形
  • 【分布式定时任务】XXL-JOB_2.4.1部署与实战 布熬夜了 后端开发数据库
    部署分布式任务调度平台XXL-JOBXXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。https://www.xuxueli.com/xxl-job/一数据库配置执行初始化数据库SQLxxl-job/doc/db/tables_xxl_job.sqlat2.4.1·xuxueli/xxl-job·Gi
  • 嵌入式数据库 王鑫的博客886 数据库linux开发语言c语言
    嵌入式数据库1.关系型嵌入式数据库SQLite：特点：自给自足的、零配置的、轻量级的关系型数据库，支持SQL查询。应用：广泛应用于移动应用（如iOS和Android应用）、桌面应用（如应用程序设置和缓存）、嵌入式设备（如物联网设备）。H2：特点：Java编写的关系型数据库，支持嵌入式模式和服务器模式，支持SQL和JDBC。应用：Java应用程序中的数据存储，适用于需要嵌入式数据库的桌面应用和小型服
  • 2019-06-05 实现excel数据的导入和导出+统计报表 年画儿
    with语法python操控excelmysql数据库sql入门python操作数据库3-2
  • [SQLSERVER][SQL]数据库sqlserver备份还原进度sql awonw sqlserversqlserversql数据库运维开发数据库开发dba
    这段SQL查询语句是针对SQLServer数据库的，它用于检索数据库中当前正在执行的请求信息，特别是针对数据库恢复和备份操作的请求。下面是对查询语句的逐部分解释：1.`SELECT`：开始选择要检索的列。2.`DB_NAME(er.[database_id])[DatabaseName]`：使用`DB_NAME`函数将`database_id`转换为数据库名称。3.`er.[command]AS[
  • 阿里云数据库产品活动：RDS MySQL 9.9元抢购，千元代金券免费领 阿里云最新优惠和活动汇总
    近日，阿里云推出云数据库产品活动，RDSMySQL9.9元抢购，千元代金券免费领，爆款规格6.5折起不限量购买，活动涵盖了云数据库MySQL、云数据库Redis、云数据库SQLserver、云数据库PostgreSQL11等众多数据库类产品。活动直达：点此进入阿里云数据库产品活动云数据库RDSMySQL基础版：1核1G存储50GB，秒杀价9.90/年起；云数据库RDSMySQL基础版：1核2G50
  • 如何用Jmeter对数据库执行压力测试 自动化测试薰儿 软件测试技术分享jmeter数据库压力测试
    在我看来压力测试的压测对象可以分为UI，接口及数据库三个部分吧，对界面及接口进行压测还算熟悉，定位性能瓶颈，对数据库SQL执行压测也是需要做的。工具呢？还是Jmeter1、将需要用到的链接Oracle的架包放到jmeter中在数据库服务器安装路径下，找到ojdbc5.jar，D:\app\Administrator\product\11.2.0\dbhome_1\jdbc\lib拷贝到jmeter
  • 用于将Grafana默认数据库sqlite3迁移到MySQL数据库 huainian 数据库grafanasqlite
    以下是一个方案，用于将Grafana数据迁移到MySQL数据库。背景:grafana默认采用的是sqlite3，当我们要以集群形式部署的时使用mysql较为方便，试了很多sqlite转mysql的方法要么收费,最后放弃。选择自己动手风衣足食。目标:迁移sqlite3切换数据库到mysql前提条件:确保你已经安装了MySQL并创建了一个数据库，用于存储Grafana的数据。mysql安装好creat
  • Python访问数据库 互联网的猫 Python从入门到精通python
    目录SQLite数据库SQLite数据类型Python数据类型与SQLite数据类型的映射使用GUI管理工具管理SQLite数据库数据库编程的基本操作过程sqlite3模块API数据库连接对象Connection游标对象Cursor数据库的CRUD操作示例示例中的数据表无条件查询有条件查询插入数据更新数据删除数据防止SQL注入攻击如果数据量较少，则我们可以将数据保存到文件中；如果数据量较大，则我们
  • 常见SQL语句速通 _企鹅_ 笔记sql数据库oracle
    1、创建数据库sqlCREATEDATABASEdatabase_name;2、删除数据库：sqlDROPDATABASEdatabase_name;3、使用数据库：sqlUSEdatabase_name;4、创建表：sqlCREATETABLEtable_name(column1datatype,column2datatype,column3datatype,...);5、删除表：sqlDROP
  • 【4 - 分组】Sql Server - 郝斌（分组group by、过滤having、聚合函数max() / count()、排序order by、select语句的执行顺序） 如何原谅奋力过但无声 数据库数据库sql
    课程地址：数据库SQLServer视频教程全集（99P）|22小时从入门到精通_哔哩哔哩_bilibili目录groupby（分组）groupbya,b的用法having（对分组之后的信息进行过滤）having和where的区别总结PPT内容总结与复习函数的分类聚合函数的使用max()函数count()函数groupby子句聚合函数的错误用法基于多个字段分组having子句的用法orderby子句
  • Kettle发送邮箱并在正文中以表格形式展示内容[升级版] GuangHui
    在上一篇关于Kettle发送邮件并在正文中以表格形式展示内容的文章中,已经提到Kettle邮箱正文中支持HTML格式,要在邮箱正文中展示表格,那就行拼出HTML,然后扔到邮箱正文中.方法就是这么简单直接,上一篇文章中拼接HTML是在数据库SQL查询时完成的,而这次咱尝试使用Kettle支持的JavaScript脚本来完成.下面就结合一个小的需求案例,来说明一下.一.需求说明结算系统每天实时接收积分
  • MySQL进阶--数据库存储过程 扁舟钓雪 MySql基础和进阶数据库pythonmysqlsql
    存储过程存储程序就是一行或者多行sql语句。为以后的使用而保存的一条或多条MySQL语句的集合。存储过程思想上就是数据库SQL语言层面的代码封装与重用（一）存储过程的创建存储过程和函数的构建，数据库提供了CREATEPROCEDURE和CREATEFUNCTION语法，创建的存储过程和函数可以在SQL语句中被调用执行，或者可以在其他的存储过程或者函数调用执行，本节内容先掌握基本的创建语法。（1）创
  • mysql入门：ddl，dml，dql，dcl语句基本操作介绍 awofe mysqlmysql数据库sql
    mysql入门数据库相关概念介绍什么是数据库sql语句简介sql语句分类：ddl语句：ddl:数据库库的创建查找：ddl:数据库查询数据库创建ddl：数据库删除ddl:数据库表的操作ddl表操作：查询ddl表操作——创建mysql数据类型ddl表——修改dml语句dml介绍：insert给表中添加数据updata修改数据delete删除数据dql语句：dql介绍查询关键字：基本查询分类：设置别名去
  • 数据库SQL优化大总结1之- 百万级数据库优化方案 我是嘻哈大哥
    可参考：https://mp.weixin.qq.com/s?__biz=MzIxMjg4NDU1NA==&mid=2247483684&idx=1&sn=f5abc60e696b2063e43cd9ccb40df101&chksm=97be0c01a0c98517029ff9aa280b398ab5c81fa1fcfe0e746222a3bfe75396d9eea1e249af38&mpshar
  • 数据库Sqlite3学习笔记(二） ArrowYL Linux
    1.sqlite3*db创建数据库类型的指针，通过sqlite3_open()函数使db指针指向该数据库。初始化数据库sqlite3*db=NULL；2.sqlite3_get_tableintsqlite3_get_table(sqlite3*db,/*Anopendatabase*/constchar*zSql,/*SQLtobeevaluated*/char***pazResult,/*Re
  • 如何让mysql数据库sql不区分大小写 鲁正杰 开发编程数据库mysqlsql
    要让MySQL数据库在执行SQL语句时不区分大小写，可以在连接字符串中添加一个参数。具体而言，需要将参数lower_case_table_names设置为1，这样MySQL将不再区分表名和列名的大小写。以下是一个示例连接字符串，演示如何在Java中使用JDBC连接到MySQL数据库并设置lower_case_table_names参数：Stringurl="jdbc:mysql://localho
  • Intellij Idea的数据库工具 DataGrip 乐之者v intellijideaintellij-idea
    DataGripDataGrip：IDEA自带，非常好用。智能提示很强大，快捷键跟IDEA自身一致。如果下载不了DataGrip，也可以直接用IDEA自带的。常用的快捷键alt+8：打开数据库Servicectrl+shift+F10：打开常用的数据库sqlctrl+Enter：快速执行sql。ctrl+F12：快速跳转到对应列。ctrl+alt+E:查询的sql历史记录ctrl+shifit+U
  • 数据库SQL 黯乡魂0918 数据库sqlmysql
    数据库MySQL基础篇MySQL安装以及使用通用语法及分类DDL（数据定义语言）数据库操作表操作DDL（数据定义语言）添加数据更新和删除数据DQL（数据查询语言）基础查询条件查询聚合查询（聚合函数）分组查询排序查询分页查询DCL（数据控制语言）管理用户权限控制函数字符串函数数值函数日期函数流程函数约束常用约束外键约束删除/更新行为多表查询多表关系一对多多对多一对一查询内连接查询外连接查询自连接查询
  • oracle 常用命令 desc,ORACLE常用命令 维林兄弟 oracle常用命令desc
    1如何查看数据库中都有什么表？select*fromsys.user_tables;2如何链接数据库sqlplus/nolog;connsys/oracleassysdba;3如何启动数据库startup;4查看ORACLE实例结构descV$instance;5查看用户默认表空间、临时表空间信息selectdistinctusername,DEFAULT_TABLESPACE,TEMPORARY
  • MySQL的存储过程 chenliyuanmomo mysql数据库
    一：介绍（1）定义MySQL5.0版本开始支持存储过程；简单来说，存储过程就是一组SQL语句集，功能强大，可以实现一些比较复杂的逻辑功能，类似于JAVA语言中的方法；存储过程就是数据库SQL语言层面的代码封装与重用；（2）特性有输入输出参数，可以声明变量，有if/else,case,while等控制语句，通过编写存储过程，可以实现复杂的逻辑功能；函数的普遍特性：模块化，封装，代码复用；速度快，只有
  • 达梦数据库性能诊断与调优 沃金z 数据库
    前言：达梦数据库性能诊断与调优是一个复杂的过程，需要综合考虑多个方面。以下是一些建议和步骤，供您参考：（下列建议与步骤来自AI生成的方法策略）明确目标：根据角色的不同，数据库优化分为以下几个目标：业务角度（用户）：减少用户页面响应时间；数据库角度（开发）：减少数据库SQL响应时间；数据库服务器角度（运维）：充分使用数据库服务器物理资源减少数据库服务器CPU使用率，减少数据库服务器IO使用率，减少数
  • oracle数据库数据文件在哪,ORACLE数据库数据文件位置迁移 骆小普 oracle数据库数据文件在哪
    ORACLE数据库数据文件位置迁移一。移动数据文件www.2cto.com移动数据文件使用的有2种办法方法一、以数据文件为单位移动SQLselectnamefromv$datafile;------------2.关闭数据库SQLshutdownimmediateDatabaseclosed.Databasedismounted.ORAORACLE数据库数据文件位置迁移一。移动数据文件www.2c
  • ITS113留学生作业代做、Database Design作业代写、代做SQL语言作业、代写SQL编程设计作业代做数据库SQL|帮做C/C++编程 nr53104
    DatabaseDesign–ITS113Assignment–AssetManagementsystemThisassignmentputsyouinahypothetical,butrealistic,scenariowhereyouworkondatabasedesignintendedtosupporttheneedsofanorganisation.Theassignmentisdivi
  • 数据库指定某个列的某个值优先排序 程序员阿健 数据库
    有时候接到这么一个需求，就是指定某个商品某个品牌优先展示，那么数据库SQL该怎么实现呢？比如商品表（goods），有个品牌字段（brand），公司要求优先展示【华为】品牌的商品，那么SQL语句该怎么写？SELECT*FROMgoodsORDERBYCASEWHENbrand="华为"THEN0ELSE1END,id【推荐阅读】1：数据库防护做不好，分分钟要被勒索比特币，每个接触数据库的都必须知道2
  • JVM StackMapTable 属性的作用及理解 lijingyao8206 jvm字节码Class文件StackMapTable
            在Java 6版本之后JVM引入了栈图(Stack Map Table)概念。为了提高验证过程的效率，在字节码规范中添加了Stack Map Table属性，以下简称栈图，其方法的code属性中存储了局部变量和操作数的类型验证以及字节码的偏移量。也就是一个method需要且仅对应一个Stack Map Table。在Java 7版
  • 回调函数调用方法 百合不是茶 java
    最近在看大神写的代码时,.发现其中使用了很多的回调 ,以前只是在学习的时候经常用到 ,现在写个笔记 记录一下   代码很简单:           MainDemo  :调用方法  得到方法的返回结果        
  • [时间机器]制造时间机器需要一些材料 comsci 制造
          根据我的计算和推测,要完全实现制造一台时间机器,需要某些我们这个世界不存在的物质     和材料...       甚至可以这样说,这种材料和物质,我们在反应堆中也无法获得......      
  • 开口埋怨不如闭口做事 邓集海 邓集海 做人 做事 工作
    “开口埋怨，不如闭口做事。”不是名人名言，而是一个普通父亲对儿子的训导。但是，因为这句训导，这位普通父亲却造就了一个名人儿子。这位普通父亲造就的名人儿子，叫张明正。 　　 　　张明正出身贫寒，读书时成绩差，常挨老师批评。高中毕业，张明正连普通大学的分数线都没上。高考成绩出来后，平时开口怨这怨那的张明正，不从自身找原因，而是不停地埋怨自己家庭条件不好、埋怨父母没有给他创造良好的学习环境。 　　 　　
  • jQuery插件开发全解析，类级别与对象级别开发 IT独行者 jquery开发插件　函数
    jQuery插件的开发包括两种： 一种是类级别的插件开发，即给 jQuery添加新的全局函数，相当于给 jQuery类本身添加方法。 jQuery的全局函数就是属于 jQuery命名空间的函数，另一种是对象级别的插件开发，即给 jQuery对象添加方法。下面就两种函数的开发做详细的说明。   1 、类级别的插件开发 类级别的插件开发最直接的理解就是给jQuer
  • Rome解析Rss 413277409 Rome解析Rss
    import java.net.URL;  import java.util.List;    import org.junit.Test;    import com.sun.syndication.feed.synd.SyndCategory;  import com.sun.syndication.feed.synd.S
  • RSA加密解密 无量 加密解密rsa
    RSA加密解密代码 代码有待整理 package com.tongbanjie.commons.util; import java.security.Key; import java.security.KeyFactory; import java.security.KeyPair; import java.security.KeyPairGenerat
  • linux 软件安装遇到的问题 aichenglong linux遇到的问题ftp
    1 ftp配置中遇到的问题    500 OOPS: cannot change directory   出现该问题的原因:是SELinux安装机制的问题.只要disable SELinux就可以了   修改方法:1 修改/etc/selinux/config 中SELINUX=disabled    2 source /etc
  • 面试心得 alafqq 面试
    最近面试了好几家公司。记录下； 支付宝，面试我的人胖胖的，看着人挺好的；博彦外包的职位，面试失败； 阿里金融，面试官人也挺和善，只不过我让他吐血了。。。 由于印象比较深，记录下； 1，自我介绍 2，说下八种基本类型；（算上string。楼主才答了3种，哈哈，string其实不是基本类型，是引用类型） 3，什么是包装类，包装类的优点； 4，平时看过什么书？NND，什么书都没看过。。照样
  • java的多态性探讨 百合不是茶 java
    java的多态性是指main方法在调用属性的时候类可以对这一属性做出反应的情况 //package 1; class A{ public void test(){ System.out.println("A"); } } class D extends A{ public void test(){ S
  • 网络编程基础篇之JavaScript-学习笔记 bijian1013 JavaScript
    1.documentWrite <html> <head> <script language="JavaScript"> document.write("这是电脑网络学校"); document.close(); </script> </h
  • 探索JUnit4扩展：深入Rule bijian1013 JUnitRule单元测试
            本文将进一步探究Rule的应用，展示如何使用Rule来替代@BeforeClass，@AfterClass，@Before和@After的功能。         在上一篇中提到，可以使用Rule替代现有的大部分Runner扩展，而且也不提倡对Runner中的withBefores()，withAfte
  • [CSS]CSS浮动十五条规则 bit1129 css
    这些浮动规则，主要是参考CSS权威指南关于浮动规则的总结，然后添加一些简单的例子以验证和理解这些规则。   1. 所有的页面元素都可以浮动 2. 一个元素浮动后，会成为块级元素，比如<span>,a, strong等都会变成块级元素 3.一个元素左浮动，会向最近的块级父元素的左上角移动，直到浮动元素的左外边界碰到块级父元素的左内边界；如果这个块级父元素已经有浮动元素停靠了
  • 【Kafka六】Kafka Producer和Consumer多Broker、多Partition场景 bit1129 partition
    0.Kafka服务器配置 3个broker 1个topic，6个partition，副本因子是2 2个consumer，每个consumer三个线程并发读取   1. Producer package kafka.examples.multibrokers.producers; import java.util.Properties; import java.util.
  • zabbix_agentd.conf配置文件详解 ronin47 zabbix 配置文件
    Aliaskey的别名，例如 Alias=ttlsa.userid:vfs.file.regexp[/etc/passwd,^ttlsa:.:([0-9]+),,,,\1]， 或者ttlsa的用户ID。你可以使用key：vfs.file.regexp[/etc/passwd,^ttlsa:.: ([0-9]+),,,,\1]，也可以使用ttlsa.userid。备注: 别名不能重复，但是可以有多个
  • java--19.用矩阵求Fibonacci数列的第N项 bylijinnan fibonacci
    参考了网上的思路，写了个Java版的： public class Fibonacci { final static int[] A={1,1,1,0}; public static void main(String[] args) { int n=7; for(int i=0;i<=n;i++){ int f=fibonac
  • Netty源码学习-LengthFieldBasedFrameDecoder bylijinnan javanetty
    先看看LengthFieldBasedFrameDecoder的官方API http://docs.jboss.org/netty/3.1/api/org/jboss/netty/handler/codec/frame/LengthFieldBasedFrameDecoder.html API举例说明了LengthFieldBasedFrameDecoder的解析机制，如下： 实
  • AES加密解密 chicony 加密解密
    AES加解密算法，使用Base64做转码以及辅助加密： package com.wintv.common; import javax.crypto.Cipher; import javax.crypto.spec.IvParameterSpec; import javax.crypto.spec.SecretKeySpec; import sun.misc.BASE64Decod
  • 文件编码格式转换 ctrain 编码格式
    package com.test; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream;
  • mysql 在linux客户端插入数据中文乱码 daizj mysql中文乱码
    1、查看系统客户端，数据库，连接层的编码  查看方法： http://daizj.iteye.com/blog/2174993 进入mysql，通过如下命令查看数据库编码方式： mysql>  show variables like 'character_set_%'; +--------------------------+------
  • 好代码是廉价的代码 dcj3sjt126com 程序员读书
      长久以来我一直主张：好代码是廉价的代码。 当我跟做开发的同事说出这话时，他们的第一反应是一种惊愕，然后是将近一个星期的嘲笑，把它当作一个笑话来讲。 当他们走近看我的表情、知道我是认真的时，才收敛一点。 当最初的惊愕消退后，他们会用一些这样的话来反驳： “好代码不廉价，好代码是采用经过数十年计算机科学研究和积累得出的最佳实践设计模式和方法论建立起来的精心制作的程序代码。” 我只
  • Android网络请求库——android-async-http dcj3sjt126com android
    在iOS开发中有大名鼎鼎的ASIHttpRequest库，用来处理网络请求操作，今天要介绍的是一个在Android上同样强大的网络请求库android-async-http，目前非常火的应用Instagram和Pinterest的Android版就是用的这个网络请求库。这个网络请求库是基于Apache HttpClient库之上的一个异步网络请求处理库，网络处理均基于Android的非UI线程，通
  • ORACLE 复习笔记之SQL语句的优化 eksliang SQL优化Oracle sql语句优化SQL语句的优化
    转载请出自出处：http://eksliang.iteye.com/blog/2097999   SQL语句的优化总结如下   sql语句的优化可以按照如下六个步骤进行： 合理使用索引 避免或者简化排序 消除对大表的扫描 避免复杂的通配符匹配 调整子查询的性能 EXISTS和IN运算符 下面我就按照上面这六个步骤分别进行总结：
  • 浅析：Android 嵌套滑动机制（NestedScrolling） gg163 android移动开发滑动机制嵌套
    谷歌在发布安卓 Lollipop版本之后，为了更好的用户体验，Google为Android的滑动机制提供了NestedScrolling特性 NestedScrolling的特性可以体现在哪里呢？<!--[if !supportLineBreakNewLine]--><!--[endif]--> 比如你使用了Toolbar，下面一个ScrollView，向上滚
  • 使用hovertree菜单作为后台导航 hvt JavaScriptjquery.nethovertreeasp.net
      hovertree是一个jquery菜单插件，官方网址：http://keleyi.com/jq/hovertree/ ，可以登录该网址体验效果。 0.1.3版本：http://keleyi.com/jq/hovertree/demo/demo.0.1.3.htm hovertree插件包含文件： http://keleyi.com/jq/hovertree/css
  • SVG 教程 （二）矩形 天梯梦 svg
    SVG <rect> SVG Shapes SVG有一些预定义的形状元素，可被开发者使用和操作： 矩形 <rect> 圆形 <circle> 椭圆 <ellipse> 线 <line> 折线 <polyline> 多边形 <polygon> 路径 <path>
  • 一个简单的队列 luyulong java数据结构队列
    public class MyQueue { private long[] arr; private int front; private int end; // 有效数据的大小 private int elements; public MyQueue() { arr = new long[10]; elements = 0; front
  • 基础数据结构和算法九：Binary Search Tree sunwinner Algorithm
      A binary search tree (BST) is a binary tree where each node has a Comparable key (and an associated value) and satisfies the restriction that the key in any node is larger than the keys in all
  • 项目出现的一些问题和体会 Steven-Walker DAOWebservlet
         第一篇博客不知道要写点什么，就先来点近阶段的感悟吧。     这几天学了servlet和数据库等知识，就参照老方的视频写了一个简单的增删改查的，完成了最简单的一些功能，使用了三层架构。 dao层完成的是对数据库具体的功能实现，service层调用了dao层的实现方法，具体对servlet提供支持。  &
  • 高手问答：Java老A带你全面提升Java单兵作战能力！ ITeye管理员 java
    本期特邀《Java特种兵》作者：谢宇，CSDN论坛ID: xieyuooo 针对JAVA问题给予大家解答，欢迎网友积极提问，与专家一起讨论! 作者简介： 淘宝网资深Java工程师，CSDN超人气博主，人称“胖哥”。 CSDN博客地址： http://blog.csdn.net/xieyuooo 作者在进入大学前是一个不折不扣的计算机白痴，曾经被人笑话过不懂鼠标是什么，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他