littlegirll
littlegirll

Teradata & KADB数据库对象兼容说明(二）

  • Teradata和KADB表兼容

Teradata和KADB创建表语句及表的结构差异较大，迁移时需要进行DML语句的人工修改和校验，以下为建表语句的差异对比说明及详细介绍。

Teradata

KADB

表类型

volatile(内存中），persistent(磁盘中)

  1. MULTISET：允许数据重复
  2. SET：不允许数据重复

persistent

数据分布

使用MAP机制

hash、random、replication

数据副本

fallback，journal

流复制

数据压缩

支持

支持

指定数据块大小

支持

支持

约束

支持

支持

主键

支持

支持

外键

支持

支持

唯一索引

支持

支持
  1. Teradata表

表类型

类型Teradata支持不同类型的表。

  1. 永久表 - 这是默认表，它包含用户插入的数据并永久存储数据。
  2. 易失性表 - 插入到易失性表中的数据仅在用户会话期间保留。在会话结束时删除表和数据。这些表主要用于在数据变换期间保存中间数据。
  3. 全局临时表 - 全局临时表的定义是持久的，但是在用户会话结束时删除表中的数据。

Global Temporary Table的定义存储在数据字典中，并且它们可以被许多用户/会话使用。 但是加载到Global Temporary Table中的数据仅在会话期间保留。 每个会话最多可以实现2000个Global Temporary Table

CREATE [SET|MULTISET] GLOBAL TEMPORARY TABLE tablename

例如：

CREATE SET GLOBAL TEMPORARY TABLE dept_stat (

   dept_no INTEGER,

   avg_salary INTEGER,

   max_salary INTEGER,

   min_salary INTEGER

)

PRIMARY INDEX(dept_no);

  1. 派生表 - 派生表保存查询中的中间结果。它们的生命周期在创建，使用和丢弃它们的查询中。

Teradata支持以下表类型来保存临时数据。

  1. Derived Table
  2. Volatile Table

在用户会话中创建，使用和删除Volatile Table。 它们的定义不存储在数据字典中。 它们保存经常使用的查询的中间数据

CREATE [SET|MULTISET] VOALTILE TABLE tablename

ON COMMIT [DELETE|PRESERVE] ROWS

例如：

CREATE VOLATILE TABLE dept_stat (

   dept_no INTEGER,

   avg_salary INTEGER,

   max_salary INTEGER,

   min_salary INTEGER

)

PRIMARY INDEX(dept_no)

ON COMMIT PRESERVE ROWS;

  1. Global Temporary Table
  2. Derived Table：Derived Table在查询中创建，使用和删除。这些用于在查询中存储中间结果。

SELECT

Emp.EmployeeNo,

Emp.FirstName,

Empsal.NetPay

FROM

Employee Emp,

(select EmployeeNo , NetPay

from Salary

where NetPay >= 75000) Empsal

where Emp.EmployeeNo = Empsal.EmployeeNo;

设置与多重集

Teradata基于如何处理重复记录将表分类为SET或MULTISET表。定义为SET表的表不存储重复记录，而MULTISET表可存储重复记录。

  1.  KADB表

KADB数据库的表与任何一种关系型数据库中的表类似，不过其表中的行被分布在系统中的不同Segment上。当用户创建一个表时，用户会指定该表的分布策略。

CREATE TABLE命令创建一个表并且定义它的结果。当用户创建一个表示，用户需要定义：

  1. 该表的列以及它们的数据类型。
  2. 任何用于限制列或者表中能包含的数据的表或者列约束。
  3. 表的分布策略，这决定了KADB数据库如何在Segment之间划分数据。
  4. 表存储在磁盘上的方式。
  5. 大型表的表分区策略。

选择列的数据类型

一个列的数据类型决定了该列能包含的数据的类型。选择的数据类型应使用最少的空间，但仍能容纳用户的数据并且能最好地约束数据。例如，对字符串使用character数据类型，对于日期使用date或者timestamp数据类型，而对数字使用numeric数据类型。

对于包含文本数据的表列，应指定数据类型为 VARCHAR或者TEXT。不推荐指定数据类型为 CHAR。在KADB数据库中数据类型 VARCHAR或者TEXT会把增加到数据的填充（在最后一个非空白字符后面增加的空白字符）处理为有效字符，而数据类型CHAR不会这样做。

使用能容纳用户的数字型数据的且允许未来扩张的最小数字数据类型。例如，为适合INT or SMALLINT的数据使用BIGINT会浪费存储空间。如果用户预期用户的数据值将会随着时间扩张，应该考虑到在装载大量数据后从较小的数据类型更改成较大的数据类型需要很大的代价。例如，如果用户当期的数据值适合SMALLINT，但是很可能值会扩张，这样INT就是更好的长期选择。

对用户计划要用在交叉表连接中的列使用相同的数据类型。交叉表连接通常使用一个表中的主键和其他表中的外键。当数据类型不同时，数据库必须转换其中之一以便数据值能被正确地比较，这会增加不必要的开销。

设置表和列约束

用户可以在列和表上定义约束来限制表中的数据。KADB数据库支持和PostgreSQL相同的约束，但是有一些限制，包括：

  1. CHECK约束只能引用它所在的表。
  2. UNIQUE和PRIMARY KEY约束必须和它们所在表的分布键和分区键（如果有）兼容。
  3. 注意： 在追加优化表上不允许UNIQUE和PRIMARY KEY约束，因为追加优化表上不允许这些约束创建的UNIQUE索引。
  4. 允许FOREIGN KEY约束，但不会被强制。
  5. 用户在分区表上定义的约束将作为整体应用到分区表上。用户不能在该表的单独的部分上定义约束。
  1. 检查约束

检查约束允许用户指定一个特定列中的值必须满足一个布尔（真值）表达式。例如，要求正的产品价格：

=> CREATE TABLE products 
            ( product_no integer, 
              name text, 
              price numeric CHECK (price > 0) );
  1. 非空约束

非空约束指定一个列不能有空值。非空约束总是被写作为列约束。例如：

=> CREATE TABLE products 
       ( product_no integer NOT NULL,
         name text NOT NULL,
         price numeric );
  1. 唯一约束

唯一约束确保一列或者一组列中包含的数据对于表中所有的行都是唯一的。该表必须是哈希分布（非DISTRIBUTED RANDOMLY）的，并且约束列必须是该表的分布键列（或者是一个超集）。例如：

=> CREATE TABLE products 
       ( product_no integer UNIQUE, 
         name text, 
         price numeric)
      DISTRIBUTED BY (product_no);
  1. 主键

主键约束是一个UNIQUE约束和一个 NOT NULL约束的组合。该表必须是哈希分布（非DISTRIBUTED RANDOMLY）的，并且约束列必须是该表的分布键列（或者是一个超集）。如果一个表具有主键，这个列（或者这一组列）会被默认选中为该表的分布键。例如：

=> CREATE TABLE products 
       ( product_no integer PRIMARY KEY, 
         name text, 
         price numeric)
      DISTRIBUTED BY (product_no);
  1. 外键

不支持外键。用户可以声明它们，但是参照完整性不会被实施。

外键约束指定一列或者一组列中的值必须匹配出现在另一个表的某行中的值，以此来维护两个相关表之间的参照完整性。参照完整性检查不能在一个KADB数据库的分布表段之间实施。

选择表分布策略

所有的KADB数据库表都会被分布。当用户创建或者修改一个表时，用户可以有选择地指定DISTRIBUTED BY（哈希分布）或者 DISTRIBUTED RANDOMLY（循环分布）来决定该表的行分布。

注意：如果创建表时没有指定DISTRIBUTED BY，KADB数据库服务器配置参数gp_create_table_random_default_distribution控制表的分布策略。

在决定表分布策略时，请考虑以下几点。

  1. 均匀数据分布 — 为了最好的性能，所有的Segment应该包含等量的数据。如果数据不平衡或者倾斜，具有更多数据的Segment就必须做更多工作来执行它那一部分的查询处理。请选择对于每一个记录都唯一的分布键，例如主键。
  2. 本地和分布式操作 — 本地操作比分布式操作更快。在Segment层面上，如果与连接、排序或者聚集操作相关的工作在本地完成，查询处理是最快的。在系统层面完成的工作要求在Segment之间分布元组，其效率会低些。当表共享一个共同的分布键时，在它们共享的分布键列上的连接或者排序工作会在本地完成。对于随机分布策略来说，本地连接操作就行不通了。
  3. 均匀查询处理 — 为了最好的性能，所有的Segment应该处理等量的查询负载。如果一个表的数据分布策略与查询谓词匹配不好，查询负载可能会倾斜。例如，假定一个销售事务表按照客户ID列（分布键）分布。如果查询中的谓词引用了一个单一的客户ID，该查询处理工作会被集中在一个Segment上。

声明分布键

CREATE TABLE的可选子句DISTRIBUTED BY和DISTRIBUTED RANDOMLY指定一个表的分布策略。默认是使用PRIMARY KEY（如果表有主键）或者表的第一个列作为分布键的哈希分布策略。几何或者用户定义数据类型的列不能作为KADB分布键列。如果一个表没有符合要求的列，KADB会以随机或者循环方式分布行。

为了确保数据的均匀分布，应该选择对每个记录都唯一的分布键。如果做不到，可选择DISTRIBUTED RANDOMLY。例如：

=> CREATE TABLE products
  (name varchar(40),
  prod_id integer,
  supplier_id integer)
  DISTRIBUTED BY (prod_id);
=> CREATE TABLE random_stuff
  (things text,
  doodads text,
  etc text)
  DISTRIBUTED RANDOMLY;

重要：主键总是表的分布键。如果不存在主键，但是存在唯一键，那么唯一键就是该表的分布键。

  • 结论

本文从数据类型、函数和DDL语句三个方面说明Teradata和KADB两款产品在迁移时的兼容性。同作为MPP架构的两款产品理论上可以使用KADB作为Teradata的替代，以支撑数仓、BI、数据分析、批量加工等场景。但因为两款产品在底层存储实现、表设计等方面的异构特性，在进行迁移和替代时需要进行详细的调研、测试（应用和数据库）。本文从数据库对象的角度对比两款产品的兼容情况，结论如下：

  1. 数据类型：KADB兼容Teradata绝大多数的数据类型，但不支持period数据类型，建表DDL语句在进行移植时需要人工介入进行修改和测试
  2. 函数：KADB兼容Teradata的多大多数函数，但存在个别不常用函数不兼容的情况，在进行数据库迁移前需要对源库使用的函数进行统计适配，改写。必要时创建自定义函数做替代。
  3. 建表DDL：KADB和Teradata同时兼容ANSI SQL:2011标准，但Teradata对该标准进行了扩展，扩展部分功能KADB不兼容。所以在做数据库替换时建表DDL需人工进行调整，以适应KADB数据库环境。调整后的SQL需要进行详细验证测试
  4. 存储过程：Teradata支持存储过程，KADB不支持存储过程。在进行替换时需要调研源库是否使用了存储过程，在KADB可以使用函数替代存储过程
  5. 触发器：Teradata支持触发器，KADB不支持触发器。在进行替换时需要调研源库是否使用了触发器。对触发器的替换需应用进行改造
  6. 行级安全策略：Teradata支持行级安全策略，KADB不支持行级安全策略。在进行替换时需要调研源库是否使用了行级安全策略。对行级安全策略的替换需应用进行改造

你可能感兴趣的:(数据库,java,jvm)

  • 核心线程数和最大线程数设置参考标准【Java】 松树戈 实用配置java开发语言
    核心线程数和最大线程数设置参考标准【Java】首先确定Java线程是什么态的？Java的线程是用户态+内核态，而内核态线程通过操作系统来调用，最终的可用线程数与操作系统的核数相关【如果设置了太多，很多是无效线程】一个设计标准：根据当前业务是IO密集型还是CPU密集型，设置核心线程数CPU密集型：核心线程数=CPU核数+1【机器学习、视频转码】IO密集型：核心线程数=CPU核数*2【Web应用】Ja
  • 使用 JuiceFS 快照功能实现数据库发布与端到端测试 Juicedata 架构运维
    今天的博客来自JuiceFS云服务用户Jerry，他们通过使用JuiceFSsnapshot功能，创新性地实现了数据的版本控制。Jerry，是一家位于北美的科技公司，利用人工智能和机器学习技术，简化用户购买汽车和家庭保险的比较及购买流程。在软件开发领域，严格的测试和受控发布已经成为几十年来的标准做法。但如果我们能将这些原则应用到数据库和数据仓库中会怎样？想象一下，能够为数据基础设施定义一套带有测试
  • GitHub热门开源项目 李小白杂货铺 计算机技术杂谈github
    文章目录GitHub高级搜索GitHub秘籍GitHub开源项目排行榜热门开源项目学习类、资料类freeCodeCampfree-programming-bookscoding-interview-universityawesomedeveloper-roadmapsystem-design-primerYou-Dont-Know-JSCS-Notesjavascript-algorithmsbu
  • 【每日一道算法题】Leetcode之decode-ways解码方式问题 Java 动态规划 佛系宅女 leetcode算法
    91.leetcode题目描述：一条仅包含字母‘A’-‘Z’的消息用下列的方式加密成数字‘A’->1‘B’->2…‘Z’->26现在给出加密成数字的密文，请判断有多少种解密的方法例如：给出的密文为“12”，可以解密为"AB"(12)或者"L"(12).所以密文"12"的解密方法是2种.importjava.util.*;publicclassSolution{publicintnumDecodin
  • Github 2025-01-12 php开源项目日报 Top10 老孙正经胡说 githubphp开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2025-01-12统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量PHP项目10JavaScript项目1Shell项目1SymfonyPHP框架和组件创建周期：5130天开发语言：PHP协议类型：MITLicenseStar数量：28999个Fork数量：9440次关注人数：28999人贡献人数：368人Open
  • Github 2025-01-28 Python开源项目日报 Top9 老孙正经胡说 githubpython开发语言Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2025-01-28统计)共有9个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Python项目9Rust项目1ComfyUI：强大而模块化的稳定扩散GUI创建周期：399天开发语言：Python,JavaScript协议类型：GNUGeneralPublicLicensev3.0Star数量：25663个Fork数量：2741次
  • Github 2024-08-18 php开源项目日报 Top10 老孙正经胡说 githubphp开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2024-08-18统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量PHP项目10Shell项目1Blade项目1JavaScript项目1SecLists-安全测试人员的伴侣创建周期：4375天开发语言：PHP协议类型：MITLicenseStar数量：52010个Fork数量：23569次关注人数：52010人贡
  • python3.7.4怎么安装pycryptodome_python3.6 安装第三方库 pyCryptodome 实现AES加密 weixin_39799646
    起因前端日子写完的Python入库脚本，通过直接读取配置文件的内容(包含了数据库的ip，数据库的用户名，数据库的密码)，因为配置文件中的数据库密码是明文显示的，所以不太安全，由此对其进行加密。编码之路编程环境Python3.6第三方库–pyCryptodome第三方库的介绍及下载1.在之前的AES加密中，python2或者3.4采用的是pyCyrpto这个模块，但是昨天废了好大劲去安装它都是失败，
  • 数据库磁盘采用挂载方式称为 LVM（Logical Volume Manager）模式挂载 ❀͜͡傀儡师 数据库运维
    LVM挂载关键点物理卷(PV)使用pvcreate将物理磁盘（如/dev/vdb）初始化为物理卷。卷组(VG)使用vgcreate创建卷组（如data_vg），将物理卷添加到卷组中。逻辑卷(LV)使用lvcreate从卷组中划分逻辑卷（如data_lv）。文件系统格式化将逻辑卷格式化为文件系统（如ext4）。挂载将格式化后的逻辑卷挂载到目标目录（如/data）。LVM挂载的特点灵活性：逻辑卷的大小
  • .cc扩展名是什么语言?C语言必须用.c为扩展名吗？主流编程语言扩展名?Java为什么不能用全数字的文件名? 程序员小迷 编程语言小话c语言Javac语言开发语言javaswiftobjective-cc++扩展名
    .cc扩展名是什么语言?.cc是C++语言使用的扩展名，一种说法是它是cwithclass的简写，当然C++语言使用的扩展名不止.cc和.cpp,还包含.cxx,.c++,.C等，这些在不同编译器系统采用的默认设定不同，需要区分使用。当然，编译器提供编译选项将源代码指定为特定编程语言的方式，例如gcc提供-xc++将源代码指定为c++代码，哪怕源代码扩展名是.java也会被当做c++代码。关于.c
  • 告别数据泄露，美创科技数据库防水坝助力数据安全 科技热点快讯 安全
    数据安全建设中，“人”是最关键的因素，但也是最薄弱的环节和漏洞。近年来，“内鬼式数据泄露”、“数据库恶意篡改”、“删库跑路“等事件屡见不鲜，严峻程度逐年升高。Verizon《2021年数据泄露调查报告》统计，当前，85%的数据泄露事件都与人为因素有关。企业多年倾心竭力打造的“坚固堡垒”，正因为安全意识薄弱、内部默认可信任机制、数据安全措施落实不到位等“沉疴”，越来越像一枚“硬壳软糖”！内部数据安全
  • LeetCode刷题第九天（994. 腐烂的橘子） 隰有扶苏丶 leetcodejava算法python数据结构
    文章目录题目描述广度深度优先解法JAVA代码算法复杂度题目描述在给定的网格中，每个单元格可以有以下三个值之一：值0代表空单元格；值1代表新鲜橘子；值2代表腐烂的橘子。每分钟，任何与腐烂的橘子（在4个正方向上）相邻的新鲜橘子都会腐烂。返回直到单元格中没有新鲜橘子为止所必须经过的最小分钟数。如果不可能，返回-1。示例1：输入：[[2,1,1],[1,1,0],[0,1,1]]输出：4示例2：输入：[[
  • rust如何连接oracle数据库,Rust方法 weixin_39866963
    方法方法是附着于对象的函数。这些方法通过self关键字访问对象的数据和它的其他方法。方法是一个实现了impl块的定义。structPoint{x:f64,y:f64,}//Implementationblock,all`Point`methodsgoinhereimplPoint{//Thisisastaticmethod//Staticmethodsdon'tneedtobecalledbyan
  • 深入浅出：Node.js高级重试机制 前端
    在分布式系统中，优雅地处理异常是构建可靠应用程序的关键。无论是网络抖动、服务暂时不可用，还是数据库连接超时，这些短暂的故障都可能让系统陷入混乱。而重试模式，作为一种经典的设计模式，正是解决这些问题的利器。今天，我们将深入探讨如何在Node.js中实现高级重试机制，并分享一些实用的策略和最佳实践。什么是重试模式？重试模式是一种用于提高系统稳定性的设计模式。它的核心思想是：在面对短暂的故障时，不要轻易
  • 刷题前必学！栈与队列！用JavaScript学数据结构与算法
    ‍JavaScript数据结构与算法-HowieCong务必要熟悉JavaScript使用再来学！一、数组增删操作在了解栈和队列前，明确数组中的增删操作具有什么样的特性、对应的方法有哪些：灵活增删的数组数组增加元素的三种方法：unshift方法，添加元素到数组的头部constarr=[1,2]arr.unshift(0)//[0,1,2]push方法，添加元素到数组的尾部constarr=[1,2
  • Android OkHttp使用和源码详解 2401_85729264 androidokhttp
    本文使用的OkHttp的版本为3.14.2,不是不会接入高版本，主要是4.0.x版本已经全部由java替换到了Kotlin，Kotlin不太熟怕理解错了，误导人民群众。dependencies{//本文使用implementation‘com.squareup.okio:okio:1.15.0’implementation‘com.squareup.okhttp3:okhttp:3.14.2’//
  • rust如何操作oracle 扎量丙不要犟 oracle数据库rust
    首先鄙视甲骨文，这么多钱的公司，不做一个rust库，还要社区帮忙。有个开源的rust库，叫oracle，但是并不是甲骨文做的。我们来看一个从oracle数据库取所有表和视图的示例://定义连接字符串letconn_str1=format!("{}:{}/{}",params.host,params.port,params.database);letconn_str=conn_str1.as_str
  • pycharm/django链接mysql配置 ww252757188 djangomysqlpycharm
    1、settings.py中配置databasesDATABASES={'default':{'ENGINE':'django.db.backends.mysql',#配置数据库类型'NAME':'test',#数据库名字'USER':'root',#数据库用户'PASSWORD':'mysql',#数据库密码'HOST':'127.0.0.1',#数据库地址'PORT':'3306',#数据库端
  • 我的毕设之路：（2）系统类型的论文写法 我真不会起名字啊 课程设计
    一般先进行毕设的设计与实现，再在现成毕设基础上进行描述形成文档，那么论文也就成形了。1需求分析：毕业设计根据开题报告和要求进行需求分析和功能确定，区分贴合主题的主要功能和拓展功能能，删除偏离无关紧要的功能降低实现难度，增加或修改拓展功能达到工作量要求，记录文档，形成功能模块图、系统架构图和功能流程图。2数据库设计：根据功能模块及功能流程，设计数据库表及各字段，使数据库存储字段足以支撑整个功能运行且
  • 揭秘MySQL中基于负载的自适应缓存资源调度策略——让数据库响应更敏捷 墨夶 数据库学习资料2数据库mysql缓存
    在当今数据密集型应用日益普及的时代，数据库性能成为了影响用户体验和服务质量的关键因素之一。对于像MySQL这样的关系型数据库管理系统（RDBMS），如何有效地管理和分配缓存资源，以确保系统能够在高负载情况下依然保持高效运行，成为了开发者和运维人员共同关注的话题。今天，我们将深入探讨一种创新的方法——基于负载的自适应缓存资源调度策略，并展示其具体实现过程。为什么选择自适应缓存？‍传统的缓存管理方式通
  • elasticsearch的常见面试题？ Dusk_橙子 K8Selasticsearch运维linux
    在面试过程中除去各个公司的不同服务架构之外，也会存在一些普遍大众的面试点，以下将会从三个维度进行介绍。基础知识类elasticsearch和数据库之间区别？elasticsearch：面向文档，数据以文档的形式存储，即JSON格式的对象。更强调数据的搜索、索引和分析。数据库：更侧重于事务处理、数据的严格结构化和完整性，适用于关系复杂、数据一致性要求高的业务场景。elasticsearch和核心组件
  • Java基础入门day55 zpz2001 javahive开发语言
    day55过滤器简介过滤器filter，是处于客户端与服务器端目标资源之间的一道过滤技术技术作用执行地位在servlet之前，客户发送请求时，会先经过Filter，再到达目标Servlet中。相应时，会根据执行流程再次反向执行Filter可以解决多个Servlet共性代码的冗余问题编写新增一个类，实现Filter接口编写其生命周期方法再doFilter当中实现过滤方法packagecom.saas
  • 【MySQL】sql给表起别名 CAFE～BABE MysqlSQL表别名as数据库操作查询优化
    有时候，在对数据库中的表进行操作的时候，发现表名比较冗长，这时候我们就需要对表创建一个别名，别名的关键字为as(也可以不加)。现在有一个student表，结构如下:现在我认为student太长了我不想一直打。sql语句如下selecta.Sno,a.Sname,a.Sagefromstudentasa(as可以去掉)结果如下:我们就对student取了一个别名叫做a当然一个表的时候我们就没有必要这
  • Java基础入门-Day1 weixin_45795542 JAVAJAVA基础入门-Day1
    Java基础入门-Day1JAVA开发入门特点分类Java字节执行方式JDK的使用Java垃圾回收机制Java编译JAVA开发入门Java是一种高级计算机语言。他是由Sun公司(已被Oracle公司于2009年4月20日收购)于1995年5月推出的一种可以编写跨平台应用软件丶完全面向对象的程序设计语言。特点资源免费跨平台健壮，安全高性能简单面向对象动态性多线程分类Java针对不同的开发市场，Sun
  • redis的内部编码和数据结构类型 Chsavvy redisredis数据结构nosql
    1.redis原理reids使用了单线程架构和I/O多路复用模型来实现性能的内存数据库服务2.简化的工作流程发送命令，执行命令，返回结果3.单线程处理但处理快速的原因纯内存访问非阻塞I/O，redis使用epoll作为I/O多路复用技术单线程避免了线程切换和竞态产生的消耗redis内部编码1）string内部编辑raw:大于的39个字节的字符串int:8个字节的长整型embstr:小于等于39个字
  • 林子雨《大数据技术原理与应用》第五讲——NoSQL数据库 天才代号23 大数据数据库hadoopnosql大数据
    林子雨《大数据技术原理与应用》第五讲——NoSQL数据库林子雨《大数据技术原理与应用》第五讲笔记NoSQL数据库特点灵活的可扩展性灵活的数据模型和云计算结合查询性能差未形成通用的行业标准维护更加复杂NoSQL数据库有四大类型键值数据库：redis列族数据库：HBase、Cassandra文档数据库：MongoDB图数据库：Neo4j键值数据库数据模型：键是一个字符串对象，值可以是任意类型的对象典型
  • Rollup 实践：从入门到精通 小亮同学丶 构建工具和模块打包javascript前端webpack
    Rollup是一个高效的JavaScript模块打包器，特别适用于库和应用程序的打包。本文将深入探讨Rollup的实践方法，包括配置示例、性能优化策略以及不同场景下的最佳实践。基本配置首先，我们来看一个简单的Rollup配置示例：importresolvefrom'@rollup/plugin-node-resolve';importcommonjsfrom'@rollup/plugin-comm
  • 【思维导图】并发编程 rainbow-- java并发编程
    并发和并行的区别并发是指多个任务交替执行。并行是指多个任务同时被执行。线程与进程的区别1、进程包含线程。2、线程之间可以共享数据，比如说java线程之间共享堆内存和方法区里的数据。而进程之间是独立的，默认情况下是不共享数据的。3、线程上下文切换开销小，而进程上下文切换开销大。（当线程状态改变时，就会出现线程上下文切换。线程上下文切换涉及到用户态与内核态的转变，因此开销较大。）java线程与操作系统
  • Mybatis（Day 18） m0_73629914 数据库
    数据持久化是将内存中的数据模型转换为存储模型，以及将存储模型转换为内存中数据模型的统称。MyBatis支持定制化SQL、存储过程以及高级映射，可以在实体类和SQL语句之间建立映射关系，是一种半自动化的ORM实现。ORM（ObjectRelationalMapping，对象关系映射）是一种数据持久化技术，它在对象模型和关系型数据库之间建立起对应关系，并且提供了一种机制，通过JavaBean对象去操作
  • Java基础（Day11) m0_73629914 java开发语言
    一、反射1.反射有对象必须先有类，static修饰类的属性与方法在java中存储了类的内容，这个内容也应该是一个对象java中用到的每一个类都会有一个内存，这每一块内容都是一个对象这些对象用于记录这些类中声明了哪些方法和构造方法java将这些类抽象为一个Class类类的类对象中存储了类定义的内容---属性方法构造方法一开始可以不知道是哪一个类（类对象），可以通过传入参数获取---框架思想反射机制相
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro