- 深入理解Kettle:ETL工具的学习与实践
未知方程 无解
本文还有配套的精品资源,点击获取简介:Kettle(Spoon)是Pentaho公司开发的开源ETL工具,用于数据整合和数据仓库建设。本学习笔记着重于Kettle的核心——转换引擎,详细探讨其数据处理的各个步骤,包括数据的输入、转换、输出以及工作原理,提供了一系列的学习资源和实践操作指南,旨在帮助学习者深入理解并掌握Kettle的转换引擎,从而提升数据处理能力。1.Kettle(Spoon)简介与
- 探索数据仓库自动化:ETL流程设计与实践
Echo_Wish
大数据高阶实战秘籍数据仓库自动化etl
探索数据仓库自动化:ETL流程设计与实践在大数据时代,数据仓库已成为企业数据管理和决策支持的核心工具。如何高效地提取、转换和加载数据(ETL),是数据仓库建设中的重要环节。本文将围绕数据仓库自动化的ETL流程设计展开,结合实际代码示例,探讨如何构建高效、稳定和可扩展的ETL解决方案。什么是ETL?ETL(Extract,Transform,Load)是指数据抽取、转换和加载,是数据仓库建设的重要步
- 基于hive的电信离线用户的行为分析系统
赵谨言
论文经验分享毕业设计
标题:基于hive的电信离线用户的行为分析系统内容:1.摘要随着电信行业的快速发展,用户行为数据呈现出海量、复杂的特点。为了深入了解用户行为模式,提升电信服务质量和精准营销能力,本研究旨在构建基于Hive的电信离线用户行为分析系统。通过收集电信用户的通话记录、上网行为、短信使用等多源数据,利用Hive数据仓库工具进行数据存储和处理,采用数据挖掘和机器学习算法对用户行为进行分析。实验结果表明,该系统
- 阿里云MaxCompute面试题汇总及参考答案
大模型大数据攻城狮
阿里云odps云计算机器学习大数据面试大数据面经增量数据
目录简述MaxCompute的核心功能及适用场景,与传统数据仓库的区别解释MaxCompute分层架构设计原则,与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲(Fuxi)分布式调度系统工作原理盘古(Pangu)分布式存储系统数据分片策略计算与存储分离架构的资源弹性扩展方案解释MaxCompute多租户资源隔离实现机制容错机制设计:Worker节点故障时的数据恢复
- 国产化替代 | 星环科技TDH替代IBM数仓,助力城商行构建湖仓一体平台
ibm
城商行构建湖仓一体平台|TDH替代IBM数仓IBM的数仓NetezzaEOL是2023年,数仓Netezza生命周期结束了。数仓产品停止提供支持和更新,不再为该产品提供修复漏洞或功能改进的服务。某城市商业银行在此背景下,启动数据仓库系统升级项目,将数据仓库从IBMNetezza迁移到星环科技大数据基础平台TDH,不但成功实现了数据仓库的国产化替代,还建设了新一代的湖仓一体平台,为银行业务发展提供新
- 《数据仓库》读书笔记:第11章 非结构化数据和数据仓库
search-lemon
数据仓库数据仓库
该系列博文为《数据仓库BuildingtheDataWarehouse》一书的读书笔记,笔者将书中重点内容进行概括总结。大致保留书中结构,一部分根据自己的理解进行调整。如发现问题,欢迎批评指正。章节博文1《数据仓库》读书笔记:第1章决策支持系统的发展2《数据仓库》读书笔记:第2章数据仓库环境3《数据仓库》读书笔记:第3章设计数据仓库4《数据仓库》读书笔记:第4章数据仓库中的粒度5《数据仓库》读书笔
- 稳定运行的以Redshift数据仓库为数据源和目标的ETL性能变差时提高性能方法和步骤
weixin_30777913
数据仓库云计算
当以AmazonRedshift数据仓库为数据源和目标的ETL(Extract,Transform,Load)性能变差时,可能涉及多个方面的优化措施。提升RedshiftETL性能的关键在于多个方面的综合优化。你需要定期监控查询执行情况、调整ETL作业的执行计划、优化数据模型、合理分配资源以及在必要时调整集群配置。通过不断调整和优化这些方面,可以显著提高ETL作业的性能,确保系统稳定、高效运行。以
- 【自学笔记】大数据基础知识点总览-持续更新
Long_poem
笔记大数据
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录大数据基础知识点总览1.大数据概述2.大数据处理技术3.数据仓库与数据挖掘4.大数据分析与可视化5.大数据平台与架构6.大数据安全与隐私总结大数据基础知识点总览1.大数据概述定义:大数据是指数据量巨大、类型多样、处理速度快的数据集合。特征:4V(Volume、Velocity、Variety、Veracity)描述了大数据的主
- Airflow和PySPARK实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序
weixin_30777913
pythonspark云计算
设计一个基于多个带标签SQL模板作为配置文件和多组参数的PySPARK代码程序,实现根据不同的输入参数,用Airflow进行调度,自动批量地将AmazonRedshift数据仓库的数据导出为Parquet、CSV和Excel文件到S3上,标签和多个参数(以“_”分割)为组成导出数据文件名,文件已经存在则覆盖原始文件。PySpark程序需要异常处理,输出带时间戳和每个运行批次和每个导出文件作业运行状
- 【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据
oo寻梦in记
ApachePaimonapacheflinkmysqlapachepaimon
利用PaimonSchemaEvolution核心特性同步变更的mysql表结构和数据1、背景信息在Paimon诞生以前,若mysql/pg等数据源的表结构发生变化时,我们有几种处理方式(1)人工通知(比如常规的使用邮件),然后运维人员手动同步到数据仓库中(2)使用flink消费DDLbinlog,然后自动更新Hive的外部表和内部表schema那么现在,有了Paimon,我们可以利用其特性,自动
- 数据整合平台Airbyte中的Shopify连接器使用指南
bavDHAUO
python
技术背景介绍Airbyte是一种专门用于ELT数据集成的平台,支持从API、数据库和文件到数据仓库和数据湖的管道搭建。其拥有最大规模的ELT连接器目录,支持众多的数据仓库和数据库。本文将介绍如何使用Airbyte的Shopify连接器加载Shopify对象作为文档。核心原理解析Airbyte的Shopify连接器作为一个文档加载器,通过API将Shopify的订单、产品等对象加载为文档。用户可以通
- 开源 数据仓库_使用这些开源工具进行数据仓库
cumi7754
数据仓库大数据pythonjava编程语言
开源数据仓库bySimonSpäti西蒙·斯派蒂(SimonSpäti)使用这些开源工具进行数据仓库(Usetheseopen-sourcetoolsforDataWarehousing)Thesedays,everyonetalksaboutopen-sourcesoftware.However,thisisstillnotcommonintheDataWarehousing(DWH)field
- HIVE 面试题总结
小余真旺财
Hivehive
Hive依赖于HDFS存储数据,Hive将HQL转换成MapReduce执行,所以说Hive是基于Hadoop的一个数据仓库工具,实质就是一款基于HDFS的MapReduce计算框架,对存储在HDFS中的数据进行分析和管理。一、Hive架构用户接口:CLI(hiveshell)、JDBC/ODBC(java访问hive)、WEBUI(浏览器访问hive)元数据:元数据包括:表名、表所属的数据库(默
- Hive 面试题
昨夜为你摘星
什么是Hive?Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的意义(最初研发的原因)?降低程序员使用Hadoop的难度,降低学习成本Hive的内部组成模块,作用
- 【数据仓库】数仓分层设计
数据仓库数据分析
一、为何分层?随着信息技术的快速发展,传统数据库已经无法存储和处理海量的数据,数据仓库应运而生。官方说明:数据仓库是用于支持企业决策制定和分析,它通过将不同来源的数据整合在一起,为用户提供一致、全面且易于访问的数据视图。可以简单理解为数据仓库就是专门用来存储和分析海量的历史数据,让数据真正地产生价值,为企业赋能。之前看到过一句话说的很不错,数据仓库的第一性原理是什么?就是以通过整合、优化和管理数据
- 【数据仓库】指标管理
数据仓库
一、指标介绍什么是指标?指标就是用来量化事物的一个工具,帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏,用户粘性等等,例如我们通过日活能去判断出我们整个产品的用户量,从而能反应出我们这个产品的一个健康程度。那么数据仓库中,建立指标体系有以下几点核心意义:统一数据口径,消除歧义(各部门对指标定义不统一)支撑业务决策,提升效率(监控业务健康度)优化资源分配,成本
- 数据湖构建
HaoHao_010
服务器云服务器云计算阿里云
阿里云的数据湖构建(DataLake)是一种用于存储和处理大量不同类型数据的解决方案,通常用于大数据分析和机器学习等应用场景。数据湖与传统的数据仓库不同,它能够存储结构化、半结构化和非结构化数据,支持大规模数据的整合、存储、查询和分析。阿里云提供了一整套工具和服务来帮助企业构建数据湖,以下是数据湖构建的主要步骤和关键服务:1.数据湖概述数据湖是一种统一的数据存储库,能承载来自多个来源的数据,包括:
- 【数据分析】4 商业数据分析技能模型总结
loyd3
数据分析数据分析数据挖掘
优秀的商业分析师需要具备的能力数据分析能力逻辑思维能力赢得结果能力一、数据分析能力扩展:工具链生态与进阶场景1.数据获取技术升级企业级数据源管理:数据湖架构(AWSS3/阿里云OSS)与数据仓库(Snowflake/Redshift)权限管理API自动化采集(Postman+PythonRequests模块)反爬虫策略突破(IP代理池/Selenium模拟登录)新兴数据源拓展:社交舆情数据(Twi
- 周边生态 | WAL-G 与 DBeaver 新版增加 Cloudberry 支持
数据库
ApacheCloudberry™(Incubating)是Apache软件基金会孵化项目,由Greenplum和PostgreSQL衍生而来,作为领先的开源MPP数据库,可用于建设企业级数据仓库,并适用于大规模分析和AI/ML工作负载。GitHub:https://github.com/apache/cloudberryHi社区小伙伴们!我们很高兴与大家分享两个ApacheCloudberry开
- Hive SQL 使用及进阶详解
小四的快乐生活
hivesqlhadoop
一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构,它提供了类似于SQL的查询语言HiveSQL(也称为HQL),用于对存储在Hadoop分布式文件系统(HDFS)中的大规模数据进行数据查询和分析。Hive将SQL查询转换为MapReduce、Tez或Spark等分布式计算任务,使得不熟悉Java编程的数据分析人员也能方便地处理大规模数据。二、HiveSQL基础使用(一)环境准备在
- 使用 Airbyte 数据集成平台加载 Shopify 数据
fgayif
python
技术背景介绍Airbyte是一个用于API、数据库及文件到仓库和数据湖的ELT管道的数据集成平台。它拥有最全的ELT连接器目录,为各种数据源提供强大支持。本文将介绍如何通过Airbyte平台的Shopify连接器加载数据。核心原理解析Airbyte的Shopify连接器将Shopify数据的各种对象作为文档加载,并将其存储为元数据。通过这种方式,可以方便地将Shopify的订单等信息整合到数据仓库
- 最全数仓实践:总线矩阵设计_数仓总线矩阵(2)
2401_84170391
程序员矩阵大数据spark
所以,总线矩阵和一致性维度、一致性事实共同组成了Kimball的多维体系结构基础。在这种多维体系结构(MD)的数据仓库架构中,主导的思想便是分步建立数据仓库,并由数据集市组合成企业的数据仓库。但是,在建立第一个数据集市前,架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实,即一致性维度和一致性事实,而开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。如果我们在建立数据
- 数据仓库面试题集锦(附答案和数仓知识体系),面试必过
m0_60635001
2024年程序员学习数据仓库面试spark
3、如何构建数据仓库?数据仓库模型的选择是灵活的,不局限与某种模型方法;数据仓库数据是灵活的,以实际需求场景为导向;数仓设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本1)调研:业务调研、需求调研、数据调研2)划分主题域:通过业务调研、需求调研、数据调研最终确定主题域3)构建总线矩阵、维度建模总线矩阵:把总线架构列表形成矩阵形式,行表示业务处理过程,即事实,列表示一致性的维度,在交叉点上打上
- Hologres 介绍
黄毛火烧雪下
数据分析
Hologres是阿里云提供的一款实时数据分析平台,它结合了数据仓库(DataWarehouse)和流式计算(StreamProcessing)的优势,专为大规模数据分析和实时数据处理而设计。Hologres基于PostgreSQL构建,提供了高性能的查询处理、强大的数据分析能力,并能够支持海量数据的实时分析。一、Hologres的核心特点和功能:1、基于PostgreSQL构建:Hologres
- preview_220624,Day08_DM层建设实战,
啊六六六
Python大数据数据挖掘数据仓库
DM名称:数据集市层DataMarket功能:基于DWS层日统计宽表,上卷出周、月、年等统计宽表,即粗粒度汇总。解释从理论层面来说,数据集市是一个小型的部门或工作组级别的数据仓库。一些公司早期的数据集市后期可能会演变成为数仓系统。本项目中在数据集市层面主要进行粗粒度汇总,也可以将这些功能下放至DWS层完成。抛弃DM.使用DataGrip在Hive中创建dm层注意,对于建库建表操作,需直接使用Hiv
- 架构师论文《论湖仓一体架构及其应用》
pccai-vip
架构软考论文
软考论文-系统架构设计师摘要作为某省级商业银行数据中台建设项目技术负责人,我在2020年主导完成了从传统数据仓库向湖仓一体架构的转型。针对日益增长的支付流水、用户行为埋点及信贷审核影像文件等多模态数据处理需求,原有系统存在存储成本激增、实时分析能力不足等问题。新平台需整合12个核心业务系统数据资源,建设支持实时反欺诈、客户画像分析的高性能数据底座。本项目采用Iceberg+Spark架构实现湖仓一
- 《数据仓库与数据挖掘》自测
破坏神在行动
数据仓库与数据挖掘数据仓库数据挖掘
试卷一一、选择题(每题2分,共20分)1.数据仓库的主要特征不包括以下哪一项?A.数据量大B.异构数据整合C.事务处理D.支持决策分析2.OLAP的核心功能是:A.事务处理B.多维数据分析C.数据清洗D.数据转换3.以下哪个不是元数据的分类?A.数据源元数据B.数据模型元数据C.数据仓库映射元数据D.数据备份元数据4.数据挖掘中的KDD指的是:A.数据清洗B.知识发现C.知识库设计D.知识库查询5
- 银行数据类系统建设
奔跑的白鸥
银行数据应用数据仓库spark大数据
数据仓库建设数据仓库的概念数据仓库是大批量数据的存储系统,在如今PB级数据量的大数据时代,传统数据库由于数据量的限制,无法存储如此庞大的数据量,因此对于需求海量数据的机构大都会将数据存储在数据仓库中,用以取数和分析。数据仓库的分层数据仓库一般会从业务源系统取数,存储在ODS层。这一层存储的都是颗粒度最细的明细数据,由于直接从源系统取数,所以这一层的数据大多是缺乏加工处理的脏数据。再上层是主题数据层
- 【ETL】从理论到实践的数据处理流程及其工具的应用
絆人心
etl数据仓库python数据分析数据挖掘数据库
目录引言一、ETL的基础与工作原理二、ETL过程中的工具选择与实际操作(1)提取(Extract)(2)转换(Transform)(3)加载(Load)三、常见的ETL工具四、ETL的未来发展趋势五、总结引言ETL(Extract,Transform,Load)是处理数据、实现数据整合、清洗和迁移的关键技术。在大数据时代,随着企业数据量的快速增长,ETL不仅要满足传统数据仓库的需求,还要应对实时数
- 24道数据仓库面试八股文(答案、分析和深入提问)整理
守护海洋的猫
数据仓库面试职场和发展python
1.简述从ODS层到DW层的ETL,做了哪些工作?回答在数据仓库(DW)中,ODS(OperationalDataStore)层到DW层的ETL(Extract,Transform,Load)过程主要包括以下几个步骤:提取(Extract):从ODS层提取原始数据,通常是通过ETL工具或自定义脚本进行数据读取。数据提取可以包括各种格式的源,如数据库、文本文件、API等。转换(Transform):
- jquery实现的jsonp掉java后台
知了ing
javajsonpjquery
什么是JSONP?
先说说JSONP是怎么产生的:
其实网上关于JSONP的讲解有很多,但却千篇一律,而且云里雾里,对于很多刚接触的人来讲理解起来有些困难,小可不才,试着用自己的方式来阐释一下这个问题,看看是否有帮助。
1、一个众所周知的问题,Ajax直接请求普通文件存在跨域无权限访问的问题,甭管你是静态页面、动态网页、web服务、WCF,只要是跨域请求,一律不准;
2、
- Struts2学习笔记
caoyong
struts2
SSH : Spring + Struts2 + Hibernate
三层架构(表示层,业务逻辑层,数据访问层) MVC模式 (Model View Controller)
分层原则:单向依赖,接口耦合
1、Struts2 = Struts + Webwork
2、搭建struts2开发环境
a>、到www.apac
- SpringMVC学习之后台往前台传值方法
满城风雨近重阳
springMVC
springMVC控制器往前台传值的方法有以下几种:
1.ModelAndView
通过往ModelAndView中存放viewName:目标地址和attribute参数来实现传参:
ModelAndView mv=new ModelAndView();
mv.setViewName="success
- WebService存在的必要性?
一炮送你回车库
webservice
做Java的经常在选择Webservice框架上徘徊很久,Axis Xfire Axis2 CXF ,他们只有一个功能,发布HTTP服务然后用XML做数据传输。
是的,他们就做了两个功能,发布一个http服务让客户端或者浏览器连接,接收xml参数并发送xml结果。
当在不同的平台间传输数据时,就需要一个都能解析的数据格式。
但是为什么要使用xml呢?不能使json或者其他通用数据
- js年份下拉框
3213213333332132
java web ee
<div id="divValue">test...</div>测试
//年份
<select id="year"></select>
<script type="text/javascript">
window.onload =
- 简单链式调用的实现技术
归来朝歌
方法调用链式反应编程思想
在编程中,我们可以经常遇到这样一种场景:一个实例不断调用它自身的方法,像一条链条一样进行调用
这样的调用你可能在Ajax中,在页面中添加标签:
$("<p>").append($("<span>").text(list[i].name)).appendTo("#result");
也可能在HQ
- JAVA调用.net 发布的webservice 接口
darkranger
webservice
/**
* @Title: callInvoke
* @Description: TODO(调用接口公共方法)
* @param @param url 地址
* @param @param method 方法
* @param @param pama 参数
* @param @return
* @param @throws BusinessException
- Javascript模糊查找 | 第一章 循环不能不重视。
aijuans
Way
最近受我的朋友委托用js+HTML做一个像手册一样的程序,里面要有可展开的大纲,模糊查找等功能。我这个人说实在的懒,本来是不愿意的,但想起了父亲以前教我要给朋友搞好关系,再加上这也可以巩固自己的js技术,于是就开始开发这个程序,没想到却出了点小问题,我做的查找只能绝对查找。具体的js代码如下:
function search(){
var arr=new Array("my
- 狼和羊,该怎么抉择
atongyeye
工作
狼和羊,该怎么抉择
在做一个链家的小项目,只有我和另外一个同事两个人负责,各负责一部分接口,我的接口写完,并全部测联调试通过。所以工作就剩下一下细枝末节的,工作就轻松很多。每天会帮另一个同事测试一些功能点,协助他完成一些业务型不强的工作。
今天早上到公司没多久,领导就在QQ上给我发信息,让我多协助同事测试,让我积极主动些,有点责任心等等,我听了这话,心里面立马凉半截,首先一个领导轻易说
- 读取android系统的联系人拨号
百合不是茶
androidsqlite数据库内容提供者系统服务的使用
联系人的姓名和号码是保存在不同的表中,不要一下子把号码查询来,我开始就是把姓名和电话同时查询出来的,导致系统非常的慢
关键代码:
1, 使用javabean操作存储读取到的数据
package com.example.bean;
/**
*
* @author Admini
- ORACLE自定义异常
bijian1013
数据库自定义异常
实例:
CREATE OR REPLACE PROCEDURE test_Exception
(
ParameterA IN varchar2,
ParameterB IN varchar2,
ErrorCode OUT varchar2 --返回值,错误编码
)
AS
/*以下是一些变量的定义*/
V1 NUMBER;
V2 nvarc
- 查看端号使用情况
征客丶
windows
一、查看端口
在windows命令行窗口下执行:
>netstat -aon|findstr "8080"
显示结果:
TCP 127.0.0.1:80 0.0.0.0:0 &
- 【Spark二十】运行Spark Streaming的NetworkWordCount实例
bit1129
wordcount
Spark Streaming简介
NetworkWordCount代码
/*
* Licensed to the Apache Software Foundation (ASF) under one or more
* contributor license agreements. See the NOTICE file distributed with
- Struts2 与 SpringMVC的比较
BlueSkator
struts2spring mvc
1. 机制:spring mvc的入口是servlet,而struts2是filter,这样就导致了二者的机制不同。 2. 性能:spring会稍微比struts快。spring mvc是基于方法的设计,而sturts是基于类,每次发一次请求都会实例一个action,每个action都会被注入属性,而spring基于方法,粒度更细,但要小心把握像在servlet控制数据一样。spring
- Hibernate在更新时,是可以不用session的update方法的(转帖)
BreakingBad
Hibernateupdate
地址:http://blog.csdn.net/plpblue/article/details/9304459
public void synDevNameWithItil()
{Session session = null;Transaction tr = null;try{session = HibernateUtil.getSession();tr = session.beginTran
- 读《研磨设计模式》-代码笔记-观察者模式
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
import java.util.ArrayList;
import java.util.List;
import java.util.Observable;
import java.util.Observer;
/**
* “观
- 重置MySQL密码
chenhbc
mysql重置密码忘记密码
如果你也像我这么健忘,把MySQL的密码搞忘记了,经过下面几个步骤就可以重置了(以Windows为例,Linux/Unix类似):
1、关闭MySQL服务
2、打开CMD,进入MySQL安装目录的bin目录下,以跳过权限检查的方式启动MySQL
mysqld --skip-grant-tables
3、新开一个CMD窗口,进入MySQL
mysql -uroot
 
- 再谈系统论,控制论和信息论
comsci
设计模式生物能源企业应用领域模型
再谈系统论,控制论和信息论
偶然看
- oracle moving window size与 AWR retention period关系
daizj
oracle
转自: http://tomszrp.itpub.net/post/11835/494147
晚上在做11gR1的一个awrrpt报告时,顺便想调整一下AWR snapshot的保留时间,结果遇到了ORA-13541这样的错误.下面是这个问题的发生和解决过程.
SQL> select * from v$version;
BANNER
-------------------
- Python版B树
dieslrae
python
话说以前的树都用java写的,最近发现python有点生疏了,于是用python写了个B树实现,B树在索引领域用得还是蛮多了,如果没记错mysql的默认索引好像就是B树...
首先是数据实体对象,很简单,只存放key,value
class Entity(object):
'''数据实体'''
def __init__(self,key,value)
- C语言冒泡排序
dcj3sjt126com
算法
代码示例:
# include <stdio.h>
//冒泡排序
void sort(int * a, int len)
{
int i, j, t;
for (i=0; i<len-1; i++)
{
for (j=0; j<len-1-i; j++)
{
if (a[j] > a[j+1]) // >表示升序
- 自定义导航栏样式
dcj3sjt126com
自定义
-(void)setupAppAppearance
{
[[UILabel appearance] setFont:[UIFont fontWithName:@"FZLTHK—GBK1-0" size:20]];
[UIButton appearance].titleLabel.font =[UIFont fontWithName:@"FZLTH
- 11.性能优化-优化-JVM参数总结
frank1234
jvm参数性能优化
1.堆
-Xms --初始堆大小
-Xmx --最大堆大小
-Xmn --新生代大小
-Xss --线程栈大小
-XX:PermSize --永久代初始大小
-XX:MaxPermSize --永久代最大值
-XX:SurvivorRatio --新生代和suvivor比例,默认为8
-XX:TargetSurvivorRatio --survivor可使用
- nginx日志分割 for linux
HarborChung
nginxlinux脚本
nginx日志分割 for linux 默认情况下,nginx是不分割访问日志的,久而久之,网站的日志文件将会越来越大,占用空间不说,如果有问题要查看网站的日志的话,庞大的文件也将很难打开,于是便有了下面的脚本 使用方法,先将以下脚本保存为 cutlog.sh,放在/root 目录下,然后给予此脚本执行的权限
复制代码代码如下:
chmo
- Spring4新特性——泛型限定式依赖注入
jinnianshilongnian
springspring4泛型式依赖注入
Spring4新特性——泛型限定式依赖注入
Spring4新特性——核心容器的其他改进
Spring4新特性——Web开发的增强
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC
Spring4新特性——Groovy Bean定义DSL
Spring4新特性——更好的Java泛型操作API
Spring4新
- centOS安装GCC和G++
liuxihope
centosgcc
Centos支持yum安装,安装软件一般格式为yum install .......,注意安装时要先成为root用户。
按照这个思路,我想安装过程如下:
安装gcc:yum install gcc
安装g++: yum install g++
实际操作过程发现,只能有gcc安装成功,而g++安装失败,提示g++ command not found。上网查了一下,正确安装应该
- 第13章 Ajax进阶(上)
onestopweb
Ajax
index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
- How to determine BusinessObjects service pack and fix pack
blueoxygen
BO
http://bukhantsov.org/2011/08/how-to-determine-businessobjects-service-pack-and-fix-pack/
The table below is helpful. Reference
BOE XI 3.x
12.0.0.
y BOE XI 3.0 12.0.
x.
y BO
- Oracle里的自增字段设置
tomcat_oracle
oracle
大家都知道吧,这很坑,尤其是用惯了mysql里的自增字段设置,结果oracle里面没有的。oh,no 我用的是12c版本的,它有一个新特性,可以这样设置自增序列,在创建表是,把id设置为自增序列
create table t
(
id number generated by default as identity (start with 1 increment b
- Spring Security(01)——初体验
yang_winnie
springSecurity
Spring Security(01)——初体验
博客分类: spring Security
Spring Security入门安全认证
首先我们为Spring Security专门建立一个Spring的配置文件,该文件就专门用来作为Spring Security的配置