关于Amazon Redshift性能调优的十大Tips

在Amazon Redshift的协助下，客户得以顺利完成一系列业务目标，例如从加速现有数据库环境，到提取网络日志以进行大数据分析等等。Amazon Redshift是一套全托管PB级大规模并行数据仓库，拥有极低的上手难度与出色的性能表现。Amazon Redshift还提供开放的标准JDBC/ODBC驱动程序接口，供您直接对接现有商业智能（BI）工具并复用现有分析查询方法。

Amazon Redshift能够运行任意类型的数据模型，涵盖生产事务处理系统第三范式模型、星型与雪花型模型、数据仓库以及各类简单的平面表等。

本文将向大家介绍如何在应用Amazon Redshift过程中实现性能优化，并针对各类优化方式做出深入剖析及操作指导。

  想要了解更多亚马逊云科技最新技术发布和实践创新，敬请关注2021亚马逊云科技中国峰会！点击图片报名吧～

内容更新

本文更新了2019年初发布的同名文章，旨在纳入一年多以来亚马逊云科技的各项最新进展，并将着重对其中要点做出阐述。

查询吞吐量比查询并发性更为重要

配置并发性（如内存管理）可以通过Automatic WLM与Query Priorities队列优先级机制将并发能力引入Amazon Redshift的内部机器学习模型。在大规模生产集群当中，我们看到自动化流程会为某些工作负载分配更多的活动语句，并对其他类型的用例分配较少活动语句。这种作法是为了最大程度提高吞吐量，保证Amazon Redshift集群能够在特定时段之内完成特定工作总量，例如实现每分钟300条查询，或者每小时处理1500条SQL语句等。本文建议大家充分利用并发机制提高吞吐量，因为吞吐量正是对集群用户具有直接影响的一类核心性能指标。

除了通过优化Automatic WLM设置实现吞吐量最大化之外，Amazon Redshift中的并发扩展功能还可以将集群的吞吐量扩展至原始集群固有吞吐量的10倍。目前Amazon Redshift将10倍设定为吞吐量的软限制，大家可以根据需求与你的客户团队联系以调整此上限。

关注Amazon Redshift驱动程序

Amazon Web Services建议大家使用Amazon Redshift JDBC或ODBC驱动程序，借此提高性能表现。每种驱动程序都对应多种可选配置，您可以进一步调整以控制语句使用量以及结果集中的具体行数。

对各类常见数据库管理任务进行自动化，借此降低使用门槛

2018年，我们曾在文章中通过排序键、编码、表维护、分发以及工作负载管理等角度探讨了性能优化方面的几大关键注意事项。自那时以来，Amazon Redshift先后添加多项自动化功能，为SET DW提供100%信息支持、将表维护纳入Amazon Web Services服务职责（不再由用户方承担），并通过智能化程度更高的默认设置增强了开箱即用性能。即使表任务随时间推移而有所变化，Amazon Redshift Advisor仍会持续监控集群以寻找各类优化机会。Amazon Web Services还发布了用于量化Amazon Redshift性能的基准方案，帮助大家轻松重现性能测试结果。

使用RA3节点与Amazon Redshift Spectrum实现计算与存储资源的独立扩展

除了原本提供的Dense Compute与Dense Storage节点等便捷集群构建块之外，现在大家还可以使用其他工具进一步对计算与存储资源进行独立扩展。Amazon Redshift Managed Storage（即RA3节点家族）将帮助大家专注于调整计算资源量，而不必分神于存储容量问题。此外，并发扩展则允许我们根据实际需求，对整个集群内的其他计算资源进行调整。Amazon Redshift Spectrum使用由Amazon Simple Storage Service(Amazon S3)提供的、近乎无限的存储容量以支持按需计算层，其容量可高达主集群容量的10倍，且现已提供配套的物化视图支持选项。

利用暂停与还原功能优化使用成本

现在，所有Amazon Redshift集群皆可使用暂停与还原功能。对于按需创建的集群，集群暂停操作将停止按秒计算的服务计费。预留实例集群则可通过暂停与还原功能，定义特定访问时间或在特定时间点上冻结数据集。

技巧一：使用Amazon Redshift物化视图获取预计算结果

物化视图能够极大改善高重复度、可预测型分析工作负载的查询性能，包括仪表板、商业智能工具中的查询，以及提取、加载与转换（ELT）等数据处理操作。数据工程师能够轻松轻松创建并维护一套包含物化视图的高效数据处理管道，同时将性能优势无缝扩展至各类数据分析与商业智能工具当中。

物化视图适用于需要重复执行、且结果具备一定可预测性的查询操作。应用程序可以查询物化视图中保留的预先计算数据，而不必对大型表反复执行资源密集型查询。

当基表中的数据发生变更时，您可以发出Amazon Redshift SQL语句“refresh materialized view”以刷新物化视图。在发出刷新语句之后，您的物化视图将包含与常规视图相同的数据内容。刷新可以采取增量刷新与完全刷新（重新计算）两种具体形式。Amazon Redshift还会在完成上一次物化视图刷新之后，尽可能通过增量方式刷新基表中的已变更数据。

为了演示其工作原理，我们可以创建一套示例schema以存储销售信息，包括每一项销售交易以及销售活动所在商店的详细信息。

要查看各城市的销售总额，我们使用create materialized view SQL语句(city_sales）将来自两份表中的记录join起来，借此建立起物化视图，进而汇总各个城市(group by city)的具体销售额(sum(sales.amount))：

CREATE MATERIALIZED VIEW city_sales AS 
  (
  SELECT st.city, SUM(sa.amount) as total_sales
  FROM sales sa, store st
  WHERE sa.store_id = st.id
  GROUP BY st.city
  );

现在，我们可以像查询常规视图或表那样查询这套物化视图，并发出“SELECT city, total_sales FROM city_sales”这类语句以得出以下结果。两份表单的join与聚合(sum与group by)已经预计算完成，从而大大减少了需要扫描的实际数据量。

当底层基表中的数据发生变更时，物化视图无法自动反映这些更改。您可以根据需求使用refresh materialized view SQL命令，将基表中的更改体现在物化视图中的数据处。具体参见以下代码：

!-- let's add a row in the sales base table

INSERT INTO sales (id, item, store_id, customer_id, amount) 
VALUES(8, 'Gaming PC Super ProXXL', 1, 1, 3000);

SELECT city, total_sales FROM city_sales WHERE city = 'Paris'

|city |total_sales|
|-----|-----------|
|Paris|        690|

!-- the new sale is not taken into account !!
-- let's refresh the materialized view
REFRESH MATERIALIZED VIEW city_sales;

SELECT city, total_sales FROM city_sales WHERE city = 'Paris'

|city |total_sales|
|-----|-----------|
|Paris|       3690|

!-- now the view has the latest sales data

关于此用例的完整代码，请参阅GitHub。

您也可以将物化视图的优势扩展到Amazon S3数据湖以及其他联合数据源中的外部数据当中。使用物化视图，我们可以轻松存储并管理由SELECT语句引用自外部表及Amazon Redshift表的预计算结果。以此为基础，一切引用物化视图的后续查询都将获得更快的运行速度，因为其使用的是存储在Amazon Redshift中的预计算结果，而不必实际访问各外部表。您也可以借此减少重复访问外部数据源带来的运营成本，保证仅在明确需要刷新物化视图时才执行此类高成本访问。

技巧二：通过并发扩展与弹性调整处理突发工作负载

传统的本地模型要求我们对系统未来三到四年之内的资源需求作出预估，借此保证在设备采购时预留充足的容量。相比之下，Amazon Web Services允许您直接调整集群大小，从而随心所欲地控制总体资源规模。具体到Amazon Redshift，我们可以通过弹性调整与并发扩展实现这一突出优势。

弹性调整的本质，在于快速增加或减少计算节点的数量（最大可将原始集群的节点数量增加一倍或者减少一半），甚至可以灵活调整节点类型。您可以扩展集群规模以获取额外的处理能力，借此适应突然增长的工作负载，例如每年大型购物季、或者支持企业内部组织的网络业务挑战赛。如果某项配置无法适配弹性调整，您还可以选择经典调整方案。经典调整的执行速度较慢，但允许您更改节点类型和节点的实际规模伸缩范围将超出弹性调整的加倍或减半限制。

弹性调整操作只需要几分钟即可完成，且无需重启集群。对于按可预测时间表出现的预期内工作负载峰值，您可以使用Amazon Redshift控制台、Amazon Web Services命令行界面（Amazon CLI）或者API中的弹性调整调度功能，实现规模调整的自动执行。

并发扩展则允许您为Amazon Redshift集群动态添加容量，借此响应当前集群中的实际工作负载水平。

在默认情况下，并发扩展选项处于禁用状态。您可以针对任意工作负载管理（WLM）队列启用并发扩展，将并发查询数量扩展至近乎无穷的水平，且保持高度一致的快速查询性能。通过将“max_concurrency_scaling_clusters”参数值从1（默认）设定为10（系统设定的软上限，您可联系支持团队以调整这一上限），大家能够快速操控集群的最大并发扩展数量。更重要的，Amazon Web Services提供的免费并发扩展配额已经足以满足大多数客户的需求，使用此项功能的用户一般不需要为此额外承担费用。关于并发扩展计费模型的更多详细信息，请参阅并发扩展费率标准。

大家可以创建每日、每周或每月资源使用上限，借此监视并控制并发扩展功能的使用情况与使用成本，并要求Amazon Redshift在使用量达到上限时自动采取措施（例如记录日志、发布警报或禁止后续操作等）。关于更多详细信息，请参阅在Amazon Redshift中管理使用量限制。

通过这些选项，亚马逊云科技为您带来一种对平台进行灵活调整以随时适应实际需求的全新方法。在使用这些选项之前，您需要预先确定WLM队列乃至整个Amazon Redshift集群的大小，并以此为基础为可能出现的需求峰值做好准备。

技巧三：使用Amazon Redshift Advisor降低管理负担

Amazon Redshift Advisor负责为您的Amazon Redshift集群提供优化建议，借此改善集群性能表现并降低运营成本。

Advisor提出的优化建议，以性能统计信息或对运营数据的观察结果为基础。Advisor会在集群上运行测试，借此确定观察值是否处于合理范围之内，进而整理出观察结果。一旦测试结果超出合理范围，Advisor将为当前集群生成一项观察值。此外，Advisor还将针对如何将观察值引导至合理范围内提供相应建议。Advisor只提供可能对性能及运营成本产生重大影响的建议。在确定相关建议已被采纳、问题得到解决之后，Advisor会将其从建议列表中删除。在本节中，我们将分享几个Advisor建议示例：

分配键相关建议

Advisor会分析您的集群工作负载，为各表确定最合适的分配键方式，借此提升性能表现。Advisor提供ALTER TABLE语句，根据分析结果更改表的DISTSTYLE与DISTKEY。要显著提升现有性能，请保证在建议组内使用全部SQL语句。

以下截屏所示，为关于分配键的建议示例。

关于Amazon Redshift性能调优的十大Tips_第1张图片

如果您没有收到建议，也并不代表当前分配方式已经达到最优效果。这可能意味着分析数据不足或重新分配的预期收益过低，因此Advisor决定暂不提供相关建议。

排序键相关建议

通过使用适当的排序键对表进行排序，我们可以减少需要从磁盘处读取的表数据块，借此提高查询性能。这种方法特别适用于特定范围之内的查询操作。

Advisor会分析过去几天内集群的工作负载情况，据此为表选定合适的排序键，详见以下截屏。

关于Amazon Redshift性能调优的十大Tips_第2张图片

如果您没有收到建议，也并不代表当前配置方式已经达到最优效果。这可能意味着分析数据不足或重新排序的预期收益过低，因此Advisor决定暂不提供相关建议。

表压缩相关建议

Amazon Redshift经过优化，可通过压缩编码减少存储空间占用，同时提高查询性能。如果不使用压缩，数据将占用更多空间，且产生额外的磁盘I/O需求。对大规模未经压缩的列执行压缩处理，可能对您的集群产生显著影响。

Advisor中的压缩分析能够跟踪被分配给不可变用户表的未压缩数据，并对不属于排序键列的大型未压缩列进行元数据分配审查。

以下截屏所示，为表压缩的建议示例。

关于Amazon Redshift性能调优的十大Tips_第3张图片

表统计相关建议

保留当前统计信息，往往有助于后续复杂查询获得更快的执行速度。Advisor分析会跟踪表中已过期或者存在缺失的统计信息，同时检查与复杂查询相关联的表访问元数据。一旦发现访问频率较高、且访问模式较为复杂的表缺少统计信息，Amazon Redshift Advisor就会创建一项重要建议以运行ANALYZE。如果此类表上的统计信息已经过期，则Advisor同样会创建对应建议以运行ANALYZE。

以下截屏所示，为表统计的示例建议。

关于Amazon Redshift性能调优的十大Tips_第4张图片

技巧四：使用Auto WLM配合优先级机制提升吞吐量

Auto WLM使用机器学习技术对内存及并发机制进行动态管理，保证集群资源的使用方式得到充分优化，并借此简化工作负载管理流程并提升查询吞吐量。

Amazon Redshift使用队列系统（WLM）运行查询，您可以最多定义八个队列、借此将不同工作负载彼此区分开来。

Amazon Redshift Advisor能够自动分析当前WLM使用情况，并提出建议以指导您通过当前集群获取更高的吞吐量。定期查看Advisor建议，将帮助您实现集群最佳性能。

查询优先级是Auto WLM中的一项功能，可帮助您为不同用户组或查询组分配对应优先级，保证即使是在繁忙时段，高优先级工作负载仍能获得更多处理资源，借此实现统一的查询性能。本文强烈建议大家设置查询监控规则（QMR），借此监控并管理资源密集型查询或者与预期运行状态不符的失控查询。在QMR的帮助下，您还可以根据查询的运行时性能与您所定义的指标性规则，动态调整各项查询操作的优先级水平。

关于将手动WLM查询优先级转换为自动模式的更多详细信息，请参阅修改WLM配置。

这里建议大家使用Amazon Redshift提供的短查询加速（SQA）功能。SQA使用机器学习技术在自有队列中运行生命周期较短的作业，借此保证小型作业得以快速完成，而不必在队列中等待运行耗时更长的其他SQL语句。在默认情况下，默认的参数组与全部新参数组均已启用SQA。您可以通过Amazon Redshift控制台上的复选框或使用Amazon Redshift CLI，对SQA进行启用或禁用。

如果您启用了并发扩展机制，那么在工作负载开始备份时，Amazon Redshift能够自动快速配置附加集群。在确定集群的具体WLM配置方面，我们建议大家认真考虑这项因素。

一种常见的模式是对WLM配置进行优化，在无需添加内存的前提下运行更多SQL语句，借此为短查询作业保留额外的处理能力。当然，合理范围内的队列也完全可以接受，因为一旦您的需求突然增加，系统会随之添加更多附加集群。要在WLM队列上启用并发规模伸缩，请将并发扩展模式的值设定为AUTO。关于具体架构设计决策，建议您参阅并发扩展费率标准。大家也可以使用Amazon Redshift中的限制功能，监视并控制并发扩展功能的使用情况与使用成本。

在某些情况下，对于未启用并发扩展功能的集群，其中的用户或查询分配队列可能长时间处于忙碌状态，必须等待队列中腾出新的空位。在此期间，系统将无法运行任何新的查询。一旦经常出现此类状况，大家可能必须上调并发水平。

首先，使用queuing_queries.sql管理员脚本以确定当前是否存在查询队列。使用wlm_apex.sql以查看集群以往所需要的最大并发性，或者使用wlm_apex_hourly.sql进行每小时运行记录分析。请注意，虽然上调并发行能够增加同时运行的查询总量，但每项查询所获得的内存配额也将对应减少。在实际使用中，您可能发现在上调并发性之后，某些查询必须借助临时磁盘存储才能完成，而这同样不符合性能最优化原则。

技巧五：充分发挥Amazon Redshift数据湖的集成优势

Amazon Redshift能够与Amazon S3等其他Amazon Web Services原生服务紧密集成，帮助用户以多种方式实现Amazon Redshift集群与数据湖间的交互。

Amazon Redshift Spectrum能够通过可独立进行弹性调整的计算层，从Amazon S3中的文件处直接查询数据。单独使用这些模式，或者将多种模式组合使用，能够将工作负载转移至Amazon Redshift Spectrum计算层，借此实现数据集的快速创建、转换或聚合，同时消除传统ETL流程中的繁琐操作步骤。

  • 使用Amazon Redshift Spectrum计算层分担主集群上的部分工作负载，并为特定SQL语句提供更多处理能力。Amazon Redshift Spectrum能够自动分配算力，最高可达主集群处理能力的10倍，借此帮助用户显著提升大型转换或聚合作业的执行效率。
  • 跳过ETL流程中的负载，直接面向Amazon S3上的数据执行转换。您可以使用INSERT…SELECT语句对Amazon S3上的分区、列式数据支持转换逻辑。这种处理方式明显要比暂存当前数据集，将其join至其他表而后再行转换的流程简单得多。
  • 使用Amazon Redshift Spectrum对Amazon S3中的数据运行查询，借此跳过向主集群加载数据的步骤，真正实现实时分析。
  • 以分区、列式格式将分段或转换集群的输出结果引入Amazon S3。主集群或报告集群能够直接从该Amazon S3数据集内查询结果，并通过INSERT…SELECT语句进行快速加载。

在Amazon Redshift当中，我们可以使用UNLOAD命令或写入外部表的方式，将数据导出至数据湖内。这两种方式都能够以并发形式将SQL语句的输出结果导入Amazon S3。具体操作步骤如下：

  • 使用您所熟悉的CREATE EXTERNAL TABLE AS SELECT与INSERT INTO SQL语句在Amazon S3上创建并填充外部表，以供Amazon Redshift或者甚至加入数据湖的服务后续使用，这种方式能够消除对分区的手动维护操作。物化视图亦可覆盖外部表，由此进一步增强对数据湖的访问及利用能力。
  • 使用UNLOAD命令，Amazon Redshift能够以大规模并发方式将SQL语句的输出结果导出至Amazon S3。这项技术极大提高了导出性能，同时也减轻了经由主节点进行数据传输造成的性能影响。我们可以在导出数据传出Amazon Redshift集群的过程中对其进行压缩。输出数据的体积越小，这项导出功能的优势也就越明显。在将列式数据写入至数据湖的过程中，UNLOAD还能够同时写入分区感知型Parquet数据。
  • CREATE EXTERNAL TABLE AS SELECT
    https://docs.aws.amazon.com/r...
  • INSERT INTO
    https://docs.aws.amazon.com/r...

技巧六：提高临时表的效率

Amazon Redshift还提供临时表功能，其作用与普通表类似，但生命周期与单一SQL会话相关联。正确使用临时表能够显著提升某些ETL操作的性能表现。与常规的永久表不同，指向临时表的数据更改不会触发Amazon S3中的自动增量备份——换言之，无需同步数据块镜像，我们即可将数据的冗余副本存储在其他计算节点之上。在此基础之上，临时表上的数据提取成本更低，执行速度也更快。也正因为如此，临时表成为承载临时存储（例如分段表）的理想选项。

大家可以使用CREATE TEMPORARY TABLE语法，或者发出SELECT … INTO #TEMP_TABLE查询以创建临时表。CREATE TABLE语句允许用户全面控制临时表的定义。SELECT … INTO and C(T)TAS命令则使用输入数据以确定列名称、大小与数据类型，并使用默认存储属性。这里要提醒大家认真考虑是否应使用默认存储属性，以防引起意外影响。在默认情况下，Amazon Redshift会在临时表内以非列编码（例如RAW压缩）的方式全面执行EVEN表分配，而这一数据结构实际并不适合很多常见的查询类型。

如果您使用SELECT…INTO语法，则无法设置列编码、列分配或者排序键。相反，您只能使用CREATE TABLE AS(CTAS)语法以指定分配样式与排序键，这时Amazon Redshift会自动在除排序键、布尔值、实数以及双精度数以外的所有内容中应用LZO编码。当然，大家也可以直接使用CREASTE TABLE语法（不包括CTAS）以实现其他控制。

如果需要创建临时表，请注意将所有SELECT…INTO语法转换为CREATE语句，借此保证您的临时表内包含列编码，且不致在工作流中引发分配错误。例如，您可以使用以下语法进行语句转换：

SELECT column_a, column_b INTO #my_temp_table FROM my_table;

您需要分析临时表以实现列编码优化：

Master=# analyze compression #my_temp_table;
Table | Column | Encoding
----------------+----------+---------
#my_temp_table | columb_a | lzo
#my_temp_table | columb_b | bytedict
(2 rows)

接下来，您可以将SELECT INTO语句转换为以下形式：

BEGIN;

CREATE TEMPORARY TABLE my_temp_table(
column_a varchar(128) encode lzo,
column_b char(4) encode bytedict)
distkey (column_a) -- Assuming you intend to join this table on column_a
sortkey (column_b) -- Assuming you are sorting or grouping by column_b
;

INSERT INTO my_temp_table SELECT column_a, column_b FROM my_table;

COMMIT;

如果您使用CREATE TABLE LIKE语句创建一个临时分段表，则该分段表将从父目标表处继承分配键、排序键与列编码。在这种情况下，由于各行被join合并，因此分段与目标表将被join至同一分配键上，执行速度也由此加快。若要验证查询是否使用合并join，请使用EXPLAIN运行查询，并检查所有joins上的DS_DIST_NONE。

大家可能还需要分析临时表上的统计信息，特别是在将临时表作为join表以供后续查询的情况下。详见以下代码：

ANALYZE my_temp_table;

使用此项技巧，您可以保留临时表的功能，同时通过分配键控制数据在集群上的放置位置。此外，您还可以通过列编码发挥Amazon Redshift的列属性优势。

技巧七：使用QMR与Amazon CloudWatch指标以驱动其他性能改进

除了Amazon Redshift Advisor建议之外，大家也可以通过其他渠道获取性能洞见结论。

无论大家是否在集群上制定有规则，Amazon Redshift集群都会持续自动为查询监控规则收集指标。通过这一便捷的设定，您可以轻松查看以下属性：

  • 某一SQL语句的CPU时间 (query_cpu_time)
  • 某一作业可能“溢出至磁盘”的临时空间占用量(query_temp_blocks_to_disk)
  • 读取的最大数据块数量与平均值之比 (io_skew)

这项设定还提供Amazon Redshift Spectrum指标，例如某项查询中涉及的Amazon Redshift Spectrum行数以及MB数（分别为spectrum_scan_row_count和spectrum_scan_size_mb、respectively）。Amazon Redshift系统的SVL_QUERY_METRICS_SUMMARY视图会显示已完成各查询的指标最大值，STL_QUERY_METRICS与STV_QUERY_METRICS视图则以1秒为间隔显示已完成以及正在运行中的查询信息。

Amazon Redshift CloudWatch指标作为Amazon CloudWatch监控功能所使用的数据点。CloudWatch指标可覆盖集群范围，例如运行情况、读取/写入、IOPS、延迟或吞吐量；也可以提供计算节点层级的数据，例如网络发送/接收吞吐量以及读取/写入延迟。在WLM队列这一监控力度下，我们还可查看每秒完成的查询数量、队列长度等。CloudWatch还会通过ConcurrencyScalingSeconds与ConcurrencyScalingActiveClusters等指标协助用户监控并发扩展功能的使用情况。

在投入时间创建新内容前，我们建议大家首先认真核查各项CloudWatch指标（及以这些指标为基础建立的现有通知架构）。同样的，QMR指标也能涵盖大部分指标用例，多数用户可以直接使用，无需单独编写自定义指标。

技巧八：串连OLAP、OLTP与数据湖执行联合查询

Amazon Redshift中新增的联合查询功能，允许您直接针对OLTP源系统数据库与Amazon S3数据湖上的实时数据执行分析操作，整个过程无需执行任何ETL、也不需要将源数据库提取至Amazon Redshift表内。作为一项快捷高效的选项，这项功能能够在运营报告上提供实时数据可见性，从而替代将少量ETL批处理实时数据导入数据仓库的传统方法。通过将数据仓库中的历史趋势数据，与源系统中的实时使用趋势相结合，我们可以整理出有价值洞见，据此驱动实时业务决策。

例如，我们假定销售数据分别存储在三套不同的数据存储体系当中：

实时销售数据存储在Amazon RDS for PostgreSQL数据库上（在以下外部schema中表示为“ext_postgres”）。

历史销售数据存储在本地Amazon Redshift数据库上（表示为“local_dwh”）。

5年以上的已归档“冷”销售数据存储在Amazon S3上（表示为“ext_spectrum”）。

我们可以在Amazon Redshift上创建后期绑定视图，借此合并及查询来自所有三个来源处的数据。具体参见以下代码：

CREATE VIEW store_sales_integrated AS 
SELECT * FROM ext_postgres.store_sales_live 
UNION ALL 
SELECT * FROM local_dwh.store_sales_current 
UNION ALL 
SELECT ss_sold_date_sk, ss_sold_time_sk, ss_item_sk, ss_customer_sk, ss_cdemo_sk, 
ss_hdemo_sk, ss_addr_sk, ss_store_sk, ss_promo_sk, ss_ticket_number, ss_quantity, 
ss_wholesale_cost, ss_list_price, ss_sales_price, ss_ext_discount_amt, 
ss_ext_sales_price, ss_ext_wholesale_cost, ss_ext_list_price, ss_ext_tax, 
ss_coupon_amt, ss_net_paid, ss_net_paid_inc_tax, ss_net_profit 
FROM ext_spectrum.store_sales_historical 
WITH NO SCHEMA BINDING

目前，对于存储在Amazon Aurora PostgreSQL与Amazon RDS for PostgreSQL数据库内的数据，我们可以直接进行联合查询。后续Amazon Web Services还将推出面向其他主要RDS引擎的支持功能。大家还可以使用联合查询功能，简化ETL与数据输入过程。联合查询将帮助您在CTAS/INSERT SQL联合查询当中通过一步操作，将数据直接摄取至Amazon Redshift表当中，而不再需要将数据暂存在Amazon S3上再执行COPY操作。

例如，以下代码所示为一项upsert/merge操作，其中将由Amazon S3到Amazon Redshift的COPY操作直接替换为以PostgreSQL为源的联合查询：

BEGIN;

CREATE TEMP TABLE staging (LIKE ods.store_sales);

-- replace the following COPY from S3: 
   /*COPY staging FROM 's3://yourETLbucket/daily_store_sales/' 
   IAM_ROLE 'arn:aws:iam:::role/' 
   DELIMITER '|' COMPUPDATE OFF; */

-- with this federated query to load staging data directly from PostgreSQL source
INSERT INTO staging SELECT * FROM pg.store_sales p
    WHERE p.last_updated_date > (SELECT MAX(last_updated_date) FROM ods.store_sales);

DELETE FROM ods.store_sales USING staging s WHERE ods.store_sales.id = s.id;

INSERT INTO ods.store_sales SELECT * FROM staging;

DROP TABLE staging;

COMMIT;

关于设置以上联合查询的更多详细信息，请参阅使用Amazon Redshift联合查询简化ETL与实时数据查询解决方案。关于联合查询的其他技巧与最佳实践，请参阅Amazon Redshift联合查询最佳实践。

技巧九：保持高效的数据加载

Amazon Redshift最佳实践建议大家使用COPY命令执行基于文件的数据加载。但单行INSERT属于反模式用例。COPY操作能够使用集群中的所有计算节点，从Amazon S3、Amazon DyanmoDB、Amazon EMR HDFS文件系统或者任意SSH连接等来源实现数据的并行加载。

在执行数据加载时，请尽可能对数据文件进行压缩。对于面向行（CSV）的数据，Amazon Redshift支持GZIP与LZO压缩。加载大量小文件的执行效率，要高于加载单一大型文件，因此最理想的文件数量应是集群总分片数量的整数倍。此外，Amazon Redshift还支持Pqrquet及ORC等列式数据。当压缩文件的大小在1 MB到1 GB之间时，即可实现最佳加载性能。

每个节点的分片数量，取决于集群中的实际节点大小（以及可能的弹性调整历史记录）。通过保证各个分片上的文件数量相等，即可引导COPY命令平均使用集群资源并尽快完成加载操作。您可以使用SELECT COUNT(*)AS number_of_slices FROM stv_slices;查询集群的当前分片数量。

由amazon-redshift-utils GitHub repo提供的另一个脚本，CopyPerformance，能够计算每项加载操作的统计信息。Amazon Redshift Advisor还会根据实际分片数量，就压缩缺失或文件数量过低问题发出警报（详见以下截屏）：

关于Amazon Redshift性能调优的十大Tips_第5张图片

执行COPY操作能够有效减少下游用户获取结果的等待时长，并最大程度减少用于执行加载操作的集群资源。

技巧十：使用亚马逊云科技提供的最新Amazon Redshift驱动程序

由于Amazon Redshift以PostgreSQL为基础设计而来，因此我们之前建议大家使用JDBC4 PostgreSQL驱动程序8.4.703版本以及psql ODBC 9.x版本驱动程序。但如果您目前仍在使用这些驱动程序，我们建议您升级至Amazon Redshift的新型专用驱动程序。关于驱动程序与连接配置的更多详细信息，请参阅《Amazon Redshift集群管理指南》中的用于Amazon Redshift的JDBC与ODBC驱动程序部分。

尽管几率很低，但大家偶尔可能需要对Amazon Redshift驱动程序中的某些参数做出调整。下游第三方应用程序通常也制定有自己的驱动程序优化最佳实践，能够进一步提升系统的整体性能。

对于JDBC，请参考以下最佳实践：

1.为了避免在使用JDBC检索大型数据集时，出现客户端内在不足的错误，我们可以设置JDBC fetch size参数或BlockingRowsMode的方式，让客户端批量获取数据。

2.Amazon Redshift无法识别JDBC maxRows参数。相反，请指定LIMIT子句以限制结果集。大家还可以使用OFFSET子句跳转至结果集中的特定起点。

对于ODBC，请参考以下最佳实践：

1.在启用useDelareFetch时，会在集群的主节点上启用一个指针。该指针将提取fetchsize/cursorsize，并在应用程序请求更多行时协助执行提取操作。

2.CURSOR命令是一条用于操纵主节点上指针行为的显式指令。与JDBC驱动程序不同，ODBC驱动程序不提供BlockingRowsMode机制。

除非您有明确需求，否则请不要调整驱动程序。Amazon Web Services Support将为您提供与此相关的更多帮助信息。

总结

Amazon Redshift是一套功能强大的全托管数据仓库，能够在云端提供更好的性能表现与更低的运营成本。随着Amazon Redshift在全球数以万计活跃客户的使用与反馈下不断发展壮大，其易用性、扩展性以及性价比也得到持续增强。通过这些改进，您能够从这项核心亚马逊云科技服务当中获得更多价值，并不断降低时间与精力投入。

希望本文能够为大家在充分发挥Amazon Redshift各项优势的尝试中，带来一点指引与启发。

如果您有任何疑问或建议，请在评论区中与我们交流。

本篇作者

关于Amazon Redshift性能调优的十大Tips_第6张图片
Matt Scaer
亚马逊云科技首席数据仓库
专业解决方案架构师

他在亚马逊云科技与Amazon.com拥有超过11年的从业经验。

关于Amazon Redshift性能调优的十大Tips_第7张图片
Manish Vaziran
亚马逊云科技分析
专业解决方案架构师

关于Amazon Redshift性能调优的十大Tips_第8张图片
Tarun Chaudhary
亚马逊云科技分析
专业解决方案架构师

你可能感兴趣的:(data)

  • WPF中的ComboBox控件几种数据绑定的方式 互联网打工人no1 wpfc#
    一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQLOracleMariaDBLinuxWindowsssllinuxmariadb
    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
  • 网络编程基础 记得开心一点啊 网络
    目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • 4.C_数据结构_队列 荣世蓥 数据结构数据结构
    概述什么是队列：队列是限定在两端进行插入操作和删除操作的线性表。具有先入先出(FIFO)的特点相关名词：队尾：写入数据的一段队头：读取数据的一段空队：队列中没有数据，队头指针=队尾指针满队：队列中存满了数据，队尾指针+1=队头指针循环队列1、基本内容循环队列是以数组形式构成的队列数据结构。循环队列的结构体如下：typedefintdata_t;//队列数据类型#defineN64//队列容量typ
  • vue项目element-ui的table表格单元格合并 酋长哈哈 vue.jselementuijavascript前端
    一、合并效果二全部代码exportdefault{name:'CellMerge',data(){return{tableData:[{id:'1',name:'王小虎',amount1:'165',amount2:'3.2',amount3:10},{id:'1',name:'王小虎',amount1:'162',amount2:'4.43',amount3:12},{id:'1',name:'
  • python tif转png Python与遥感 python开发语言
    importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Vue中table合并单元格用法 weixin_30613343 javascriptViewUI
    地名结果人名性别{{item.name}}已完成未完成{{item.groups[0].name}}{{item.groups[0].sex}}{{item.groups[son].name}}{{item.groups[son].sex}}exportdefault{data(){return{list:[{name:'地名1',result:'1',groups:[{name:'张三',sex
  • uniapp map组件自定义markers标记点 以对_ uni-app学习记录uni-appjavascript前端
    需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • vue + Element UI table动态合并单元格 我家媳妇儿萌哒哒 elementUIvue.js前端javascript
    一、功能需求1、根据名称相同的合并工作阶段和主要任务合并这两列，但主要任务内容一样，但要考虑主要任务一样，但工作阶段不一样的情况。（枞向合并）2、落实情况里的定量内容和定性内容值一样则合并。（横向合并）二、功能实现exportdefault{data(){return{tableData:[{name:'a',address:'1',age:'1',six:'2'},{name:'a',addre
  • Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python开发语言
    在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
  • 使用datepicker和uploadify的冲突解决（IE双击才能打开附件上传对话框） zhanglb12
    在开发的过程当中，IE的兼容无疑是我们的一块绊脚石，在我们使用的如期的datepicker插件和使用上传附件的uploadify插件的时候，两者就产生冲突，只要点击过时间的插件，uploadify上传框要双才能打开ie浏览器提示错误Missinginstancedataforthisdatepicker解决方案//if(.browser.msie&&'9.0'===.browser.version
  • golang获取用户输入的几种方式 余生逆风飞翔 golang开发语言后端
    一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
  • 【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java开发语言
    文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
  • el-table实现全选整表，单元一页复选框功能 周bro vue.jselementuijavascript前端
    全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
  • Vue + Express实现一个表单提交 九旬大爷的梦
    最近在折腾一个cms系统，用的vue+express，但是就一个表单提交就弄了好久，记录一下。环境：Node10+前端：Vue服务端：Express依赖包：vueexpressaxiosexpress-formidableelement-ui（可选）前言：axiosget请求参数是：paramsaxiospost请求参数是：dataexpressget接受参数是req.queryexpresspo
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 使用input[type=file]遇上的一些问题 刘圣凯
    项目遇到一个需要，如下image.png功能大致就是添加图片，展示出来，然后在用户点击提交的时候把图片传给后台，在和后台交涉之后，决定在用户选择图片之后转成formdata传给后台，后台返回一个url，提交的时候将url返回给后台/**转formdata*/varformdata=newFormData();formdata.append("file1",$("#pic")[0].files[0]
  • 详解mybatis的一二级缓存以及缓存失效原因 仰望天花板 缓存数据库mybatisjavamysql
    数据库的大部分场景下是从磁盘读取，如果数据从内存进行读取，速度较比磁盘要快得多。但因为内存的容量有限，所以一般只会把使用和查询较多的数据缓存起来，以便快速反应，其他使用率不太多的继续存放在磁盘。mybatis分为一级缓存和二级缓存1.一级缓存一级缓存存放在SqlSqeeion上，默认开启1.1pojo@DatapublicclassRole{privateLongid;privateStringr
  • 小程序通过js控制页面字体颜色属性 祈澈菇凉
    需求：当电量少于百分之20的时候，显示电量的字体显示为红色。1：在wxml里面设置属性batStyle：style="{{item.batStyle}}"电量:{{item.battery}}%2：当复合逻辑条件的时候，在js里面carList[i].batStyle="color:red";success:function(res){constcarList=res.data.list;for(
  • Golang Channel PandaSkr golang
    Channel解析1.Channel源码分析1.1Channel数据结构typehchanstruct{qcountuint//channel的元素数量dataqsizuint//channel循环队列长度bufunsafe.Pointer//指向循环队列的指针elemsizeuint16//元素大小closeduint32//channel是否关闭0-未关闭elemtype*_type//元素类
  • matlab游标标注移动,matlab实现图形窗口的数据游标 莫白想 matlab游标标注移动
    DatacursorsforfigurewindowSeveralrelatedfunctions:CreateCursorsetsupaverticalcursoronallaxesinafigure.Thecursorscanbemovedaroundusingthemouse.MultiplecursorsaresupportedineachfigureGetCursorLocationre
  • 使用FPGA接收MIPI CSI RX信号并进行去抖动、RGB转YUV处理：FX3014 USB3.0 UVC传输与帧率控制源代码，FPGA实现MIPI CSI RX接收，去Debayer， RGB转 kVfINoSzdrt fpga开发程序人生
    fpgamipicsirx接收去debayer,rgb转yuv,fx3014usb3.0uvc传输与帧率控制源代码，具体架构看图，除dphy物理层外，mipi均为源码sensorimx219mipi源码mipi4lanecsirxraw10fpgamachXO3lf-690usb3.0fx301432bityuvdatawithframesync测试模式3280*246415fps1920*108
  • 数据结构 1 五花肉村长 数据结构算法开发语言c语言visualstudio
    1.什么是数据结构数据结构（DataStructure）是计算机存储和组织数据的方式，是指相互之间存在的一种或多种特定关系的数据元的集合。2.什么是算法算法（Algorithm）就是定义良好的计算过程，他取一个或一组的值为输入，并产生出一个或一组值作为输出。简单来说算法就是一系列的计算步骤，用来将输入数据转化成输出结果。3.数据结构和算法的书籍资料学习完数据结构知识，可以去看《剑指offer》和《
  • 好看的vue登录页面(附 源代码 背景图) 小小薛定谔 vue.jsjavascriptcss前端
    一、效果展示二、代码你好!欢迎回来登录忘记密码?注册exportdefault{name:"MedLogin",data(){return{confirm_disabled:false,loginForm:{no:'',password:''},rules:{no:[{required:true,message:'请输入账号',trigger:'blur'},{min:3,max:6,messag
  • python的request请求401_Python模拟HTTPS请求返回HTTP 401 unauthorized错误 weixin_39599372
    Python模拟HTTPS请求返回HTTP401unauthorized错误开始是使用的httplib模块，代码如下：header={"Content-type":"application/json","Accept":"*/*"}params={‘source‘:‘en‘,‘target‘:‘es‘,‘text‘:match.group(1)}data=urllib.urlencode(para
  • Java实现的简单双向Map，支持重复Value superlxw1234 java双向map
    关键字：Java双向Map、DualHashBidiMap     有个需求，需要根据即时修改Map结构中的Value值，比如，将Map中所有value=V1的记录改成value=V2，key保持不变。   数据量比较大，遍历Map性能太差，这就需要根据Value先找到Key，然后去修改。   即：既要根据Key找Value，又要根据Value
  • PL/SQL触发器基础及例子 百合不是茶 oracle数据库触发器PL/SQL编程
      触发器的简介; 触发器的定义就是说某个条件成立的时候，触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用，也不能调用。触发器和过程函数类似 过程函数必须要调用,   一个表中最多只能有12个触发器类型的,触发器和过程函数相似 触发器不需要调用直接执行, 触发时间：指明触发器何时执行，该值可取： before：表示在数据库动作之前触发
  • [时空与探索]穿越时空的一些问题 comsci 问题
          我们还没有进行过任何数学形式上的证明,仅仅是一个猜想.....       这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
  • easy ui datagrid上移下移一行 商人shang js上移下移easyuidatagrid
    /** * 向上移动一行 * * @param dg * @param row */ function moveupRow(dg, row) { var datagrid = $(dg); var index = datagrid.datagrid("getRowIndex", row); if (isFirstRow(dg, row)) {
  • Java反射 oloz 反射
    本人菜鸟，今天恰好有时间，写写博客，总结复习一下java反射方面的知识，欢迎大家探讨交流学习指教 首先看看java中的Class package demo; public class ClassTest { /*先了解java中的Class*/ public static void main(String[] args) { //任何一个类都
  • springMVC 使用JSR-303 Validation验证 杨白白 springmvc
    JSR-303是一个数据验证的规范，但是spring并没有对其进行实现，Hibernate Validator是实现了这一规范的，通过此这个实现来讲SpringMVC对JSR-303的支持。 JSR-303的校验是基于注解的，首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。 登录需要验证类 public class Login { @NotEmpty
  • log4j 香水浓 log4j
    log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE #log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML #console log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender log4
  • 使用ajax和history.pushState无刷新改变页面URL agevs jquery框架Ajaxhtml5chrome
    表现 如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时，细心的你会发现页面之间的点击是通过ajax异步请求的，同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。 是什么有这么强大的功能呢？ HTML5里引用了新的API，history.pushState和history.replaceState，就是通过
  • centos中文乱码 AILIKES centosOSssh
    一、CentOS系统访问 g.cn ，发现中文乱码。 于是用以前的方式：yum -y install fonts-chinese CentOS系统安装后，还是不能显示中文字体。我使用 gedit 编辑源码，其中文注释也为乱码。       后来，终于找到以下方法可以解决，需要两个中文支持的包： fonts-chinese-3.02-12.
  • 触发器 baalwolf 触发器
    触发器(trigger)：监视某种情况，并触发某种操作。 触发器创建语法四要素：1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete) 语法： create trigger triggerName after/before 
  • JS正则表达式的i m g bijian1013 JavaScript正则表达式
            g:表示全局（global)模式，即模式将被应用于所有字符串，而非在发现第一个匹配项时立即停止。         i:表示不区分大小写（case-insensitive）模式，即在确定匹配项时忽略模式与字符串的大小写。         m:表示
  • HTML5模式和Hashbang模式 bijian1013 JavaScriptAngularJSHashbang模式HTML5模式
            我们可以用$locationProvider来配置$location服务（可以采用注入的方式，就像AngularJS中其他所有东西一样）。这里provider的两个参数很有意思，介绍如下。 html5Mode         一个布尔值，标识$location服务是否运行在HTML5模式下。 ha
  • [Maven学习笔记六]Maven生命周期 bit1129 maven
    从mvn test的输出开始说起   当我们在user-core中执行mvn test时，执行的输出如下：   /software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
  • 【Hadoop七】基于Yarn的Hadoop Map Reduce容错 bit1129 hadoop
    运行于Yarn的Map Reduce作业，可能发生失败的点包括 Task Failure Application Master Failure Node Manager Failure Resource Manager Failure 1. Task Failure 任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
  • 记一次数据推送的异常解决端口解决 ronin47 记一次数据推送的异常解决
    　　 需求：从db获取数据然后推送到B         程序开发完成，上jboss,刚开始报了很多错，逐一解决，可最后显示连接不到数据库。机房的同事说可以ping 通。 　　  自已画了个图，逐一排除，把linux 防火墙　和　setenforce　设置最低。 　　　service iptables stop
  • 巧用视错觉-UI更有趣 brotherlamp UIui视频ui教程ui自学ui资料
    我们每个人在生活中都曾感受过视错觉（optical illusion）的魅力。 视错觉现象是双眼跟我们开的一个玩笑，而我们往往还心甘情愿地接受我们看到的假象。其实不止如此，视觉错现象的背后还有一个重要的科学原理——格式塔原理。 格式塔原理解释了人们如何以视觉方式感觉物体，以及图像的结构，视角，大小等要素是如何影响我们的视觉的。 在下面这篇文章中，我们首先会简单介绍一下格式塔原理中的基本概念，
  • 线段树-poj1177-N个矩形求边长（离散化+扫描线） bylijinnan 数据结构算法线段树
    package com.ljn.base; import java.util.Arrays; import java.util.Comparator; import java.util.Set; import java.util.TreeSet; /** * POJ 1177 (线段树+离散化+扫描线)，题目链接为http://poj.org/problem?id=1177
  • HTTP协议详解 chicony http协议
    引言                                 
  • Scala设计模式 chenchao051 设计模式scala
    Scala设计模式                我的话： 在国外网站上看到一篇文章，里面详细描述了很多设计模式，并且用Java及Scala两种语言描述，清晰的让我们看到各种常规的设计模式，在Scala中是如何在语言特性层面直接支持的。基于文章很nice，我利用今天的空闲时间将其翻译，希望大家能一起学习，讨论。翻译
  • 安装mysql daizj mysql安装
    安装mysql   (1)删除linux上已经安装的mysql相关库信息。rpm  -e  xxxxxxx   --nodeps (强制删除)      执行命令rpm -qa |grep mysql 检查是否删除干净   (2)执行命令  rpm -i MySQL-server-5.5.31-2.el
  • HTTP状态码大全 dcj3sjt126com http状态码
    完整的 HTTP 1.1规范说明书来自于RFC 2616，你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持协议版本可以通过调用request
  • asihttprequest上传图片 dcj3sjt126com ASIHTTPRequest
    NSURL *url =@"yourURL"; ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url]; [currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
  • C语言中，关键字static的作用 e200702084 C++cC#
    在C语言中，关键字static有三个明显的作用： 1)在函数体，局部的static变量。生存期为程序的整个生命周期，（它存活多长时间）；作用域却在函数体内（它在什么地方能被访问（空间））。 一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区，函数调用结束后并不释放单元，但是在其它的作用域的无法访问。当再次调用这个函数时，这个局部的静态变量还存活，而且用在它的访
  • win7/8使用curl geeksun win7
    1.  WIN7/8下要使用curl，需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。 下载地址：  http://curl.haxx.se/download.html 请选择不带SSL的版本，否则还需要安装SSL的支持包   2.  可以给Windows增加c
  • Creating a Shared Repository; Users Sharing The Repository hongtoushizi git
    转载自：   http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section: git init –bare git clone git remote git pull git p
  • Java实现字符串反转的8种或9种方法 Josh_Persistence 异或反转递归反转二分交换反转java字符串反转栈反转
    注：对于第7种使用异或的方式来实现字符串的反转，如果不太看得明白的，可以参照另一篇博客： http://josh-persistence.iteye.com/blog/2205768   /** * */ package com.wsheng.aggregator.algorithm.string; import java.util.Stack; /**
  • 代码实现任意容量倒水问题 home198979 PHP算法倒水
    形象化设计模式实战             HELLO!架构                     redis命令源码解析   倒水问题：有两个杯子，一个A升，一个B升，水有无限多，现要求利用这两杯子装C
  • Druid datasource zhb8015 druid
    推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证，稳定可靠。 它最重要的特点是：监控、扩展和性能。 下载和Maven配置看这里： http
  • 两种启动监听器ApplicationListener和ServletContextListener spjich javaspring框架
    引言:有时候需要在项目初始化的时候进行一系列工作，比如初始化一个线程池，初始化配置文件，初始化缓存等等，这时候就需要用到启动监听器，下面分别介绍一下两种常用的项目启动监听器   ServletContextListener  特点: 依赖于sevlet容器，需要配置web.xml 使用方法: public class StartListener implements
  • JavaScript Rounding Methods of the Math object 何不笑 JavaScriptMath
        The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(),  Math.floor(), and  Math.round() — handle rounding in differen
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他