程序优化

Spark 程序优化建议

文章目录1RDD缓存2并行度3Jobs/Stages太多1RDD缓存Persist到内存的RDD，比较多，9T左右，Excutor一共分配了25T内存。剩下给Shuffle的空间不算大了，所以会引起频繁的GC。建议:减少缓存级别，可以适当持久化到磁盘的方式保存RDD。采用Kryo的序列化方式，减少所需要的内存空间合理的Cache会带来性能的飞跃…5T纯内存操作，非常快。RDDcache的原则Reu
runzhliu·2019-06-19 18:33

shell脚本清除nginx缓存

提高网站速度体验除了本身网站程序优化外，对于linuxsa来说还有大量的
隔壁老湿·2019-06-13 11:35

畅谈linux下TCP（上）

可以帮助我们排查定位bug和进行程序优化。下面我将就TCP几个点做深入的探讨一、TCP连接阶段一、TCP三次握手1、两次握手行不行？two_handle.png客户端：收到ack后分配连接资源。
stevenrao·2019-06-06 16:36

从继承角度解析html元素及知识关联

导航从继承角度解析html元素及知识关联JavaScript之事件原理完整篇小程序优化之组件及wxs使用技巧一、前言网页->浏览器加载、解析->DOM文档对象那网页中的节点对象都有哪些，及有哪些属性方法
js_hcl·2019-05-31 14:53

01 | 可见性、原子性和有序性问题：并发编程Bug的源头

平衡这三者的速度差异，计算机体系机构、操作系统、编译程序都做出以下处理：1.CPU增加了缓存，以均衡与内存的速度差异；2.操作系统增加了进程、线程，以分时复用CPU，进而均衡CPU与I/O设备的速度差异；3.编译程序优化指令执行次序
FLGB·2019-05-23 18:00

面试题-小程序

小程序优化：在开发过程中，由于产品的更换比较大并且老板要求时间比
艾萨克菊花·2019-03-28 09:07

C# 捕捉未被Try Catch捕获的异常

Winform程序中，有try…catch…进行异常捕获，但还是存在异常关闭的情况，在程序中捕获这些异常，会大大方便问题的定位分析与程序优化。
Milu的麋鹿·2019-03-25 16:48

并发理论基础

但是在快速发展过程中，有一个核心矛盾一直存在，就是三者的速度差异，为了提高计算机性能，合理利用cpu，做出了以下方案：cpu增加了缓存，均衡与内存的速度差异操作系统增加了进程、线程，以分时复用cpu编译程序优化了指令执行效率
董董董不懂·2019-03-12 20:08

webpack 之 tree shaking

优点：减少程序提交／减少程序执行时间／便于将来程序优化DeadCode主要包括：image.png程序中没有执行的代码（如不可能进入的分支，return之后的语句等
lmmy123·2019-02-14 11:39

Flink基础入门

lFlink原生支持了迭代计算、内存管理和程序优化。Flink架构图Flink的流处理与批处理l在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据框架一般会被设计为只
Jiny_li·2019-01-06 00:00

写高并发程序时慎用strncpy和sprintf

分享一下最近做程序优化的一点小心得：在写高并发交易代码时要谨慎使用strncpy和sprintf。
皇家救星·2019-01-05 18:00

Java性能优化方面的程序优化知识点归纳，希望对你有所帮助

常用的程序设计优化技巧：1、字符串优化处理（1）String类的特点：不变性、针对常量池的优化（String.intern()方法的意义）（2）subString方法的内存泄漏:（3）字符串分割和查找不要使用split函数，效率低，而是使用StringTokenizer或者indexOf结合subString()函数完成分割。（4）用charAt（）方法代替startWith（）方法。（5）对于静
墨雨轩夏·2018-12-30 23:42

Java性能优化方面的程序优化知识点归纳，希望对你有所帮助

常用的程序设计优化技巧：1、字符串优化处理（1）String类的特点：不变性、针对常量池的优化（String.intern()方法的意义）（2）subString方法的内存泄漏:（3）字符串分割和查找不要使用split函数，效率低，而是使用StringTokenizer或者indexOf结合subString()函数完成分割。（4）用charAt（）方法代替startWith（）方法。（5）对于静
墨雨轩夏·2018-12-30 23:42

Apache Flink 官方文档--概览

Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。第一步概念：从Flink的数据流编程模型和分布式运行时
Lynn_Yuan·2018-12-26 08:42

如何用外部程序优化SQL语句中的IN和EXISTS

数据结构IN和EXISTS是SQL中常见的复杂条件，在将SQL（存储过程）转换成库外计算获取高性能时也会面对这些问题。本文将以TPC-H定义的模型为基础，介绍如何用集算器的语法实现IN、EXISTS并做优化。TPC-H是TPC事务处理性能委员会制定的用于OLAP数据库管理系统的测试标准，模拟真实商业应用环境，以评估商业分析中决策支持系统的性能。TPC-H模型定义了8张表，表结构和表关系如下图：IN
raqsoft·2018-11-28 11:49

深入浅出MySQL 第22章 磁盘I/O问题

对于比较大的数据库,磁盘I/O一般总会成为数据库的一个性能瓶颈SQL优化,数据库对象优化,数据库参数优化,以及应用程序优化等,大部分都是想用过减少或延缓磁盘读来减轻磁盘I/O的压力及其对性能的影响.解决磁盘
_YuanXin·2018-10-17 18:57

关于Python程序优化-----多线程

无论是学习还是应用，多线程已经是作为代码中必不可少的一部分，不管是脚本语言类，还是面向对象类，多线程作为提高程序运算速度，绝对是一种很不错的方法。但是经过一段时间的学习，关于Python的多线程也是被广大开发者所诟病，那就是Python的多线程是伪线程。诚然，经过研究后发现，Python的多线程，确实不像其他语言那样，但是其还是有其特殊的地方当然，在单核CPU系统中，因为真正的并发是不可能的，所以
真相42·2018-10-16 10:00

性能优化实战-1

阅读更多系统优化大致可以分为：业务优化、设计和程序优化、DB和SYSTEM优化、SQL优化四个方面，这四个方面按优先级进行排列，并且越往后越不容易优化，他们之间又相辅相成、互相关联，我们优化的时候可以交替着去实施
hbxflihua·2018-09-27 20:00

性能优化实战-1

阅读更多系统优化大致可以分为：业务优化、设计和程序优化、DB和SYSTEM优化、SQL优化四个方面，这四个方面按优先级进行排列，并且越往后越不容易优化，他们之间又相辅相成、互相关联，我们优化的时候可以交替着去实施
hbxflihua·2018-09-27 20:00

程序/进程执行时间分析（user cpu time, system cpu time, elpapsed time）

1.背景近日做程序优化任务，代码不长，时间测试起来需要在for循环里加，破坏了程序执行的流水线，导致时间不准。
鸟恋旧林XD·2018-09-16 17:54

java容器——CopyOnWriteArrayList/Set

Copy-On-WriteCopy-On-Write（COW），写时复制，是一种程序优化策略：即所有人共享同一个对象，当某个线程修改时，需要将内容copy一份进行修改。
LiveMoment·2018-08-15 11:03

C#程序异常关闭时的捕获

概述有时在界面的事件中，明明有try...catch进行捕获异常，但是还是会有异常关闭的情况，所以在程序中如何最终的记录一些无法捕获的异常，会大大方便问题的定位分析及程序优化。
Alan.hsiang·2018-07-30 11:44

小程序优化方案

最近一直在做小程序，开始的时候因为项目太急，功能模块很少，权衡之下选择了原生的小程序开发模式。然后随着功能迭代，小程序的大小又有限制，所以决定开始尽可能的优化项目。下面是用到的一些优化方案：1.wx:ifvshidden小程序官方文档中描述，wx:if如果在初始渲染条件为false时，框架什么耶不会做，只有当值变为真时，才开始局部渲染。hidden只是简单的控制显示与隐藏，组件始终会被渲染。wx:
liya_nan·2018-07-05 11:02

spark-一些参数优化

Spark程序优化所需要关注的几个关键点——最主要的是数据序列化和内存优化spark设置相关参数问题1：reducetask数目不合适解决方法：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism
鲸落大叔·2018-07-03 17:56

Spark程序优化总结

更多大数据技术干货，欢迎关注“大数据技术进阶”微信公众号。1代码优化a.对于多次使用的RDD，进行数据持久化操作(eg:cache、persist)b.如果对同一个份数据进行操作，那么尽量公用一个RDDc.优先使用reduceByKey和aggregateByKey取代groupByKey原因：前两个API存在combiner，可以降低数据量；groupByKey可能存在OOM异常d.对于Exec
xiaodf·2018-06-15 15:42

Spark程序优化总结

更多大数据技术干货，欢迎关注“大数据技术进阶”微信公众号。1代码优化a.对于多次使用的RDD，进行数据持久化操作(eg:cache、persist)b.如果对同一个份数据进行操作，那么尽量公用一个RDDc.优先使用reduceByKey和aggregateByKey取代groupByKey原因：前两个API存在combiner，可以降低数据量；groupByKey可能存在OOM异常d.对于Exec
xiaodf·2018-06-15 15:42

联发科面试+笔试记录

号，判断正整数a,b的大小2，x&(x-1)：统计二进制中1的个数3,int与unsignedint的计算，类型转换4，strlen和sizeof的区别与联系5，程序优化题：考虑优化方向：(1)安全性：
lizhipengSMC·2018-06-14 15:35

Runtime API 函数：cudaGetDeviceCount，cudaGetDeviceProperties，cudaSetDevice，在cuda_runtime.h 头文件中

0.目录GPU编程入门到精通（一）之CUDA环境安装GPU编程入门到精通（二）之运行第一个程序GPU编程入门到精通（三）之第一个GPU程序GPU编程入门到精通（四）之GPU程序优化GPU编程入门到精通（
fengtian12345·2018-06-02 16:53

SAP ABAP程序优化-多线程并行处理

转载请标明出处：http://blog.csdn.net/wanglei880526/article/details/8949754实际项目实施过程中，我们会遇到程序性能优化的问题，这里介绍一种方法：通过RFC接口进行远程函数的异步调用实现程序的并行处理。同步/异步调用函数语法同步调用：CALLFUNCTION'AAA'；同步调用的实质：程序进行单线程执行。异步调用：CALLFUNCTION'AA
Clare_923·2018-05-22 15:19

Vivado HLS 程序优化（基础实例）（高级综合）（FPGA）

前言（本文基于赛灵思官方HLS文档UG871中的7.1节）：在使用高层次综合，创造高质量的RTL设计时，一个重要部分就是对C代码进行优化。VivadoHLS拥有自动优化的功能，试图最小化loop和function的latency，为了实现这一点，软件会在loop和function上并行执行尽可能多的操作（比如说，在function级别上，高级综合总是试图并行执行function）。除了这些自动优化
图像所浩南哥·2018-04-22 22:19

优化程序性能

不过度优化≠不主动优化深度学习跑模型的时候，有时候可能一跑就是几天，哪怕只对程序优化10%，效果也是非常可观的。
索马里的海带·2018-04-12 17:14

大数据框架—Flink与Beam

同时，Flink在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。
ZeroOne01·2018-04-09 20:26

13.并行程序优化-无锁的并行计算

为了确保数据的线程安全，使用"锁"是最直接的方式。但是，在高并发时，对"锁"的激烈竞争可能会成为系统的瓶颈。为此，我们提出了一种非阻塞同步的方法，这种方法不需要锁(因此，称之为无锁)，但依然能确保数据在高并发环境下保持多线程之间的一致性。我们接下来讲的就是，这种无锁的同步方法，是怎么实现的？以及怎么用？非阻塞的同步/无锁这一段只是概述，如果对CAS有个基本的了解，这一段不用看；基于锁的同步方式，无
Iovems·2018-04-07 21:04

推荐：Java性能优化系列集锦

目录：一、Java性能优化系列之一--设计优化二、Java性能优化系列之二--程序优化三、Java性能
程序员技术圈·2018-04-04 16:24

5.Java程序优化-直接内存访问

Buffer提供了可以直接访问系统物理内存的类-DirectBuffer。DirectBuffer继承自ByteBuffer，ByteBuffer任然在JVM堆上分配内存，其最大内存，受到最大堆的限制。而DirectBuffer直接分配到物理内存中，并不占用堆空间。在对ByteBuffer进行访问的时候，系统会使用一个“内核缓冲区”进行间接的操作。而DirectBuffer所处的位置就相当于这个“
Iovems·2018-03-27 09:23

分布式系统中Java程序优化

分布式系统中Java程序优化选取图书《大型分布式网站架构设计与实践》作者：陈康贤单例对于I/O处理、数据库连接、配置文件解析加载等一些非常消耗资源的操作，我们必须对这些势力的创建进行限制，或者始终使用过一个公共的实例
liang_Henry·2018-03-19 14:27

GPU 编程入门到精通（四）之 GPU 程序优化

0.目录GPU编程入门到精通（一）之CUDA环境安装GPU编程入门到精通（二）之运行第一个程序GPU编程入门到精通（三）之第一个GPU程序GPU编程入门到精通（四）之GPU程序优化GPU编程入门到精通（
一直在水下·2018-01-10 16:11

程序性能优化提升方法--大页内存

稍微介绍下程序优化分类：业务优化，设计优化，系统优化。业务层面优化就是将软件系统能别干的尽量别干，干的事越少性能越高等等。设计优
三支烟·2017-12-28 15:50

接口优化策略

对于程序优化，我一直采取保守的态度，除非万不得已。但是随着业务的不断发展，程序越来越复杂，代码越写越多，优化似乎是终有一天会到来的事情。
DreamWeaver_Zhou·2017-12-27 22:52

Laravel 程序优化

laravel程序优化原文地址https://fsdhub.com/books/laravel-specification/527/laravel-optimization参考Laravel项目开发规范说明
足迹人生2017·2017-12-27 16:31

Java GC 日志解析

JVM在Java应用程序优化中是不可缺少的一大重项，如何合理配置Java参数，如果验证配置参数的有效性，从GC日志中可以获得很重要的提示，以下是笔者对GC垃圾收集器默认开启的组合日志的部分的解析，希望能帮到想学习的同学
Tenderrain·2017-12-25 18:55

JVM调优

判定是否需要加机器要结合top命令中的loadaverage和cpu使用率率来看，不是很高时就要考虑内部程序优化参见查看机器内存：cat/proc/meminfo|grepMemTotal|awk'{printint
尼古拉斯--黑子·2017-12-12 16:41

验货员经验：如何避免在验货中出错以及验货程序的优化

验货程序都只有那么几步，工厂给验货员的时间也只有那么长，那么我们如何避免验货出错以及验货程序优化?验货员经验之防止惯例性验货出错每一个客户都有其习惯性的要求，对产品对包装对装运对交期都有
DEMON_MD·2017-12-11 07:44

TessorFlow学习 之 序言

那你用什么进行程序优化的？用几个线程对程序进行控制的？能写出来算法就不错了。。。3.你会深度学习吗？不会？现在不用深度
影醉阏轩窗·2017-10-23 16:00

RGB-D SLAM——g2o篇（三）

一.g2o的使用在该部分中，我们调用g2o程序优化一个球，就是在论文中经常看到的那个例子，论文名字为《g2o：ageneralframeworkfor(hyper)graphoptimization》，
Hansry·2017-09-24 22:50

mysql生成千万级的测试数据

MYSQL打造千万级测试数据为了更好的测试MYSQL性能以及程序优化，不得不去制作海量数据来测试。我这里的方法就是直接用uuid函数进行分配每条数据的不同内容。
dennis-hao·2017-09-24 13:25

DPDK开发者指南 - 介绍

1.介绍这篇文档提供了DPDK的软件架构、开发环境信息和程序优化指导。示例应用编码、编译和运行命令的详细信息请参考SampleApplicationsUserGuide。
希尔哥哥s·2017-09-15 14:29

Hadoop离线数据分析平台实战——380MapReduce程序优化

Hadoop离线数据分析平台实战——380MapReduce程序优化项目进度模块名称完成情况用户基本信息分析(MR)�完成浏览器信息分析(MR)完成地域信息分析(MR)完成外链信息分析(MR)完成用户浏览深度分析
Albert陈凯·2017-09-03 13:57

对一个26万数据MYSQL表的Yii2程序优化实战之二 【开刀数据表】

上一节我们对订餐系统后台欢迎页面的统计图表进行了处理，在本节我们将对订单列表和详细订单列表进行优化。中间穿插个小广告哈，北哥在segmengfault上的讲座下周二开始，主要说yii2和微信支付的那点事，感兴趣的可以去看看https://segmentfault.com/l/15...这节我们将涉及到的东西如下数据表加索引后的对比下文会设计的表有order_box和order，我先放个图，方便大家
阿北·2017-06-23 00:00

对一个26万数据MYSQL表的Yii2程序优化实战之一 【去糟粕、加缓存】

这是一篇真实案例，并不是理论课，阿北将同步我的整个优化之路，优化之路慢慢长，对大家抛砖引玉已达目的，若你也有一些优化思路，请跟贴。当前系统情况项目是年前一个朋友做的，客户也是我的一个朋友，所以现在来帮忙优化，系统很简单，就是一个菜单页面，客户下单，然后打印机出小票，整个系统使用yii2基础版+MySQL5.6.29驱动。客户店里每天大约走1.5-2w的流水，现在最大的表有26w数据，我切图大家先看
阿北·2017-06-21 00:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他