Knight_AL
Knight_AL

spark性能调优 | 内存优化

目录

    • 我们先了解一下有哪些内存
    • 温馨提示
    • RDD示范(spark版本2.1.1)
    • RDD进行优化
    • Df和Ds进行示范

我们先了解一下有哪些内存

 1.storage内存   存储数据，缓存         可预估
 2.shuffle内存   计算join groupby     不可预估
 spark1.6之前  静态管理的，spark1.6之后变成动态管理  默认0.5

温馨提示

在公司尽量不要写rdd(性能不好)

RDD示范(spark版本2.1.1)

我们转成rdd去跑任务，看看内存占有多大
spark性能调优 | 内存优化_第1张图片
在这里插入图片描述
我们也可以去excutor看内存大小
显示红色，是因为我写了while循环
spark性能调优 | 内存优化_第2张图片

RDD进行优化

看官网
https://spark.apache.org/docs/2.4.5/configuration.html#compression-and-serialization
我们采用kryo(只支持rdd)
spark性能调优 | 内存优化_第3张图片
spark性能调优 | 内存优化_第4张图片
我们需要看看rdd的缓存级别
https://spark.apache.org/docs/2.4.5/rdd-programming-guide.html#which-storage-level-to-choose
使用序列化的缓存级别
spark性能调优 | 内存优化_第5张图片
spark性能调优 | 内存优化_第6张图片
发现1.7g直接变成了270m，优化还是挺大的！

Df和Ds进行示范

看官网
https://spark.apache.org/docs/2.4.5/sql-getting-started.html#creating-datasets
Ds会专门使用自己的偏码进行序列化
spark性能调优 | 内存优化_第7张图片
spark性能调优 | 内存优化_第8张图片
内存大小34.2M
spark性能调优 | 内存优化_第9张图片
我们还可以进行序列化(变化不大)
spark性能调优 | 内存优化_第10张图片
进行优化之后33.9M
spark性能调优 | 内存优化_第11张图片

你可能感兴趣的:(Spark优化,spark,大数据,分布式)

  • Infor CloudSuite软件二次开发：InforCloudSuite移动应用开发 kkchenjj 工业软件二次开发全集架构工业软件ERP开发语言
    InforCloudSuite软件二次开发：InforCloudSuite移动应用开发InforCloudSuite简介InforCloudSuite平台概述InforCloudSuite是一个集成的企业资源规划(ERP)解决方案，专为特定行业设计，提供了一系列的云应用，旨在优化业务流程，提升运营效率。该平台涵盖了供应链管理、财务、人力资源、客户关系管理等多个领域，通过其先进的功能和模块，企业可以
  • Git 的详细介绍及用法 xluo1715 工程化git代码管理gitlab程序员
    一、Git的优点分布式版本控制每个开发者都拥有完整的仓库副本，无需依赖中央服务器（如SVN）。支持离线操作（提交、查看历史、创建分支等）。高效的分支管理创建和切换分支速度快（几乎是瞬间完成）。适合多人协作开发，支持多种工作流（如GitFlow、GitHubFlow）。强大的撤销和恢复能力可以回退到任意历史版本，避免代码丢失。提供gitreset、gitrevert、gitstash等撤销工具。数据
  • PIPCA个人信息保护合规审计师认证介绍！ 熙丫 13381482386 大数据
    个人信息保护合规审计师"（PersonalInformationProtectionComplianceAuditor-CCRC）是中国网络安全审查认证中心与市场监管大数据中心为深入贯彻实施《个人信息保护法》，推动个人信息处理者切实履行合规审计职责，针对企事业单位及第三方机构中从事个人信息保护合规审计（简称“个保审计”）的专业人员，依据《个人信息保护法》、《网络安全从业人员能力基本要求》
  • doris：Elasticsearch 向阳1218 大数据doris
    ElasticsearchCatalog除了支持自动映射ES元数据外，也可以利用Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案：ES中的多index分布式Join查询。Doris和ES中的表联合查询，更复杂的全文检索过滤。使用限制支持Elasticsearch5.x及以上版本。创建CatalogCREATECATALOG
  • Apache Doris 实现毫秒级查询响应 随风九天 匠心数据库服务javaapacheApacheDoris
    1.引言1.1数据分析的重要性随着大数据时代的到来，企业对实时数据分析的需求日益增长。快速、准确地获取数据洞察成为企业在竞争中脱颖而出的关键。传统的数据库系统在处理大规模数据时往往面临性能瓶颈，难以满足实时分析的需求。例如，一个电商公司需要实时监控销售数据以调整库存和营销策略，而传统的数据库可能需要数分钟甚至数小时才能生成报表，这显然无法满足业务需求。1.2ApacheDoris简介ApacheD
  • Flink实时流处理入门与实践 随风九天 springjavaFlink实时流
    一、引言1.1实时流处理的重要性在当今数据驱动的时代，实时数据处理变得越来越重要。企业需要从不断产生的大量数据中快速提取有价值的信息，以支持决策制定和业务优化。实时流处理技术能够实时处理数据流，提供即时的洞察和响应，从而提高业务效率和竞争力。1.2Flink简介ApacheFlink是一个开源的分布式流处理框架，支持批处理和流处理。Flink提供了高吞吐量、低延迟和精确一次（exactly-onc
  • 信号处理应用：电力系统中的信号处理_（10）.电力系统信号处理中的现代滤波器设计 kkchenkx 信号处理技术仿真模拟信号处理大数据
    电力系统信号处理中的现代滤波器设计1.引言在电力系统中，信号处理技术被广泛应用于监测、保护、控制和优化等多个方面。现代滤波器设计是信号处理技术中的重要组成部分，它能够有效地去除噪声、提取有用信号、提高信号质量，从而确保电力系统的稳定运行和高效性能。本节将介绍现代滤波器设计的基本概念、分类、设计方法及其在电力系统中的应用。2.滤波器的基本概念滤波器是一种信号处理设备，用于从输入信号中提取或抑制特定频
  • 前端的架构 so_cruel
    一、组件化和模式设计层面1、JS中的继承和扩展在实际的操作中，不需要自己去写太多的这种继承，主要用库，像jquary中的extend。2,、组件化：一般常用的组件有两个，requirejs和sea.js二、做前端架构前需要想什么1、除了技术基础外，应当了解需求，然后进行模块的边界划分；2、如何设计友好接口；3、自动化的发布和快速迭代；4、如何降低维护成本。三、优化和扩展四、自动化最后再提一句，学好
  • 如何实现集群中的session共享存储？思维导图 代码示例（java 架构) 用心去追梦 java架构开发语言
    集群中Session共享存储的实现在分布式系统或集群环境中，确保用户会话（Session）能够在所有节点之间共享是一个关键问题。为了实现这一点，可以采用多种策略和技术。以下是关于如何在Java架构中实现集群中的Session共享存储的主要方面：1.使用集中式存储服务Memcached：轻量级、高性能的内存缓存系统，适用于存储短期的session数据。Redis：功能更强大的键值存储数据库，不仅支持
  • 2025年渗透测试面试题总结-快某手-安全实习生（一面、二面）（题目+回答） 独行soc 2025年渗透测试面试指南安全科技网络面试护网2015年
    网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录快某手-安全实习生一面一、Linux操作：查看进程PID的5种方法二、Elasticsearch（ES）核心要点三、HTTPS建立过程（TLS1.3优化版）四、Python内存管理机制五、深拷贝与浅拷贝对比六、Python多线程局限性七、XSS防御方案八、SQL注入防
  • 【技术干货】三大常见网络攻击类型详解：DDoS/XSS/中间人攻击，原理、危害及防御方案 挣扎与觉醒中的技术人 网络安全入门及实战ddosxss前端网络
    1.DDoS攻击1.1什么是DDoS攻击？DDoS（DistributedDenialofService，分布式拒绝服务攻击）通过操控大量“僵尸设备”（Botnet）向目标服务器发送海量请求，耗尽服务器资源（带宽、CPU、内存），导致正常用户无法访问服务。1.2攻击原理与分类流量型攻击：如UDP洪水、ICMP洪水，通过发送大量无效数据包占用带宽。协议型攻击：如SYN洪水攻击，利用TCP三次握手漏洞
  • ClickHouse Keeper 源码解析 阿里云云栖号 云栖号技术分享java开发语言后端
    简介：ClickHouse社区在21.8版本中引入了ClickHouseKeeper。ClickHouseKeeper是完全兼容Zookeeper协议的分布式协调服务。本文对开源版本ClickHousev21.8.10.19-lts源码进行了解析。作者简介：范振（花名辰繁），阿里云开源大数据-OLAP方向负责人。内容框架背景架构图核心流程图梳理内部代码流程梳理Nuraft关键配置排坑结论关于我们R
  • 如何使用Java和ElasticSearch实现全文搜索 微赚淘客系统开发者@聚娃科技 javaelasticsearch开发语言
    如何使用Java和ElasticSearch实现全文搜索大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天我们来探讨如何使用Java和ElasticSearch实现全文搜索。ElasticSearch是一个分布式搜索和分析引擎，能够处理大规模数据并提供实时搜索功能。在本文中，我们将介绍如何使用Java客户端与ElasticSearch进行交互，实现简单的全文搜索功能
  • 基于大数据架构的就业岗位推荐系统的设计与实现【java或python】—计算机毕业设计源码+LW文档 qq_375279829 大数据架构python课程设计算法
    摘要随着互联网技术的迅猛发展和大数据时代的到来，就业市场日益复杂多变，求职者与招聘方之间的信息不对称问题愈发突出。为解决这一难题，本文设计并实现了一个基于大数据架构的就业岗位推荐系统。该系统通过收集、整合并分析大量求职者简历信息、企业招聘信息以及市场动态数据，运用先进的机器学习算法，为求职者提供个性化的岗位推荐服务，同时帮助企业快速定位到合适的候选人。本文将从系统设计的背景与意义、技术基础、需求分
  • docker 安装ELK 8.17.3 离开水的飞鱼 dockerelk容器
    ELK是指Elasticsearch、Logstash和Kibana这三个开源软件的组合。Elasticsearch是一个分布式的搜索和分析引擎，用于日志的存储,搜索,分析,查询。Logstash是一个数据收集、转换和传输工具，用于收集过滤和转换数据，然后将其发送到Elasticsearch或其他目标存储中。Kibana是一个数据可视化平台，通过与Elasticsearch的集成，提供了强大的数据
  • 句子改写器在线转换的原创性提升策略 hjehheje 算法人工智能python
    在文本处理领域，"句子改写器在线转换"的原创性提升并非单纯依赖工具升级，而是需要融合算法优化、人工干预与策略设计的系统工程。以下从技术底层到应用层拆解核心方法，辅以实验数据验证其可行性：一、语义拓扑重构技术（SemanticTopologyReconstruction）原理突破传统同义词替换仅影响表层词汇（LexicalLevel），而STR技术通过依存句法分析，构建句子的语义网络拓扑图，对主谓宾
  • 玩转Mysql系列 - 第26篇：聊聊mysql如何实现分布式锁？ 「已注销」 mysql分布式数据库java服务器
    Mysql系列的目标是：通过这个系列从入门到全面掌握一个高级开发所需要的全部技能。欢迎大家加我微信itsoku一起交流java、算法、数据库相关技术。这是Mysql系列第26篇。本篇我们使用mysql实现一个分布式锁。分布式锁的功能分布式锁使用者位于不同的机器中，锁获取成功之后，才可以对共享资源进行操作锁具有重入的功能：即一个使用者可以多次获取某个锁获取锁有超时的功能：即在指定的时间内去尝试获取锁
  • vue懒加载 CV_CodeMan jsvuevue.js前端javascript
    Vue懒加载懒加载（LazyLoad）一直是前端的优化方案之一。简单来说就是延迟加载或按需加载，即在需要的时候的时候进行加载。它的核心思想是：当用户想看页面某个区域时，再加载该区域的数据。这在一定程度上减轻了服务器端的压力，也加快了页面的呈现速度。懒加载多用于图片，因为它属于流量的大头。最典型的懒加载实现方案是先将需要懒加载的图片的src隐藏掉，这样图片就不会下载，然后在图片需要呈现给用户时再加上
  • 开源向量数据库介绍说明 ❀͜͡傀儡师 开源数据库
    开源向量数据库Milvus特点：分布式、高性能，支持亿级向量检索。支持的数据类型：文本、图像、音频、视频等。使用场景：推荐系统、语义搜索、图像搜索。数据存储后端：支持多种后端，如SQLite、MySQL、PostgreSQL。Qdrant特点：高可用性、易用性，支持实时更新和过滤。编程接口：支持REST和gRPC。使用场景：个性化推荐、自然语言搜索、商品搜索。Weaviate特点：基于GraphQ
  • 供应链工作效率如何提升 dev.null 社会供应链
    提升供应链工作效率可以从以下几个关键方面入手：1.优化供应链管理数据驱动决策：利用AI和大数据分析，提高预测准确性，优化库存管理。供应链可视化：采用ERP（企业资源计划）和SCM（供应链管理）系统，实现实时跟踪和监控。流程自动化：使用RPA（机器人流程自动化）减少人为操作，提高效率。2.提高物流效率智能调度：使用AI优化配送路线，减少运输时间和成本。自动化仓储：采用自动分拣、机器人搬运、无人机配送
  • 如何使用Webpack打包React项目？ 几何心凉 前端小常识webpackreact.js前端
    文章目录1.引言2.环境搭建2.1初始化项目2.2安装依赖3.配置Webpack3.1关键配置说明4.Babel配置5.项目结构示例6.开发和生产环境优化6.1开发环境6.2生产环境7.调试和常见问题7.1常见问题7.2调试技巧8.总结1.引言随着React应用日益复杂，开发者需要借助模块打包工具来管理项目依赖、转换代码和优化性能。Webpack是一款功能强大的模块打包器，它可以将React项目中
  • Vue懒加载 充气大锤 前端性能优化vue.js前端javascript学习笔记前端框架性能优化
    一、什么是懒加载在Vue中实现懒加载（LazyLoading）通常是为了优化应用的性能，尤其是在加载大型应用或组件时。懒加载可以帮助减少初始加载时间，只在用户需要时才加载特定的代码块或组件。二、懒加载的几种方式方法1：使用动态导入（DynamicImports）你可以使用JavaScript的动态导入语法来懒加载组件。例如，如果你想懒加载一个名为MyComponent的组件，你可以这样做：//在组
  • nuxt2 打包优化使用“compression-webpack-plugin”插件 webYin nuxtwebpack前端node.js
    在使用Nuxt.js构建项目时，为了提高性能，通常会考虑对静态资源进行压缩。compression-webpack-plugin是一个常用的Webpack插件，用于在生产环境中对文件进行Gzip压缩。这对于减少网络传输时间和提高页面加载速度非常有帮助。下面是如何在Nuxt.js项目中配置compression-webpack-plugin的步骤：1.安装compression-webpack-pl
  • FastExcel/EasyExcel简介以及源码解析 舌尖上的五香 java
    简介官网地址GitHub地址基于MIT协议发展历史由EasyExcel发展而来2018/02/07：发布1.0.02019/09/17：发布2.0.02021/10/21：发布3.0.12024/06/18：发布4.0.02024/11/06：进入维护模式2024/12/05：发布FastExcel1.0.0主要特性高性能读写简单易用流式操作读取执行行数技术原理内存优化：基于流式读取技术，不需要一
  • 《Python实战进阶》No20: 网络爬虫开发：Scrapy框架详解 带娃的IT创业者 Python实战进阶python爬虫scrapy
    No20:网络爬虫开发：Scrapy框架详解摘要本文深入解析Scrapy核心架构，通过中间件链式处理、布隆过滤器增量爬取、Splash动态渲染、分布式指纹策略四大核心技术，结合政府数据爬取与动态API逆向工程实战案例，构建企业级爬虫系统。提供完整代码与运行结果，包含法律合规设计与反爬对抗方案。Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中
  • SEO完全指南：从原理到实战的搜索引擎优化手册 前端seo
    1.什么是SEO？1.1定义解析SEO（搜索引擎优化）是通过技术手段和内容策略提升网站在搜索引擎自然搜索结果中排名的过程。它融合了：️技术优化（网站架构/加载速度）内容优化（高质量原创内容）用户体验优化（导航/界面设计）外部优化（高质量外链建设）1.2SEO的多层次目标SEO的目标远不止提高排名和流量:提高质量流量:不仅是增加访问量,更重要的是吸引真正对你的产品或服务感兴趣的用户。提升转化率:通过
  • AI生成响应元数据解析 bavDHAUO 人工智能python
    在使用不同的AI模型提供商进行文本生成时，我们通常会收到一些响应元数据。这些元数据包含了有关响应的一些重要信息，比如token使用情况、模型名称、完成原因等。这些信息对于优化API调用和了解模型行为是非常有帮助的。本文将深入解析一些主流AI提供商的响应元数据。技术背景介绍元数据是数据关于数据的信息。在AI生成响应中，元数据有助于理解模型的性能和行为。例如，token计数可以提供关于请求资源消耗的洞
  • MySQL精选面试题 米二 mysql数据库oracle
    文章目录1.sql优化2.数据库优化3.悲观锁和乐观锁4.共享锁与排他锁5.索引的目的是什么？6.B+Tree对比BTree的优点：6.1磁盘读写代价更低6.2查询速度更稳定且能存更多索引6.3B+树叶子节点两两相连增快区间访问7.聚簇索引和非聚簇索引的区别8.forupdate9.间隙锁GapLocks10.临键锁Next-KeyLocks11.MVCC是什么?1.sql优化对查询进行优化，应尽
  • AI提示词（Prompt）的理解和学习指南 时光不负追梦人 人工智能prompt
    AI提示词（Prompt）的理解和学习指南一、什么是AI提示词？AI提示词（Prompt）是用户输入给人工智能模型的指令或问题，用于引导模型生成特定类型的回答或内容。它如同与AI沟通的“钥匙”，设计得当的提示词能显著提升输出质量。二、提示词的核心要素明确目标模糊示例：“写一篇关于环保的文章。”优化示例：“以‘垃圾分类’为主题，撰写一篇面向社区居民的科普文章，要求包含实施步骤和常见误区，字数约800
  • OLAP与OLTP：数据处理系统的两种核心架构 思静鱼 #Mysql-数据库架构
    文章目录OLAP和OLTP的主要区别OLAP常见数据库和OLTP常见数据库OLAP是英文OnlineAnalyticalProcessing的缩写，中文称为联机分析处理。它是一种基于多维数据模型的分析处理技术，用于从不同的角度进行数据挖掘和分析，以帮助用户快速发现数据之间的相关性和趋势。OLAP技术通常涉及到预计算、缓存和查询优化等方面的技术，可用于构建在线分析系统（OLAP系统）。该系统将大量的
  • 多线程编程之卫生间 周凡杨 java并发卫生间线程厕所
    如大家所知，火车上车厢的卫生间很小，每次只能容纳一个人，一个车厢只有一个卫生间，这个卫生间会被多个人同时使用，在实际使用时，当一个人进入卫生间时则会把卫生间锁上，等出来时打开门，下一个人进去把门锁上，如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析：首先问题中有两个实体，一个是人，一个是厕所，所以设计程序时就可以设计两个类。人是多数的，厕所只有一个（暂且模拟的是一个车厢）。
  • How to Install GUI to Centos Minimal sunjing linuxInstallDesktopGUI
    http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html   I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
  • Shell 函数 daizj shell函数
    Shell 函数 linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。 shell中函数的定义格式如下： [function] funname [()]{ action; [return int;] } 说明： 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。 2、参数返回
  • Linux服务器新手操作之一 周凡杨 Linux 简单 操作
    1.whoami      当一个用户登录Linux系统之后，也许他想知道自己是发哪个用户登录的。      此时可以使用whoami命令。      [ecuser@HA5-DZ05 ~]$ whoami       e
  • 浅谈Socket通信（一） 朱辉辉33 socket
    在java中ServerSocket用于服务器端，用来监听端口。通过服务器监听，客户端发送请求，双方建立链接后才能通信。当服务器和客户端建立链接后，两边都会产生一个Socket实例，我们可以通过操作Socket来建立通信。    首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包    ServerSock
  • 关于框架的简单认识 西蜀石兰 框架
    入职两个月多，依然是一个不会写代码的小白，每天的工作就是看代码，写wiki。 前端接触CSS、HTML、JS等语言，一直在用的CS模型，自然免不了数据库的链接及使用，真心涉及框架，项目中用到的BootStrap算一个吧，哦，JQuery只能算半个框架吧，我更觉得它是另外一种语言。 后台一直是纯Java代码，涉及的框架是Quzrtz和log4j。 都说学前端的要知道三大框架，目前node.
  • You have an error in your SQL syntax; check the manual that corresponds to your 林鹤霄
    You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids  ) values('0ac91f167f754c8cbac00e9e3dc372
  • MySQL5.6的my.ini配置 aigo mysql
    注意：以下配置的服务器硬件是：8核16G内存    [client]   port=3306   [mysql]   default-character-set=utf8     [mysqld]   port=3306   basedir=D:/mysql-5.6.21-win
  • mysql 全文模糊查找 便捷解决方案 alxw4616 mysql
    mysql 全文模糊查找 便捷解决方案 2013/6/14 by 半仙 alxw4616@Msn.com 目的: 项目需求实现模糊查找. 原则: 查询不能超过 1秒. 问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求. 解决方案: 使用mysql全文索引. 1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
  • 自定义数据结构 链表(单项 ,双向,环形) 百合不是茶 单项链表双向链表
         链表与动态数组的实现方式差不多,    数组适合快速删除某个元素    链表则可以快速的保存数组并且可以是不连续的       单项链表;数据从第一个指向最后一个   实现代码:        //定义动态链表 clas
  • threadLocal实例 bijian1013 javathreadjava多线程threadLocal
    实例1： package com.bijian.thread; public class MyThread extends Thread { private static ThreadLocal tl = new ThreadLocal() { protected synchronized Object initialValue() { return new Inte
  • activemq安全设置—设置admin的用户名和密码 bijian1013 javaactivemq
            ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到 <bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <p
  • 【Java范型一】Java范型详解之范型集合和自定义范型类 bit1129 java
    本文详细介绍Java的范型，写一篇关于范型的博客原因有两个，前几天要写个范型方法(返回值根据传入的类型而定)，竟然想了半天，最后还是从网上找了个范型方法的写法；再者，前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理，看它的源代码就比较迷糊，只其然不知其所以然。所以，还是花点时间系统的整理总结下范型吧。   范型内容 范型集合类 范型类
  • 【HBase十二】HFile存储的是一个列族的数据 bit1129 hbase
    在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证   1. 建立一个有两个列族的表   create 'members','colfam1','colfam2'   2. 在members表中的colfam1中插入50*5
  • Nginx 官方一个配置实例 ronin47 nginx 配置实例
    user www www; worker_processes 5; error_log logs/error.log; pid logs/nginx.pid; worker_rlimit_nofile 8192; events { worker_connections 4096;} http { include conf/mim
  • java-15.输入一颗二元查找树，将该树转换为它的镜像， 即在转换后的二元查找树中，左子树的结点都大于右子树的结点。 用递归和循环 bylijinnan java
    //use recursion public static void mirrorHelp1(Node node){ if(node==null)return; swapChild(node); mirrorHelp1(node.getLeft()); mirrorHelp1(node.getRight()); } //use no recursion bu
  • 返回null还是empty bylijinnan javaapachespring编程
    第一个问题，函数是应当返回null还是长度为0的数组（或集合）？ 第二个问题，函数输入参数不当时，是异常还是返回null？ 先看第一个问题 有两个约定我觉得应当遵守： 1.返回零长度的数组或集合而不是null（详见《Effective Java》） 理由就是，如果返回empty，就可以少了很多not-null判断： List<Person> list
  • [科技与项目]工作流厂商的战略机遇期 comsci 工作流
          在新的战略平衡形成之前，这里有一个短暂的战略机遇期，只有大概最短6年，最长14年的时间，这段时间就好像我们森林里面的小动物，在秋天中，必须抓紧一切时间存储坚果一样，否则无法熬过漫长的冬季。。。。         在微软，甲骨文，谷歌，IBM,SONY
  • 过度设计-举例 cuityang 过度设计
    过度设计，需要更多设计时间和测试成本，如无必要，还是尽量简洁一些好。 未来的事情，比如 访问量，比如数据库的容量，比如是否需要改成分布式  都是无法预料的 再举一个例子，对闰年的判断逻辑： 　　1、 if($Year%4==0) return True; else return Fasle; 　　2、if (   ($Year%4==0  &am
  • java进阶，《Java性能优化权威指南》试读 darkblue086 java性能优化
    记得当年随意读了微软出版社的.NET 2.0应用程序调试，才发现调试器如此强大，应用程序开发调试其实真的简单了很多，不仅仅是因为里面介绍了很多调试器工具的使用，更是因为里面寻找问题并重现问题的思想让我震撼，时隔多年，Java已经如日中天，成为许多大型企业应用的首选，而今天，这本《Java性能优化权威指南》让我再次找到了这种感觉，从不经意的开发过程让我刮目相看，原来性能调优不是简单地看看热点在哪里，
  • 网络学习笔记初识OSI七层模型与TCP协议 dcj3sjt126com 学习笔记
      协议：在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定 　　计算机网络的体系结构：计算机网络的层次结构和各层协议的集合。 　　两类服务： 　　面向连接的服务通信双方在通信之前先建立某种状态，并在通信过程中维持这种状态的变化，同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。 　　面向无连接的服务通信双方在通信前后不建立和维持状态，不为服务对象
  • mac中用命令行运行mysql dcj3sjt126com mysqllinuxmac
    参考这篇博客：http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html  感觉workbench不好用（有点先入为主了）。 1，安装mysql 在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/，根据我的机器的配置情况选择了64
  • MongDB查询（1）——基本查询[五] eksliang mongodbmongodb 查询mongodb find
    MongDB查询 转载请出自出处：http://eksliang.iteye.com/blog/2174452 一、find简介 MongoDB中使用find来进行查询。 API:如下 function ( query , fields , limit , skip, batchSize, options ){.....}  参数含义： query:查询参数 fie
  • base64，加密解密 经融加密，对接 y806839048 经融加密对接
    String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK")))); String data1 = new String(Base64.decode(data0.toCharArray()),"GBK"); // 注意编码格式，注意用于加密，解密的要是同
  • JavaWeb之JSP概述 ihuning javaweb
      什么是JSP？为什么使用JSP？ JSP表示Java Server Page，即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。   JSP起源    在很多动态网页中，绝大部分内容都是固定不变的，只有局部内容需要动态产生和改变。  如果使用Servl
  • apple watch 指南 啸笑天 apple
    1. 文档 WatchKit Programming Guide（中译在线版 By @CocoaChina） 译文 译者 原文 概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
  • java经典的基础题目 macroli java编程
    1.列举出 10个JAVA语言的优势 a:免费，开源，跨平台(平台独立性)，简单易用，功能完善，面向对象，健壮性，多线程，结构中立，企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包，类，接口，对象，属性，方法，构造器，继承，封装，多态，抽象，范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
  • 你所不知道神奇的js replace正则表达式 qiaolevip 每天进步一点点学习永无止境纵观千象regex
    var v = 'C9CFBAA3CAD0'; console.log(v); var arr = v.split(''); for (var i = 0; i < arr.length; i ++) { if (i % 2 == 0) arr[i] = '%' + arr[i]; } console.log(arr.join('')); console.log(v.r
  • [一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics) superlxw1234 hivehive分析表hive统计信息hive Statistics
    关键字：Hive统计信息、分析Hive表、Hive Statistics   类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。   表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；   14.1 新表的统计信息 对于一个新创建
  • Spring Boot 1.2.5 发布 wiselyman spring boot
        Spring Boot 1.2.5已在7月2日发布，现在可以从spring的maven库和maven中心库下载。   这个版本是一个维护的发布版，主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。   官方建议所有的Spring Boot用户升级这个版本。   项目首页 | 源
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他