Apache Spark中国社区
Apache Spark中国社区

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

2023 年 8 月 18 日，Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会在北京丽亭华苑酒店开幕。作为久负盛名的开源盛宴和开源界最具期待的大会之一，CommunityOverCode Asia 2023 聚集了来自各地的参与者，让大家都可以近距离享受这场 Apache 技术盛宴。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第1张图片

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里云大数据从拥抱开源走向引领开源”不断创新的历程。阿里巴巴自 2009 年开始采用 Apache Hadoop 技术进行大数据分析，2010 年第一次将 Apache HBase 技术在商品搜索中大规模投产，2016 年将处于萌芽状态的 Apache Flink 在双 11 实时推荐场景落地，并在同年阿里云上发布支持 Apache Hadoop/Hive/Spark/Kafka 等主流开源大数据技术的 E-MapReduce 云产品。在最近几年，阿里云开源大数据 Flink 团队作为 Apache Flink 最主要的贡献者推动 Flink 成为全球流计算事实标准，并向 ASF 捐赠了 Apache Celeborn 和 Apache Paimon 开源大数据项目，阿里云大数据一步步从拥抱、贡献开源走向开源社区的引领者。

阿里云 EMR 自 2016 年在公有云上线之后，已经服务了数千家中小企业，支持他们在云上更好地使用开源大数据。目前 EMR 也经过了技术升级， 从经典的 Hadoop 架构升级到了数据湖存算分离的架构。与此同时我们也保持了整个开源大数据平台的开放性，跟国内外知名的开源大数据厂商比如 Elasticsearch、Cloudera、StarRocks 等建立了密切的合作伙伴关系，并且联合推出了开源大数据的产品，在云上共建开源大数据生态。

以 Apache Celeborn 项目为例，2022 年 10 月份阿里巴巴向 Apache 孵化器捐赠了 Celeborn 项目（也就是原来的 EMR Remote Shuffle Service 项目 ），这是在阿里云上诞生的第一个 Apache 孵化项目。Apache Celeborn (Incubating) 的初始作者、阿里云 EMR Spark 引擎负责人周克勇也在会上对 Apache Celeborn 做详细介绍。从传统 Shuffle 的缺陷到 Celeborn 的诞生，到吸引了来自小米、Shopee、网易等开发者共建，Celeborn 已经被知名企业使用。未来也希望更多感兴趣的开发者参与共建和使用。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第2张图片

Apache Paimon 和 Celeborn 类似，也是阿里云 EMR 团队同学在主导孵化（原来的 Flink Table Store 项目），它是一个从准实时出发的流式数据湖，专门为 CDC 处理流计算而设计。Apache Paimon 的创新之处在于采用了湖存储+ LSM 的文件组织架构，基于分布式文件系统管理元数据。阿里云的高级技术专家李劲松在会上分享了“Apache Paimon 实时数据湖 Streaming LakeHouse 的存储底座”，详细讲解了从流计算到数据湖，到如何基于 Paimon 实现实时入湖，如何实现全异步、动态、Merge Engine 及跨分区更新的。同时，Paimon 在数据打宽、消息队列替代、离线表替代等方面也在不断和丰富和扩展。基于 Paimon的Streaming LakeHouse 生态已经逐渐成熟，数据湖实时化将是未来发展的重要趋势。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第3张图片

众所周知，Apache DolphinScheduler 是业界领先的、具有良好的用户体验和可靠性的开源 DataOps 平台，社区活跃度持续在同类项目处于领先地位。

阿里云研发工程师程鑫在分享了“Apache DolphinScheduler 与云对象存储的对接与整合"，Apache DolphinScheduler 以其简单易用、丰富的使用场景、高可靠及高扩展等深受开发者喜欢。对象存储具有海量、安全、低成本、高可靠等优势，非常适合作为云上大数据分析的存储方案， Apache DolphinScheduler 与云对象存储进行对接与整合，可以让用户在云原生场景下更加方便地在工作流中进行云上大数据分析。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第4张图片

同时，阿里云研发工程师高楚枫也分享了 Apache DolphinScheduler 开源的指标体系。对应 Dolphin 实际代码示例介绍了埋点工具 Micrometer 的基本知识和使用方法，结合 Dolphin 的整体架构、基于常见的两类场景（Master状态异常、Worker 状态异常）对具体的核心业务/系统指标进行了详细的讲解，并在最后介绍了社区在指标体系这块的未来规划。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第5张图片

阿里云 EMR 团队基于 Apache DolpinScheduler 实现了服务化 EMR Workflow，免部署/免运维，让客户以最低的成本在 EMR 平台上进行数据开发和调度。有感兴趣的朋友可以交流与测试。

以上是阿里云 EMR 在 CommunityOverCode Asia 的技术实践分享。阿里云 EMR 团队将继续沿着兼容开源、贡献开源以及超越开源道路前进，为云上客户提供最佳的开源大数据解决方案。

▼ 关注「Apache Spark 技术交流社区」，获取更多技术干货 ▼

 CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第6张图片  点击「阅读原文」，了解更多关于 EMR 资讯

你可能感兴趣的:(阿里云,开源,大数据,云计算)

  • 大数据相关职位介绍之二（数据治理，数据库管理员， 数据资产管理师，数据质量专员） 小Tomkk 大数据大数据数据治理数据库管理员数据资产管理师数据质量专员
    大数据相关职位介绍之二（数据治理，数据库管理员，数据资产管理师，数据质量专员）文章目录大数据相关职位介绍之二（数据治理，数据库管理员，数据资产管理师，数据质量专员）数据治理工程师/专家（DataGovernanceEngineer/Expert）1.元数据管理师（MetadataManager）2.主数据管理师（MasterDataManager）数据库管理员（DBA-DatabaseAdmini
  • 如何在Java中调用Python 梦想画家 #pythonjava8~9核心功能javapythonjython
    Python语言有丰富的系统管理、数据处理、统计类软件包，因此从java应用中调用Python代码的需求很常见、实用。DataX是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。Datax也是通过Java调用Python脚本。本文介绍几种方法从java调用Py
  • 博客建站7 - hexo博客独立服务器如何自动部署？ c++
    1.本网站的系统架构2.安装git3.配置git用户3.1.为什么要创建git用户3.2.创建git用户3.3.设置git用户的密码3.4.创建公钥-私钥对3.5.服务器配置公钥4.hexo配置自动化部署4.1.配置Git仓库4.2.hexo站点配置1.本网站的系统架构网站示例：sunlogging.com服务器：阿里云ECS服务器系统：Ubuntu24.04LTS博客框架：Hexo网站主题：Vo
  • Java数据库连接：手写代码实现MySQL或Oracle连接并操作数据 bug菌¹ Java实战(进阶版)java手动连接mysql手动连接数据库手动连接OracleOracleMySQL
    ‍作者：bug菌✏️博客：CSDN、掘金、infoQ、51CTO等简介：CSDN|阿里云|华为云|51CTO等社区博客专家，历届博客之星Top30，掘金年度人气作者Top40，51CTO年度博主Top12，掘金|InfoQ|51CTO等社区优质创作者，全网粉丝合计15w+；硬核微信公众号
  • 【转】Vue.js：轻量高效的前端组件化方案 diantihui2890 前端javascriptwebpackViewUI
    摘要：Vue.js通过简洁的API提供高效的数据绑定和灵活的组件系统。在前端纷繁复杂的生态中，Vue.js有幸受到一定程度的关注，目前在GitHub上已经有5000+的star。本文将从各方面对Vue.js做一个深入的介绍。Vue.js是我在2014年2月开源的一个前端开发库，通过简洁的API提供高效的数据绑定和灵活的组件系统。在前端纷繁复杂的生态中，Vue.js有幸受到一定程度的关注，目前在Gi
  • Oracle 分区在什么情况下使用？思维导图 代码示例（java 架构) 用心去追梦 oraclejava架构
    Oracle分区的适用场景Oracle分区（Partitioning）是一种强大的数据管理工具，适用于特定类型的数据库工作负载和数据结构。以下是一些适合使用分区的情况：1.大型表优化超大数据量：当表包含数百万甚至数十亿行时，分区可以帮助提高查询性能。频繁更新：对于经常被插入、更新或删除的数据，分区可以减少锁定范围，提高并发性。2.数据仓库历史数据分析：在数据仓库中，通常会存储多年的历史数据。通过按
  • Vue开发资源汇总 Dev-L 前端
    https://github.com/opendigg/awesome-github-vuehttps://github.com/vuejs/awesome-vue内容UI组件开发框架实用库服务端辅助工具应用实例Demo示例UI组件element★13489-饿了么出品的Vue2的webUI工具套件Vux★8133-基于Vue和WeUI的组件库iview★6634-基于Vuejs的开源UI组件库m
  • Qt | windows Qt6.5.3安装&安卓环境搭建&虚拟机调试和真机调试完美版(保姆级教程) Qt历险记 Qt高级开发工程师qtwindowsandroidQt安卓Qt6.5.3安装
    Qt安卓发布的手机01、第一章Qt6.5.3安装资源运行成功的界面全网最全Qt国内下载地址清华大学开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/qt/archive/online_installers/
  • 《SaaS架构设计》试读 DavyYew 11）SaaS与Cloudsaas架构设计云计算salesforce互联网数据库
    SaaS基础架构—云计算今天的互联网业界对云计算的关注程度，已经不亚于对一次革命。微软、谷歌、Salesforce、Amazon等国外软件巨头纷纷推出了自己的云计算系统，意图领导这一轮的软件新浪潮。国内的阿里巴巴也已经投入大量资源进入云计算这片新的海洋。基于互联网的软件系统需要承担海量的数据、文件、数据库里的数据，等等。这就必然需要可扩充的、廉价的、可靠的和高性能的网络硬盘来提供图片、视频、博客等
  • Java 如何使用 Linux 内存 -《面向技术宅的 JVM 内幕》 jvmjvm-hotspot
    为了更高的性能、更高的内存利用率、更可靠的异常溢出保护机制，Java重度重用了Linux的内存区MMap机制。k8s容器环境下，内存使用预估也依赖于对它的理解。本文主讲Java的内存分区机制。本文摘自我在编写的开源互动图书《面向技术宅的JVM内幕》中的MMap-OSMemoryRegion一节。如图片不清，请转回原文。内存分区关于JVM内存分区，可见我之前写的文章：Linux进程内存分区概念。如还
  • 可能是最深入全面的图解 Java Virtual Threads jvmjvm虚拟机
    本文尽我所能，用了数月时间，在学习了JavaVirtualTheads的一些设计和实现理念后，用我所能的精炼文字和画图，去记录我的所学。是我现在能找到的最深入全面的图解JavaVirtualThreads文章。本文摘自我在编写的开源互动图书《面向技术宅的JVM内幕》中的VirtualThreads一节。如图片不清，请转回原文。VirtualThreads按这本书作者的德性，和这本书的定位，这里不会
  • 【爬虫】JS逆向解决蝉妈妈加密参数data 秋无之地 爬虫JS逆向python爬虫js逆向
    ⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️作者：秋无之地简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。欢迎小伙伴们点赞、收藏⭐️、留言、关注，关注必回关目录一、先打开目标网站，打开F12调试模式二、通过刷新页面定位接口，并找到接口上的加密参数data三、打开启动器（Initiator）
  • OpenAI紧急加播：ChatGPT上新深度搜索，持续思考30分钟输出1万字，刷榜“人类最后的考试” 量子位
    就在开源的DeepSeek-R1被整合进各路AI搜索工具之际，OpenAI临时举行小型发布会。4点27通知，8点开始直播。ChatGPT上新“DeepResearch”，把推理大模型的思考能力用于联网搜索。据介绍，DeepResearch功能可在数十分钟完成人类专家需要几个小时的复杂研究任务。在“人类最后的考试”上，DeepResearch刷新了最高分，比o3-mini高推理设置分数高出一倍。该测
  • Mixture of Experts（MoE）学习笔记 南七小僧 人工智能网站开发医疗器械研发学习笔记人工智能MoE大模型
    1学习动机第一次了解到MoE（Mixtureofexperts），是在GPT-4模型架构泄漏事件，听说GPT-4的架构是8个GPT-3级别大小的模型以MoE架构（8*220B）组合成一个万亿参数级别的模型。不过在这之后开源社区并没有对MoE架构进行很多的探索，更多的工作还是聚焦在预训练新的大模型，在Llama2或其他模型上做Fine-tune，以及扩展大模型的ContextLength。12月8号
  • Spring Boot从入门到精通：解锁高效应用开发密码 计算机学长 javaspringboot
    什么是SpringBoot在Java开发的广袤天地中，SpringBoot就如同一位神奇的魔法师，为开发者们带来了前所未有的便捷与高效，已然成为Java开发领域的中流砥柱。它是由Pivotal团队精心打造的开源框架，旨在将Spring应用的开发与部署变得轻而易举。SpringBoot之所以能够简化开发流程、提升开发效率，其秘诀就在于“约定大于配置”这一精妙绝伦的理念。在传统的Spring开发中，开
  • Java RabbitMQ 的作用是什么? 使用场景有哪些？有哪些优缺点? 学习资源网 java-rabbitmqjavarabbitmq
    JavaRabbitMQ的作用是什么?使用场景有哪些？有哪些优缺点?RabbitMQ是一个开源的消息队列系统，用于在分布式系统中传递消息。它实现了AMQP（AdvancedMessageQueuingProtocol）协议，为应用提供了可靠的消息传递机制。以下是RabbitMQ的作用、使用场景以及优缺点：作用：消息队列：RabbitMQ提供了消息队列的功能，允许应用程序之间异步地传递消息。解耦：R
  • Windows下Go语言环境搭建和使用 go语言学习基地 GO语言学习golangwindows开发语言
    简介go语言是一种开源的、语法精简的静态编程语言，它的开源社区比较庞大，应用场景非常广范。可以用于系统监控、容器技术(Docker)、大数据、存储技术、分布式系统(HyperledgerFabric)、消息系统(Kafka客户端)、服务器管理、安全工具、Web工具等。这里介绍在Linux上安装并配置go。下载go安装包到GoLang中国：https://golang.google.cn/dl/下载
  • Serverless-架构的兴起 TE-茶叶蛋 架构知识serverless架构java
    文章目录前言一、物理机器时代二、虚拟机时代虚拟化技术的发展催生了云计算服务的不同模式三、容器时代四、Serverless核心特点：应用场景：挑战：前言通过服务器架构的发展了解Serverless-架构的兴起一、物理机器时代物理服务器，也称为独立服务器，是指一台完整的实体机器，用户拥有对硬件和软件的完全控制权。它们在信息技术的早期阶段非常普遍，至今仍在某些场景下使用。以下是物理服务器在“物理机时代”
  • 剖根问底：Java 不能实现真正泛型的原因是什么？ 沉默王二 Java进阶之路Java程序员进阶之路java编程语言
    大家好，我是二哥呀！今天我来给大家讲一下，Java不能实现真正泛型的原因是什么？本文已同步至GitHub《教妹学Java》专栏，风趣幽默，通俗易懂，对Java初学者亲切友善，么么哒，内容包括Java语法、Java集合框架、Java并发编程、Java虚拟机等核心知识点，欢迎star。GitHub开源地址：https://github.com/itwanger/jmx-javaCodeChina：ht
  • 推荐开源项目：simple_http_server — 简单易用的HTTP服务器 孔芝燕Pandora
    推荐开源项目：simple_http_server—简单易用的HTTP服务器simple_http_serversimplehttpserverforuploadanddownload项目地址:https://gitcode.com/gh_mirrors/si/simple_http_server在编程世界中，快速搭建一个本地HTTP服务器进行测试或演示是一个常见的需求。今天，我们要向您推荐一个轻
  • 多租户架构未提供统一的安全策略和框架，导致安全策略不一致 图幻未来 网络安全
    多租户架构下的网络安全分析与AI技术应用在云计算和大数据技术的快速发展背景下，多租户架构已成为企业应用的首选。多租户架构允许多个独立的应用共享同一套基础架构和资源池，从而降低了企业的运营成本。然而，多租户架构在给企业带来便利的同时，也面临着一系列安全挑战。本文将围绕多租户架构未提供统一的安全策略和框架导致安全策略不一致的问题展开分析，并探讨AI技术在网络安全领域的应用场景。一、多租户架构下的安全挑
  • 前端——vue代码结构 Alisazxy 前端
    默认代码结构README.md---项目说明文件package.json---定义了这个项目所需要的各种模块，以及项目的配置信息（比如名称、版本、许可证等元数据）。package-lock.json---会自动为npm修改node_modules树或任何操作而生成package.jsonLICENSE---开源协议index.html---项目默认首页模板.postcssrc.js---是对pos
  • STM32（hal库）通过MQTT协议连接onenet sea1216 ESP8266STM32cubemxonenet物联网stm32halonenetmqtt
    在中国移动物联网平台onenet，选择用多协议的mqtt旧版协议新建产品和设备。然后根据自己的情况更改程序中的参数。数据流上传时要根据自己的数据将程序中固定的更改为动态赋值就好了。本程序参考超级大洋葱806的STM32CubeMXESP8266AT指令实现MQTT协议并接入阿里云IOT平台源码解析【附Github源码地址】一、esp8266驱动我将esp8266设置为station透传模式#inc
  • vue项目代码结构 很小白的小白 Vue
    最外层文件：README.md————>说明文件package.json————>依赖文件存储地package-lock.json————>依赖的版本LICENSE————>开源协议说明index.heml————>项目首页的默认文件（深入）postcssrc.js————>postcss的配置项。gitignore————>git配置项（把不想上传的文件配置在里面，不会被提交）我添加了我不想提交
  • 第一期：Serverless基础 牛肉胡辣汤 harmonyos
    应用架构的演进依次经历了微服务架构、单体架构、Serverless架构等阶段。FalseServerless是云计算下一代的默认计算范式。True业界认为Serverless=IaaS+PaaS。False云计算的演进依次经历了虚拟机、容器化、Serverless等阶段。True----以下哪个服务是云数据库和云存储中数据访问权限控制所依赖的基础服务？C.认证服务以下哪个服务不是华为Serverl
  • 探索高效群管：NoneBot2简易群管插件 邴梅忱Walter
    探索高效群管：NoneBot2简易群管插件项目地址:https://gitcode.com/gh_mirrors/no/nonebot_plugin_admin在数字化时代，群组管理已成为一项挑战。无论是社交平台还是专业论坛，高效、智能的群组管理工具都是提升用户体验的关键。今天，我们将深入介绍一款强大的开源项目——NoneBot2简易群管插件，它以其丰富的功能和灵活的配置，成为群组管理的得力助手。
  • ElasticSearch集群搭建步骤 Asui2233 Elasticsearchelasticsearch大数据linux
    文章目录一、前言二、使用RPM安装Elasticsearch导入ElasticsearchGPG密钥从RPM存储库安装三、设置基本安全性生成证书使用TLS加密节点间通信四、为Elasticsearch加密HTTP客户端通信五、配置集群编辑elasticsearch.yml启动集群一、前言Elasticsearch是一个开源的分布式搜索和分析引擎，用于全文搜索、结构化搜索、分析和可视化大规模数据。它
  • 模板-富文本 晓风残月Yuperman nginx运维
    博主介绍：大家好，我是想成为Super的Yuperman，互联网宇宙厂经验，17年医疗健康行业的码拉松奔跑者，曾担任技术专家、架构师、研发总监负责和主导多个应用架构。近期专注：RPA应用研究，主流厂商产品使用，开源RPA应用，包括UI.Vision、taskUI、taskt、OpenRpa、RobotFramework等技术范围：长期专注java体系，软件架构，DDD，多年java、golang、
  • 小南每日 AI 资讯 |美国与日本企业联合投资“星际之门”项目| 罗永浩老师最新初创项目上线！ | 25/01/24 小南AI学院 人工智能microsoft
    近期人工智能（AI）领域的重要动态随着人工智能技术的迅猛发展，多个领域涌现出令人瞩目的创新。以下是近期AI领域的几项重大进展，涵盖技术创新、行业合作以及AI在各个领域的应用：1.AI技术创新与产品发布DeepSeek发布开源模型R1，挑战传统开发模式中国初创公司深度求索（DeepSeek）于1月27日发布开源AI模型R1。该模型以低成本实现接近OpenAIGPT-3的性能，打破了“越大越好”的传统
  • kylin套_Apache Kylin（一）Kylin介绍 weixin_39898011 kylin套
    1.传统大数据分析的问题在基于Hadoop生态的传统大数据分析中，主要使用的技术是MPP(MassivelyParallelProcessing)大规模并行处理和列式存储。MPP使用线性增加计算资源换取计算时间的线性下降，列式存储可以提高读取数据的速率。两者结合可以使得基于Hadoop的SQL查询速度从小时级降为分钟级。不过分钟级别的查询响应仍未达到交互式分析级别，主要问题在于：MPP以及列式存储
  • redis学习笔记——不仅仅是存取数据 Everyday都不同 returnSourceexpire/delincr/lpush数据库分区redis
    最近项目中用到比较多redis，感觉之前对它一直局限于get/set数据的层面。其实作为一个强大的NoSql数据库产品，如果好好利用它，会带来很多意想不到的效果。（因为我搞java，所以就从jedis的角度来补充一点东西吧。PS：不一定全，只是个人理解，不喜勿喷）   1、关于JedisPool.returnSource(Jedis jeids)   这个方法是从red
  • SQL性能优化-持续更新中。。。。。。 atongyeye oraclesql
    1 通过ROWID访问表--索引 你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高. 2 共享SQL语句--相同的sql放入缓存 3 选择最有效率的表
  • [JAVA语言]JAVA虚拟机对底层硬件的操控还不完善 comsci JAVA虚拟机
         如果我们用汇编语言编写一个直接读写CPU寄存器的代码段，然后利用这个代码段去控制被操作系统屏蔽的硬件资源，这对于JVM虚拟机显然是不合法的，对操作系统来讲，这样也是不合法的，但是如果是一个工程项目的确需要这样做，合同已经签了，我们又不能够这样做，怎么办呢？ 那么一个精通汇编语言的那种X客，是否在这个时候就会发生某种至关重要的作用呢？ &n
  • lvs- real 男人50 LVS
    #!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # #.  /etc/rc.d/init.d/functions VIP=10.10.6.252 host='/bin/hostname' case "$1" in sta
  • 生成公钥和私钥 oloz DSA安全加密
    package com.msserver.core.util; import java.security.KeyPair; import java.security.PrivateKey; import java.security.PublicKey; import java.security.SecureRandom; public class SecurityUtil {
  • UIView 中加入的cocos2d，背景透明 374016526 cocos2dglClearColor
    要点是首先pixelFormat:kEAGLColorFormatRGBA8，必须有alpha层才能透明。然后view设置为透明glView.opaque = NO;[director setOpenGLView:glView];[self.viewController.view setBackgroundColor:[UIColor clearColor]];[self.viewControll
  • mysql常用命令 香水浓 mysql
    连接数据库 mysql -u troy -ptroy 备份表 mysqldump -u troy -ptroy mm_database mm_user_tbl > user.sql 恢复表（与恢复数据库命令相同） mysql -u troy -ptroy mm_database < user.sql 备份数据库 mysqldump -u troy -ptroy
  • 我的架构经验系列文章 - 后端架构 - 系统层面 agevs JavaScriptjquerycsshtml5
    系统层面： 高可用性 所谓高可用性也就是通过避免单独故障加上快速故障转移实现一旦某台物理服务器出现故障能实现故障快速恢复。一般来说，可以采用两种方式，如果可以做业务可以做负载均衡则通过负载均衡实现集群，然后针对每一台服务器进行监控，一旦发生故障则从集群中移除；如果业务只能有单点入口那么可以通过实现Standby机加上虚拟IP机制，实现Active机在出现故障之后虚拟IP转移到Standby的快速
  • 利用ant进行远程tomcat部署 aijuans tomcat
    在javaEE项目中，需要将工程部署到远程服务器上，如果部署的频率比较高，手动部署的方式就比较麻烦，可以利用Ant工具实现快捷的部署。这篇博文详细介绍了ant配置的步骤（http://www.cnblogs.com/GloriousOnion/archive/2012/12/18/2822817.html），但是在tomcat7以上不适用，需要修改配置，具体如下： 1.配置tomcat的用户角色
  • 获取复利总收入 baalwolf 获取
           public static void main(String args[]){         int money=200;         int year=1;         double rate=0.1; &
  • eclipse.ini解释 BigBird2012 eclipse
    大多数java开发者使用的都是eclipse，今天感兴趣去eclipse官网搜了一下eclipse.ini的配置，供大家参考，我会把关键的部分给大家用中文解释一下。还是推荐有问题不会直接搜谷歌，看官方文档，这样我们会知道问题的真面目是什么，对问题也有一个全面清晰的认识。 Overview 1、Eclipse.ini的作用 Eclipse startup is controlled by th
  • AngularJS实现分页功能 bijian1013 JavaScriptAngularJS分页
            对于大多数web应用来说显示项目列表是一种很常见的任务。通常情况下，我们的数据会比较多，无法很好地显示在单个页面中。在这种情况下，我们需要把数据以页的方式来展示，同时带有转到上一页和下一页的功能。既然在整个应用中这是一种很常见的需求，那么把这一功能抽象成一个通用的、可复用的分页（Paginator）服务是很有意义的。   &nbs
  • [Maven学习笔记三]Maven archetype bit1129 ArcheType
    archetype的英文意思是原型，Maven archetype表示创建Maven模块的模版，比如创建web项目，创建Spring项目等等.   mvn archetype提供了一种命令行交互式创建Maven项目或者模块的方式，   mvn archetype   1.在LearnMaven-ch03目录下，执行命令mvn archetype:gener
  • 【Java命令三】jps bit1129 Java命令
    jps很简单，用于显示当前运行的Java进程，也可以连接到远程服务器去查看   [hadoop@hadoop bin]$ jps -help usage: jps [-help] jps [-q] [-mlvV] [<hostid>] Definitions: <hostid>: <hostname>[:
  • ZABBIX2.2 2.4 等各版本之间的兼容性 ronin47
    zabbix更新很快，从2009年到现在已经更新多个版本，为了使用更多zabbix的新特性，随之而来的便是升级版本，zabbix版本兼容性是必须优先考虑的一点 客户端AGENT兼容 zabbix1.x到zabbix2.x的所有agent都兼容zabbix server2.4：如果你升级zabbix server，客户端是可以不做任何改变，除非你想使用agent的一些新特性。 Zabbix代理（p
  • unity 3d还是cocos2dx哪个适合游戏？ brotherlamp unity自学unity教程unity视频unity资料unity
    unity 3d还是cocos2dx哪个适合游戏？ 问：unity 3d还是cocos2dx哪个适合游戏？ 答：首先目前来看unity视频教程因为是3d引擎，目前对2d支持并不完善，unity 3d 目前做2d普遍两种思路，一种是正交相机，3d画面2d视角，另一种是通过一些插件，动态创建mesh来绘制图形单元目前用的较多的是2d toolkit，ex2d，smooth moves，sm2，
  • 百度笔试题：一个已经排序好的很大的数组，现在给它划分成m段，每段长度不定，段长最长为k，然后段内打乱顺序，请设计一个算法对其进行重新排序 bylijinnan java算法面试百度招聘
    import java.util.Arrays; /** * 最早是在陈利人老师的微博看到这道题： * #面试题#An array with n elements which is K most sorted，就是每个element的初始位置和它最终的排序后的位置的距离不超过常数K * 设计一个排序算法。It should be faster than O(n*lgn)。
  • 获取checkbox复选框的值 chiangfai checkbox
    <title>CheckBox</title> <script type = "text/javascript"> doGetVal: function doGetVal() { //var fruitName = document.getElementById("apple").value;//根据
  • MySQLdb用户指南 chenchao051 mysqldb
    原网页被墙，放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb
  • HIVE 窗口及分析函数 daizj hive窗口函数分析函数
    窗口函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 一、分析函数 用于等级、百分点、n分片等。 函数             说明 RANK()     &nbs
  • PHP ZipArchive 实现压缩解压Zip文件 dcj3sjt126com PHPzip
    PHP ZipArchive 是PHP自带的扩展类，可以轻松实现ZIP文件的压缩和解压，使用前首先要确保PHP ZIP 扩展已经开启，具体开启方法就不说了，不同的平台开启PHP扩增的方法网上都有，如有疑问欢迎交流。这里整理一下常用的示例供参考。 一、解压缩zip文件 01 02 03 04 05 06 07 08 09 10 11
  • 精彩英语贺词 dcj3sjt126com 英语
    I'm always here              我会一直在这里支持你                &nb
  • 基于Java注解的Spring的IoC功能 e200702084 javaspringbeanIOCOffice
                                      
  • java模拟post请求 geeksun java
    一般API接收客户端（比如网页、APP或其他应用服务）的请求，但在测试时需要模拟来自外界的请求，经探索，使用HttpComponentshttpClient可模拟Post提交请求。 此处用HttpComponents的httpclient来完成使命。 import org.apache.http.HttpEntity ; import org.apache.http.HttpRespon
  • Swift语法之 ---- ?和!区别 hongtoushizi ?swift!
    转载自： http://blog.sina.com.cn/s/blog_71715bf80102ux3v.html   Swift语言使用var定义变量，但和别的语言不同，Swift里不会自动给变量赋初始值，也就是说变量不会有默认值，所以要求使用变量之前必须要对其初始化。如果在使用变量之前不进行初始化就会报错： var stringValue : String //
  • centos7安装jdk1.7 jisonami jdkcentos
    安装JDK1.7 步骤1、解压tar包在当前目录 [root@localhost usr]#tar -xzvf jdk-7u75-linux-x64.tar.gz 步骤2：配置环境变量 在etc/profile文件下添加 export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=/usr/java/jdk1.7.0_75/lib
  • 数据源架构模式之数据映射器 home198979 PHP架构数据映射器datamapper
    前面分别介绍了数据源架构模式之表数据入口、数据源架构模式之行和数据入口数据源架构模式之活动记录，相较于这三种数据源架构模式，数据映射器显得更加“高大上”。   一、概念 数据映射器（Data Mapper）：在保持对象和数据库（以及映射器本身）彼此独立的情况下，在二者之间移动数据的一个映射器层。概念永远都是抽象的，简单的说，数据映射器就是一个负责将数据映射到对象的类数据。 &nb
  • 在Python中使用MYSQL pda158 mysqlpython
    缘由 　　近期在折腾一个小东西须要抓取网上的页面。然后进行解析。将结果放到 数据库中。 　　了解到 Python在这方面有优势，便选用之。 　　由于我有台 server上面安装有 mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里 记录一下，大家共勉。 　　 python中mysql的调用 　　 百度之后能够通过MySQLdb进行数据库操作。
  • 单例模式 hxl1988_0311 java单例设计模式单件
    package com.sosop.designpattern.singleton; /* * 单件模式：保证一个类必须只有一个实例，并提供全局的访问点 * * 所以单例模式必须有私有的构造器，没有私有构造器根本不用谈单件 * * 必须考虑到并发情况下创建了多个实例对象 * */ /** * 虽然有锁，但是只在第一次创建对象的时候加锁，并发时不会存在效率
  • 27种迹象显示你应该辞掉程序员的工作 vipshichg 工作
    1、你仍然在等待老板在2010年答应的要提拔你的暗示。 2、你的上级近10年没有开发过任何代码。 3、老板假装懂你说的这些技术，但实际上他完全不知道你在说什么。 4、你干完的项目6个月后才部署到现场服务器上。 5、时不时的，老板在检查你刚刚完成的工作时，要求按新想法重新开发。 6、而最终这个软件只有12个用户。 7、时间全浪费在办公室政治中，而不是用在开发好的软件上。 8、部署前5分钟才开始测试。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他