Apache Spark中国社区
Apache Spark中国社区

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

2023 年 8 月 18 日，Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会在北京丽亭华苑酒店开幕。作为久负盛名的开源盛宴和开源界最具期待的大会之一，CommunityOverCode Asia 2023 聚集了来自各地的参与者，让大家都可以近距离享受这场 Apache 技术盛宴。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第1张图片

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里云大数据从拥抱开源走向引领开源”不断创新的历程。阿里巴巴自 2009 年开始采用 Apache Hadoop 技术进行大数据分析，2010 年第一次将 Apache HBase 技术在商品搜索中大规模投产，2016 年将处于萌芽状态的 Apache Flink 在双 11 实时推荐场景落地，并在同年阿里云上发布支持 Apache Hadoop/Hive/Spark/Kafka 等主流开源大数据技术的 E-MapReduce 云产品。在最近几年，阿里云开源大数据 Flink 团队作为 Apache Flink 最主要的贡献者推动 Flink 成为全球流计算事实标准，并向 ASF 捐赠了 Apache Celeborn 和 Apache Paimon 开源大数据项目，阿里云大数据一步步从拥抱、贡献开源走向开源社区的引领者。

阿里云 EMR 自 2016 年在公有云上线之后，已经服务了数千家中小企业，支持他们在云上更好地使用开源大数据。目前 EMR 也经过了技术升级， 从经典的 Hadoop 架构升级到了数据湖存算分离的架构。与此同时我们也保持了整个开源大数据平台的开放性，跟国内外知名的开源大数据厂商比如 Elasticsearch、Cloudera、StarRocks 等建立了密切的合作伙伴关系，并且联合推出了开源大数据的产品，在云上共建开源大数据生态。

以 Apache Celeborn 项目为例，2022 年 10 月份阿里巴巴向 Apache 孵化器捐赠了 Celeborn 项目（也就是原来的 EMR Remote Shuffle Service 项目 ），这是在阿里云上诞生的第一个 Apache 孵化项目。Apache Celeborn (Incubating) 的初始作者、阿里云 EMR Spark 引擎负责人周克勇也在会上对 Apache Celeborn 做详细介绍。从传统 Shuffle 的缺陷到 Celeborn 的诞生，到吸引了来自小米、Shopee、网易等开发者共建，Celeborn 已经被知名企业使用。未来也希望更多感兴趣的开发者参与共建和使用。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第2张图片

Apache Paimon 和 Celeborn 类似，也是阿里云 EMR 团队同学在主导孵化（原来的 Flink Table Store 项目），它是一个从准实时出发的流式数据湖，专门为 CDC 处理流计算而设计。Apache Paimon 的创新之处在于采用了湖存储+ LSM 的文件组织架构，基于分布式文件系统管理元数据。阿里云的高级技术专家李劲松在会上分享了“Apache Paimon 实时数据湖 Streaming LakeHouse 的存储底座”，详细讲解了从流计算到数据湖，到如何基于 Paimon 实现实时入湖，如何实现全异步、动态、Merge Engine 及跨分区更新的。同时，Paimon 在数据打宽、消息队列替代、离线表替代等方面也在不断和丰富和扩展。基于 Paimon的Streaming LakeHouse 生态已经逐渐成熟，数据湖实时化将是未来发展的重要趋势。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第3张图片

众所周知，Apache DolphinScheduler 是业界领先的、具有良好的用户体验和可靠性的开源 DataOps 平台，社区活跃度持续在同类项目处于领先地位。

阿里云研发工程师程鑫在分享了“Apache DolphinScheduler 与云对象存储的对接与整合"，Apache DolphinScheduler 以其简单易用、丰富的使用场景、高可靠及高扩展等深受开发者喜欢。对象存储具有海量、安全、低成本、高可靠等优势，非常适合作为云上大数据分析的存储方案， Apache DolphinScheduler 与云对象存储进行对接与整合，可以让用户在云原生场景下更加方便地在工作流中进行云上大数据分析。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第4张图片

同时，阿里云研发工程师高楚枫也分享了 Apache DolphinScheduler 开源的指标体系。对应 Dolphin 实际代码示例介绍了埋点工具 Micrometer 的基本知识和使用方法，结合 Dolphin 的整体架构、基于常见的两类场景（Master状态异常、Worker 状态异常）对具体的核心业务/系统指标进行了详细的讲解，并在最后介绍了社区在指标体系这块的未来规划。

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第5张图片

阿里云 EMR 团队基于 Apache DolpinScheduler 实现了服务化 EMR Workflow，免部署/免运维，让客户以最低的成本在 EMR 平台上进行数据开发和调度。有感兴趣的朋友可以交流与测试。

以上是阿里云 EMR 在 CommunityOverCode Asia 的技术实践分享。阿里云 EMR 团队将继续沿着兼容开源、贡献开源以及超越开源道路前进，为云上客户提供最佳的开源大数据解决方案。

▼ 关注「Apache Spark 技术交流社区」，获取更多技术干货 ▼

 CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享_第6张图片  点击「阅读原文」，了解更多关于 EMR 资讯

你可能感兴趣的:(阿里云,开源,大数据,云计算)

  • 2022年河南省高等职业教育技能大赛云计算赛项竞赛赛卷（样卷） 忘川_ydy 云计算云计算openstackkubernetesdockerpythonk8sansible
    #需要资源（软件包及镜像）或有问题的，可私博主！！！#需要资源（软件包及镜像）或有问题的，可私博主！！！#需要资源（软件包及镜像）或有问题的，可私博主！！！第一部分：私有云任务1私有云服务搭建(10分)使用提供的用户名密码，登录竞赛用的云计算平台，按要求自行使用镜像创建两台云主机，创建完云主机后确保网络正常通信，然后按要求配置服务器。根据提供安装脚本框架，补充脚本完成OpenStack平台的安装搭
  • 数据分析：低代码平台助力大数据时代的飞跃发展 快乐非自愿 数据分析低代码大数据
    随着信息技术的突飞猛进，我们身处于一个数据量空前增长的时代——大数据时代。在这个时代背景下，数据分析已经成为企业决策、政策制定、科学研究等众多领域不可或缺的重要工具。然而，面对海量的数据和日益复杂多变的分析需求，传统的数据分析方法往往捉襟见肘，难以应对。幸运的是，低代码平台的兴起为大数据分析注入了新的活力，成为推动大数据时代发展的重要力量。低代码平台，顾名思义，是一种通过少量甚至无需编写代码，就能
  • 请简单介绍一下Shiro框架是什么？Shiro在Java安全领域的主要作用是什么？Shiro主要提供了哪些安全功能？ AaronWang94 shirojavajava安全开发语言
    请简单介绍一下Shiro框架是什么？Shiro框架是一个强大且灵活的开源安全框架，为Java应用程序提供了全面的安全解决方案。它主要用于身份验证、授权、加密和会话管理等功能，可以轻松地集成到任何JavaWeb应用程序中，并提供了易于理解和使用的API，使开发人员能够快速实现安全特性。Shiro的核心组件包括Subject、SecurityManager和Realms。Subject代表了当前与应用
  • 【转载】SSD测试第一神器——FIO running_sheep
    转自：[http://www.ssdfans.com]对于SSD性能测试来说，最好的工具莫过于FIO了。FIO是Jens开发的一个开源测试工具，功能非常强大，本文就只介绍其中一些基本功能。线程，队列深度，Offset，同步异步，DirectIO，BIO使用FIO之前，首先要有一些SSD性能测试的基础知识。线程指的是同时有多少个读或写任务在并行执行，一般来说，CPU里面的一个核心同一时间只能运行一个
  • docker基础（一） 运维搬运工 容器-dockerdocker容器运维
    相关概念介绍Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖到一个可移植的容器中，然后发布到任何流行的linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，互相之间不会有任何接口。Docker有几个重要概念：dockerfile，配置文件，用来生成dockerimagedockerimage，交付部署的最小单元docker命令与API，定义命令与接口，支持第三方系统集
  • 新注册的阿里云账号有哪些优惠？阿里云新用户必看优惠大合集 阿里云最新优惠和活动汇总
    很多用户看到阿里云各种活动中的云服务器、云数据库、企业邮箱等云产品都仅限新用户购买之后，都纷纷直接注册了阿里云新账号之后购买，其实，阿里云新用户不仅可以优惠购买活动中的各种云产品，还有很多优惠，下面是“阿里云最新优惠和活动汇总”整理汇总的阿里云新用户必看优惠大合集。新注册的阿里云账号在购买活动中的云产品之前，还有免费领云产品通用代金券、抽取无门槛代金券、免费试用云服务器和正式购买云服务器等阿里云产
  • Apache Kafka的伸缩性探究：实现高性能、弹性扩展的关键 i289292951 kafkakafka
    引言ApacheKafka作为当今最流行的消息中间件之一，以其强大的伸缩性著称。在大数据处理、流处理和实时数据集成等领域，Kafka的伸缩性为其在面临急剧增长的数据流量和多样化业务需求时提供了无与伦比的扩展能力。本文将深入探讨Kafka如何通过其独特的架构设计实现高水平的伸缩性，以及在实际部署中如何优化和利用这一特性。一、Kafka伸缩性的核心设计分区（Partitioning）与水平扩展Kafk
  • Nginx服务 老伙子53 nginx运维
    Nginx服务一、什么是Nginx1、概念Nginx是一个高性能的开源的HTTP和反向代理服务器，以及邮件（IMAP/POP3）代理服务器。它最初由IgorSysoev创建，并于2004年首次公开发布。Nginx的主要特点包括高性能、低内存占用、高并发处理能力以及高度的可靠性。2、特点高性能Nginx被设计成高性能的服务器软件，能够处理大量并发连接和高流量的请求。它采用了事件驱动的架构，使用异步I
  • 罗永浩将首度直播卖“云”；武汉大学回应开设雷军班；.NET 7自5月14日起将不被支持 | 极客头条 极客日报 .net
    「极客头条」——技术人员的新闻圈！CSDN的读者朋友们好，「极客头条」来啦，快来看今天都有哪些值得我们技术人关注的重要新闻吧。整理|苏宓出品|CSDN（ID：CSDNnews）一分钟速览新闻点！90后华为「天才少年」稚晖君又获新融资百度智能云推出大模型应用全家桶，7款产品全新升级武汉大学回应开设雷军班：招15人，本博贯通知情人士辟谣腾讯大规模裁员罗永浩将首度直播卖“云”联发科携手阿里云，天玑930
  • centos7 安装influxdb+telegraf+grafana 监控服务器 吕吕-lvlv grafana服务器运维
    influxdbinfluxdb是一个时间序列数据库,所有数据记录都会打上时间戳,适合存储数字类型的内容telegraftelegraf可以用于收集系统和服务的统计数据并发送到influxdbgrafanagrafana是一个界面非常漂亮,可直接读取influxdb数据展示成各种图表的开源可视化web软件安装并启动influxdb数据库vim/etc/yum.repos.d/influxdb.re
  • 阿里云新用户优惠券，购买云服务器券后价格286.72元1年起 阿里云最新优惠和活动汇总
    阿里云推出新用户优惠券啦，阿里云官网已实名认证的注册会员用户可领取总额2215元优惠券，同一用户有一次领券机会，用户在活动页面点击“领取”可以一次性获得所有档位优惠券。优惠券发放至用户登录账号，可登录阿里云控制台，页面顶端进入费用，选择卡券管理-优惠券管理进行查询。满减券档位分类如下：①.云服务器订单满300减20元；②.云服务器订单满500减35元；③.云服务器订单满800减60元；④.云服务器
  • 了解什么是Docker 黑风风 DevOps学习dockereureka容器
    了解什么是DockerDocker是一个开源的容器化平台，它使得开发者可以将应用程序及其依赖项打包到一个轻量级的、可移植的容器中。这些容器可以在任何支持Docker的系统上运行，确保了应用程序在不同环境之间的一致性和可移植性。，同时享受隔离性和轻量级的优势。Docker的核心组件Docker引擎Docker引擎是一个客户端-服务器应用程序，包括一个长期运行的守护进程（dockerd）、一个REST
  • OpenCV（一个C++人工智能领域重要开源基础库） 简介 愚梦者 OpenCV人工智能人工智能opencvc++图像处理计算机视觉开源
    返回：OpenCV系列文章目录（持续更新中......）上一篇：OpenCV4.9.0配置选项参考下一篇：OpenCV4.9.0开源计算机视觉库安装概述引言：OpenCV（全称OpenSourceComputerVisionLibrary）是一个基于开放源代码发行的跨平台计算机视觉库，可以用来进行图像处理、计算机视觉和机器学习等领域的开发。该库由英特尔公司于1999年开始开发，最初是为了加速处理器
  • 山东省大数据局副局长禹金涛一行莅临聚合数据走访调研 聚合数据 API大数据人工智能API
    3月19日，山东省大数据局党组成员、副局长禹金涛莅临聚合数据展开考察调研。山东省大数据局数据应用管理与安全处处长杨峰，副处长都海明参加调研，苏州市大数据局副局长汤晶陪同。聚合数据董事长左磊等人接待来访。调研组一行参观了聚合数据展厅，了解了聚合数据的发展历程、数据产品、应用案例、奖项荣誉等情况。并就企业在数据处理和应用方面取得的成绩进行了深入交流。作为最早一批进入大数据行业的企业，聚合数据深耕行业十
  • Mysql数据库MariaDB数据库MHA高可用程序 yichen_china
    声明：本次实验使用的是MariaDB数据库，所以本文中所出现的MariaDB与MySQL都是指的是MariaDB！！！MHA（MasterHA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automatingmasterfailover功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，MHA会通过于其它从节
  • 智慧公厕的先进技术应用 中期科技ZONTREE 智慧厕所智慧公厕智慧城市
    公共厕所一直以来都是城市管理中一个重要的工作，但设施老化、环境脏乱、服务质量低下等问题一直困扰着城市居民。然而，随着科技的进步和数字技术的应用，智慧公厕的建设正在改变这一现状。智慧公厕通过对所在辖区内所有公共厕所的全域感知、全网协同、全业务融合和全场景智慧的赋能，“千厕一云”的公共厕所云管理模式应运而生。智慧公厕的云端多屏管理，将各个公厕连接在一起，实现信息的共享和管理的集中化。通过大数据、云计算
  • Github 2024-03-26 开源项目日报 Top10 老孙正经胡说 github开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2024-03-26统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Python项目3TypeScript项目3JupyterNotebook项目2C++项目1GDScript项目1Lua项目1Solidity项目1OpenInterpreter:本地代码运行和自然语言界面创建周期：254天开发语言：Python协议
  • 使用Spring Boot Admin监控和管理Spring Boot应用程序 岚珂瓜呱 springbootspringboot后端javaspringmybatis数据库
    使用SpringBootAdmin监控和管理SpringBoot应用程序SpringBootAdmin是一个用于监控和管理SpringBoot应用程序的开源工具。它提供了一个直观的用户界面，用于查看应用程序的健康状态、详细信息、日志等，并支持一些管理功能。下面是一个简单的示例，演示如何在SpringBoot应用程序中集成SpringBootAdmin：添加SpringBootAdmin依赖：首先，
  • 关于HDP的20道高级运维面试题 编织幻境的妖 运维
    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
  • 生信星球学习小组第80期 Day3笔记--ZJUSKY ZJUSKY
    Conda简介Conda是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。简单来说Conda就是Linux系统下的应用商店，你可以在通过Conda下载，安装很多软件。这里我们推荐miniconda,它只包含了最基本的内容，python和conda，以及相关的必须依赖项。精简的miniconda足够满足日常生信使用。下载miniconda推荐使用清
  • 我的金钱观 冠世墨玉yanzi
    昨天微社几个人聚会，说起来钱财的事，我说，我是受过很多困窘的，不过从金钱上的困窘学会的，更是对人的认识，以及金钱对于一个人的意义。有钱有多好，自不必说，我目前想要实现的愿望，比如说说走就走的旅游，比如说想上就上的课程，还有想让自己变得更美也需要投资，但是囊中羞涩时多，放弃的也就多。困窘了就想要改变，也不是没有努力过，节衣缩食也有过，设法开源也试过，总也做不到，还可以借力，可老公也是愚笨，父母又不具
  • 【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理 音乐学家方大刚 ScalaHadoophadoopscalaspark
    风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
  • ELK离线安装和配置流程 GB9125 运维开发elasticsearchelklinux运维开发
    ELK离线安装和配置流程一、介绍ELK是一个开源的数据分析和可视化工具，由三个开源项目组成：Elasticsearch、Logstash和Kibana。Elasticsearch是一个基于Lucene库的分布式搜索和分析引擎；Logstash是一个用于收集、处理和转换数据的数据管道，它可以从各种来源读取数据，包括日志文件、系统事件、网络流量等；Kibana则是一个数据可视化平台，可以对从Elast
  • Github 2024-03-25 开源项目日报Top10 老孙正经胡说 github开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2024-03-25统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Python项目4JupyterNotebook项目2TypeScript项目2GDScript项目1Lua项目1Go项目1Dart项目1OpenInterpreter:本地代码运行和自然语言界面创建周期：254天开发语言：Python协议类型：GN
  • 3月23日，每日信息差 信息差Pro 信息差Pro大数据oracle数据库mysqlsql
    素材来源官方媒体/网络新闻首个国产单池万卡液冷算力集群投入运营，满足万亿级大模型训练需求快手电商正式启动兴农计划360AI浏览器APP即将上线，支持500万字长文本处理安卓15将支持音频共享，可同时连接多个耳机播放音乐✨音视频领域首个，阿里云推出华为鸿蒙HarmonyOSNEXT版音视频SDK全球首个万兆宽带落户上海一小区：下载90GB文件72秒第一、中国电信宣布，天翼云上海临港国产万卡算力池正式
  • 阿里云新用户专享优惠券在哪领取？阿里云新用户优惠券怎么使用？ 阿里云最新优惠和活动汇总
    阿里云新用户专享优惠券在哪领取？阿里云新用户优惠券怎么使用？阿里云优惠券是阿里云的一种优惠活动，也称为阿里云限量红包，阿里云优惠券可以在购物中抵扣同样等值的现金使用。合理使用优惠券，当购物者购买云产品达到满减条件时,凭阿里云优惠券可享有一定的总额减免。阿里云无门槛优惠券在哪里领取？目前阿里云的新客专属福利如下，阿里云新用户可以无门槛领取优惠券，最高888元：5元无门槛优惠券，满50减5优惠券，满1
  • 关于虚拟机下安装CentOS7及C++开发环境的搭建 dllmayday C++
    由于平时工作的环境就是在服务器端的CentOS上进行C++的开发，所以周末闲来无事就在自己的电脑上安装了虚拟机，然后再虚拟机上安装的CentOS的操作系统。虚拟机软件用的是VMwareworkstation12版本的，安装按照引导直接进行安装即可，没有太大的问题。产品密钥可以在网上找。虚拟机安装完之后接下来是CentOS7系统的安装。CentOS系统是RedHat系统的开源系统，在Linux的各个
  • 渔夫码头密语: 记录使用 Docker 安装 Wordpress shelby_loo docker容器运维
    最近在阿贝云的免费服务器上试水,配置虽小(1核CPU、1G内存、10G硬盘、5M带宽),但对此次任务正合适。作为国内首家提供这样不错的免费云服务器的阿贝云,给我们开源界添增不少乐子,在这里对Docker和Wordpress去搞一搞,总比呆在办公室曱甴better!今天与你分享一下如何在Ubuntu系统上使用Docker快速搭建Wordpress博客环境。Wordpress作为全球最大同类型开源内容
  • 一文详解大数据时代与低代码开发应用 快乐非自愿 大数据低代码
    随着信息技术的飞速发展，我们迎来了一个崭新的时代——大数据时代。在这个时代，数据成为了一种新的资源，大数据技术的应用成为了推动社会进步的关键力量。而在大数据技术的浪潮中，低代码开发应用也逐渐崭露头角，以其高效、灵活的特点，成为大数据时代的重要支撑。大数据时代的来临随着科技的飞速发展和互联网的广泛普及，我们迎来了一个被称为“大数据时代”的全新时代。这个时代，数据无处不在，无时不刻不在增长，其规模之大
  • Spark面试整理-Spark是什么？ 不务正业的猿 面试Sparkspark大数据分布式
    ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。自那时起，Spark已经成为大数据处理中最受欢迎和广泛使用的框架之一。下面是Spark的一些关键特点：速度：Spark使用了先进的DAG（有向无环图）执行引擎，可以支持循环数据流和内存计算。这使得Spark在数据处理方面
  • redis学习笔记——不仅仅是存取数据 Everyday都不同 returnSourceexpire/delincr/lpush数据库分区redis
    最近项目中用到比较多redis，感觉之前对它一直局限于get/set数据的层面。其实作为一个强大的NoSql数据库产品，如果好好利用它，会带来很多意想不到的效果。（因为我搞java，所以就从jedis的角度来补充一点东西吧。PS：不一定全，只是个人理解，不喜勿喷）   1、关于JedisPool.returnSource(Jedis jeids)   这个方法是从red
  • SQL性能优化-持续更新中。。。。。。 atongyeye oraclesql
    1 通过ROWID访问表--索引 你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高. 2 共享SQL语句--相同的sql放入缓存 3 选择最有效率的表
  • [JAVA语言]JAVA虚拟机对底层硬件的操控还不完善 comsci JAVA虚拟机
         如果我们用汇编语言编写一个直接读写CPU寄存器的代码段，然后利用这个代码段去控制被操作系统屏蔽的硬件资源，这对于JVM虚拟机显然是不合法的，对操作系统来讲，这样也是不合法的，但是如果是一个工程项目的确需要这样做，合同已经签了，我们又不能够这样做，怎么办呢？ 那么一个精通汇编语言的那种X客，是否在这个时候就会发生某种至关重要的作用呢？ &n
  • lvs- real 男人50 LVS
    #!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # #.  /etc/rc.d/init.d/functions VIP=10.10.6.252 host='/bin/hostname' case "$1" in sta
  • 生成公钥和私钥 oloz DSA安全加密
    package com.msserver.core.util; import java.security.KeyPair; import java.security.PrivateKey; import java.security.PublicKey; import java.security.SecureRandom; public class SecurityUtil {
  • UIView 中加入的cocos2d，背景透明 374016526 cocos2dglClearColor
    要点是首先pixelFormat:kEAGLColorFormatRGBA8，必须有alpha层才能透明。然后view设置为透明glView.opaque = NO;[director setOpenGLView:glView];[self.viewController.view setBackgroundColor:[UIColor clearColor]];[self.viewControll
  • mysql常用命令 香水浓 mysql
    连接数据库 mysql -u troy -ptroy 备份表 mysqldump -u troy -ptroy mm_database mm_user_tbl > user.sql 恢复表（与恢复数据库命令相同） mysql -u troy -ptroy mm_database < user.sql 备份数据库 mysqldump -u troy -ptroy
  • 我的架构经验系列文章 - 后端架构 - 系统层面 agevs JavaScriptjquerycsshtml5
    系统层面： 高可用性 所谓高可用性也就是通过避免单独故障加上快速故障转移实现一旦某台物理服务器出现故障能实现故障快速恢复。一般来说，可以采用两种方式，如果可以做业务可以做负载均衡则通过负载均衡实现集群，然后针对每一台服务器进行监控，一旦发生故障则从集群中移除；如果业务只能有单点入口那么可以通过实现Standby机加上虚拟IP机制，实现Active机在出现故障之后虚拟IP转移到Standby的快速
  • 利用ant进行远程tomcat部署 aijuans tomcat
    在javaEE项目中，需要将工程部署到远程服务器上，如果部署的频率比较高，手动部署的方式就比较麻烦，可以利用Ant工具实现快捷的部署。这篇博文详细介绍了ant配置的步骤（http://www.cnblogs.com/GloriousOnion/archive/2012/12/18/2822817.html），但是在tomcat7以上不适用，需要修改配置，具体如下： 1.配置tomcat的用户角色
  • 获取复利总收入 baalwolf 获取
           public static void main(String args[]){         int money=200;         int year=1;         double rate=0.1; &
  • eclipse.ini解释 BigBird2012 eclipse
    大多数java开发者使用的都是eclipse，今天感兴趣去eclipse官网搜了一下eclipse.ini的配置，供大家参考，我会把关键的部分给大家用中文解释一下。还是推荐有问题不会直接搜谷歌，看官方文档，这样我们会知道问题的真面目是什么，对问题也有一个全面清晰的认识。 Overview 1、Eclipse.ini的作用 Eclipse startup is controlled by th
  • AngularJS实现分页功能 bijian1013 JavaScriptAngularJS分页
            对于大多数web应用来说显示项目列表是一种很常见的任务。通常情况下，我们的数据会比较多，无法很好地显示在单个页面中。在这种情况下，我们需要把数据以页的方式来展示，同时带有转到上一页和下一页的功能。既然在整个应用中这是一种很常见的需求，那么把这一功能抽象成一个通用的、可复用的分页（Paginator）服务是很有意义的。   &nbs
  • [Maven学习笔记三]Maven archetype bit1129 ArcheType
    archetype的英文意思是原型，Maven archetype表示创建Maven模块的模版，比如创建web项目，创建Spring项目等等.   mvn archetype提供了一种命令行交互式创建Maven项目或者模块的方式，   mvn archetype   1.在LearnMaven-ch03目录下，执行命令mvn archetype:gener
  • 【Java命令三】jps bit1129 Java命令
    jps很简单，用于显示当前运行的Java进程，也可以连接到远程服务器去查看   [hadoop@hadoop bin]$ jps -help usage: jps [-help] jps [-q] [-mlvV] [<hostid>] Definitions: <hostid>: <hostname>[:
  • ZABBIX2.2 2.4 等各版本之间的兼容性 ronin47
    zabbix更新很快，从2009年到现在已经更新多个版本，为了使用更多zabbix的新特性，随之而来的便是升级版本，zabbix版本兼容性是必须优先考虑的一点 客户端AGENT兼容 zabbix1.x到zabbix2.x的所有agent都兼容zabbix server2.4：如果你升级zabbix server，客户端是可以不做任何改变，除非你想使用agent的一些新特性。 Zabbix代理（p
  • unity 3d还是cocos2dx哪个适合游戏？ brotherlamp unity自学unity教程unity视频unity资料unity
    unity 3d还是cocos2dx哪个适合游戏？ 问：unity 3d还是cocos2dx哪个适合游戏？ 答：首先目前来看unity视频教程因为是3d引擎，目前对2d支持并不完善，unity 3d 目前做2d普遍两种思路，一种是正交相机，3d画面2d视角，另一种是通过一些插件，动态创建mesh来绘制图形单元目前用的较多的是2d toolkit，ex2d，smooth moves，sm2，
  • 百度笔试题：一个已经排序好的很大的数组，现在给它划分成m段，每段长度不定，段长最长为k，然后段内打乱顺序，请设计一个算法对其进行重新排序 bylijinnan java算法面试百度招聘
    import java.util.Arrays; /** * 最早是在陈利人老师的微博看到这道题： * #面试题#An array with n elements which is K most sorted，就是每个element的初始位置和它最终的排序后的位置的距离不超过常数K * 设计一个排序算法。It should be faster than O(n*lgn)。
  • 获取checkbox复选框的值 chiangfai checkbox
    <title>CheckBox</title> <script type = "text/javascript"> doGetVal: function doGetVal() { //var fruitName = document.getElementById("apple").value;//根据
  • MySQLdb用户指南 chenchao051 mysqldb
    原网页被墙，放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb
  • HIVE 窗口及分析函数 daizj hive窗口函数分析函数
    窗口函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 一、分析函数 用于等级、百分点、n分片等。 函数             说明 RANK()     &nbs
  • PHP ZipArchive 实现压缩解压Zip文件 dcj3sjt126com PHPzip
    PHP ZipArchive 是PHP自带的扩展类，可以轻松实现ZIP文件的压缩和解压，使用前首先要确保PHP ZIP 扩展已经开启，具体开启方法就不说了，不同的平台开启PHP扩增的方法网上都有，如有疑问欢迎交流。这里整理一下常用的示例供参考。 一、解压缩zip文件 01 02 03 04 05 06 07 08 09 10 11
  • 精彩英语贺词 dcj3sjt126com 英语
    I'm always here              我会一直在这里支持你                &nb
  • 基于Java注解的Spring的IoC功能 e200702084 javaspringbeanIOCOffice
                                      
  • java模拟post请求 geeksun java
    一般API接收客户端（比如网页、APP或其他应用服务）的请求，但在测试时需要模拟来自外界的请求，经探索，使用HttpComponentshttpClient可模拟Post提交请求。 此处用HttpComponents的httpclient来完成使命。 import org.apache.http.HttpEntity ; import org.apache.http.HttpRespon
  • Swift语法之 ---- ?和!区别 hongtoushizi ?swift!
    转载自： http://blog.sina.com.cn/s/blog_71715bf80102ux3v.html   Swift语言使用var定义变量，但和别的语言不同，Swift里不会自动给变量赋初始值，也就是说变量不会有默认值，所以要求使用变量之前必须要对其初始化。如果在使用变量之前不进行初始化就会报错： var stringValue : String //
  • centos7安装jdk1.7 jisonami jdkcentos
    安装JDK1.7 步骤1、解压tar包在当前目录 [root@localhost usr]#tar -xzvf jdk-7u75-linux-x64.tar.gz 步骤2：配置环境变量 在etc/profile文件下添加 export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=/usr/java/jdk1.7.0_75/lib
  • 数据源架构模式之数据映射器 home198979 PHP架构数据映射器datamapper
    前面分别介绍了数据源架构模式之表数据入口、数据源架构模式之行和数据入口数据源架构模式之活动记录，相较于这三种数据源架构模式，数据映射器显得更加“高大上”。   一、概念 数据映射器（Data Mapper）：在保持对象和数据库（以及映射器本身）彼此独立的情况下，在二者之间移动数据的一个映射器层。概念永远都是抽象的，简单的说，数据映射器就是一个负责将数据映射到对象的类数据。 &nb
  • 在Python中使用MYSQL pda158 mysqlpython
    缘由 　　近期在折腾一个小东西须要抓取网上的页面。然后进行解析。将结果放到 数据库中。 　　了解到 Python在这方面有优势，便选用之。 　　由于我有台 server上面安装有 mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里 记录一下，大家共勉。 　　 python中mysql的调用 　　 百度之后能够通过MySQLdb进行数据库操作。
  • 单例模式 hxl1988_0311 java单例设计模式单件
    package com.sosop.designpattern.singleton; /* * 单件模式：保证一个类必须只有一个实例，并提供全局的访问点 * * 所以单例模式必须有私有的构造器，没有私有构造器根本不用谈单件 * * 必须考虑到并发情况下创建了多个实例对象 * */ /** * 虽然有锁，但是只在第一次创建对象的时候加锁，并发时不会存在效率
  • 27种迹象显示你应该辞掉程序员的工作 vipshichg 工作
    1、你仍然在等待老板在2010年答应的要提拔你的暗示。 2、你的上级近10年没有开发过任何代码。 3、老板假装懂你说的这些技术，但实际上他完全不知道你在说什么。 4、你干完的项目6个月后才部署到现场服务器上。 5、时不时的，老板在检查你刚刚完成的工作时，要求按新想法重新开发。 6、而最终这个软件只有12个用户。 7、时间全浪费在办公室政治中，而不是用在开发好的软件上。 8、部署前5分钟才开始测试。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他