极客星球 | 阿里：云原生数据湖构建与分析最佳实践

编者按：6月24日【Coder Park】第一季架构篇之大数据平台架构分享线上直播活动圆满结束。本期特邀MobTech袤博科技合伙人、首席数据官杨冠军担当出品人，阿里巴巴计算平台事业部大数据平台技术专家王道远和MobTech 袤博科技大数据PaaS平台负责人大宗师两位嘉宾围绕“数据湖”和“PaaS平台”等技术架构展开主题分享，Apache Spark中国技术社区、掘金、开源中国、Segmentfault思否、华为HDG、麦思博、Python中文社区、软件绿色联盟等社区联合宣发，Coder Park旨在帮助企业在复杂的业务形态下，升级架构思维，支撑业务发展。

以下是阿里巴巴计算平台事业部大数据平台技术专家王道远在本次活动中的分享内容：

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第1张图片

主题：云原生数据湖构建与分析最佳实践

讲师：王道远，阿里巴巴计算平台事业部 大数据平台技术专家

内容框架：

  • 背景介绍
  • 架构分析
  • 性能与成本
  • 客户案例

一、背景介绍

大数据 4V概念：

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第2张图片

第一代云上开源大数据平台

  • 数据快速增长时，存储成本高
  • HDFS NameNode横向扩展瓶颈
  • HDFS Federation运维复杂度比较高

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第3张图片

第二代云上开源大数据平台

  • 引入OSS
  • 主要实现HDFS 接口，体验一般
  • 成本没有明显降低

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第4张图片

第三代云上开源大数据平台

  • 集中统一存储
  • 数据分层存储
  • 计算资源弹性伸缩
  • 规避HDFS运维复杂度

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第5张图片

二、架构分析

EMR数据湖架构

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第6张图片

数据湖计算-弹性伸缩

基于云的特性，获得资源的弹性

  • 计算资源的弹性
  • 存储资源的弹性

灵活的弹性集群

  • 计算与存储分离，只在需要的时候
  • 才添加计算
  • EMR的动态计算组，按照集群状态
  • 来进行伸缩
  • Spot instance
  • 包月+按量组合

弹性伸缩

  • 按照时间
  • 按照负载
    极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第7张图片

数据湖计算– 容器

  • 支持主流引擎Spark和Presto
  • 计算与存储分离架构
  • Remote Shuffle Service 架构

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第8张图片

数据湖存储– JindoFS

易用

  • 支持主要开源计算框架，且对框架透明
  • 无需修改用户对OSS的使用方案
  • 多种缓存设备内存/SSD/HDD
  • 支持FUSE文件挂载

企业级

  • 高数据可靠性，11个9
  • 高可用架构，支持Auto Failover
  • 数据权限管理，Ranger列级别权限管理
  • Audit Log审计
  • 小文件分析

高性能

  • 对比社区流行方案，TPC-DS 1TB
  • Spark SQL 2.4.5 性能提升27%
  • PrestoSQL 0.338性能提升93%
  • Hive ETL 2.3.5性能提升42%

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第9张图片

参考网址：https://github.com/aliyun/ali...

数据湖元数据Data Lake Formation

元数据管理

  • 统一元数据管理，解决元数据多引擎一致性问题
  • 自动生成元数据，降低使用成本

访问控制

  • 集中数据访问权限控制，多引擎统一集中式赋权
  • 数据访问日志审计，统计数据访问信息

数据入湖

  • 支持多种数据源入湖，MySQL、SLS、OTS、Kafka等
  • 离线/实时入湖，支持Delta/Hudi等多种数据湖格式
  • 数据入湖预处理，支持字段mapping/转换/自定义udf操作

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第10张图片

三、性能与成本

性能与成本– Remote Shuffle Service

  • Shuffle数据通过网络写出，中间数据计算与存储分离架构
  • DFS2副本，消除fetch failed 引起的重算，shuffle heavy 作业更加稳定
  • Reduce阶段顺序读磁盘，避免现有版本的随机IO，大幅提升性能

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第11张图片

性能与成本– 数据预计算

  • Ad-hoc场景
  • 预计算Cube
  • 动态重写查询计划
  • 秒级响应

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第12张图片

性能与成本– 数据预组织

  • DataSkipping index

    收集文件各列minmax信息，根据filter裁剪要读取的文件总数

  • Z-Order

    多维综合排序，在多个字段提升文件裁剪效果

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第13张图片

性能与成本– 列存加速

  • Native Engine加速I/O效率
  • Native 实现
  • 高并发
  • 发挥OSS水平扩展能力
  • 计算下推

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第14张图片

性能与成本– 分层存储

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第15张图片

四、客户案例

客户案例一：

客户简介

  • 游戏行业

客户需求

  • 数百节点HDP，版本维护成本高，软件升级困难
  • 物理机弹性能力不足，需要云上的弹性能力和扩张能力
  • 计算和存储绑定，硬件升级成本高

数据湖方案

  • 采用OSS替代HDFS，作为企业统一数据湖，采用分层存储降低用户使用成本
  • 使用EMR JindoFS对接Hive/Presto/Tez计算引擎
  • AI模型训练采用Spark弹性伸缩集群，弹性伸缩资源比率占集群算力的90%
  • Druid采用JindoFS做为Deep Storage，实现

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第16张图片

客户案例二：

客户简介

  • 国内互联网金融头部客户
  • 每个业务均采用独立的集群模式
  • AWS EMR典型客户，根据部门和数据划分20-30集群，每天千台规模节点弹性伸缩

客户需求

  • 用户服务了大量内部和外部用户，且数据较为敏感，要求严格的数据权限隔离
  • 大量OSS的rename等操作，性能要求高
  • 根据任务自动大规模弹性扩缩容

客户价值

  • 通过JindoFS满足了用户的数据计算性能需求，尤其是部分操作场景上，在有限带宽的情况下和S3的性能表现一致
  • EMR Ranger对数据湖数据权限严格管控
  • 企业能力如资源组等的支持，协助进行负责的资源隔离能力

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第17张图片

你可能感兴趣的:(数据分析数据湖云原生)

  • 数据分析-18-时间序列分析的季节性检验 皮皮冰燃 数据分析数据分析
    1什么是时间序列时间序列是一组按时间顺序排列的数据点的集合，通常以固定的时间间隔进行观测。这些数据点可以是按小时、天、月甚至年进行采样的。时间序列在许多领域中都有广泛应用，例如金融、经济学、气象学和工程等。时间序列的分析可以帮助我们理解和预测未来的趋势和模式，以及了解数据的周期性、趋势、季节性等特征。常用的时间序列分析方法包括平滑法、回归分析、ARIMA模型、指数平滑法和机器学习方法等。1.1时间
  • 【题目】数据分析与数据思维选择题 天启和风 大数据题目数据分析数据挖掘大数据
    1.以下选项中不属于数据预处理的是（）A.数据清理B.数据可视化C.数据变换D.数据集成解析：选B。数据清洗指对数据集中的不完整、不合理或不准确的数据进行修补、去重、纠错、修补或删除数据变换将原始数据变换成符合目标算法要求的数据数据集成指对来自不同的数据源的数据进行集成处理2.用来描述访问了某个项目一次就退出的次数和这个项目总访问的次数的比率的基础指标是_？A.跳失率B.费效比C.渠道转换率D.访
  • Python和数据分析：Seaborn新手指南 Python_魔力猿 python数据分析信息可视化
    Seaborn是建立在Matplotlib之上的统计数据可视化库，它提供了高级接口和漂亮的默认样式，使得数据可视化变得更加简单和美观。1.导论Seaborn在数据可视化中的角色和优势体现在以下方面：简化API：Seaborn的API设计更加简洁，容易使用，尤其适合初学者。它能够通过几行代码生成漂亮而具有信息含量的图表。美观的默认样式：Seaborn具有吸引人的默认颜色和样式，无需额外的配置即可生成
  • 大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案 数字化建设方案 数字化转型数据治理主数据数据仓库大数据
    大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案项目背景和目标项目背景项目目标建设原则与策略数据中台架构设计整体架构设计思路数据采集层数据存储层数据计算层数据服务层数据中枢功能实现数据治理功能数据资产管理功能数据安全管控功能数据服务总线功能数据湖存储与计算方案数据湖存储架构设计数据湖计算框架选择数据湖应用场景分析数据湖安全与合规性
  • 大数据分析与安全分析 Zh&&Li 网络安全运维数据分析安全数据挖掘运维数据库
    大数据分析一、大数据安全威胁与需求分析1.1大数据相关概念发展大数据：是指非传统的数据处理工具的数据集大数据特征：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现，主要包括大规模数据分析处理、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和存储系统1.2大数据安全威胁分析“数
  • 如何用python爬取股票数据选股_用python爬取股票数据 weixin_39752087
    获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。一、网页源码的获取很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。imp
  • Python在金融大数据分析中的AI应用实战 田野猫咪 python金融数据分析
    随着人工智能时代的到来，Python作为一种功能强大的编程语言，在金融领域的大数据分析中扮演着日益重要的角色。本文将探讨Python在金融领域的应用，重点介绍其在大数据分析方面的实际应用案例，涉及股票市场分析、投资组合优化、风险管理等方面，并提供相关的代码示例。引言随着金融市场数据规模的不断增长，金融机构和投资者们越来越依赖于大数据分析和人工智能技术来做出更准确、更智能的决策。Python作为一种
  • Python数据分析之证券之星沪深A股基本信息爬取与分析 卓小曙 python数据分析数据分析python
    Python数据分析之证券之星沪深A股基本信息爬取与分析上周爬取了证券之星上沪深A股的信息，我对股票完全是小白，对流通市值这些完全不了解，是上网先了解了一下，老实说虽然有了基本概念，但在数据分析时还是一头雾水，所以今天只说一下我在爬取和分析时遇到的问题（不涉及股票方面知识，只是分析数据，只是分析数据，只是分析数据），希望能对大家有帮助，也希望得到大家的意见！爬取数据获取网页内容爬取方面依旧是我常用
  • Python数据分析之pandas学习！ Python_trys python数据分析pandas开发语言学习ide
    Python中的pandas模块进行数据分析。接下来pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理7、利用pandas实现Excel的数据透视表功能8、多层索引的使用在文章开始前打个
  • heidisql linux 安装_Linux和Windows下Mysql数据库安装详解 吴钧泽 heidisqllinux安装
    目录数据库原理数据库简介文件存储对数据的存储需求一直存在。保存数据的方式，经历了手工管理、文件管理等阶段，直至数据库管理阶段。文件存储方式保存数据的弊端：缺乏对数据的整体管理,数据不便修改；不利于数据分析和共享;数据量急剧增长,大量数据不可能长期保存在文件中。数据库应运而生，是人们存放数据、访问数据、操作数据的存储仓库。DB和DBMS数据库(Database,简称DB)是按照数据结构来组织、存储和
  • 从管控角度谈慢SQL治理 egzosn sql数据库服务器oracle运维
    一、什么是慢SQL慢SQL是指那些执行效率低下、响应时间长，导致用户等待时间变长和服务器资源利用率下降的SQL查询。那么，如何定义一个SQL查询是"慢"的呢？这不是一个绝对时间的问题，而是需要从多维度考量。时间维度最常见的定义慢SQL的方法是时间阈值。这个阈值可以根据不同的系统和性能要求设置。例如，一个查询如果在网页应用中执行时间超过2秒，或在数据分析系统中执行超过30秒，就可以被认为是慢的。业务
  • 成为数据分析师的必要条件 HsuHeinrich 数据分析数据分析
    开篇成为数据分析师的必要条件作为一名成熟的数据分析师，那必然是要头顶Python，脚踩SQL，左手一个Tableau，右手一个Excel。能取数，会报表，埋点AB两不误，分析落地显价值。那在日常工作中具体需要具备哪些技能呢？笔者根据个人工作学习，对自己做了个技能画像。接下来，笔者将从工具应用、理论基础、数字基建、分析思维四个方面介绍数据分析的必要条件。对其中一些基本技能附上基础教程，帮助初学者迈进
  • 如何快速上手Python，成为一名数据分析师 Want595 #图书推荐python数据分析开发语言
    目录写在前面推荐图书推荐理由粉丝福利写在最后写在前面520快乐！喜欢Python的小伙伴有福啦，本期博主给大家推荐一本入门Python的热门书籍，快来看看吧~推荐图书《Python数据分析快速上手》(王靖，商艳红，张洪波，卢军)【摘要书评试读】-京东图书编辑推荐Python作为一种强大且易于学习的编程语言，已经成为数据分析的首选工具。《Python数据分析快速上手》是一本为初学者、职场人士以及对数
  • 【python】最新版小红书js逆向拿到数据，非常详细教程（附完整代码） 景天科技苑 爬虫副业实战零基础进阶教学pythonjs逆向小红书逆向python爬虫
    ✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，前后端开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，linux，shell脚本等实操经验，网站搭
  • 构建数字产业生态链，共绘数字经济新蓝图 树莓集团 人工智能大数据物联网科技生活
    在当今数字化浪潮席卷全球的时代，构建数字产业生态链成为了推动经济发展的关键引擎。数字产业生态链如同一个强大的磁场，吸引着各类创新要素汇聚，共同描绘出数字经济的宏伟新蓝图。数字产业生态链的核心在于融合与协同。它将软件开发、数据分析、人工智能、物联网等多个领域紧密连接在一起，打破传统产业界限，实现资源的高效整合与共享。不同的数字技术相互赋能，催生出全新的商业模式和产业形态。构建数字产业生态链，离不开创
  • Python八大主要应用领域，你都知道吗？ TOP级别安卓开发 程序员python开发语言
    随着NumPy，SciPy，Matplotlib等众多程序库的开发和完善，Python越来越适合于做科学计算和数据分析了。它不仅支持各种数学运算，还可以绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python比Matlab所采用的脚本语言的应用范围更广泛，可以处理更多类型的文件和数据。4、人工智能当前最热工资最高的IT工作就是从事人工智能领域的工程师了。Python
  • 游戏运营环节的一些关键转化率 turtle081025 数据分析游戏网络游戏运营
    转载于http://www.gamedatas.com/archives/134转化率这个指标在各行各业的数据分析中运用的非常之广泛，例如：电商中就会存在，点击到订单生成的一系列转化率，传统的销售行业也会在做广告的时候考虑该广告能够转化多少订单，而在游戏行业，转化率同样是一个不容忽视的指标。一般来说，游戏运营的过程中主要会关注到这些转化率：1.下载-安装（激活）转化率；2.安装（激活）-注册转化率
  • 使用matlab的热门问题 七十二五 值得关注matlab开发语言青少年编程算法经验分享
    MATLAB广泛应用于科学计算、数据分析、信号处理、图像处理、机器学习等多个领域，因此热门问题也涵盖了这些方面。以下是一些可能被认为当前最热门的MATLAB问题：深度学习与神经网络：如何使用MATLAB的深度学习工具箱（DeepLearningToolbox）来构建和训练神经网络？如何利用MATLAB进行图像识别、语音识别或自然语言处理等深度学习应用？数据分析与可视化：如何使用MATLAB进行大数
  • 数据库，数据仓库，数据湖，湖仓一体到底是什么区别 大数据小尘 数据库数据仓库spark
    昨天结束的一场面试，面试官问了下我对数据仓库和数据湖的理解，根据之前的理解我说了下数据湖是数据仓库某些时候的缓存，然后面试官反问说我确定这个用词对吗？没理解到位，所以去了解之后再整体输出下我自己的理解。先说下上面的答案，数据仓库和数据湖可以是互相独立存在的，不存在谁是谁的缓存一说，但是如果涉及到湖仓一体的时候，数仓是结构化的数据访问入口，而底层的数据湖是可以作为数仓的底层的存储支持。要了解各个概念
  • 【数据获取与读取】JSON & CSV yogurt=b 数据分析jsonpython
    数据分析流程获取数据-读取数据-评估数据-清洗数据-整理数据-分析数据-可视化数据公开数据集飞桨（百度旗下深度学习平台）数据集：https:/aistudio.baidu.com/aistudio/datasetoverview天池（阿里云旗下开发者竞赛平台）:https:/tianchiaiyun.com/dataset/和鲸社区（数据科学开源社区）数据集：htps://www.heywhale
  • 每个分布式营销团队都应该使用的5种分析工具 AI进修生 分布式
    没有数据分析的营销就像没有计划的训练——当然，你可能会取得一些进展，但是你很可能没有将工作时间和努力投资在最有效的方式上。它是没有方向的，容易变成毫无目的的磨炼，通常会产生不可预测或次优的结果。但你已经了解这些了，所以你用GoogleAnalytics来追踪你网站的性能指标。你还可能会定期查看你的邮件和社交媒体营销平台内置的分析工具，以监控你的内容和广告表现。但这足够吗？特别是当你希望你的营销团队
  • ChatGPT在环境科学领域的应用前沿分享 树谷-胡老师 科研会议chatgpt
    ChatGPT在环境科学领域的应用前沿在党的二十届三中全会上，明确要求健全因地制宜的发展新质生产力体制机制。新质生产力通过创新驱动，以高科技、高效能、高质量为特征，旨在摆脱传统经济增长方式和生产力发展路径，符合新发展理念。环境科学的新质生产力主要体现在基础数据、数据管理和数据分析三方面。通过增加数据覆盖率、提升数据管理自动化水平和利用人工智能（AI）进行数据分析，实现环境质量的实时监控和管理，为环
  • 2021年05月1-11检视 成长为价值投资者
    5月目标：3日前完成应收账款更新---增加逾期并作为绩效的扣除项，不停与人沟通交流，好处增加催货款的主动性，财务控制作用，坏处就得罪人，增加日常工作量。考虑增加奖励项。工行贷款进行时，兴业贷款进行时。11日前完成月度数据分析--完成。15日前完成相关税务报表--完成。24日凭证整理装订投资及紫微斗数阅读，完善年度计划，目标不会高于梦想，所以自己的梦想不设限！一、事业（25分）目标：有老板的全局思维
  • Python Pandas将 DataFrame 转换为列表详解 Rocky006 pythonpandas开发语言数据分析
    概要在数据分析和处理过程中，经常会使用到Pandas库来处理和操作数据。Pandas提供了灵活强大的数据结构DataFrame，它可以存储和处理各种类型的数据，并提供了丰富的方法和函数来进行数据操作。有时候，我们需要将DataFrame转换为列表形式，以便进一步处理或者与其他库进行集成。本文将详细介绍如何使用Pandas将DataFrame转换为列表，并提供丰富的示例代码来帮助读者更好地理解和应用
  • 软件架构的技术选型应该考虑哪些因素 jlzjtz 项目管理软件工程产品经理个人开发
    在软件开发中，技术选型是至关重要的环节。正确的技术选择可以帮助提升软件的质量、可维护性和可扩展性。本文将探讨在软件架构技术选型过程中，需要考虑的主要因素，以及如何根据项目需求选择合适的架构和技术。基本方向：1.理解业务需求和项目目标首先，要了解业务需求和项目目标。不同的项目可能需要不同的技术栈。例如，如果项目注重实时性，可能需要选择消息队列或实时数据处理技术。如果项目是云原生的，那么Kuberne
  • 五款BI对比分析 qq_43696218 信息可视化
    本文将用一两段话来概括市面上比较常用的五款BI软件，至于究竟哪一款BI软件更适合你，则需要根据自己的情况进行选择了。注意：以下排名不分先后1、FineBIFineBI是一款国产的BI工具，以其本土化做得好和学习教程完善而广受欢迎。它提供了与国产数据库的高适配度和适合中国人使用习惯的图表、指标，使得业务人员能够更轻松地理解和分析数据。FineBI的易用性和强大的数据分析功能使其成为业务人员的得力助手
  • 2021-01-02随笔 0清婉0
    人工智能时代最重要的是机器学习，像数据分析、图像识别、数据挖掘、自然语言处理、语音识别等都是以其为基础的，也可以说人工智能的各种应用都需要机器学习来支撑。现在各大公司越来越注重数据的价值，人工成本也是越来越高，所以机器学习也就变得不可或缺了。数据分析、自然语言处理、语音识别，这将是作为前端人员的我，在2021年学习的重点。现收集几本关于数据分析的书籍，作为参考书籍学习：1.《跟着迪哥学Python
  • 数据分析师之打杂入门--运营学习 爱数据爱分析
    接上篇数据分析师之打杂入门--数据技能学习(网址：https://www.jianshu.com/writer#/notebooks/41435296/notes/58416752)在经历了辛苦的业务学习、数据学习后，很多分析师们以为可以羽扇纶巾、指点江山、激扬数据、提出策略、指导业务发展了。然而现实是：1、今天拉个数据，明天换个统计口径再拉数据。2、本周开发个报表，下周叠加字段继续开发报表，加班
  • Python-Matplotlib实现新冠病毒疫情数据分析-超细致流-逐行注解 wx1871428 Python
    (1)需求背景我将扮演一名数据工作者。在目前国内的新冠病毒疫情背景下，你觉得应该用数据做重新剖析一下疫情状况，恰好现在有一份2020.1.22至2020.2.13的全国疫情数据，我将对疫情现状做一个基本分析作为一名python数据分析是,面对元素数据,我将完成以下工作:a.读取数据,初步了解数据结构b.清洗数据,使数据能做进一步分析c.呈现结果1.全国疫情确诊病例Top10那些省市2.查看不同日期
  • 【免费培训】脑电统计分析专题班（直播：2023.7.9） 茗创科技
    课程背景统计分析通过对数据进行定量和定性分析，使繁杂的数据变得直观且形象。它作为一门实践性很强的课程，对各学科领域的发展起着非常重要的作用，特别是作为一种认识心理现象数量特征的重要工具受到了广大心理学工作者的重视。统计分析有助于建立问题和数据之间的关系，从而更好地了解和发现事物的内在规律。但如果大家在科研数据分析过程中只是记住操作步骤，缺乏对各种统计分析方法的原理、应用条件和检验结果的理解，不能很
  • 桌面上有多个球在同时运动，怎么实现球之间不交叉，即碰撞？ 换个号韩国红果果 html小球碰撞
    稍微想了一下，然后解决了很多bug，最后终于把它实现了。其实原理很简单。在每改变一个小球的x y坐标后，遍历整个在dom树中的其他小球，看一下它们与当前小球的距离是否小于球半径的两倍？若小于说明下一次绘制该小球（设为a）前要把他的方向变为原来相反方向（与a要碰撞的小球设为b），即假如当前小球的距离小于球半径的两倍的话，马上改变当前小球方向。那么下一次绘制也是先绘制b，再绘制a，由于a的方向已经改变
  • 《高性能HTML5》读后整理的Web性能优化内容 白糖_ html5
    读后感         先说说《高性能HTML5》这本书的读后感吧，个人觉得这本书前两章跟书的标题完全搭不上关系，或者说只能算是讲解了“高性能”这三个字，HTML5完全不见踪影。个人觉得作者应该首先把HTML5的大菜拿出来讲一讲，再去分析性能优化的内容，这样才会有吸引力。因为只是在线试读，没有机会看后面的内容，所以不胡乱评价了。  
  • [JShop]Spring MVC的RequestContextHolder使用误区 dinguangx jeeshop商城系统jshop电商系统
        在spring mvc中，为了随时都能取到当前请求的request对象，可以通过RequestContextHolder的静态方法getRequestAttributes()获取Request相关的变量，如request, response等。         在jshop中，对RequestContextHolder的
  • 算法之时间复杂度 周凡杨 java算法时间复杂度效率
          在 计算机科学 中， 算法 的时间复杂度是一个 函数 ，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的 字符串 的长度的函数。时间复杂度常用 大O符号 表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是 渐近 的，它考察当输入值大小趋近无穷时的情况。 这样用大写O()来体现算法时间复杂度的记法，
  • Java事务处理 g21121 java
    一、什么是Java事务 通常的观念认为，事务仅与数据库相关。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）和持久性（durability）的缩写。事务的原子性表示事务执行过程中的任何失败都将导致事务所做的任何修改失效。一致性表示当事务执行失败时，所有被该事务影响的数据都应该恢复到事务执行前的状
  • Linux awk命令详解 510888780 linux
    一.  AWK 说明   awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。    awk的处理文本和数据的方式：它逐行扫描文件，从第一行到
  • android permission 布衣凌宇 Permission
    <uses-permission android:name="android.permission.ACCESS_CHECKIN_PROPERTIES" ></uses-permission>允许读写访问"properties"表在checkin数据库中，改值可以修改上传 <uses-permission android:na
  • Oracle和谷歌Java Android官司将推迟 aijuans javaoracle
    北京时间 10 月 7 日，据国外媒体报道，Oracle 和谷歌之间一场等待已久的官司可能会推迟至 10 月 17 日以后进行，这场官司的内容是 Android 操作系统所谓的 Java 专利权之争。本案法官 William Alsup 称根据专利权专家 Florian Mueller 的预测，谷歌 Oracle 案很可能会被推迟。　　该案中的第二波辩护被安排在 10 月 17 日出庭，从目前看来
  • linux shell 常用命令 antlove linuxshellcommand
    grep [options] [regex] [files] /var/root # grep -n "o" * hello.c:1:/* This C source can be compiled with:
  • Java解析XML配置数据库连接(DOM技术连接 SAX技术连接) 百合不是茶 sax技术Java解析xml文档dom技术XML配置数据库连接
        XML配置数据库文件的连接其实是个很简单的问题,为什么到现在才写出来主要是昨天在网上看了别人写的,然后一直陷入其中,最后发现不能自拔 所以今天决定自己完成 ,,,,现将代码与思路贴出来供大家一起学习   XML配置数据库的连接主要技术点的博客; JDBC编程 : JDBC连接数据库 DOM解析XML:  DOM解析XML文件 SA
  • underscore.js 学习（二） bijian1013 JavaScriptunderscore
            Array Functions 所有数组函数对参数对象一样适用。1.first   _.first(array, [n])   别名: head, take       返回array的第一个元素，设置了参数n，就
  • plSql介绍 bijian1013 oracle数据库plsql
    /* * PL/SQL 程序设计学习笔记 * 学习plSql介绍.pdf * 时间：2010-10-05 */ --创建DEPT表 create table DEPT ( DEPTNO NUMBER(10), DNAME NVARCHAR2(255), LOC NVARCHAR2(255) ) delete dept; select
  • 【Nginx一】Nginx安装与总体介绍 bit1129 nginx
    启动、停止、重新加载Nginx nginx 启动Nginx服务器，不需要任何参数u nginx -s stop 快速(强制)关系Nginx服务器 nginx -s quit 优雅的关闭Nginx服务器 nginx -s reload 重新加载Nginx服务器的配置文件 nginx -s reopen 重新打开Nginx日志文件  
  • spring mvc开发中浏览器兼容的奇怪问题 bitray jqueryAjaxspringMVC浏览器上传文件
        最近个人开发一个小的OA项目,属于复习阶段.使用的技术主要是spring mvc作为前端框架,mybatis作为数据库持久化技术.前台使用jquery和一些jquery的插件.     在开发到中间阶段时候发现自己好像忽略了一个小问题,整个项目一直在firefox下测试,没有在IE下测试,不确定是否会出现兼容问题.由于jquer
  • Lua的io库函数列表 ronin47 lua io
    1、io表调用方式：使用io表，io.open将返回指定文件的描述，并且所有的操作将围绕这个文件描述 　　io表同样提供三种预定义的文件描述io.stdin,io.stdout,io.stderr 　　2、文件句柄直接调用方式,即使用file:XXX()函数方式进行操作,其中file为io.open()返回的文件句柄 　　多数I/O函数调用失败时返回nil加错误信息,有些函数成功时返回nil
  • java-26-左旋转字符串 bylijinnan java
    public class LeftRotateString { /** * Q 26 左旋转字符串 * 题目：定义字符串的左旋转操作：把字符串前面的若干个字符移动到字符串的尾部。 * 如把字符串abcdef左旋转2位得到字符串cdefab。 * 请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n)，辅助内存为O(1)。 */ pu
  • 《vi中的替换艺术》-linux命令五分钟系列之十一 cfyme linux命令
    vi方面的内容不知道分类到哪里好，就放到《Linux命令五分钟系列》里吧！ 今天编程，关于栈的一个小例子，其间我需要把”S.”替换为”S->”(替换不包括双引号)。 其实这个不难，不过我觉得应该总结一下vi里的替换技术了，以备以后查阅。   1 所有替换方案都要在冒号“:”状态下书写。 2 如果想将abc替换为xyz，那么就这样 :s/abc/xyz/ 不过要特别
  • [轨道与计算]新的并行计算架构 comsci 并行计算
         我在进行流程引擎循环反馈试验的过程中，发现一个有趣的事情。。。如果我们在流程图的每个节点中嵌入一个双向循环代码段，而整个流程中又充满着很多并行路由，每个并行路由中又包含着一些并行节点，那么当整个流程图开始循环反馈过程的时候，这个流程图的运行过程是否变成一个并行计算的架构呢？      
  • 重复执行某段代码 dai_lm android
    用handler就可以了 private Handler handler = new Handler(); private Runnable runnable = new Runnable() { public void run() { update(); handler.postDelayed(this, 5000); } }; 开始计时 h
  • Java实现堆栈（list实现） datageek 数据结构——堆栈
    public interface IStack<T> { //元素出栈，并返回出栈元素 public T pop(); //元素入栈 public void push(T element); //获取栈顶元素 public T peek(); //判断栈是否为空 public boolean isEmpty
  • 四大备份MySql数据库方法及可能遇到的问题 dcj3sjt126com DBbackup
    一：通过备份王等软件进行备份前台进不去？ 用备份王等软件进行备份是大多老站长的选择，这种方法方便快捷，只要上传备份软件到空间一步步操作就可以，但是许多刚接触备份王软件的客用户来说还原后会出现一个问题：因为新老空间数据库用户名和密码不统一，网站文件打包过来后因没有修改连接文件，还原数据库是好了，可是前台会提示数据库连接错误，网站从而出现打不开的情况。 解决方法：学会修改网站配置文件，大多是由co
  • github做webhooks：[1]钩子触发是否成功测试 dcj3sjt126com githubgitwebhook
    转自: http://jingyan.baidu.com/article/5d6edee228c88899ebdeec47.html github和svn一样有钩子的功能，而且更加强大。例如我做的是最常见的push操作触发的钩子操作，则每次更新之后的钩子操作记录都会在github的控制板可以看到！ 工具/原料 github 方法/步骤
  • ">的作用" target="_blank">JSP中的作用 蕃薯耀
    JSP中<base href="<%=basePath%>">的作用 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
  • linux下SAMBA服务安装与配置 hanqunfeng linux
    局域网使用的文件共享服务。 一.安装包： rpm -qa | grep samba samba-3.6.9-151.el6.x86_64 samba-common-3.6.9-151.el6.x86_64 samba-winbind-3.6.9-151.el6.x86_64 samba-client-3.6.9-151.el6.x86_64 samba-winbind-clients
  • guava cache IXHONG cache
    缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 　　缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的
  • Query的开始--全局变量,noconflict和兼容各种js的初始化方法 kvhur JavaScriptjquerycss
    这个是整个jQuery代码的开始，里面包含了对不同环境的js进行的处理，例如普通环境，Nodejs，和requiredJs的处理方法。 还有jQuery生成$, jQuery全局变量的代码和noConflict代码详解  完整资源： http://www.gbtags.com/gb/share/5640.htm jQuery 源码：   (
  • 美国人的福利和中国人的储蓄 nannan408
       今天看了篇文章，震动很大，说的是美国的福利。    美国医院的无偿入院真的是个好措施。小小的改善，对于社会是大大的信心。小孩，税费等，政府不收反补，真的体现了人文主义。    美国这么高的社会保障会不会使人变懒？答案是否定的。正因为政府解决了后顾之忧，人们才得以倾尽精力去做一些有创造力，更造福社会的事情，这竟成了美国社会思想、人
  • N阶行列式计算(JAVA) qiuwanchi N阶行列式计算
    package gaodai; import java.util.List; /** * N阶行列式计算 * @author 邱万迟 * */ public class DeterminantCalculation { public DeterminantCalculation(List<List<Double>> determina
  • C语言算法之打渔晒网问题 qiufeihu c算法
    如果一个渔夫从2011年1月1日开始每三天打一次渔，两天晒一次网，编程实现当输入2011年1月1日以后任意一天，输出该渔夫是在打渔还是在晒网。 代码如下：   #include <stdio.h> int leap(int a) /*自定义函数leap()用来指定输入的年份是否为闰年*/ { if((a%4 == 0 && a%100 != 0
  • XML中DOCTYPE字段的解析 wyzuomumu xml
    DTD声明始终以!DOCTYPE开头,空一格后跟着文档根元素的名称,如果是内部DTD,则再空一格出现[],在中括号中是文档类型定义的内容. 而对于外部DTD,则又分为私有DTD与公共DTD,私有DTD使用SYSTEM表示,接着是外部DTD的URL. 而公共DTD则使用PUBLIC,接着是DTD公共名称,接着是DTD的URL.   私有DTD <!DOCTYPErootSYST
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他