极客星球 | 阿里：云原生数据湖构建与分析最佳实践

编者按：6月24日【Coder Park】第一季架构篇之大数据平台架构分享线上直播活动圆满结束。本期特邀MobTech袤博科技合伙人、首席数据官杨冠军担当出品人，阿里巴巴计算平台事业部大数据平台技术专家王道远和MobTech 袤博科技大数据PaaS平台负责人大宗师两位嘉宾围绕“数据湖”和“PaaS平台”等技术架构展开主题分享，Apache Spark中国技术社区、掘金、开源中国、Segmentfault思否、华为HDG、麦思博、Python中文社区、软件绿色联盟等社区联合宣发，Coder Park旨在帮助企业在复杂的业务形态下，升级架构思维，支撑业务发展。

以下是阿里巴巴计算平台事业部大数据平台技术专家王道远在本次活动中的分享内容：

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第1张图片

主题：云原生数据湖构建与分析最佳实践

讲师：王道远，阿里巴巴计算平台事业部 大数据平台技术专家

内容框架：

  • 背景介绍
  • 架构分析
  • 性能与成本
  • 客户案例

一、背景介绍

大数据 4V概念：

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第2张图片

第一代云上开源大数据平台

  • 数据快速增长时，存储成本高
  • HDFS NameNode横向扩展瓶颈
  • HDFS Federation运维复杂度比较高

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第3张图片

第二代云上开源大数据平台

  • 引入OSS
  • 主要实现HDFS 接口，体验一般
  • 成本没有明显降低

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第4张图片

第三代云上开源大数据平台

  • 集中统一存储
  • 数据分层存储
  • 计算资源弹性伸缩
  • 规避HDFS运维复杂度

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第5张图片

二、架构分析

EMR数据湖架构

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第6张图片

数据湖计算-弹性伸缩

基于云的特性，获得资源的弹性

  • 计算资源的弹性
  • 存储资源的弹性

灵活的弹性集群

  • 计算与存储分离，只在需要的时候
  • 才添加计算
  • EMR的动态计算组，按照集群状态
  • 来进行伸缩
  • Spot instance
  • 包月+按量组合

弹性伸缩

  • 按照时间
  • 按照负载
    极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第7张图片

数据湖计算– 容器

  • 支持主流引擎Spark和Presto
  • 计算与存储分离架构
  • Remote Shuffle Service 架构

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第8张图片

数据湖存储– JindoFS

易用

  • 支持主要开源计算框架，且对框架透明
  • 无需修改用户对OSS的使用方案
  • 多种缓存设备内存/SSD/HDD
  • 支持FUSE文件挂载

企业级

  • 高数据可靠性，11个9
  • 高可用架构，支持Auto Failover
  • 数据权限管理，Ranger列级别权限管理
  • Audit Log审计
  • 小文件分析

高性能

  • 对比社区流行方案，TPC-DS 1TB
  • Spark SQL 2.4.5 性能提升27%
  • PrestoSQL 0.338性能提升93%
  • Hive ETL 2.3.5性能提升42%

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第9张图片

参考网址：https://github.com/aliyun/ali...

数据湖元数据Data Lake Formation

元数据管理

  • 统一元数据管理，解决元数据多引擎一致性问题
  • 自动生成元数据，降低使用成本

访问控制

  • 集中数据访问权限控制，多引擎统一集中式赋权
  • 数据访问日志审计，统计数据访问信息

数据入湖

  • 支持多种数据源入湖，MySQL、SLS、OTS、Kafka等
  • 离线/实时入湖，支持Delta/Hudi等多种数据湖格式
  • 数据入湖预处理，支持字段mapping/转换/自定义udf操作

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第10张图片

三、性能与成本

性能与成本– Remote Shuffle Service

  • Shuffle数据通过网络写出，中间数据计算与存储分离架构
  • DFS2副本，消除fetch failed 引起的重算，shuffle heavy 作业更加稳定
  • Reduce阶段顺序读磁盘，避免现有版本的随机IO，大幅提升性能

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第11张图片

性能与成本– 数据预计算

  • Ad-hoc场景
  • 预计算Cube
  • 动态重写查询计划
  • 秒级响应

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第12张图片

性能与成本– 数据预组织

  • DataSkipping index

    收集文件各列minmax信息，根据filter裁剪要读取的文件总数

  • Z-Order

    多维综合排序，在多个字段提升文件裁剪效果

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第13张图片

性能与成本– 列存加速

  • Native Engine加速I/O效率
  • Native 实现
  • 高并发
  • 发挥OSS水平扩展能力
  • 计算下推

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第14张图片

性能与成本– 分层存储

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第15张图片

四、客户案例

客户案例一：

客户简介

  • 游戏行业

客户需求

  • 数百节点HDP，版本维护成本高，软件升级困难
  • 物理机弹性能力不足，需要云上的弹性能力和扩张能力
  • 计算和存储绑定，硬件升级成本高

数据湖方案

  • 采用OSS替代HDFS，作为企业统一数据湖，采用分层存储降低用户使用成本
  • 使用EMR JindoFS对接Hive/Presto/Tez计算引擎
  • AI模型训练采用Spark弹性伸缩集群，弹性伸缩资源比率占集群算力的90%
  • Druid采用JindoFS做为Deep Storage，实现

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第16张图片

客户案例二：

客户简介

  • 国内互联网金融头部客户
  • 每个业务均采用独立的集群模式
  • AWS EMR典型客户，根据部门和数据划分20-30集群，每天千台规模节点弹性伸缩

客户需求

  • 用户服务了大量内部和外部用户，且数据较为敏感，要求严格的数据权限隔离
  • 大量OSS的rename等操作，性能要求高
  • 根据任务自动大规模弹性扩缩容

客户价值

  • 通过JindoFS满足了用户的数据计算性能需求，尤其是部分操作场景上，在有限带宽的情况下和S3的性能表现一致
  • EMR Ranger对数据湖数据权限严格管控
  • 企业能力如资源组等的支持，协助进行负责的资源隔离能力

极客星球 | 阿里：云原生数据湖构建与分析最佳实践_第17张图片

你可能感兴趣的:(数据分析数据湖云原生)

  • 《解锁AI黑科技：数据分类聚类与可视化》 程序猿阿伟 人工智能科技分类
    在当今数字化时代，数据如潮水般涌来，如何从海量数据中提取有价值的信息，成为了众多领域面临的关键挑战。人工智能（AI）技术的崛起，为解决这一难题提供了强大的工具。其中，能够实现数据分类与聚类，并以可视化形式展现的AI技术，正逐渐成为各行业数据分析和决策的核心力量。数据分类与聚类：AI的核心技能数据分类是将数据划分到预先定义好的类别中，就像把图书馆里的书籍按照不同学科分类摆放，方便读者查找。比如在垃圾
  • Scikit-learn提供了哪些机器学习算法以及如何使用Scikit-learn进行模型训练和评估 Java资深爱好者 机器学习scikit-learn算法
    Scikit-learn库的使用一、Scikit-learn提供的机器学习算法Scikit-learn（通常简称为sklearn）是一个广泛使用的Python机器学习库，它提供了多种用于数据挖掘和数据分析的算法。Scikit-learn支持的机器学习算法可以大致分为以下几类：分类算法：支持向量机（SVM）随机森林（RandomForest）逻辑回归（LogisticRegression）朴素贝叶斯
  • 22章2节：如何在 R Markdown 和 R Notebook 中创建使用 DAT｜R科学 用R探索医药数据科学r语言开发语言
    RMarkdown是一种广泛使用的工具，可以帮助数据科学家、统计学家和研究人员创建动态和交互式的报告。它结合了R语言的强大数据处理和分析能力，以及Markdown的简洁易用的文本格式，使得创建专业和美观的报告变得更加简单和高效。同时，RNotebook是一种交互式文档格式，它将叙述性文本、数据可视化以及其他多媒体组件与用R语言编写的代码结合在一起。RNotebook使用户能够创建和分享包含数据分析
  • Java与Kafka：消息队列使用指南 墨瑾轩 一起学学Java【一】javakafkalinq
    关注墨瑾轩，带你探索编程的奥秘！超萌技术攻略，轻松晋级编程高手技术宝库已备好，就等你来挖掘订阅墨瑾轩，智趣学习不孤单即刻启航，编程之旅更有趣大家好呀！今天我们要来聊聊如何使用Java语言与ApacheKafka搭建消息队列系统。Kafka是一款分布式流处理平台，它能够高效地处理大量实时数据。无论是构建实时数据分析系统还是简单的消息队列应用，Kafka都能胜任。那么，我们就开始吧！什么是Kafka？
  • AI真的能理解我们这个现实物理世界吗？深度剖析原理、实证及未来走向 AI_DL_CODE 人工智能深度学习AIAI理解世界
    摘要：当下，AI与深度学习广泛渗透生活各领域，大模型与海量数据加持下，其是否理解现实物理世界引发热议。文章开篇抛出疑问，随后深入介绍AI深度学习基础，包含神经网络架构、反向传播算法。继而列举AI在物理场景识别、实验数据分析中显露的“理解”迹象，也点明常识性错误、极端场景失效这类反例。从信息论、物理启发式算法剖析理论支撑，探讨融合物理知识路径，并延展至跨学科应用、评估维度、伦理社会问题，最终展望AI
  • 云原生后端开发：技术、实践与应用 一ge科研小菜鸡 Java后端后端
    个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言云原生技术的快速发展彻底改变了后端开发的模式，使应用能够在现代化的基础设施上高效运行。云原生后端的核心理念是通过容器化、微服务、持续集成与交付（CI/CD）、可观察性等技术，构建高度可扩展、弹性、高可用的后端服务。本文将围绕云原生后端的技术栈与架构设计展开，结合实践案例，介绍云原生后端的关键技术、开发流程和最佳实践。一、云原生后端的核心概念1
  • 【实用技能】如何借助Excel处理控件Aspose.Cells，使用 C# 锁定 Excel 中的单元格 CodeCraft Studio 文档管理控件excelc#开发语言
    锁定Excel中的单元格对于数据完整性至关重要。它可以防止用户更改重要信息。此功能广泛用于财务、项目管理和数据分析。通过锁定单元格，您可以确保关键数据保持不变。这可以增强协作并减少错误。在这篇博文中，我们将探讨如何使用C#锁定Excel中的单元格。C#Excel库用于锁定或解锁单元格Aspose.Cellsfor.NET是一个功能强大的Excel文件处理库。它简化了Excel中锁定单元格等任务。使
  • 大语言模型丨ChatGPT-4o深度科研应用、论文与项目撰写、数据分析、机器学习、深度学习及AI绘图（BP神经网络、支持向量机、决策树、随机森林、变量降维与特征选择、群优化算法等） 赵钰老师 ChatGPTpython人工智能语言模型深度学习数据分析chatgpt机器学习随机森林
    目录第一章、2024大语言模型最新进展与ChatGPT各模型第二章、ChatGPT-4o提示词使用方法与高级技巧（最新加入思维链及逆向工程及GPTs）第三章、ChatGPT4-4o助力日常生活、学习与工作第四章、基于ChatGPT-4o课题申报、论文选题及实验方案设计第五章、基于ChatGPT-4o信息检索、总结分析、论文写作与投稿、专利idea构思与交底书的撰写第六章、ChatGPT-4o编程入
  • 《解锁AI黑科技：数据分类聚类与可视化》 人工智能深度学习数据挖掘
    在当今数字化时代，数据如潮水般涌来，如何从海量数据中提取有价值的信息，成为了众多领域面临的关键挑战。人工智能（AI）技术的崛起，为解决这一难题提供了强大的工具。其中，能够实现数据分类与聚类，并以可视化形式展现的AI技术，正逐渐成为各行业数据分析和决策的核心力量。数据分类与聚类：AI的核心技能数据分类是将数据划分到预先定义好的类别中，就像把图书馆里的书籍按照不同学科分类摆放，方便读者查找。比如在垃圾
  • 园区智能化系统实现管理与服务的智能化转型与创新进阶 快鲸智慧楼宇管理系统 其他
    内容概要园区智能化系统的出现，标志着管理与服务向智能化转型的重要一步。这一系统不仅仅是一个技术解决方案，更是一个全面提升园区运营效率与安全性的独特工具。通过集成大数据分析、物联网和人工智能，园区智能化系统能够为各类园区如工业园、产业园、物流园、写字楼与公寓等提供切实可行的解决方案。“智能化管理不仅是未来的发展趋势，更是提升竞争力的必要手段。”在资产管理方面，智能化系统能够实时监控并优化资源的配置，
  • C 语言实现计算一年中指定日期是第几天 题】 共享家9527 c语言
    引言在编程的世界里，处理日期和时间相关的问题是非常常见的。比如在日历应用、任务管理系统、数据分析等场景中，经常需要计算某个日期在一年中是第几天。本文将详细介绍如何使用C语言来实现这一功能，通过分析代码的结构、逻辑以及可能存在的问题和改进方法，帮助大家更好地理解和掌握相关知识。代码整体功能概述给定的C语言代码旨在实现一个简单的功能：从用户那里获取输入的年份、月份和日期，然后计算并输出该日期是对应年份
  • vdist-1.3.1：Python项目自动化构建与分发工具 46497976464
    本文还有配套的精品资源，点击获取简介：vdist-1.3.1.tar.gz是一个Python项目的自动化构建、打包和分发工具的源代码压缩包，采用tar.gz格式，支持在不同环境中快速部署。它集成了分布式系统支持，如Zookeeper，以及云原生技术标准，确保了高效的软件生命周期管理。该工具具备依赖管理、自动化构建流程、环境隔离和多平台支持等功能，并提供了解压后目录结构的详细说明。1.vdist-1
  • QChartView 应用详解 我喜欢就喜欢 QT技术文档C++信息可视化数据库qtc++开发语言
    一、引言在数据可视化领域，Qt框架提供了强大的工具，其中QChartView便是一个极为重要的组件。它允许开发者轻松创建各种精美的图表，以直观地展示数据，无论是在科学研究、数据分析还是业务报表等场景下，都有着广泛的应用。本文将深入探讨QChartView的应用，涵盖其基础使用、常见图表类型绘制以及一些高级特性，并结合实际项目案例，帮助读者全面掌握这一实用工具。二、QChartView基础使用环境搭
  • 挣脱“数据沼泽”，重获用云自由 京东云开发者 数据库数据迁移混合云
    混合多云新趋势云原生时代的到来，企业上云需求日益细致化，从而推进了企业IT架构进化，混合多云已经成为企业上云新趋势。据混合云产业联盟最新发布的《中国混合云用户调查报告（2021年）》显示，调查中72.1%的企业应用了云计算，其中超半数采用混合云，且其平均用云数量达4.3个，同时在应用云计算的企业中选择多云的企业也高达86.7%。混合多云变革中，核心系统应该放在哪种云中，如何迁移，之前简单的云原生应
  • 浅色可视化大屏虽然经常被诟病，也有自己的用武之地呀 大象数据工场 前端javascript大数据
    一、视觉舒适性与减轻疲劳在长时间的使用和观察中，浅色可视化大屏能够为用户带来更舒适的视觉体验，减轻视觉疲劳。与深色背景相比，浅色背景通常反射的光线较少，对眼睛的刺激相对较小。尤其是在需要长时间盯着大屏进行数据分析、监控或决策的场景下，这种视觉舒适性显得尤为重要。此外，对于一些对光线较为敏感的人群，如患有眼疾或容易出现视觉疲劳的人来说，浅色可视化大屏可能是更好的选择。它可以减少眼睛的不适感，提高工作
  • TDengine 做 Google Looker Studio 数据源 TDengine （老段） tdengine大数据时序数据库数据库googlecloud
    LookerStudio，作为Google旗下的一个功能强大的报表和商业智能工具，前身名为GoogleDataStudio。在2022年的GoogleCloudNext大会上，Google将其更名为LookerStudio。这个工具凭借其丰富的数据可视化选项和多样化的数据连接能力，为用户提供了便捷的数据报表生成体验。用户可以根据预设的模板轻松创建数据报表，满足各种数据分析需求。由于其简单易用的操作
  • 我的创作纪念日 蓝皮怪 程序人生生活
    机缘接触和鲸社区，并且通过和鲸社区写了许多简单的项目，然后考虑可以在更多的平台介绍自己，于是在CSDN进行创作。在这个数据分析领域接触了许多新朋友。被部分读者认可，为我提供了源源不断的动力。收获全网获得了2000+粉丝。在机器学习领域、统计方法上学到了许多东西。认识了来自五湖四海的朋友，有10年数分的大佬，还有许多在校学生。日常在准备考研、工作的情况下，争取保证周更。先把工作弄完，抽空学习考研的内
  • 数据分析新技能：如何进行Mann-Whitney U检验 蓝皮怪 知识分享数据分析
    Mann-WhitneyU检验Mann-WhitneyU检验是一种非参数统计方法，用于比较两个独立样本的分布。它特别适用于数据不满足正态分布或存在异常值的情况，是t检验的非参数替代方法。一、起源Mann-WhitneyU检验由美国统计学家亨利·曼恩（HenryMann）和德怀特·惠特尼（DonaldWhitney）于1947年提出。它是Wilcoxon秩和检验的独立样本版本，旨在提供一种不依赖于正
  • 【云原生】Docker可视化工具Portainer使用详解 小码农叔叔 linux与容器实战Portainer搭建Portainer使用Portainer使用详解Portainer详解Portainerportainer
    目录一、前言二、docker可视化管理概述2.1什么是docker可视化管理2.1.1Docker可视化管理常用功能2.2为什么需要docker可视化管理工具2.3docker可视化工具带来的好处三、常用的docker容器可视化管理工具解决方案3.1Portainer3.2Rancher3.2.1Rancher功能特性3.3DockerDesktop3.3.1DockerDesktop功能特性3.
  • 【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.25 视觉风暴：NumPy驱动数据可视化 精通代码大仙 numpypythonnumpypython信息可视化
    1.25视觉风暴：NumPy驱动数据可视化目录视觉风暴：NumPy驱动数据可视化百万级点云实时渲染优化CT医学影像三维重建实战交互式数据分析看板开发地理空间数据可视化进阶WebAssembly前端渲染融合1.25.1百万级点云实时渲染优化1.25.2CT医学影像三维重建实战1.25.3交互式数据分析看板开发1.25.4地理空间数据可视化进阶1.25.5WebAssembly前端渲染融合视觉风暴：N
  • 云原生架构体系 米朵儿技术屋 行业信息处理技术与政策研究专栏云原生架构devops
    云原生（Cloud-Native）的概念在国内提及的越来越多，但大部分人对云原生的认识仅限于容器、微服务、DevOps等内容，把容器、微服务、DevOps就等同于云原生，这显然是不对的。CNCF从其自身的角度定义了云原生技术：云原生技术使企业能够在现代动态环境中构建和运行可扩展的应用程序，如在公共云、私有云和混合云环境中。包括容器、服务网格、微服务、不变的基础设施和声明式API等。采用这些技术可实
  • 云原生网络架构 key_3_feng 云原生网络云原生架构
    着云原生技术的不断发展和演进，实现容器间互联的云原生网络架构也在不断地进行优化和完善，从Docker本身的动态端口映射网络模型到CNCF的CNI容器网络接口，再到“ServiceMesh+CNI”层次化的SDN。容器网络以容器的典型实现Docker为例，其自身在网络架构上默认采用桥接模式，即Linux网桥模式，创建的每一个Docker容器都会桥接到这个docker0的网桥上，形成一个二层互联的网络
  • 云原生：构建现代化应用的基石 moton2017 后端架构云原生微服务容器kubernetesdocker
    一、什么是云原生？云原生是一种构建和运行应用程序的方法，旨在充分利用云计算的分布式系统优势，例如弹性伸缩、微服务架构、容器化技术等。云原生应用程序从设计之初就考虑到了云环境的特点，能够更好地适应云平台的动态变化，并充分发挥云计算的优势。1.云原生核心特点：容器化：使用容器技术（如Docker）将应用打包成独立的容器镜像，实现快速部署和隔离。微服务架构：将单体应用拆分成多个松耦合的微服务，每个微服务
  • 【单细胞-第三节 多样本数据分析】 遗落凡尘的萤火-生信小白 单细胞分析数据分析数据挖掘
    文件在单细胞\5_GC_py\1_single_cell\1.GSE183904.RmdGSE183904数据原文1.获取临床信息筛选样本可以参考临床信息rm(list=ls())library(tinyarray)a=geo_download("GSE183904")$pdhead(a)table(a$Characteristics_ch1)#统计各样本有多少2.批量读取学会如何读取特定的样本i
  • 使用 Python 获取淘宝商品描述的 API 接口：示例代码解析 Jelena15779585792 API示例代码python前端java
    在电商数据分析、商品信息展示或内容管理系统中，获取商品描述是一个常见的需求。淘宝开放平台提供了丰富的API接口，其中item_get接口可以用来获取商品的详细信息，包括商品描述。本文将通过一个完整的Python示例代码，详细解析如何调用淘宝item_get接口获取商品描述，并处理返回的数据。一、淘宝开放平台简介淘宝开放平台（TaobaoOpenPlatform）为开发者提供了丰富的API接口，用于
  • 使用 Python 获取淘宝商品评论 API 接口的示例代码解析 Jelena15779585792 API示例代码python前端
    在电商数据分析、用户体验优化和竞品分析中，获取商品评论是一项重要的功能。淘宝开放平台提供了商品评论的API接口，允许开发者通过合法的方式获取商品的用户评论数据。本文将详细介绍如何使用Python调用淘宝商品评论API接口，并解析返回的数据。一、淘宝商品评论接口简介淘宝开放平台提供了taobao.traderate.items.get接口，用于获取商品的评论数据。该接口支持分页查询，可以获取用户的评
  • 毕设开源 python大数据旅游数据分析可视化系统(源码分享) bee_dc 毕业设计毕设大数据
    文章目录0前言1课题背景2数据处理3数据可视化工具3.1django框架介绍3.2ECharts4Django使用echarts进行可视化展示（mysql数据库）4.1修改setting.py连接mysql数据库4.2导入数据4.3使用echarts可视化展示5实现效果5.1前端展示5.2后端展示6最后0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到
  • 备战美赛！2025美赛数学建模C题模拟预测！用于大家练手模拟！ 灿灿数模 数学建模
    完整的思路代码模型见文末2025美赛数学建模C题模拟题：城市交通拥堵指数的预测与管理策略背景随着全球城市化进程的加快，交通拥堵问题成为城市发展的重要挑战之一。交通拥堵不仅影响居民出行效率，还增加了能源消耗和碳排放。近年来，各大城市开始尝试通过实时数据监控和人工智能技术对交通拥堵进行预测和管理。然而，由于城市交通系统的复杂性，现有方法在实际应用中仍面临诸多挑战。任务作为一名数据分析专家，你的任务是基
  • 2025数学建模美赛C题【Models for Olympic Medal Tables】第一问 步入烟尘 2025数学建模美赛C题2025数学建模美赛数学建模奥运会历史奖牌
    本文为个人解题笔记，仅供参考学习。本文C题的第一问。其他问题均在本专栏内，订阅一次，全部可见。文章目录问题1解题全流程解题完整过程：建立预测奥运会奖牌数的数学模型1.数据分析与清理1.1数据来源与结构1.2数据清理2.探索性数据分析(EDA)2.1国家奖牌分布趋势2.2奖牌与赛事数量的关系2.3主办国优势分析3.模型建立3.1奖牌数预测模型3.2奖牌首次获得预测模型3.3奖牌分布与赛事类型关联模型
  • 基于Python的二手房数据分析与可视化系统（附源码+可远程部署安装） AI博士小张 大数据分析毕业设计python数据分析开发语言
    基于Python的二手房数据分析与可视化系统文章目录摘要第一部分研究背景第二部分国内外现状第三部分所用技术1.Requests库2.BeautifulSoup库3.Pandas库4.Matplotlib库5.Seaborn库6.Folium库第四部分系统设计与实现1.数据爬取模块2.数据处理与分析模块3.数据可视化模块系统设计与实现步骤1.设计系统架构2.数据爬取3.数据处理与分析4.数据可视化5
  • 桌面上有多个球在同时运动，怎么实现球之间不交叉，即碰撞？ 换个号韩国红果果 html小球碰撞
    稍微想了一下，然后解决了很多bug，最后终于把它实现了。其实原理很简单。在每改变一个小球的x y坐标后，遍历整个在dom树中的其他小球，看一下它们与当前小球的距离是否小于球半径的两倍？若小于说明下一次绘制该小球（设为a）前要把他的方向变为原来相反方向（与a要碰撞的小球设为b），即假如当前小球的距离小于球半径的两倍的话，马上改变当前小球方向。那么下一次绘制也是先绘制b，再绘制a，由于a的方向已经改变
  • 《高性能HTML5》读后整理的Web性能优化内容 白糖_ html5
    读后感         先说说《高性能HTML5》这本书的读后感吧，个人觉得这本书前两章跟书的标题完全搭不上关系，或者说只能算是讲解了“高性能”这三个字，HTML5完全不见踪影。个人觉得作者应该首先把HTML5的大菜拿出来讲一讲，再去分析性能优化的内容，这样才会有吸引力。因为只是在线试读，没有机会看后面的内容，所以不胡乱评价了。  
  • [JShop]Spring MVC的RequestContextHolder使用误区 dinguangx jeeshop商城系统jshop电商系统
        在spring mvc中，为了随时都能取到当前请求的request对象，可以通过RequestContextHolder的静态方法getRequestAttributes()获取Request相关的变量，如request, response等。         在jshop中，对RequestContextHolder的
  • 算法之时间复杂度 周凡杨 java算法时间复杂度效率
          在 计算机科学 中， 算法 的时间复杂度是一个 函数 ，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的 字符串 的长度的函数。时间复杂度常用 大O符号 表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是 渐近 的，它考察当输入值大小趋近无穷时的情况。 这样用大写O()来体现算法时间复杂度的记法，
  • Java事务处理 g21121 java
    一、什么是Java事务 通常的观念认为，事务仅与数据库相关。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）和持久性（durability）的缩写。事务的原子性表示事务执行过程中的任何失败都将导致事务所做的任何修改失效。一致性表示当事务执行失败时，所有被该事务影响的数据都应该恢复到事务执行前的状
  • Linux awk命令详解 510888780 linux
    一.  AWK 说明   awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。    awk的处理文本和数据的方式：它逐行扫描文件，从第一行到
  • android permission 布衣凌宇 Permission
    <uses-permission android:name="android.permission.ACCESS_CHECKIN_PROPERTIES" ></uses-permission>允许读写访问"properties"表在checkin数据库中，改值可以修改上传 <uses-permission android:na
  • Oracle和谷歌Java Android官司将推迟 aijuans javaoracle
    北京时间 10 月 7 日，据国外媒体报道，Oracle 和谷歌之间一场等待已久的官司可能会推迟至 10 月 17 日以后进行，这场官司的内容是 Android 操作系统所谓的 Java 专利权之争。本案法官 William Alsup 称根据专利权专家 Florian Mueller 的预测，谷歌 Oracle 案很可能会被推迟。　　该案中的第二波辩护被安排在 10 月 17 日出庭，从目前看来
  • linux shell 常用命令 antlove linuxshellcommand
    grep [options] [regex] [files] /var/root # grep -n "o" * hello.c:1:/* This C source can be compiled with:
  • Java解析XML配置数据库连接(DOM技术连接 SAX技术连接) 百合不是茶 sax技术Java解析xml文档dom技术XML配置数据库连接
        XML配置数据库文件的连接其实是个很简单的问题,为什么到现在才写出来主要是昨天在网上看了别人写的,然后一直陷入其中,最后发现不能自拔 所以今天决定自己完成 ,,,,现将代码与思路贴出来供大家一起学习   XML配置数据库的连接主要技术点的博客; JDBC编程 : JDBC连接数据库 DOM解析XML:  DOM解析XML文件 SA
  • underscore.js 学习（二） bijian1013 JavaScriptunderscore
            Array Functions 所有数组函数对参数对象一样适用。1.first   _.first(array, [n])   别名: head, take       返回array的第一个元素，设置了参数n，就
  • plSql介绍 bijian1013 oracle数据库plsql
    /* * PL/SQL 程序设计学习笔记 * 学习plSql介绍.pdf * 时间：2010-10-05 */ --创建DEPT表 create table DEPT ( DEPTNO NUMBER(10), DNAME NVARCHAR2(255), LOC NVARCHAR2(255) ) delete dept; select
  • 【Nginx一】Nginx安装与总体介绍 bit1129 nginx
    启动、停止、重新加载Nginx nginx 启动Nginx服务器，不需要任何参数u nginx -s stop 快速(强制)关系Nginx服务器 nginx -s quit 优雅的关闭Nginx服务器 nginx -s reload 重新加载Nginx服务器的配置文件 nginx -s reopen 重新打开Nginx日志文件  
  • spring mvc开发中浏览器兼容的奇怪问题 bitray jqueryAjaxspringMVC浏览器上传文件
        最近个人开发一个小的OA项目,属于复习阶段.使用的技术主要是spring mvc作为前端框架,mybatis作为数据库持久化技术.前台使用jquery和一些jquery的插件.     在开发到中间阶段时候发现自己好像忽略了一个小问题,整个项目一直在firefox下测试,没有在IE下测试,不确定是否会出现兼容问题.由于jquer
  • Lua的io库函数列表 ronin47 lua io
    1、io表调用方式：使用io表，io.open将返回指定文件的描述，并且所有的操作将围绕这个文件描述 　　io表同样提供三种预定义的文件描述io.stdin,io.stdout,io.stderr 　　2、文件句柄直接调用方式,即使用file:XXX()函数方式进行操作,其中file为io.open()返回的文件句柄 　　多数I/O函数调用失败时返回nil加错误信息,有些函数成功时返回nil
  • java-26-左旋转字符串 bylijinnan java
    public class LeftRotateString { /** * Q 26 左旋转字符串 * 题目：定义字符串的左旋转操作：把字符串前面的若干个字符移动到字符串的尾部。 * 如把字符串abcdef左旋转2位得到字符串cdefab。 * 请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n)，辅助内存为O(1)。 */ pu
  • 《vi中的替换艺术》-linux命令五分钟系列之十一 cfyme linux命令
    vi方面的内容不知道分类到哪里好，就放到《Linux命令五分钟系列》里吧！ 今天编程，关于栈的一个小例子，其间我需要把”S.”替换为”S->”(替换不包括双引号)。 其实这个不难，不过我觉得应该总结一下vi里的替换技术了，以备以后查阅。   1 所有替换方案都要在冒号“:”状态下书写。 2 如果想将abc替换为xyz，那么就这样 :s/abc/xyz/ 不过要特别
  • [轨道与计算]新的并行计算架构 comsci 并行计算
         我在进行流程引擎循环反馈试验的过程中，发现一个有趣的事情。。。如果我们在流程图的每个节点中嵌入一个双向循环代码段，而整个流程中又充满着很多并行路由，每个并行路由中又包含着一些并行节点，那么当整个流程图开始循环反馈过程的时候，这个流程图的运行过程是否变成一个并行计算的架构呢？      
  • 重复执行某段代码 dai_lm android
    用handler就可以了 private Handler handler = new Handler(); private Runnable runnable = new Runnable() { public void run() { update(); handler.postDelayed(this, 5000); } }; 开始计时 h
  • Java实现堆栈（list实现） datageek 数据结构——堆栈
    public interface IStack<T> { //元素出栈，并返回出栈元素 public T pop(); //元素入栈 public void push(T element); //获取栈顶元素 public T peek(); //判断栈是否为空 public boolean isEmpty
  • 四大备份MySql数据库方法及可能遇到的问题 dcj3sjt126com DBbackup
    一：通过备份王等软件进行备份前台进不去？ 用备份王等软件进行备份是大多老站长的选择，这种方法方便快捷，只要上传备份软件到空间一步步操作就可以，但是许多刚接触备份王软件的客用户来说还原后会出现一个问题：因为新老空间数据库用户名和密码不统一，网站文件打包过来后因没有修改连接文件，还原数据库是好了，可是前台会提示数据库连接错误，网站从而出现打不开的情况。 解决方法：学会修改网站配置文件，大多是由co
  • github做webhooks：[1]钩子触发是否成功测试 dcj3sjt126com githubgitwebhook
    转自: http://jingyan.baidu.com/article/5d6edee228c88899ebdeec47.html github和svn一样有钩子的功能，而且更加强大。例如我做的是最常见的push操作触发的钩子操作，则每次更新之后的钩子操作记录都会在github的控制板可以看到！ 工具/原料 github 方法/步骤
  • ">的作用" target="_blank">JSP中的作用 蕃薯耀
    JSP中<base href="<%=basePath%>">的作用 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
  • linux下SAMBA服务安装与配置 hanqunfeng linux
    局域网使用的文件共享服务。 一.安装包： rpm -qa | grep samba samba-3.6.9-151.el6.x86_64 samba-common-3.6.9-151.el6.x86_64 samba-winbind-3.6.9-151.el6.x86_64 samba-client-3.6.9-151.el6.x86_64 samba-winbind-clients
  • guava cache IXHONG cache
    缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 　　缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的
  • Query的开始--全局变量,noconflict和兼容各种js的初始化方法 kvhur JavaScriptjquerycss
    这个是整个jQuery代码的开始，里面包含了对不同环境的js进行的处理，例如普通环境，Nodejs，和requiredJs的处理方法。 还有jQuery生成$, jQuery全局变量的代码和noConflict代码详解  完整资源： http://www.gbtags.com/gb/share/5640.htm jQuery 源码：   (
  • 美国人的福利和中国人的储蓄 nannan408
       今天看了篇文章，震动很大，说的是美国的福利。    美国医院的无偿入院真的是个好措施。小小的改善，对于社会是大大的信心。小孩，税费等，政府不收反补，真的体现了人文主义。    美国这么高的社会保障会不会使人变懒？答案是否定的。正因为政府解决了后顾之忧，人们才得以倾尽精力去做一些有创造力，更造福社会的事情，这竟成了美国社会思想、人
  • N阶行列式计算(JAVA) qiuwanchi N阶行列式计算
    package gaodai; import java.util.List; /** * N阶行列式计算 * @author 邱万迟 * */ public class DeterminantCalculation { public DeterminantCalculation(List<List<Double>> determina
  • C语言算法之打渔晒网问题 qiufeihu c算法
    如果一个渔夫从2011年1月1日开始每三天打一次渔，两天晒一次网，编程实现当输入2011年1月1日以后任意一天，输出该渔夫是在打渔还是在晒网。 代码如下：   #include <stdio.h> int leap(int a) /*自定义函数leap()用来指定输入的年份是否为闰年*/ { if((a%4 == 0 && a%100 != 0
  • XML中DOCTYPE字段的解析 wyzuomumu xml
    DTD声明始终以!DOCTYPE开头,空一格后跟着文档根元素的名称,如果是内部DTD,则再空一格出现[],在中括号中是文档类型定义的内容. 而对于外部DTD,则又分为私有DTD与公共DTD,私有DTD使用SYSTEM表示,接着是外部DTD的URL. 而公共DTD则使用PUBLIC,接着是DTD公共名称,接着是DTD的URL.   私有DTD <!DOCTYPErootSYST
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他