大数据平台-架构基础第4页

大创项目推荐深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.

laafeer·2024-01-10 04:29

面向应用的离线计算系统：周期任务&组合策略

而大数据平台通常是调度平台系统，和业务系统是两个独立的平台系统，如何建立交互方式。业务有个性化的实验策略，需要组合业务条件达到实验效果。比如捞取不同的数据实验算法策略。

乘风踏羽·2024-01-09 08:17

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH）Hortonworks版本(HortonworksDataPlatform，简称HDP

Sql强·2024-01-09 07:24

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

实时计算在企业大数据平台的比重也在不断提高，部分行业已经达到了50%。Hologres+Flink通过众多的丰富企业级能力，替换开源复杂的各类技术组件，减少多种技术栈学习、多种集群运维、

Elivis Hu·2024-01-08 22:52

Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中

明月与玄武·2024-01-08 13:51

大数据 Yarn - 资源调度框架

Yarn并不是随Hadoop的推出一开始就有的，Yarn作为分布式集群的资源调度框架，它的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台

善守的大龙猫·2024-01-08 10:48

【技术问题】CDH无法下载之后

很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clo

yestolife123·2024-01-08 08:14

【期末网页设计】基于HTML学生信息管理系统网页项目的设计与实现

程序员-html网页设计·2024-01-08 04:09

深圳内推 | 腾讯大数据平台混元AIGC团队招聘文生3D方向算法实习生

PaperWeekly·2024-01-08 02:08

城市地质大数据平台

2019年，自然资源部办公厅印发了关于《智慧城市时空大数据平台建设技术大纲（2019版）》的通知，要求加快推进智慧城市时空大数据平台建设工作，做好与其他智慧城市建设项目的衔接，为城市管理提供一张底板、一个平台

giself·2024-01-07 22:42

大数据平台数据治理与建设方案：PPT全文90页，附下载

关键词：数据治理，大数据，数据治理平台，数据治理顶层设计，大数据治理，数据治理建设一、数据治理建设需求分析1、业务需求和目标：首先，明确业务需求和目标是非常重要的。数据治理项目需要满足业务的需求和目标，例如提高决策效率、优化业务流程、提升数据安全性等。了解业务需求和目标有助于确定所需的数据类型、数据来源和数据使用者，以及数据的精度、可靠性、安全性等方面的要求。2、数据源和数据使用者：确定组织内的数

方案365·2024-01-06 17:23

【十年磨一剑】我们能从阿里架构师的身上学到什么？

和大家介绍下我目前所从事的工作：我目前从事分布式服务架构的设计与开发工作，在阿里的大数据平台上进行应用程序开发。我们整个系统架构采用了“前后端分离”的思想，前端关注数据展现，后端关注数

java成功之路·2024-01-06 09:40

轻量级云原生大数据平台“CloudEon“正式开源

随着云原生技术的发展，越来越多的业务场景需要使用容器来部署和管理应用程序，而Kubernetes作为容器编排平台的事实标准，自然也受到了越来越多的关注和使用。但是如果想在Kubernetes上部署和运维大数据服务是有比较高的学习成本，需要专业的运维人员来进行管理和维护，在这种情况下，我们开发出CloudEon平台，致力于简化多种大数据服务在Kubernetes上的部署和管理，同时还能更好地利用Ku

愛吃枸杞的路星河·2024-01-06 05:18

企业级大数据安全架构（一）平台安全隐患

作者：楼高引言当谈到企业级大数据平台时，安全性是一个至关重要的方面。随着数据规模的不断增长和信息的敏感性，大数据平台面临着多种安全隐患，需要得到充分的关注和解决，以确保其在生产环境中可靠可用。

云掣YUNCHE·2024-01-05 15:03

2022年第十三届中国数据库技术大会（DTCC2022）-核心PPT资料下载

一、峰会简介本届大会以“数据智能价值创新”为主题，设置2大主会场，20+技术专场，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨

百家峰会·2024-01-05 14:25

大数据平台Bug Bash大扫除最佳实践

为此，大数据平台部门组织了一次BugBash活动，既能提升自己对兄弟产品的理解和使用，又能促使自家产品功能日趋完善。今天来给大家分享一些实际操作过程和经验总结~二、什么是BugBash？

京东云技术团队·2024-01-05 11:12

html在线阅读小说网页制作模板小说书籍网页设计大学生静态HTML网页源码 dreamweaver网页作业简单网页课程成品

STU网页设计与制作·2024-01-05 00:29

手把手教你，Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中

自动化测试老司机·2024-01-04 17:35

Linux集群组件启停查脚本

大数据平台中涉及很多集群，如果你使用的不是CDH、Ambari等集成版工具，而是自己去部署的源生组件集群，那可能需要简单的脚本去启动、停止、查看状态。这里以zookeeper为例，起一个简单的。

碼小白·2024-01-03 13:31

2021-12-29

据国家邮政局快递大数据平台实时监测数据显示，今年12月12日

190348b28eff·2024-01-02 19:22

Spark内容分享(二十四)：Apache Spark 在爱奇艺的应用实践

目录ApacheSpark在爱奇艺的现状Spark计算框架应用优化SparkSQL服务的落地与优化总结与展望ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架

之乎者也··2024-01-02 18:56

sqoop（DataX）-MySQL导入HIVE时间格问题

这里写自定义目录标题问题1：测试MySQL数据信息HIVE数据信息hive中用parquet（orc）列式文件格式存储解决方法问题2：解决方法问题1：用公司的大数据平台（DataX）导数，已经开发上线一个多月的一批报表

浊酒南街·2024-01-02 15:02

大数据平台与架构笔记

快捷键CTRL+alt+T==打开终端ctrl+shift+esc==打开任务后台~==/home/用户名Linux简单命令clear清屏ls查看cd..cd./当前目录cd/根目录mkdir创建目录mkdir目录名mkdir-p目录名//创建多级目录rm删除文件目录rm-r目录名//删除目录及目录下的内容rm文件名//删除文件rmg*rm*cat把文件内容回显到终端cat./文件名cp复制文件t

Area_J·2024-01-02 14:25

SDG大数据平台简介

（摘自百度）SDG大数据平台，围绕零饥饿、清洁饮水和卫生设施、可持续城市和社区、气候行动、水下生物、陆地生物等6个目标，面向公众、科研人员、决策者三类典型场景，提供“一站式”数

角砾岩队长·2024-01-02 08:20

最In干货大赏，SDCC 2017·深圳站完整版日程大放送

拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会，秉承干货实料的内容原则，邀请业内顶尖的架构师和数据技术专家，共话高可用/高并发/高性能的系统架构设计、分布式缓存服务、WebApp前端架构、消息引擎架构、弹性计算、大数据平台构建

仲培艺·2024-01-02 07:00

【hcie-cloud】【15】华为云Stack应急预案

文章目录前言应急预案介绍应急预案诉求用户挑战业务上云阻碍大应急保障缺乏规范应急时效性难以保障运维体系存在盲点应急预案的必要性应急预案故障场景总览基础云服务应用平台数据库大数据平台AI服务应急预案故障场景介绍故障场景案例

҉人间无事人·2024-01-01 11:57

HBase 例行灾备方案：快照备份与还原演练

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》

　Laurence·2023-12-31 12:28

支撑EB级规模的大数据平台深度揭秘

他分享的议题主要围绕阿里云数加平台，这一发布不久的大数据平台对很多人来说还比较陌生，但是这个平台的历史和其上所服务的众多业务，却是耳熟能详的，几个数字，瞬间抓住眼球：双十一狂欢节，水立方实时直播，万亿级数据计算

weixin_33915554·2023-12-31 11:51

rsyslog对接kafka

对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器

weixin_33690963·2023-12-30 05:37

架构 - 知识体系详解

链接：♥架构-知识体系详解♥|Java全栈知识体系基础到方法论包括架构的概述，特点，目标，本质以及方法论等架构-架构基础:特点,本质...本节总结下架构相关的基础知识：概述，特点，目标，本质...

倾听铃的声·2023-12-30 03:54

架构 - 架构基础: 特点,本质...

架构-架构基础:特点,本质...软件架构简介系统复杂性的来源与应对大型网站的特点大型网站架构目标参考文章架构-架构基础:特点,本质…软件架构简介所谓架构，见仁见智，很难有一个明确或标准的定义；但架构并非镜花水月或阳春白雪

小小兔在普陀山走神啊·2023-12-30 03:23

架构设计系列 6：架构基础设施能力建设

在软件架构设计中，基础设施建设是确保系统稳健运行、性能优越、易于管理的关键组成部分。从架构设计的角度来看，基础设施包括了诸多方面，如可视化、诊断、模拟、变更评估、多地部署、异地多活和单元化。这些方面共同构成了一个健全、灵活且高效的基础设施，为系统的持续演进和应对变化提供了坚实的基础。一、架构可视化架构可视化是通过图形化手段清晰呈现系统的架构结构、组件之间的关系以及数据流动。可视化有助于团队理解、沟

weixin_39757802·2023-12-29 06:50

一文了解艾思亿德是一家什么样的企业

艾思专注于实践大数据技术赋能产业数字化，拥有业内领先的企业数据库和数据治理能力，依托丰富的数据沉淀和领先的模型算法，打造“1+N”产业大数据平台，包含“1个企业数据中心”一一涵盖全国2.4亿多个工商主体

Elseide艾思·2023-12-29 02:53

满足企业数据需求的大数据平台系统

大数据平台系统的开发可以给我们提供强大的储存能力、技术能力，在符合大数据时代下的发展轨迹，实现了现代化数据挖掘，满足了诸多企业及平台对数据方面的需求。一、大数据平台系统开发具有什么好处呢？

泰迪智能科技·2023-12-28 18:51

分布式架构基础之Java RMI详解

RMI简介JavaRMI或远程方法调用是用于远程过程调用的JavaAPI，它可以直接传输序列化Java对象和分布式垃圾收集。它的实现依赖于Java虚拟机（JVM），因此它只支持从一个JVM到另一个JVM的调用。rmi的实现(1)直接使用Registry实现rmi服务端:接口:继承Remote接口publicinterfaceHelloRegistryFacadeextendsRemote{Stri

Java程序员-张凯·2023-12-28 08:28

Flink Has Become the De-facto Standard of Streaming Compute

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2023主会场的分享。

Apache Flink·2023-12-27 16:20

DataFunSummit：2023年数据湖架构峰会-核心PPT资料下载

一、峰会简介现今，很多企业每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。

百家峰会·2023-12-27 16:03

矩阵起源携手深智城入选中国信通院“星河”案例

经过形式审查和专家评审，矩阵起源与深圳智慧城市大数据中心有限公司联合申报的《基于超融合数据库的一站式交通大数据平台》在706份申报案例中成功入选数据库优秀案例。案例介绍1.案例

MatrixOrigin·2023-12-27 12:47

手把手入门MO | 如何通过永洪 BI 实现 MatrixOne 的可视化报表

1.概述永洪BI是一款全面的大数据平台，它整合了自服务数据准备、探索性自助分析、深度分析、企业级管理和高性能计算功能，提供了一站式的大数据解决方案。

MatrixOrigin·2023-12-27 12:47

智能充电桩管理系统主要核心功能有哪些？

智能充电桩管理系统是一种结合物联网、互联网、大数据平台等技术，实现全程实时监控充电终端电流、电压、功率配电设备、温度、火灾自动报警、设备异常等各种状态信息的管理系统。

虎克技术hukejishu·2023-12-26 16:35

夏普比率(Sharp Ratio)及晨星九宫格(Morningstar Style Box)

60年代的时候，在风险收益架构基础上，威廉夏普（WilliamF.Sharpe）观察到风险来自两方面，一个是整个市场的风险，一个是资产个体的风险，他把市场风险带来的收益叫β贝塔收益，不随市场波动的称为α

慢魚爱立刻·2023-12-26 13:17

HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》

　Laurence·2023-12-26 10:34

架构设计内容分享(二十六)：架构基础: 特点,本质

目录软件架构简介系统复杂性的来源与应对大型网站的特点大型网站架构目标软件架构简介所谓架构，见仁见智，很难有一个明确或标准的定义；但架构并非镜花水月或阳春白雪，有系统的地方就需要架构，大到航空飞机，小到一个电商系统里面的一个功能组件，都需要设计和架构。抽象而言，架构就是对系统中的实体以及实体之间的关系所进行的抽象描述，是对物/信息的功能与形式元素之间的对应情况所做的分配，是对元素之间的关系以及元素同

之乎者也··2023-12-26 08:59

小区物业大数据监控服务平台（PSD文件资料）

现分享简约物业大数据平台页面、小区物业大数据监控服务平台模版的UI源文件，供设计师们快速获取PS源文件完成工作。

77探索AI·2023-12-26 07:31

09-为Java开疆拓土的ZGC深度剖析

文章目录引言ZGC出现背景STW带来的问题手机系统(Android)显示卡顿证券交易系统实时性要求大数据平台(Hadoop集群性能)垃圾回收器的发展ZGC介绍ZGC中JVM内存布局和设计为什么这么设计？

月球程序猿·2023-12-26 04:15

企业级大数据平台应具备的基本能力

近年来，很多企业建设内部统一的大数据平台，利用集群架构去整合资源与服务，从而发挥企业诸如资源共享、数据共享和服务共享等优势。那么，企业级大数据平台应具备什么样的基本能

皮皮杂谈·2023-12-25 09:45

什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。

金光闪闪耶·2023-12-24 14:49

IP数据在大数据行业的创新应用

第一部分：IP数据在用户行为分析中的应用1.1案例一：电商平台用户行为分析一家电商巨头通过大数据平台收集了大量的用户行为数据，其中包括用户的IP地址、浏览历史、购物车操作等信息。

IP数据云ip定位查询·2023-12-24 11:27

[Java 面试突击训练] MyBatis 架构分析

MyBatis整体架构基础支持层类型描述反射模块对Java原生的反射进行了良好的封装，提供了更加简洁易用的API，方便上层调用，并且对反射操作进行了一系列优化，例如缓存了类的元数据，提高了反射操作的性能

chinanfsk·2023-12-23 15:59

架构设计内容分享(三十五)：架构基础设施能力建设

目录前言一、架构可视化二、架构诊断三、架构模拟四、架构变更评估五、多地部署六、异地多活七、单元化前言在软件架构设计中，基础设施建设是确保系统稳健运行、性能优越、易于管理的关键组成部分。从架构设计的角度来看，基础设施包括了诸多方面，如可视化、诊断、模拟、变更评估、多地部署、异地多活和单元化。这些方面共同构成了一个健全、灵活且高效的基础设施，为系统的持续演进和应对变化提供了坚实的基础。一、架构可视化架

之乎者也··2023-12-23 11:03

推荐频道

大数据平台-架构基础

大创项目推荐 深度学习大数据物流平台 python