大数据平台-架构基础第23页

hadoop大数据平台手动搭建(七)-hue

1.解压tar-zxvf/opt/hue-3.9.0-cdh5.8.0.tar.gz2.编译安装makeapssmakeinstall3.修改hue.ini#Hueconfigurationfile#===================================##Forcompletedocumentationaboutthecontentsofthisfile,run#$/build/

从未停下脚步·2023-02-02 14:54

CDH大数据平台 16Cloudera Manager Console之Sentry权限配置和测试(markdown新版)

个人主页：@与自己作战作者简介：大数据领域优质创作者、CSDN@内容合伙人、阿里云专家博主希望大佬们多多支持，携手共进如果文章对你有帮助的话，欢迎评论点赞收藏加关注⛔如需要支持请私信我，必支持文章目录一、Sentry权限配置1、启动Sentry1.1、hdfs启动sentry1.1.1、开启hadoop超级用户1.1.2、开启sentry访问控制列表1.1.3、开启sentry同步1.1.4、添加

与自己作战·2023-02-02 14:53

大数据平台架构设计探究

近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文

浪尖聊大数据-浪尖·2023-02-02 14:22

扶贫的那些日子

那一年我们相约擎天网咖，进行着大数据平台的录入。网吧里人口攒动，彻夜通宵。网吧中干工作的大叔、大妈、大哥、大姐、小姐姐、小哥哥成了扶贫工作中一道独特的风景线。

王尕鹏·2023-02-02 12:46

过了这个39度没有空调的夜晚

离校的前一晚，我取关了学校的一系列公众号，比如学生会，社团等各大数据平台。

山城里的夏菇凉·2023-02-02 07:32

2018-04-28 自动售药机综合系统

最后，也是最关键的，我们将打造一个云健康大数据平台，这个大数据平台汇

海星之梦·2023-02-01 14:27

【Hadoop】macbookpro m1/m2 arm 编译hadoop-3.3.1

在大数据数仓实践过程中，hadoop技术栈充当了非常重要的环节，很多大数据平台，中台都是基于hive+hadoop+spark来搭建的，所以我们对于hadoop的编译，构建，安装是需要掌握的非常清楚。

笑起来贼好看·2023-02-01 09:24

2020-03-13

web架构基础积累node:垃圾回收：深入理解Node.js垃圾回收与内存管理解读V8GCLog（一）:Node.js应用背景与GC基础知识解读V8GCLog（二）:堆内外内存的划分与GC算法1.node

微城小觑·2023-02-01 09:14

从零到一，臻于至善｜网易邮箱基于StarRocks 开发大数据平台的实践

现任职网易邮件事业部资深数据开发工程师，作为主要开发人员参与网易邮箱大数据平台的建立、优化、重构等工作，并取得相当的成效。

·2023-01-31 18:09

云消防大数据_2020年刚需系列专题之智慧消防大数据平台建设方案智慧消防云平台项目解决方案，一查就有...

消防产业关乎国计民生，伴随城镇化进程而逐步成长。根据中国消防协会编撰的《中国消防产业发展现状》，我国消防产业每年的总体规模约为1000-2000亿元。消防产业的成长伴随着我国的城镇化进程。一般而言，消防产业的增长会与固定资产投资和房地产开发投资增速保持相对一致。现阶段，我国固定资产投资和房地产开发投资都相对企稳于低位运行，这也使得消防市场的竞争由增量转向存量，行业竞争更加激烈，优胜劣汰。消防报警市

weixin_39935257·2023-01-31 02:43

基于EMR的新一代数据湖存储加速技术详解

摘要：本文整理自阿里云开源大数据平台数据湖存储团队孙大鹏在7月17日阿里云数据湖技术专场交流会的分享。

阿里云大数据AI技术·2023-01-30 15:54

大数据平台搭建_不会搭建大数据平台，我被老板优化了...

此时，大数据平台的搭建就是企业面临的问题，搭建大数据平台有哪些思路？

weixin_39855568·2023-01-30 15:22

怎样搭建大数据平台

在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本功能，来决定平台搭建过程

中琛源科技·2023-01-30 15:16

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建3、大数据基础平台搭建

dyj095·2023-01-30 14:43

B站基于Iceberg的湖仓一体架构实践

背景在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。

王知无(import_bigdata)·2023-01-30 07:36

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。

张家锋·2023-01-30 06:45

【TomP2P】基于P2P的分布式存储框架

相对于集中式的软件架构，P2P网络在数据共享、带宽利用，以及隐私保护等方面体现了较大的优势，并且某些视频播放软件，在集中式软件架构基础上混合P2P能力加持，实现了节省带宽、优化播放体验的效果。

Halis_123·2023-01-30 05:27

hadoop大数据平台的构建

目录hadoop概述什么是hadoop？hadoop特点hadoop组成hadoop默认端口hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己所用节点的IP映射需要在所有节点上完成网络配置时间同步（三台机器均执行）ssh免密（三台主机）zookeeperhadoop安装hadoop配置PATH变量配置hadoop-env.sh配置core-site.xml配置hdfs-site

JeremyHeria·2023-01-30 04:27

Apache开源顶级项目Ambari搭建HDP大数据平台

搭建HortonworksDataPlatform大数据平台Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。

wunanliu·2023-01-30 04:53

大数据平台ambari

调研发现网易猛犸、金山云采用的军事ambari，甚至在易观直接把大数据平台中ambari的截图放到了官网上，足见它的影响力有多强。

warrah·2023-01-30 04:21

大数据平台的整体架构由哪些组成

大数据平台将互联网使用和大数据产品整合起来，将实时数据和离线数据打通，使数据能够实现更大规模的相关核算，挖掘出数据更大的价值，然后实现数据驱动事务。那么，大数据平台的整体架构由哪些组成呢?

中琛源科技·2023-01-30 04:14

大数据平台安装部署（适用虚拟机级真实服务器，亲测）

大数据集群搭建一、基础环境准备（虚拟环境or服务器环境）1.虚拟环境准备（服务器安装跳过此步骤）1.1安装vmware注意：安装centos8系统及以上需要高版本vmware,实测vmware12.x会出现错误1.2安装centos选择稍后安装操作系统【或者傻瓜式安装选择安装程序光盘映像文件(iso)，选择镜像，直接安装成功】：选择Linux，版本选择CentOS764位：输入虚拟机名称和位置：磁

小崔编码·2023-01-30 04:06

从0到1搭建自助分析平台

一、什么是自助分析平台自助分析平台是构建在大数据平台之上的，依托于大数据平台的数据研发能力，通过统一的数据服务，实现对数据查询、分析的统一管理，为企业业务分析提供高效的数据决策支持，同时也避免数据工程师陷入繁杂的提数需求中

数据社·2023-01-30 02:23

arm架构基础知识小结

前言从单片机转到ARM，主要需要学习ARM的架构，ARM相比单片机多了一些外设和总线。在仅仅是裸奔的情况下，如果熟悉了ARM架构，那么我认为使用任何ARM架构的芯片和用单片机将没有区别。ARM架构之所以更复杂，当然是为了跑更快以及更好地支持片上系统，所以在某种程度上来说对片上系统不是很了解的话那对于ARM架构的理解也不会那么深。ARM的历史版本ARM7TDMI是基于ARMv4T架构的。ARMv5T

一格桑京·2023-01-29 07:15

单片机复位后为什么要对sp重新赋值_从单片机转ARM，ARM架构基础知识小结

ARM架构基础知识小结ARM全国巡回技术讲座-第一场：最新ARM+Andr

weixin_39616003·2023-01-29 07:44

NJU SE 软件系统设计期末复习——架构设计部分

软件架构基础知识什么是软件架构某个软件或计算系统的软件架构是该系统的一个或多个结构，它们由软件元素、这些元素的外部可见属性以及这些元素之间的关系组成。

Anmous·2023-01-29 07:43

fifi说·2023-01-29 01:56

2019年规划

------------------------1：成为一个合格的产品经理（对产品经理的套方法论能熟练掌握）；2：对大数据底层知识有全面的了解，包括底层的架构，中间的数仓，后面的应用层；3：打造溢米的大数据平台

Edan栋·2023-01-28 18:21

大数据平台搭建

接下来我将一步步讲解如何搭建此平台，主要是安装三个组件Hadoop、HBase、Hive，它们也是最基础的组件。下面我们开始吧！一、机器安装（如果需要安装和本人一样的软件版本，通过QQ296095021取得联系）在虚拟机上安装Centos7，选择最小安装，此台机器作为master，安装完成之后关机，接着是克隆刚刚创建的虚拟机，分别作为slave1和slave2。安装Xshell和XftpXshel

彡Top丶Love丨焘·2023-01-28 13:26

DaaS架构及落地（一）

2.基础架构基础架构系统

黄军雷·2023-01-28 06:55

松江区重点企业介绍-百亿级项目

谱尼测试集团上海有限公司服务网络遍及全国的大型综合性检测机构，连续六年荣膺德勤“高科技、高成长亚太500强”正泰启迪(上海)科技发展有限公司智电港同时将建成上海市首个能源互联大数据平台，聚集一批互联网+

jungwong·2023-01-28 01:22

元数据性能大比拼：HDFS vs S3 vs JuiceFS

元数据是存储系统的核心大脑，元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。

·2023-01-27 16:58

【Node】Nodejs Mongodb Express后台mvc架构基础（入门学习）

前言本文档针对于像我一样的初学者，自己写了个简单的基础demo学习。原来我是一名本分老实的AndroidDeveloper，被朋友带入放荡不羁的Node坑，一入坑再也爬不上来。入门简单强烈推荐会js的朋友入坑（我一个做Android的都入坑，所以，别慌），之前为自己的开源App写的一个小后台（写法极其low，虽然现在也不怎么样），现在稍有改进，以后会继续用简洁优美的写法优化。（优美？不存在的）Gi

LuLiangDev·2023-01-27 04:02

数仓调研app

://mp.weixin.qq.com/s/Mhc_vTyR9a9F1BE9uoI9Ww抛弃Hadoop，数据湖才能重获新生(qq.com)详解数据中台的底层架构逻辑（纯干货建议收藏）(qq.com)大数据平台中的企业级数仓建设

空凯空凯空空凯·2023-01-26 11:32

银行大数据的演变趋势是什么？

银行业一直走在数字化转型的前沿，客户画像、精准营销、反欺诈等几乎所有的业务都与数据息息相关，而在这些业务背后做支撑的就是银行的大数据平台。

Kyligence·2023-01-26 08:26

大数据--spark

什么是SparkApacheSpark的架构基础是弹性分布式数据集(RDD)，这是一种只读的多组数据项，分布在机器集群上，以容错方式维护。

像影子追着光梦游_·2023-01-24 20:56

echarts学习——（下）Vue+Echarts构建大数据可视化酷屏展示公司品牌实战项目分享（附源码）

一个基于Vue前端框架和第三方图表库Echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。

小螃蟹带着千纸鹤去买小汤圆·2023-01-24 13:26

春节静态HTML网页作业模板传统节日文化网站设计作品静态学生网页设计作业简单网页制作

web网站建设·2023-01-23 19:38

HTML学生作业网页传统端午节节日学生节日网页设计作业源码(HTML+CSS+JS)

web网站建设·2023-01-23 19:38

大数据平台到底该如何设计？

本文首发微信公众号：码上观世界要回答如何设计大数据平台，首先要回答为什么要设计大数据平台。设计大数据平台无非是满足企业的数据查询和分析需求，最终为企业的运营服务。

咬定青松·2023-01-20 08:31

使用tushare大数据平台对几种股票因子进行计算

写在前面去年七月，笔者开始接触买入股票，近一年下来，投入的的钱亏了一半，股票市场不是基金市场，其中的残酷给我这个初来乍到的年轻人上了一课。当时，我就在想，买卖股票是否能够赚钱，关键就在一个信息。内部的人有内部的消息，总是能赚大量的钱。我作为一个学生，家里边也没有背景，不可能获取到公司内部的消息。在我计算机水平还一般的时候，我一直想做一个东西，把市面上公开的股票信息进行合理的分析，获得一些我们原先看

ZYM66·2023-01-19 15:55

TDengine 时序数据特色查询语法详解，助力时序场景下的应用开发

小T导读：TDengine是专为时序数据而研发的大数据平台，存储和计算都针对时序数据的特点量身定制，在支持标准SQL的基础之上，还提供了一系列贴合时序业务场景的特色查询语法，极大地方便了时序场景的应用开发

·2023-01-18 13:44

苏宁数据仓库应对数据爆发式增长的技术演进

为什么需要数据仓库随着公司业务不断发展，数据种类和存储呈现爆发式增长，繁多的业务数据如何被各业务中心分析和使用，如何有效组织和管理大量业务数据，减少大数据平台相近逻辑重复计算、相近数据重复存储，都将面临巨大挑战

碧英大数据·2023-01-18 09:56

AI专家：大数据知识图谱——实战经验总结

大数据具有海量性、多样性、高速性和易变性等特点，映射到大数据平台建设要求，不仅要具备海量数据采集、并行存储、灵活转发、高效调用和智能分析

别盲目追风·2023-01-17 09:03

大数据平台容量评估_大数据平台测试

一.大数据平台测试简述大数据平台测试包括2部分：基础能力测试和性能测试Ⅰ).基础能力测试大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持大数据平台是否能够通过界面的形式方便用户进行非运行维护

weixin_39575775·2023-01-17 07:39

微服务项目的整合与测试-微服务架构基础

知识储备：1.Swaggerui封装Swagger是一个Restful风格接口的文档在线自动生成和测试的框架官网：http://swagger.io官方描述：TheWorld’sMostPopularFrameworkforAPIs.Swaggerui的原生UI界面如下：2.现在市面上的UI不足之处1、原生UI显示的有些不够漂亮和清晰，特别是request的model部分2、每个服务都需要引入一套

T.machine·2023-01-17 01:41

单阶多层检测器: SSD (Single Shot Multibox Detector)

目录SSD总览数据预处理光学变换几何变换网络架构基础VGG结构深度卷积层PriorBox与边框特征提取网络匹配与损失求解预选框与真实框的匹配定位损失的计算难样本挖掘类别损失计算SSD的改进算法SSD算法的限制

连理o·2023-01-16 08:26

软件测试2022年终总结

总结：平凡但又不平凡的一年今年工作：主要是做大数据平台的测试。公司来了阿里大佬，建立了统一的大数据平台。包括数据采集---------->探索-------------

软件测试李同学·2023-01-14 11:59

数据平台建设指南(上)

前言年底了，整理了下过去做的一些项目，希望能够给大数据行业的同学提供些大数据平台建设的思路。内容大致分五部分：数据采集，数据存储、数据计算、基础平台以及数据治理篇。

woloqun·2023-01-12 10:19

大数据平台设计思路

一、什么是大数据平台一般情况下，大数据平台指的是使用了Hadoop、Spark、Storm、Flink、Blink等这些分布式、实时或者离线计算框架，并在上面运行各种计算任务的平台。

ITFLY8·2023-01-12 10:43

推荐频道

大数据平台-架构基础