大数据平台-架构基础

TDengine：开源、高效的物联网大数据平台

目录一、物联网介绍二、市场上主流平台1.亚马逊云科技（aws）2.阿里云3.腾讯云4.华为云三、TDengine1.简介2.使用教程3.应用场景4.优势5.使用案例一、物联网介绍物联网是一个非常宽泛的概念，它意味着各种设备和机器可以通过互联网进行连接并进行信息交换，实现了物与物、物与人的泛在连接，对物品和过程的智能化感知、识别和管理，目前主要应用在家居、医疗、交通等领域。2021年7月13日，中国
知心宝贝·2022-03-02 17:16

大数据测试场景科普 -- 离线造数场景

不知道大家有没有接触过大数据平台产品，这类产品以TOB公司居多，当然也有一些大厂内部也会有大数据平台去支撑业务线，比如阿里的好像叫odps吧（有点
TesterHome·2022-03-01 00:14

大数据测试场景科普 -- 离线造数场景

不知道大家有没有接触过大数据平台产品，这类产品以TOB公司居多，当然也有一些大厂内部也会有大数据平台去支撑业务线，比如阿里的好像叫odps吧（有点
·2022-02-28 19:10

实时计算知识，最详细的整理

文章目录前言1大数据技术体系2大数据平台演变3Hadoop：4Hadoop生态圈4.1Hive：一个基于Hadoop的数据仓库工具4.2HBase：一款分布式数据库4.3Kafka：一种消息中间件4.4ZooKeeper
麦地与诗人·2022-02-28 15:09

大数据平台安装部署--CDH6.2版本【集群】

1：CDH介绍CDH是Cloudera的100％开源平台发行版，包括ApacheHadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。简单来说：CDH是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几
大自然的农民工·2022-02-28 11:37

大数据平台安装部署--CDH6.2版本单机

一、CDH介绍CDH是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。二、本地单机安装测试，资源有限操作系统：CentOS7.5内存：8g硬盘：80Gcpu：2core三、安装包下载下载地址：链接：https://pan.baidu.com/s/1udJ5Z0wFW
大自然的农民工·2022-02-28 11:36

大数据平台搭建-hbase集群的搭建

本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：虚拟服务器安装基础环境安装zookeeper集群的搭建kafka集群的搭建hadoop/hbase集群的搭建spark集群的搭建flink集群的搭建elasticsearch集群的搭建alluxio集群的搭建本文主要讲解hbase的分布式搭建过程。版本要求java版本：1.8.0_181zookeeper版本:zookeeper-3.4
weixin_30840253·2022-02-28 10:31

微服务架构之千万级调用量架构实践

当然系统复杂度也是逐渐递增微服务架构在大型电商中的运用1、传统电商业务困境高可用性高可伸缩架构柔性数据实时平台开放如图：2、传统大型电商系统的架构数据层，埋点数据把用户行为数据，实时数据存储在NoSQL、关系型数据库、大数据平台
Aaron----·2022-02-28 07:19

体验了一把当架构师的感觉

领导准备升级公司的大数据平台架构，然后他把这个任务交给了我，接到这个这个任务之后，我和领导简单对接过后，也开始调研了起来。
·2022-02-27 21:52

nextionBI发布会大起底：凭什么断言“十年后回头看，现在做的都不算BI”

从无代码到BI，从新风口到老行业，为什么选择在这个时候进入BI赛道，我们对下一代BI的思考和设计又是怎样的...01价值驱动的下一代BI专注知识的积累、发现与应用发布会的开场数睿数据总裁刘超谈到了公司初期是做大数据平台的
·2022-02-25 18:30

Chrome浏览器调用与播放EasyGBS平台录像，一段时间后出现停止播放的情况排查与解决

EasyGBS能够为大数据平台的搭建提供视频能力的支持，在很多线下项目中落地应用，如智慧工厂、智慧工地、智慧港口等。近期我们发现用使用Chrome浏览器调用和播放EasyGBS平台的录像
EasyGBS·2022-02-22 11:00

Linux从零开始学搭建大数据平台(1)

第一章：笔记本电脑系统重做全程操作可以参考：http://www.osyunwei.com/archives/2307.html1.需要将ISO镜像文件安装到UtraISO中2.需要配置BIOSU盘启动-可百度参考：https://wenku.baidu.com/view/ea309432a300a6c30c229f82.html3.进入创建系统界面：1.ChooseaLanguageEnglis
k大数据·2022-02-21 22:17

Oracle数据库运维场景下，智能运维如何落地生根？

简介：「智能运维大数据平台」是一款开箱即用的运维监控平台，通过特有的平台功能可以将企业的基础架构、应用程序、日志管理结合在一起，提供统一采集、统一存储、关联分析、统一监控企业业务保障能力，保障企业业务稳定高效运行
云掣YUNCHE·2022-02-20 23:11

阿里巴巴高可用架构团队19年应届生招聘【提前批】

团队介绍高可用架构团队是阿里巴巴保障稳定性的护航舰队，提供的高可用架构基础设施直面双11洪峰流量，包括全链路压测、容量规划、准入控制、限流降级、流量调度等；通过攻防演练、环境隔离、业务对账等常态稳定性保障技术
sczyh30·2022-02-20 13:56

Canal同步MySQL数据到MySQL并实时同步到ClickHouse

同步业务MySQL数据到实时仓库ClickHouse的数据流转过程如下：实时流转.png上述在大数据MySQL中转数据的目的，是为了精准同步某张表的数据到大数据平台，避免资源的浪费，否则ClickHouse
大数据faner·2022-02-19 23:35

Vue+Echarts构建可视化大数据平台实战项目（上）粒子动效，登录界面抖动，背景图轮播★

Vue+Echarts构建可视化大数据平台实战项目（上）前言分享之前我们先来普及一下什么是数据可视化？数据可视化可以把数据从冰冷的数字转换成图形，揭示蕴含在数据中的规律和道理。
青铜小菜姬·2022-02-19 18:57

人的数字化

未来一个人走在街上，就像一个移动的数据包，这个人的交际圈，亲戚朋友，兴趣爱好，投资偏好等都在各大数据平台上赤裸裸的进进出出。所以人的数据化将来会是最大的趋势或市场。
简之方·2022-02-18 22:18

揭秘Presto＋Alluxio 的N个核心"黑魔法"

可以给大家先简单介绍一下Presto，因为可能很多人是第一次接触这些大数据平台的技术。那Presto是什么呢？
·2022-02-18 15:23

2017年最新的 中国十大虚拟币交易平台排行榜

笔者是虚拟币大数据平台feixiaohao.com的站长，据feixiaohao.com的数据，中国现在已有39家虚拟币交易所（还有不少尚未收录），交易平台数量位居全球第一。
e9808ae1fd90·2022-02-18 13:07

####[美团]大数据平台架构实践

美团的大数据平台架构实践-知乎专栏https://zhuanlan.zhihu.com/p/26359613image.pngimage.pngimage.png本文将介绍美团大数据平台的架构实践，原文是美团大数据构建平台架构师谢语宸在一次大会上的分享
葡萄喃喃呓语·2022-02-17 12:17

唐琪国贸16409————卫衣调查数据

卫衣首先，我打开了百度指数，这是一个开放性大数据平台，在搜索栏里输入“卫衣”，下面马上会跳出该产品的近期搜索指数趋势。虽然有起伏，但是整体还是上升的。卫衣的
Chim_Chim·2022-02-17 12:48

大数据平台Hadoop的分布式集群环境搭建

1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2
yoku酱·2022-02-15 02:49

省大数据局 局长马越男一行走访调研火蓝大数据研究院

领导详细了解公司的人员管理、安全生产、技术研发等情况，并重点了解了火蓝大数据舆情监测平台的市场进展和大数据管理培训情况，对公司的大数据平台、大数据应用开发、大数据管理培训给与高度肯定，还表示，要从自主原创
贝赛科技·2022-02-14 12:01

技术揭秘：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
·2022-02-14 10:23

KUDU 介绍

前言近两年，KUDU在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
两棵橘树·2022-02-13 21:36

架构的架构基础

基础知识点缀：https://segmentfault.com/a/1190000008717267
符精华·2022-02-13 05:26

三.Hadoop介绍

Hadoop大数据平台入门——HDFS和MapReducehttps://blog.csdn.net/a60782885/article/details/71304913背景随着硬件水平的不断提高，需要处理数据的大小也越来越大
愿风去了·2022-02-12 12:37

技术集锦 | 大数据云原生技术实战及最佳实践系列

随着云平台、容器等技术的不断成熟，云原生大数据解决了传统大数据平台建设和运维中的繁琐，使即时可得，按需分配的高效大数据开发平台成为可能。
·2022-02-11 16:34

大数据平台CDH集群在线安装

标签：Cloudera-ManagerCDHHadoop部署集群摘要：管理、部署Hadoop集群需要工具，ClouderaManager便是其一。本文详细记录了以在线方式部署CDH集群>的步骤。以ApacheHadoop为主导的大数据技术的出现，使得中小型公司对于大数据的存储与处理也拥有了武器。目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。ApacheHadoop：
weixin_33724570·2022-02-11 11:48

大数据平台架构设计探究

摘抄自大数据平台架构设计探究本文主要包括以下几个章节:本文第一部分介绍一下大数据基础组件和相关知识。第二部分会介绍lambda架构和kappa架构。
GOGOYAO·2022-02-11 09:14

Apache Spark在海致大数据平台中的优化实践

本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，ApacheSparkContributor，有丰富的SparkSQL引擎调优经验。海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。大数据数据平台的核心组成部分多数据整合自助式数据准备可视化探索式分析
王知无·2022-02-11 04:34

资源整理向--1.数据集整理

天池https://tianchi.aliyun.com/home/阿里云创建的大数据平台，同样有多个比赛可以参加githubhttps://gi
solar_4869·2022-02-10 22:03

智能语音/音箱产业链

底层是基础设施，包括芯片、模组、传感器，以及以大数据平台、云计算服务和网络运营商。这部分参与者以芯片厂商、科技巨头、运营商为主。
Kayla君·2022-02-10 13:20

产业大数据平台-示范基地

如今大数据这个词语出现在大众视野的次数也越来越多，而大多数人却并不知道什么是真正的大数据。所谓大数据，官方回答是这样的，需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产，大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理，这个答案果然够官方，简单来说就是数据的分析与整理。大数据就是一种在获取、存储、分析、管理方面规模大大超出了传统数据
北海yy·2022-02-10 10:33

大数据人工智能技术全攻略

文章目录大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2、Hadoop是大数据平台的标配
充电了么·2022-02-10 02:30

元数据性能大比拼：HDFS vs OSS vs JuiceFS

背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中3个典型的存储方案来压测元数据的性能，来个大比拼。
JuiceFS·2022-02-09 16:42

元数据性能大比拼：HDFS vs OSS vs JuiceFS

背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中3个典型的存储方案来压测元数据的性能，来个大比拼。
·2022-02-09 16:26

元数据性能大比拼：HDFS vs OSS vs JuiceFS

背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中3个典型的存储方案来压测元数据的性能，来个大比拼。
JuiceFS·2022-02-09 16:00

首发｜阿里云构建Android移动安全企业级应用开发电子书新鲜出炉

前言据爱加密移动应用安全大数据平台收录数据显示，截止到2021年6月，对339万款Android应用、更新版本的应用、以及存量应用的安全情况进行统计，80%以上的应用存在漏洞风险，全国总计加固应用307791
Android老皮·2022-02-09 15:02

构建大数据平台（三）Hadoop集群搭建

一、设置主机名称当四台服务器安装好之后，获得它们的IP地址，并设置主机名vi/etc/hostname修改主机名称，四台机器分别设置为：master，slave1，slave2，slave3二、设置hosts文件内容根据实际IP地址和主机名，修改/etc/hosts文件内容为：192.168.2.158master192.168.2.159slave1192.168.2.177slave2192.
Mr_ZhaiDK·2022-02-08 15:08

旅游蜂向标：黑龙江迎旅游热 雪乡漠河人气高

近日，马蜂窝旅游网联合界面推出2018年12月“旅游蜂向标”，基于马蜂窝旅游大数据平台，通过分析境内外100个目的地的热度变化，对12月旅游趋势进行了预测。
小朱荻·2022-02-07 11:47

乐刻大数据平台架构实践

乐刻运动大数据是基于hadoop体系搭建的，主要满足运营的日常报表，以及公司核心指标为主。随着2016年线上线下的发力，以智能化健身为主的共享经济的提出，数据需求量大幅的激增，数据从最初的GB级到现在的PB级急增，我们开始反思如何支撑未来的可预见性数据需求。早期ETL技术报表平台乐刻大数据部门在早期，面对比较零散的统计需求，直接将业务数据配置脚本定时导入elasticsearch做一些复杂的统计查
yxz1025·2022-02-06 17:42

大数据分析平台搭建指南

01先来谈谈企业搭建大数据分析平台的背景1、搭建大数据平台离不开BI。在大数据之前，BI就已经存在很久了，简单把大数据等同于BI，明显是不恰当的。但两者又是紧密关联的，相辅相成的。
独行侠梦·2022-02-06 11:29

App工厂为个人及中小企业提供快捷的App解决方案

依托于Mob移动开发者平台以及Mob大数据平台的技术支持，目前Mob移动开发者平台已为822578422款App提供技术支持。
皮皮酱ye·2022-02-06 03:57

阿里巴巴高可用架构团队19年暑期实习生招聘

团队介绍：高可用架构团队是阿里巴巴保障稳定性的护航舰队，提供的高可用架构基础设施直面双11洪峰流量，包括全链路压测、容量规划、准入控制、限流降级、流量调度等；通过攻防演练、环境隔离、业务对账等常态稳定性保障技术
飞天蚂蚁·2022-02-05 22:38

Apache Zeppelin 基于 kerberos 多租户集成

0前言构建大数据平台初期，我们的数据分析师做数据开发需要ssh到机器上，面对黑黑的terminal进行开发，为了提升开发效率，架构师让我开发一个hive可视化查询页面，支持hive查询，数据可视化，数据导出等
咬尘归·2022-02-05 13:44

如何构建一个交易系统（九）

AxonFramework是我们交易系统选择的架构基础，使用CQRS/EventSource不拘泥于框架使用，其实不套用任何的框架，自己构建可能有更多的调整和细化的余地，选用一个框架，可以加快开发的速度
莲安宇秀·2022-02-03 11:03

作业帮基于 DeltaLake 的数据湖建设最佳实践

作者：刘晋作业帮-大数据平台技术部负责人王滨作业帮-大数据平台技术部高级架构师毕岩阿里云-计算平台开源大数据平台技术专家内容框架：业务背景问题&痛点解决方案基于DeltaLake的离线数仓未来规划
·2022-01-27 17:23

作业帮基于 DeltaLake 的数据湖建设最佳实践

作者：刘晋作业帮-大数据平台技术部负责人王滨作业帮-大数据平台技术部高级架构师毕岩阿里云-计算平台开源大数据平台技术专家内容框架：业务背景问题&痛点解决方案基于DeltaLake的离线数仓未来规划
阿里云云栖号·2022-01-27 09:00

工商银行实时大数据平台建设历程及展望

本文整理自中国工商银行大数据平台负责人袁一在FlinkForwardAsia2021的分享。
·2022-01-20 19:45
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他