大数据系统运维笔记

大数据系统的学习路径、思维导图

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读书籍书单大全：书单导航页（点击右侧极客侠栈即可打开个人博客）：极客侠栈①【Java】学习之路吐血整理技术书从入门到进阶最全50+本（珍藏版)②【算法数据结构+acm】从入门到进阶吐血整理书单50+本（珍藏版)③【数据库】从入门到进阶必读18本技术书籍网盘吐血整理网盘(珍藏版)④【Web前端】从HTML到JS到AJ
python算法小白·2023-09-27 18:02

大数据测试

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
Twins_zuoyou·2023-09-25 05:59

【运维笔记】Centos 7.5 安装elasticsearch-7.4.0

一、前言：无二、下载&解压elasticsearch到指定目录：[root@localhostopt]#cd/[root@localhost/]#mkdir/opt/elasticsearch/[root@localhost/]#cd/opt/elasticsearch/[root@localhostelasticsearch]#wgethttps://artifacts.elastic.co/d
seesun2012·2023-09-24 22:52

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统
高天艳阳·2023-09-24 08:00

使用 Databend 加速 Hive 查询

澳门科技大学在读硕士，Databend研发工程师实习生ApacheOpenDAL(Incubating)CommitterPsiACE(ChojanShang)·GitHub随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式查询
Databend·2023-09-23 03:27

tp5 php ES的使用

本解决方案是基于Mysql数据库、Hadoop生态（可选）、ElasticSearch搜索引擎三大数据系统实现一个分布式全文搜索系统。主要包括数据接入、数据索引和全文搜索3个模块。
.海上月·2023-09-21 11:14

linux运维笔记：sersync实现数据实时同步

linux运维笔记：sersync实现数据实时同步1-Sersync简介Sersync是利用inotify技术实现所有服务器数据实时同步的解决方案，其中监控sersync所在服务器上文件系统的事件变化，
好知识传播者·2023-09-20 20:26

Hadoop技术生态简介

Hadoop可以说是第一代大数据技术框架的主流选择，很多早期开始搭建大数据系统平台的企业，都是从Hadoop
会飞的鱼go·2023-09-20 11:56

众智引领未来：2023中国高校计算机大赛——大数据挑战赛冠军揭晓

8月27日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）以“线下答辩+全球直播”的形式完美落幕。
·2023-09-19 22:22

2023中国高校计算机大赛热度再刷新：2100+参赛队伍，获超480所国内知名高校关注！

近日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）完成了初赛阶段比赛，进入到复赛阶段。
·2023-09-19 22:51

Benchmarking Big Data Systems: A Review阅读笔记

论文原文链接摘要随着大数据系统近年来的飞速发展，各种开源的基准测试被设计出来比较和评估这些系统的性能，并促进了他们性能的提升。文章首先给出了流行的benchmark的总览。
Yuanzhe_Hao·2023-09-16 11:33

大数据对教育行业重要作用有哪些？

若教育工作者广泛采用大数据系统，能够将学习过程提高到一个新水平。教育要求不断变化，需要更新现有实践并提供额外的资源。大数据正在以新颖的方式塑造教育部门。大数据是制定更快更好的决策的关键。
我想去吃ya·2023-09-15 17:33

kafka学习一：原理和概念

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
健康平安的活着·2023-09-15 10:17

linux运维笔记：Linux磁盘分区

1-Linux里面的分区工具fdisk主要是给磁盘小于2T（只能出来分区表是mbr的）parted主要是给磁盘大于2T（gpt）2-磁盘分区重点1）给磁盘分区的实质就是针对0磁头0磁道1扇区后面接下来的64bytes的区分表进行设置，即主要是划分起始以及结束磁头号、扇区号及柱面号2）给磁盘分区的工具有fdisk(适合个小于2T的磁盘分区)，parted（擅长给大于2T的磁盘分区，也可以对于小于2T
好知识传播者·2023-09-12 16:50

官方收视数据发布，《余生》仅排第六，第一名众望所归

对比其他网站公布的数据，无疑中国视听大数据官方微博更具有权威性，因为他的数据来自国家广播电视总局节目收视综合评价大数据系统。接下来就让我们看看这个榜单。
娱记新资·2023-09-11 16:23

本是同根生-双数据库集群keepalived virtual_route_id冲突导致连接故障

项目场景：一企业近期陆续开始升级办公与大数据系统，新的承包商。原有的数据库是某国内大品牌A，现在新的功能准备陆续迁移到大品牌B上。系统部署后，A依旧承担比较轻松的财务、仓库管理，B承担实时的线上业务。
丁劲犇·2023-09-11 13:06

《阿里大数据之路》读书笔记：第三章 数据同步

应用场景：同类型不同集群数据库之间的数据同步主数据库与备份数据库之间的数据备份主系统与子系统之间的数据更新不同地域、不同数据库类型之间的数据传输交换大数据系统中的数据同步数据从业务系统同步进入数据仓库数据从数据仓库同步进入数据服务或数据应用一
蓦然_·2023-09-10 17:14

一.linux运维笔记

1.Linux的发行版和不同发行版之间的联系目前主流的Linux发行版：Ubuntu、RedHat、Centos、Fedora、suse、红旗、debian不同发行版之间的联系前言：虽然Linux发行版众多，但内核都是基于同一个内核，所谓不同其实都是根据内核的基础来进行软件等功能进行二次开发Ubuntu：中文名称“乌班图”，是一个以桌面应用为主的linux操作系统，每两年发布一次XX.04LTS版
阿征丶·2023-09-10 04:55

以赛促学！2023 中国高校计算机大赛大数据挑战赛圆满收官

本次大赛由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧（北京）科技有限公司协办，上海和今信息科技有限公司（下简称“和鲸科技”）提供竞赛平台支持。
ModelWhale·2023-09-09 08:15

人民日报：多挖掘大数据“富矿”崔斌课题组在大数据中取得重要进展

通过安装在角落的传感器，对整个城市的节能减排进行24小时监测；借助车流量监控和大数据系统，实现红绿灯变换时间的动态调整……海量信息转化为决策资源，大幅提升着城市的精细化管理水平，打造出更加智慧、智能的政府和城市
慕苏zy·2023-09-08 17:16

大数据实验一：大数据系统基本实验（第四部分：NoSQL和关系数据库的比较）

一、实验目的1）理解4种数据库（MySQL、HBase、Redis和MongDB）的概念及不同点。2）熟练使用4种数据库操作常用的shell命令。3）熟悉4种数据库操作常用的JavaAPI。二、实验平台1）操作系统：Linux（Ubuntu18.04）；2）Hadoop版本：2.9.0；3）MySQL版本：5.7.28；4）HBase版本：1.2.6；5）Redis版本：4.0.8；6）MongD
EGNIR·2023-09-05 07:36

大数据实验一：大数据系统基本实验（第五部分：MapReduce初级编程）

1）编程实现文件的合并和去重对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.ha
EGNIR·2023-09-05 07:05

阿晨的运维笔记 | CentOS部署Docker

使用yum安装#step1:安装必要的一些系统工具sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2#Step2:添加软件源信息sudoyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo#Step3:更
进击的阿晨·2023-09-02 11:42

说说Lambda架构

Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。
学一次·2023-09-01 07:28

AI助乡行——点燃乡村振兴新引擎

在智慧农业中，人工智能技术可以通过信息感知、计算机视觉、智能决策、可视化大数据系统等，帮助农业更高效、更合理的利用农业资源，提高农业生
拓世AI数字人·2023-08-31 14:54

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台
·2023-08-31 11:05

4、大数据系统组件

在对大数据系统有了个初步的理解后，明白了大数据系统的架构其实是各不相同的，都是根据企业各自的需求来选择相应的组件构成自己的系统，那么常用的组件有哪些呢？它们分别的作用是什么呢？
朗如行玉山_5b30·2023-08-30 16:08

众智引领未来：2023中国高校计算机大赛——大数据挑战赛冠军揭晓

8月27日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）以“线下答辩+全球直播”的形式完美落幕。
·2023-08-30 14:03

数据仓库总结

数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成
袁奎·2023-08-30 08:27

Apache Arrow - Parquet存储与使用

简介Parquet是一种高效的列式存储格式，广泛用于大数据系统中的数据仓库和数据管理工具中，旨在提高数据分析的性能和效率，能够更好地支持数据压缩和列式查询，同时兼顾读写速度和数据大小初衷为了让Hadoop
·2023-08-29 18:48

Hadoop完全分布式安装，全网最详细！

大数据系统开发一、CentOS7系统安装1、新建虚拟机2、编辑虚拟机参数3、安装操作系统3.1开启虚拟机3.2选择installCentOS7白色字体显示，通过键盘的上下键进行选择然后回车；3.3选择语言
正好.·2023-08-28 12:23

《企业大数据系统构建实战：技术、架构、实施与应用》一2.3　大数据制度和流程规范...

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.3节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看2.3大数据制度和流程规范
weixin_33709219·2023-08-26 19:57

《企业大数据系统构建实战：技术、架构、实施与应用》——2.3　大数据制度和流程规范...

本节书摘来自华章计算机《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.3节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_33832340·2023-08-26 19:57

搭建测试mongodb副本集

简介(木有目录,建议去gitee看:https://gitee.com/xiaofeipapa/docker_mongodb)我司数据说多不多,说少不少,也到了搭个大数据系统的时候了.更何况我们系统最重要的环节
小肥爬爬·2023-08-24 17:46

数据湖是什么

数据湖(DataLake)是大数据系统中的一个重要概念,其主要特征是:1.集中存储所有原始数据数据湖试图存放所有可获得的原始数据,包括结构化数据、半结构化数据及非结构化数据。
diannao720·2023-08-24 09:09

管理一家餐饮店需要考虑哪些事情

餐饮连锁化的发展趋势越来越明显，需要考虑的不仅是单店运营问题，更要考虑供应链和大数据系统搭
DreamerShane·2023-08-24 02:56

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台
·2023-08-23 12:52

从Hadoop到Spark，大数据技术发展概况

大数据从概念走向落地，得益于大数据技术的成熟，尤其是以Hadoop为代表的第一代大数据系统框架，为大数据在企业当中的现实落地，提供了稳固的技术支持，而随着大数据的发展，大数据技术也在更新迭代。
加米谷大数据张老师·2023-08-23 05:48

大数据学习的必备五大核心技术

大数据系统的技术庞大而复杂。基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。
AydanLinux·2023-08-23 03:57

week32

本周目标：Belady现象的解释操作系统计组IO/MMchapter刷力扣ubuntu磁盘/网络/命令行进阶*1tarball之类的使用Question大数据系统实验要学吗？
Great_GNU&linux·2023-08-20 21:23

大数据营销公司到底有什么用？

现在各种大数据系统，软件，可谓花团锦簇的。所谓我也来凑了一个热闹。简单说，大数据就是基础数据，他这个不分行业，除非客户有行业需求，大数据起到两个作用，一个是聚集，一个分析。
超厉害的养乐多·2023-08-19 14:42

数仓建模方法论

成本：减少不必要的数据冗余，实现计算结果的复用，降低大数据系统中
浪尖聊大数据-浪尖·2023-08-17 12:51

2023中国高校计算机大赛热度再刷新：2100+参赛队伍，获超480所国内知名高校关注！

近日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）完成了初赛阶段比赛，进入到复赛阶段。
·2023-08-16 15:55

运维笔记：PHP+nginx编译安装参考

前言由于很多新手问我怎么做编译安装，所以就蛮整理一下。学会编译安装，无论是开发或者运维，都是皆要掌握的硬性要求。PHP依赖yuminstalllibxml2-develbzip2-devellibcurl-devellibpng-devellibXpm-devellibjpeg-turbo-develgmp-develfreetype-devellibvpx-develkrb5-develzlib
·2023-08-15 16:47

信息流广告投放

今天小编来讲讲信息流广告与大数据精准营销结合的投放步骤：1.找到精准用户与问题需求大数据精准营销中最大的特点就是可以精准的找到广告主的用户群体，在通过线下大数据采集，把广告主的潜在和已有客户的数据信息采集到，这些采集到的数据再通大数据系统的清洗去重
uiv_0b33·2023-08-13 21:12

Centos7.9编写分布式集群大数据系统_自启动脚本---Linux工作笔记058

由于为了方便,系统在启动的时候,设置成系统所有的,集群软件都自动启动,这样,可以减少,运维成本,要不然,这么多,工具,有的还不知道放到什么位置了,一个个去启动,非常麻烦.首先编辑:编辑这个文件:然后编辑这个文件,写上自己,自启动脚本的位置,然后保存:wq然后再给这个文件赋值上,执行权限,然后,重启以后,这脚本,我们设置在rc.local中的,就会自动执行了.然后后面是构建:启动脚本,的内容了:
脑瓜凉·2023-08-12 04:23

DWF低代码开发技术及其在数字化运营和运维平台建设中的应用

前言2019年以来清华大学软件学院、大数据系统软件国家工程实验室与云智慧合作，推进大数据系统技术和软件在智能业务运维领域的应用。
云智慧AIOps社区·2023-08-10 11:41

大数据开发：Flink如何设计容错

基于分布式构建的大数据系统平台，容错性是一个重要的指标，尤其是在数据规模越来越大，数据格式也越来越复杂的背景下，容错机制的设计，是非常关键的。
成都加米谷大数据·2023-08-10 07:57

拉米拉数营通：论大数据对企业发展有多重要

——《福布斯》2.拥有大数据系统，挖掘更过潜在数据大数据系统能够通过将尚未开拓的数据
米拉娱乐·2023-08-09 20:19

计算机毕业设计全网首发Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)

数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法(协同过滤算法等或者调用SparkML库)数据处理流程本环节主要讲述的是对于整体项目功能的设计，设计方案为主要是由大数据系统以及可视化前端子系统组成
计算机毕业设计大神·2023-08-07 19:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他