本科课程大数据基础第2页

ETLCloud与简道云结合，实现企业信息同步

提供开放的组件市场,企业通过本平台可以快速构建大数据基础底座，同时快速打通ERP、MES、OA、SaaS、API、MQ、IOT等数据构建

ETLCloud数据集成社区·2023-12-29 09:27

基于python编写的服务器之间流量传输netflow_exporter

一、背景通常企业会在多个机房部署IT系统，在大数据基础服务组件中会集群跨机房部署或是跨机房抽取数据的场景，在抽数任务时间节点没有错开的时候，经常会造成带宽打满的情况，跨机房的带宽费用比较昂贵，不考虑成本去扩跨机房的带宽是不现实的

运维仙人·2023-12-28 10:54

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。

金光闪闪耶·2023-12-24 14:49

聪明高效能力广，AGI如何赋能内容管理？

大数据基础设施提供商爱数就是其中之一。

智能相对论·2023-12-21 19:48

Tensorflow 数据预读取--Queue

深度学习训练模型通常是建立在大数据基础上，一般情况下可以把数据都加载到内存避免训练时数据读取IO。但是，当数据占用空间较大，如图片集或者视频集，无法全部载入内存；另一种方式是在训练时再

yalesaleng·2023-12-21 05:39

大数据基础理论——Lambda与Kappa架构的区别

Lambda架构基本介绍NathanMarz根据他在Backtype和Twitter使用分布式数据处理系统的经验，提出了Lambda体系结构（LA）一词，用于通用、可扩展且容错的数据处理体系结构。LA旨在满足对健壮系统的需求，该系统具有容错能力，既能防止硬件故障，也能防止人为错误，能够服务于广泛的工作负载和用例，并且需要低延迟的读取和更新。最终的系统应该是线性可扩展的，并且应该向外扩展而不是向上扩

Axton_·2023-12-18 22:03

Hudi 在 vivo 湖仓一体的落地实践

作者：vivo互联网大数据团队-XuYu在增效降本的大背景下，vivo大数据基础团队引入Hudi组件为公司业务部门湖仓加速的场景进行赋能。主要应用在流批同源、实时链路优化及宽表拼接等业务场景。

vivo互联网技术·2023-12-18 03:15

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala、Spark-Sql、Elasticsearch、Yarn、Hue、ClouderaManager，这篇文章的目的就是作为小白要把这些相关的知识概念还有可能的考点整理出来。大数据-概念什么是大数据

偶余杭·2023-12-15 17:22

大数据基础设施搭建 - 数据装载

文章目录一、概述二、数据装载（HDFS->Hive）2.1创建Hive表2.1.1业务全量表建表语句2.1.2业务增量表建表语句2.1.3流量增量表建表语句2.2数据装载2.2.1初始化装载省份和地区表2.2.2业务数据装载（1）开发脚本（2）授予脚本执行权限（3）定时调度2.2.3日志数据装载（1）开发脚本（2）授予脚本执行权限（3）定时调度一、概述入仓时机：业务数据、日志数据都同步到HDFS后

m0_46218511·2023-12-04 17:50

【“任务式婚姻”之殇】

秋葵小姐大学学的是日语专业，上大三那年她顺理成章去日本留学，在日本读完剩下两年的本科课程，然后顺理成章地读了研究生，再顺理成章地留在日本工作。异国生活充满寂寥和艰辛，再加上她觉

兴时态_198812·2023-12-04 12:47

大数据基础设施搭建 - 业务数据同步策略

文章目录一、全量同步1.1梳理需要全量同步的业务表1.2Sqoop:MySQLToHDFS1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表2.2Maxwell:MySQLToKafka2.2.1首次全量同步2.2.2每日增量同步2.2.2.1编写Maxwell配置文件2.2.2.2启动Maxwell2.3Flume:Kafk

m0_46218511·2023-12-03 16:42

大数据基础设施搭建 - Sqoop

文章目录一、上传压缩包二、解压压缩包三、配置环境变量（TODO）四、修改配置文件五、拷贝MySQL驱动六、测试能否连接数据库七、importMySQLtoHDFS一、上传压缩包官网：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/简介：Hadoop和关系数据库之间传输数据部署节点：在Hadoop集群的任意节点部署都可以，因为Hadoop配置文件中指出了N

m0_46218511·2023-12-01 19:52

大数据基础设施搭建 - Maxwell

文章目录一、上传压缩包二、解压压缩包三、启用MySQLBinlog3.1修改MySQL配置文件3.2重启MySQL服务3.3测试四、创建Maxwell所需数据库和用户4.1创建数据库4.2调整MySQL数据库密码级别4.3创建Maxwell用户并赋予其必要权限4.4测试五、修改配置文件5.1修改Maxwell配置文件名称5.2修改Maxwell配置文件六、增量数据同步6.1创建KafkaTopic

m0_46218511·2023-12-01 19:19

Python大数据基础之数据清洗（数据转换篇）

数据转换是指将数据转换或统一成适合于挖掘的形式。数据规范化大致分为三种最大最小规范化、z-score规范化、按小数定标规范化。一、z-score规范化z-score规范化：又称标准差规范化或零均值规范化，数据处理后服从标准正态分布，也是比较常用的规范化方法。其中为对应特征的均值，为标准差。python中有两种方法实现：利用Pandas中DataFrame的apply函数；利用sklearn库已经封

小华6不6·2023-11-28 07:58

大数据基础 HDFS客户端操作

一、Maven概述Maven是一个专门用于管理和构建Java项目的工具。我们之所以要使用Maven，是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制，这些功能可以使得我们的项目结构更加清晰，导入jar包的方式更加方便和标准，进而使得我们的开发更加的便捷高效。maven是Apache的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自

星星失眠️·2023-11-26 19:05

人工智能学习1

2.新一代人工智能呈现出“深度学习、跨界融合、人机协同、群智开放和自主智能的新特点”，新一代人工智能主要是大数据基础上的人工智能。

yyuanse·2023-11-26 00:49

大数据基础设施搭建 - Hive

文章目录一、上传压缩包二、解压压缩包三、配置环境变量四、初始化元数据库4.1配置MySQL地址4.2拷贝MySQL驱动4.3初始化元数据库4.3.1创建数据库4.3.2初始化元数据库五、启动元数据服务metastore5.1修改配置文件5.2启动/关闭metastore服务六、启动hiveserver2服务6.1修改配置文件6.2启动/关闭hiveserver2服务七、访问Hive7.1通过hiv

m0_46218511·2023-11-25 13:15

「Flink实时数据分析系列」1. 有状态流处理简介

来源|「StreamProcessingwithApacheFlink」作者|FabianHueskeandVasilikiKalavri翻译|吴邪大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研

数据与智能·2023-11-25 06:49

大数据基础中台-数据仓库建设

一、数据模型架构原则数仓分层原则优秀可靠的数仓体系，往往需要清晰的数据分层结构，即要保证数据层的稳定又要屏蔽对下游的影响，并且要避免链路过长。那么问题来了，一直在讲数仓要分层，那数仓分几层最好？目前市场上主流的分层方式眼花缭乱，不过看事情不能只看表面，还要看到内在的规律，不能为了分层而分层，没有最好的，只有适合的。分层是以解决当前业务快速的数据支撑为目的，为未来抽象出共性的框架并能够赋能给其他业务

SmartBrain·2023-11-24 12:22

大数据、人工智能与云计算的融合与应用

但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值；同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸；此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切

ShuYunBIGDATA·2023-11-24 09:26

大数据基础设施搭建 - Flume

文章目录一、上传压缩包二、解压压缩包三、监控本地文件（filetokafka）3.1编写配置文件3.2自定义拦截器3.2.1开发拦截器jar包（1）创建maven项目（2）开发拦截器类（3）开发pom文件（4）打成jar包上传到Flume3.2.3修改配置文件3.3创建KafkaTopic3.4启动Flume3.5停止Flume四、监控Kafka（kafkatohdfs）3.0将lib文件夹下的g

m0_46218511·2023-11-23 13:37

米哈游大数据云原生实践

背景简介为了解决原有架构缺乏弹性、运维复杂、资源利用率低等问题，2022年下半年，我们着手调研将大数据基础架构云原生化，并最终落地了Spark

云布道师·2023-11-23 02:26

大数据基础设施搭建 - Kafka（with ZooKeeper）

文章目录一、简介二、单机部署2.1上传压缩包2.2解压压缩包2.3修改配置文件（1）配置zookeeper地址（2）修改kafka运行日志(数据)存储路径2.4配置环境变量2.5启动/关闭2.6测试（1）查看当前服务器中的所有topic（2）创建topic等增删改查操作未测试，担心后面升级为集群模式时出问题。三、集群部署3.0清空log.dirs目录并删除zookeeper的kafka节点3.1同

m0_46218511·2023-11-21 15:57

便捷、高效、智能—从运维视角看星环科技大数据基础平台TDH

日前，星环科技发布了大数据基础平台TDH8.1.0，新版本围绕页面布局重构，集群升级和超大集群管理能力等方面进行了全新升级，极大程度地提升了用户数据开发管理体验。

星环科技·2023-11-21 00:00

微机原理与接口技术考前冲刺和巩固

《微机原理与接口技术》复习练习题与答案适用于专接本考试和本科课程期末考试一、填空题1、8086/8088CPU内部结构按功能分为两部分，即由执行单元和总线接口单元组成。

小明指示说·2023-11-20 13:21

Scala编程实战 —— 一文学会编码大数据基础案例wordcount

SSM专栏（更新中…）本期文章：Scala编程实战——一文学会编码大数据基础案例wordcount如果对您有帮助还请三连支持，定会一一回访！‍

it春和·2023-11-20 13:43

大数据基础——HDFS（分布式文件系统）

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念：作用：DataNodeHDFS的工作机制HDFS写数据流程HDFS读数据流程HDFS在读取文件的时候，如果其中一个块突然损坏了怎么办HDFS在上传文件的时候，如果其中一个DataNode突然挂掉了

我菜的要死·2023-11-20 02:49

大数据基础设施搭建 - ZooKeeper

文章目录一、上传压缩包二、解压压缩包三、本机安装3.1修改配置文件3.1.1创建ZooKeeper数据存储目录3.1.2修改配置文件名3.1.2修改配置文件内容3.3启动/停止服务端3.4测试（1）启动客户端（2）测试客户端操作四、集群安装4.1配置服务器编号4.2配置zoo.cfg文件4.3同步到其他机器（1）同步ZooKeeper软件（2）修改其他机器myid4.4启动/停止集群4.5测试（1

m0_46218511·2023-11-19 21:43

大数据基础设施搭建 - MySQL

文章目录一、检查是否安装过MySQL二、上传安装包三、安装MySQL3.1安装mysql依赖3.2安装mysql-client3.3安装mysql-server四、启动MySQL五、配置MySQL5.1修改密码（1）查看密码（2）登陆（3）设置复杂密码（4）更改mysql密码策略（5）设置简单密码5.2设置MySQL允许其他机器登陆root账号（1）进入msyql库（2）查询user表（3）修改u

m0_46218511·2023-11-19 10:16

大数据基础设施Apache Hadoop简介

一、项目起源在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。早在2003年的时候，Google就已经面对大于600亿的搜索量。但是数据的大规模处理技术还处在彷徨阶段。当时每个公司或者个人可能都有自己的一套工具处理数据。却没有提炼抽象出一个系统的方法。在海量数据处理的需求下，一个通用的分布式数据处理技术框架应运而生

chenhjia·2023-11-19 10:10

大数据基础设施搭建 - Hadoop

文章目录一、下载安装包二、上传压缩包三、解压压缩包四、配置环境变量五、测试Hadoop5.1测试hadoop命令5.2测试wordcount案例5.2.1创建wordcount输入文本信息5.2.2执行程序5.2.3查看结果六、分发压缩包到集群中其他机器6.1分发压缩包6.2解压压缩包6.3配置环境变量七、配置集群7.1核心配置文件7.2HDFS配置文件7.3YARN配置文件7.4MapReduc

m0_46218511·2023-11-19 10:33

大数据基础设施搭建 - Linux环境

文章目录一、阿里云服务器购买1.1使用密码登录Linux云服务器1.2修改主机名二、阿里云服务器Linux环境配置2.1关闭防火墙2.2配置静态内网ip2.3配置SSH免密登陆（免密登陆远程机器普通用户）2.4文件分发工具2.5命令同步执行工具一、阿里云服务器购买默认安全组除linux/windows远程连接端口开放外，其他端口不开放硬件配置：cpu：2核内存：8g硬盘：40g主机名称：hadoo

m0_46218511·2023-11-17 03:55

大数据基础设施搭建 - JDK

一、创建目录需要在root账号下操作，因为/目录下只能用root账号创建目录1.1创建目录[root@hadoop102~]#mkdir/opt/software/[root@hadoop102~]#mkdir/opt/module/1.2修改权限修改module、software文件夹的所有者和所属组均为hadoop用户，远程使用的是普通账号登陆，必须调整目录让普通用户具有上传权限[root@h

m0_46218511·2023-11-17 03:21

大数据应用开发线上班（学徒班）课程大纲

大数据应用开发线上班课程大纲主要包括：阶段一大数据基础Java编程基础MySQL数据库基础MySQL实

泰迪智能科技·2023-11-16 19:23

DataSophon——国产开源一站式运维平台

DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。4、DataSophon都有哪些特性？极易部署,1小时可

罗少说·2023-11-15 10:52

2024长三角大数据产业博览会（世亚智博会）数据赋能·智创未来

展会将涵盖大数据基础设施建设、

高登先生·2023-11-09 04:33

【大数据基础平台】星环TDH社区集群版本部署

开启安全6.2安装TDH客户端6.3集群外使用hadoopclient6.3.1使用hadoop/hdfs6.3.2使用hbaseshell6.3.3beeline访问hive一、概述TDH企业级一站式大数据基础平台致力

开着拖拉机回家·2023-11-03 06:43

IT世界里的“国境线”（芯片与算法篇）

记得在本科课程中，专门有一门课叫做“算法设计”。从概念上来讲，算法指的是解决问题的方法和流程，是一段逻辑，一系列解决问题的清晰指令。或者更通俗一点来讲，算法是从A到B，所有可能的计算方式。

小猿君·2023-11-02 08:02

分布式数据库中间件 MyCat | 分库分表实践

可以用作读写分离、分库分表（分片）、容灾备份、多租户应用开发、大数据基础设施，使底层数据架构具备很强的适应

adjkldd·2023-11-01 22:47

【博学谷学习记录】超强总结，用心分享|Linux服务器集群-大数据基础环境搭建指南

【博学谷学习记录】超强总结，用心分享|Linux服务器集群-大数据基础环境搭建指南一、第一台Linux服务器创建二、Linux集群服务器环境搭建1.通过ISO镜像文件搭建（不推荐）2.通过克隆搭建（强烈推荐

努力学习呀~·2023-10-31 14:43

【大数据基础平台】星环TDH社区开发版单机部署

博主"开着拖拉机回家"带您GotoNewWorld.✨个人主页——开着拖拉机回家_大数据运维-CSDN博客✨感谢点赞和关注，每天进步一点点！加油！目录博主"开着拖拉机回家"带您GotoNewWorld.✨一、概述二、安装TDH-CE-DEV2.1环境准备2.2安装TDH社区开发版2.3自助申请许可证三、基本配置3.1开启安全3.2Hyperbase设置3.3安装TDH客户端3.4集群外使用hado

开着拖拉机回家·2023-10-31 00:05

美国大学是不是“宽进严出”？很难毕业？

学生只要有八十分的托福水平，就已经可以应付美国的本科课程了，或者说，毕

雨言·2023-10-30 13:20

【云计算与大数据概述】课堂笔记

文章目录第一章云计算与大数据基础1.1云计算基础1.1.1云计算简介1.1.2云计算的特点1.1.3云计算技术分类1.2大数据基础1.2.1大数据简介1.2.2主要的大数据处理系统1.2.3大数据处理的基础流程

小糊^·2023-10-30 05:10

大数据基础平台——Spark大数据处理

1.实验目的了解与掌握数据框的创建、选择、运算和聚合、增加、删除和修改、连接、变形。2.实验内容及结果截屏（1）Spark大数据处理载入本章需要用到的程序包：（2）数据框的创建①通过键入创建调用spark的函数createDataFrame()创建数据框：调用数据框的函数show()查看数据集前几行，默认为前20行：从字典的列表创建数据框，其中字典的键表示数据集的变量名即列名，字典的值表示每行每列

樱桃小叮当·2023-10-28 18:53

「Flink实时数据分析系列」5. Flink的DataStream API（v1.7）