hadoop大数据sqoop

hadoop+Springboot+Echarts网站访问量数据分析及可视化

网站访问量静态日志文件分析系统目录大纲获取静态日志数据预处理新建Maven打包jar包运行数据仓库开发下载安装hive修改配置文件配置MySQL元数据库实现数据仓库数据分析流量分析人均浏览量分析sqoop
muyi沐一·2022-11-20 09:22

大数据技术栈

clickhouse，presto，impala，TD，Greenplum离线计算：hive，Hbase，spark流计算：storm，sparkstreaming，flink，Kafkastreamingflume，sqoop
辉常努腻·2022-11-20 04:32

大数据学习路线（完整详细版）

云计算平台大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
岁月的眸·2022-11-20 04:22

数据导入导出工具Sqoop入门

一、Sqoop是什么ApacheSqoop是Hadoop生态体系和RDBMS体系之间相互传输数据的一种工具，其工作机制是将导入、导出命令翻译为MapReduce程序运行，使得HDFS、Hive、Hbase
文景大大·2022-11-14 17:33

Hadoop大数据_安装jdk、hadoop

安装jdk一、开启网络,ifconfig指令查看ip二、修改主机名hostnamectlset-hostnamehadoop三、查看防火墙状态并打开防火墙1.firewall-cmd--state查看防火墙状态2.systemctlstartiptables.service打开防火墙3.reboot重启Linux四、删除已有的jdk查看java安装版本：java-version查看java安装包：
lhy857·2022-11-10 14:27

「经验汇总」基于TDengine的时序数据解决方案

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。
涛思数据（TDengine）·2022-11-02 18:03

电力行业海量数据处理如何做？看中节能、上海电气案例分享

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。在此背景下，一些企业开始尝试进行数据架构改造，选择适
涛思数据（TDengine）·2022-11-02 18:02

Hadoop大数据实战笔记

1、Hadoop简介：什么是Hadoop呢？Hadoop是一个开源分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，利用集群的威力进行高速的运算和存储，适合处理非结构化数据。2、Hadoop生态圈：什么组件组成了Hadoop的生态圈？Hadoop的生态圈组成为：数据存储、数据集成、数据处理和其他进行数据分析的专门工具。HDFS：HDFS是一种数据保存机制，数据被保存在集群
Popuessing's Jersey·2022-11-02 11:26

「经验汇总」基于TDengine的时序数据解决方案

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。
·2022-10-30 22:42

基于Hadoop搭建HA集群网盘系统

Hadoop云盘项目总结0.项目介绍介绍视频：基于Hadoop搭建HA高可用网盘系统视频地址：B站搭建过程：我的搭建过程小组成员的搭建过程项目地址待完善后会发出来技术栈:HDFS、Sqoop、Flume
每天都要加油呀！·2022-10-13 16:09

Hadoop专业解决方案之构建Hadoop企业级应用

这主要是因为一下原因：1.传统应用的基础设施是基于传统数据库访问模式设计的，它不支持Hadoop；2.数据存储在Hadoop之上，实时访问集群中部分数据是可行的；3.Hadoop大数据存储能力使得你可以存储数据集的多个版本
第五个号·2022-10-03 17:10

猿创征文｜大数据之离线数仓各工具常用命令

离线数仓各工具常用命令前言：近期学习大数据离线数仓，接触到了许多处理数据的应用及工具：Hadoop、hive、sqoop、azkaban、flume、datax、superset、zookeeper、Kafka
Chlin.Rei·2022-09-28 10:30

Sqoop1.4.7实现将Mysql数据与Hadoop3.0数据互相抽取

放弃不难，但坚持很酷~本文主要讲解Sqoop1.4.7如何实现Mysql与Hadoop3.0之间数据互相抽取的。环境基于Ambari2.7+HDP3.0部署。
create17·2022-09-25 10:28

大数据学习路径

linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop
金罗老师·2022-09-25 07:07

复盘离线电商数仓3.0项目–数据开发梳理

复盘离线电商数仓项目–数据开发梳理业务数据数仓分层ods层到ads层的开发开源BI工具SupersetODS层业务数据&日志数据ods层业务数据使用Sqoop脚本从Mysql数据库拉取数据落盘到hdfs
岁月的眸·2022-09-23 15:56

猿创征文｜Hadoop大数据技术综合实验

综合实验：网站访问日志采集、处理及分析概述监控日志文件日志数据预处理日志数据分析与统计日志数据可视化概述当前互联网应用中，万维网（WorldWideWeb）应用占据了绝大部分的份额。万维网应用对外提供服务需要架设Web服务器软件。典型的Web服务器软件有Apache、Nginx等。Web服务器软件在运行过程中会写入各种日志到磁盘文件中。例如，ApacheWeb服务器软件运行过程中，会产生acces
啊Q老师·2022-09-21 17:18

数据采集模块——Flume消费Kafka数据写入到HDFS

测试集群为第三方公司基于当前主流开源组件自主研发并搭建的大数据平台，包含常用组件：HDFS,MapReduce,Yarn,Hive,HBase,Phoenix,Zookeeper,Spark,Impala,Flume,Sqoop
Diego_zh·2022-09-21 11:16

Hadoop大数据技术详解

一、大数据概述1、大数据简介大数据（BigData）∶指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位∶bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit、
wespten·2022-09-20 07:40

hive查询报错：Invalid postscript

目录问题描述：定位原因：解决方案：问题描述：sqoop命令导入数据后查询数据表报错Invalidpostscript定位原因：要导入的表是以orc格式存储的，直接导入的数据是txt文件解决方案：将导入的表改为
chimchim66·2022-09-15 12:44

sqoop命令参数参考说明及案例示例

目录一、概念二、特征三、常用命令示例四、实战案例示例1.全量导入(将数据从mysql导入到HDFS指定目录）2.全量导入(将数据从mysql导入到已有的hive表)3.全量导入(将数据从mysql导入到hive,hive表不存在,导入时自动创建hive表)4.批量全库导入（将mysql全库数据批量导入到hive）5.增量导入-append模式(将mysql数据增量导入hadoop)6.增量导入-l
chimchim66·2022-09-15 12:44

全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分

##心路历程：这是大学时期做的项目，这个项目对我印象特别的深，当时没有记录在博客上，今后会积极分享自己做项目的历程与经验，希望能帮到需要的朋友，有什么问题或者建议欢迎在评论区留言，废话不多说，咱们就开始干！##所有需要的资料全部已上传到百度网盘上，请自行下载##获取镜像，https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA，提取码：ygyg获取Xshell
Yang三少喜欢撸铁·2022-09-09 07:29

Hadoop大数据综合案例5-SSM可视化基础搭建

Hadoop大数据招聘网数据分析综合案例Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建Hadoop大数据综合案例2-HttpClient与Python招聘网数据采集Hadoop大数据综合案例
CDHong.it·2022-09-09 07:48

第一章初始Hadoop大数据技术

1.1大数据技术概要1.1.1大数据产生的背景2001年后，互联网迅速发展，数据量成倍递增。进入2012年，大数据（bigdata）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营
Mr 李小四·2022-09-09 07:58

猿创征文｜Hadoop大数据技术

Hadoop大数据技术Hadoop背景Hadoop生态圈Hadoop模式HDFS概述优点缺点基本组成NameNodeSecondaryNameNodeDataNodeYARNYARN调度器（Scheduler
啊Q老师·2022-09-08 20:45

【hadoop大数据】HBase 安装

前置环境：hadoopzookeeper安装并启动HBase安装解压HBase到指定目录：tar-zxvfhbase-1.3.1-bin.tar.gz-C/usr/local修改HBase对应的配置hbase-env.sh修改内容exportJAVA_HOME=/usr/local/jdk#禁用HBase自带ZKexportHBASE_MANAGES_ZK=falsehbase-site.xml修
dk18stone·2022-09-08 07:42

在CentOS7下利用sqoop组件把mysql数据传入hdfs中

目录一、相关技术链接:二、操作代码三、实现结果一、相关技术链接:Hadoop完全分布式环境搭建Python爬数据并传入Mysql二、操作代码cd/export/software进入sqoop安装包所在位置
我的思路很明确·2022-09-06 19:12

Hadoop大数据处理架构学习——Linux系统上安装Hadoop（Ubuntu22.04）

目录1.概述2.Hadoop的安装和使用（1）创建Hadoop用户（2）更新apt和安装vim编辑器（3）安装SSH和配置SSH无密码登录（4）安装java环境（5）安装单机Hadoop（6）Hadoop伪分布式安装（未完）1.概述Hadoop简介：Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供系统底层细节透明的分布式基础架构。Hadoop的核心是Hadoop分布式文
长弓同学·2022-09-01 07:55

Seatunnel超高性能分布式数据集成平台使用体会

有Sqoop和DataX之类数据处理为何还要用ApacheSeaTunnel，这就要得益于ApacheSeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步
itxiaoshen·2022-08-27 00:00

小白想学大数据？

一.大数据领域的从业人员，应该牢牢把握2018年大数据这三个大的技术方向：1、Hadoop大数据开发方向;2、数据挖掘、数据分析和机器学习方向;3、大数据运维和云计算方向。
铁拳虎·2022-08-26 11:06

Centos7安装Ambari2.7.4

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
GuanYZ·2022-08-25 17:55

sqoop全量导入与增量导入sqlserver数据

sqoop全量导入与增量导入sqlserver数据1.全量导入正常导入即可2.增量导入sqoop支持两种增量导入到hive的模式，一种是append，即通过指定一个递增的列,(如果没有可以插入一列自增的数
鲁边·2022-08-25 10:23

sqoop定时导入(全量+增量)sqlserver数据到HDFS

sqoop定时导入(全量+增量)sqlserver数据到HDFS增量导入采用创建sqoopjob的形式,定时加载job即可创建jobbin/sqoopjob\--creates_ods_ol_user_app
鲁边·2022-08-25 10:23

sqoop从sqlserver导入数据操作指令及hive创建表过程

sqoop从sqlserver导入数据操作指令及hive创建表过程#sqoop从sqlserver导入数据到HDFS上，指定存储目录。
鲁边·2022-08-25 10:52

Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题

Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题1.安装,下载安装包解压即可2.在系统环境变量中设置HADOOP_HOME，指向安装目录;3.3.在系统环境变量中设置SQOOP_HOME
鲁边·2022-08-25 10:52

2022-02-09大数据学习日志——PySpark——Spark框架概述

部分、离线分析（BatchProcessing）分布式协作服务框架Zookeeper大数据基础框架Hadoop（HDFS、MapReduce和YARN）大数据数仓框架Hive大数据辅助框架：FLUME、SQOOP
成长的小狮子·2022-08-24 15:11

datax介绍及生产脚本配置

常用数据抽取工具：kattlesqoopdataxstreamsetsstreamsetskattle：偏向etl，数据会做处理sqoopdatax：偏向数据同步，数据不做处理直接拿streamsets
XDSXHDYY·2022-08-21 18:54

大数据运维实战第二十九课 Hadoop 跨集群数据迁移应用实践

我们的Hadoop大数据平台已经运行多年，使用的版本是CDH5.8，平台上的各个组件（HDFS、Yarn、Hive、Spark）也都是基于这个版本的，但随着对Hadoop平台的深入使用，部分组件版本过低
办公模板库 素材蛙·2022-08-21 15:30

【ETL工具】-Kettle详细教程

市面上常用的ETL工具有很多，比如Sqoop，DataX，Kettle等。1.2Kettle简介1.2.1Kettle是什么Kettle是一款国外开源的ETL工具，纯
左美美 ￣　　·2022-08-21 12:40

数据集成工具的使用（五）---Kettle 从理论学习到熟练使用

往期好文推荐：数据集成工具的使用（一）—Sqoop从理论学习到熟练使用数据集成工具的使用（二）—DataX从理论学习到熟练使用数据集成工具的使用（三）—F
北慕辰·2022-08-21 12:35

大数据知识体系

tag/it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com/developer/news/327486阶段一、大数据、云计算-Hadoop
提莫_·2022-08-18 01:37

大数据测试技术与实践之大数据技术生态总览

还使得大数据的技术体系变得非常复杂，可以划分为数据采集，数据存储，管理调度（包括资源管理、服务协调和工作流调度）、计算分析和组件应用1.数据采集：主要由关系型与非关系型数据采集组件，以及分布式消息队列等构成，如sqoop
来弹琴的小鸡·2022-08-15 09:07

数据科学与大数据技术

大数据科学家学习路线数据科学与大数据技术我个人理解，就是两个方向一、分析：大数据分析师走向大数据科学家二、开发：大数据开发工程师走向大数据专家大数据岗位方向Hadoop大数据技原理与应用：VMwareWorkstation
李好秀·2022-08-15 09:34

数仓4.0（数据仓库系统）--续集二

目录十：全流程调度10.1Azkaban部署10.2创建MySQL数据库和表10.3Sqoop导出脚本10.4全调度流程10.4.1数据准备10.4.2编写Azkaban工作流程配置文件10.4.3Azkaban
JiaXingNashishua·2022-08-13 18:09

Sqoop (一) --------- Sqoop 介绍

目录一、Sqoop简介二、Sqoop原理三、Sqoop安装1.下载并解压2.修改配置文件3.拷贝JDBC驱动4.验证Sqoop5.测试Sqoop是否能够成功连接数据库一、Sqoop简介Sqoop是一款开源的工具
在森林中麋了鹿·2022-08-13 12:55

概念名词解释

基于查询：常用组件是sqoop、KAFKA，JDBCsource，思想是以ba
吃再多糖也不长胖·2022-08-10 13:36

Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化

优化整体思路如果资源充足就加资源加内存，调度链路优化，调整调度顺序，时效性要求高的模型先产出，数据接入模块，调优数据接入工具sqoop，datax模型设计质量不高，调整模型，提高质量和复用度，尽可能减少
四月天03·2022-08-10 13:03

数仓4.0总结

文章目录数仓4.0总结整体架构采集flume用法flume自定义拦截器flume配置文件sqoop用法碰到的问题hive无法使用load导入hdfs采集的数据vim本质是创建新文件hive仓库ODSDIMDWDDWSDWTADS
CODE20220318·2022-08-05 14:01

数仓4.0（二）------ 业务数据采集平台

目录一：电商业务简介1.1电商业务流程1.2电商常识二：业务数据采集模块2.1安装MySQL及配置2.2业务数据生成2.2.1连接Mysql以及建表2.2.2生成业务数据2.3安装Sqoop2.3.1安装
JiaXingNashishua·2022-08-05 14:29

Flink：实时数据处理（1.Flink概述）

2.数据处理的演变2.1传统数据处理架构2.1.1事务处理2.1.2分析处理（Hive）：MySQL->Sqoop->Hive2.2有状态的流式处理2.3流处理的演变2.3.1lambda架构
卖女孩的小火柴Jaffe·2022-08-02 09:03

sqoop-使用文档

文档主页Sqoop用户指南(v1.4.7)Sqoop用户指南(v1.4.7)目录一、简介2.支持的版本3.Sqoop发布4.先决条件5.基本用法6.Sqoop工具6.1.使用命令别名6.2.控制Hadoop
果不其燃·2022-08-01 07:20
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他