hadoop离线数仓第43页

hadoop分布式集群搭建

虚拟机准备虚拟机单机配置：内存4G，硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP，改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================

麦田里的稻草人19994·2024-01-09 08:24

hadoop集群主从时间同步

1.时间服务器配置（必须root用户）（1）检查ntp是否安装[root@hadoop102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem

麦田里的稻草人19994·2024-01-09 08:24

hadoop集群分发脚本

分发脚本xsync#!/bin/bash#1获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称#basename是去除目录后剩下的名字p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径#dirname命令可以取给定路径的目录部分（一般指最后一个

麦田里的稻草人19994·2024-01-09 08:23

配置ssh免密登录

配置ssh免密登录ssh-keygen-trsassh-copy-iduser@servereg:ssh-copy-idhadoop102

麦田里的稻草人19994·2024-01-09 08:53

Hive操作命令上手手册

内容来自于《大数据Hive离线计算开发实战》Hive原理Hive是一个基于Hadoop的数据仓库和分析系统，用于管理和查询大型数据集。

枫叶梨花·2024-01-09 08:50

面向应用的离线计算系统：周期任务&组合策略

1场景业务应用系统想大批量利用数据中心的计算能力跑数，回传结果。比如一个个地区的详情数据。而大数据平台通常是调度平台系统，和业务系统是两个独立的平台系统，如何建立交互方式。业务有个性化的实验策略，需要组合业务条件达到实验效果。比如捞取不同的数据实验算法策略。2问题2.1业务系统和大数据系统交互在大数据平台部署一个服务，接收业务系统的请求，转化为内部的一个调度任务。如果业务系统并发太多，不停提交到大

乘风踏羽·2024-01-09 08:17

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera

Sql强·2024-01-09 07:24

头歌：旅游网站之数据分析

关统计每个城市的宾馆平均价格packagecom.processdata;importjava.io.IOException;importjava.util.Scanner;importorg.apache.hadoop.conf.Configuration

爱吃肉的白熊·2024-01-09 07:32

hive的基本操作

最近新学了hive，想通过写文章的方式对所学知识进行巩固，同时希望可以帮助到大家Hive是基于Hadoop的一个数据仓库工具1.创建数据库（创建方法是和Mysql一样的）createdatabase数据库名字

暴打小赵·2024-01-09 06:49

实验6 熟悉Hive的基本操作

一、实验目的（1）理解Hive作为数据仓库在Hadoop体系结构中的角色。（2）熟练使用常用的HiveQL。

Z.Q.Feng·2024-01-09 06:47

1.2 Hadoop概述

小肥柴的Hadoop之旅1.2Hadoop概述目录1.2Hadoop概述1.2.1回归问题1.2.2Google的三篇论文1.2.3Hadoop的诞生过程1.2.4Hadoop特点简介参考文献和资料)目录

卷毛迷你猪·2024-01-09 06:47

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计

weixin_34416649·2024-01-09 06:16

物理机搭建hive

一、修改Hadoop配置修改core-site.xml配置yarn-site.xml分发文件，然后重启集群二、Hive解压安装上传文件添加hive环境便量，source生效启动高可用集群，启动hive三

DIY……·2024-01-09 06:45

数仓分层结构

--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩：--gzip：Hadoop

Young_IT·2024-01-09 06:40

某大厂大数据开发-外包面试

4.spark用过吗，用到的开发工具5.数据量多少，服务器台数6.数仓每层做了什么事，为什么这样做？

劝学-大数据·2024-01-09 06:42

大数据开发-某外包公司

varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop

劝学-大数据·2024-01-09 06:10

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark

Lfx_come on·2024-01-09 06:02

『HDFS』伪分布式Hadoop集群

博客引流本文是『Hadoop』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程，所以这篇应该会有一定受众伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务

gunjianpan·2024-01-09 04:31

BZOJ-3290: Theresa与数据结构（CDQ分治+二维线段树）

id=3290首先这题不带修改很好做，按z离散化一下，然后扫一遍，弄个二维的动态线段树维护即可，然后因为有了修改操作，所以使用CDQ分治来转离线，多付出一个logn代价，所以总复杂度是O(nlog^3n

AmadeusChan·2024-01-09 03:21

源代码编译安装nginx，编译安装的好与坏

安装时不需要网络，可以进行离线安装源代码编译安装的坏处：1.编译和安装的过程相对复杂。

努力转型的IT小王·2024-01-09 03:17

使用RPM快速安装nginx，了解RPM安装nginx各个主要目录的位置

rpm安装的优点与缺点：优点：安装简单方便安装时不用指定安装位置方便升级、卸载支持离线安装rpm软件包由于已经编译完成并且打包，所以安装很方便缺点：大多数rpm安装需要解决复杂的依赖关系卸载时需要特别小心

努力转型的IT小王·2024-01-09 03:17

离线安装搭建LNMP+wordpress论坛

实验目标：准备一台服务器，搭建nginx,MySQL,PHP,实现离线安装，在LNMP的基础上面搭建wordpress论坛软件，配置nginx动静分离，实现通过LNMP访问wordpress的动态网页。

努力转型的IT小王·2024-01-09 03:46

各种浏览器下载tampermonkey网址

国内环境一般进不去）：https://chrome.google.com/webstore/detail/tampermonkey/dhdgffkkebhmkfjojejmpbldmpobfkfo【这里提供插件离线包

宸子涵·2024-01-09 02:52

【内网】WebStorm搭建Vue环境

6、配置内网离线库安装WebStorm并运行Vue项目1、安装WebStorm2、激活WebStorm3、下载破解包4、创建Vue新项目5、测试Vue项目6、汉化安装node.js和npm1、Node.js

Evil·2024-01-09 01:21

Apache Seatunnel部署（apache-seatunnel-2.3.3-bin.tar.gz + apache-seatunnel-web-1.0.0-bin.tar.gz）

界面部署初始化数据库配置文件修改配置下载数据源jar包启动服务四、web页面一览登录数据源任务用户管理虚拟表五、其它问题记录总结一、概要安装包及源码包下载地址ApacheSeaTunnel是一个分布式、高性能、易扩展的数据集成平台，用于实时和离线数据处理

韧小钊·2024-01-09 01:50

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

流式湖仓增强，Hologres+Flink构建企业级实时数仓一、Hologres+Flink，阿里云上众多客户实时数仓的首选随着大数据从规模化走向实时化，实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域

Elivis Hu·2024-01-08 22:52

Hadoop3.3.5云服务器安装教程-单机/伪分布式配置

系列文章目录华为云服务器试用领取领取的试用云服务器在哪Hadoop3.3.5云服务器安装教程-单机/伪分布式配置文章目录系列文章目录创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java

柔雾·2024-01-08 21:48

通过yum获取rpm离线安装包

通过yum获取rpm离线安装包离线安装不可避免需要下载对应安装包，此时可以通过yum命令只下载不安装的rpm安装包。

不爱吃奶昔（zsl0）·2024-01-08 19:44

2021-11-22 Zookeeper Shell脚本

/bin/bashcase$1in"start"){foriinhadoop102hadoop103hadoop104doecho----------zookeeper$i启动------------ssh

不爱吃奶昔（zsl0）·2024-01-08 19:12

解决Docker报错问题：Docker Desktop – Unexpected WSL error

最近因为准备在NAS上通过Docker容器方式安装MYSQL，发现https://hub.docker.com网站被墙了，无法自动安装，同时又找不到靠谱的离线镜像，所以准备在Window上安装Docker

IT东·2024-01-08 19:34

hadoop/etc/hadoop 下没有mapred-site.xml，只有mapred.xml.template

默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce

比特小怪兽·2024-01-08 19:34

整站下载器是什么？

快速建站,深层分析网站、离线浏览网站等用途。这里小编给大家推荐一款免费的整站下载器供大家参考IIS7整站下载器能做些什么？功能说明：1、可多站同时下载、多站多时扒。2、可单页扒。

编辑何惧·2024-01-08 19:46

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop

你很棒滴·2024-01-08 19:17

数仓建设学习路线（二）模型建设(1)

OLTPVSOLAPOLTP概念全称OnLineTransactionProcessing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle。OLAP概念全称OnLineAnalyticalProcessing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、K

语兴数据·2024-01-08 18:58

数仓建设学习路线（一）

前言数仓建设实践路线是语兴发布在B站的系列课程，搜索语兴呀即可学习完整的数仓建设理论。大数据相关岗位大数据常见的岗位主要包括实时开发、数据治理、数据安全、数据资产等。

语兴数据·2024-01-08 18:57

数仓建设学习路线（二）模型建设(2)

写在最前面本节内容主要讲解模型的具体设计过程，也是我们平常数仓工作中的重中之重。更多精彩课程关注B站语兴呀，或关注gzh：语数，获取全部课件资料。

语兴数据·2024-01-08 18:52

HDFS常用命令（方便大家记忆版）

1.文件操作(1)列出HDFS下的文件/usr/local/hadoop$bin/hadoopdfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoopdfs-lsin

姚兴泉·2024-01-08 18:01

大数据技术架构

整表同步数据量大，一般是数仓T+1方式同步，保证数据一条不丢；还

乘风踏羽·2024-01-08 17:47

Hidataplus-3.3.2.0-005公测版本基于openEuler release 22.03 (LTS-SP2)的测试

测试角色如下：hadoop、yarn、zookeeper、hive、impala。

杨航的技术博客·2024-01-08 16:35

给Hadoop初学者的一些建议

零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。

丨程序之道丨·2024-01-08 15:29

基于深度学习大模型实现离线翻译模型私有化部署使用，通过docker打包开源翻译模型，可到内网或者无网络环境下运行使用，可以使用一千多个翻译模型语言模型进行翻译

基于深度学习大模型实现离线翻译模型私有化部署使用，通过docker打包开源翻译模型，可到内网或者无网络环境下运行使用，可以使用一千多个翻译模型语言模型进行翻译，想要什么语种直接进行指定和修改就行。

代码讲故事·2024-01-08 14:33

大数据技术期末复习第七章——MapReduce练习

A、Map函数将输入的元素转换成形式的键值对B、Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写C、不同的Map任务之间不能互相通信D、MapReduce框架采用了Master

锦鲤儿·2024-01-08 12:01

Hadoop学习之路（四）HDFS 读写流程详解

1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求；2、NameNode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；3、当客户端开始写入文件的时候，客户端会将文件切分为多个packets，并在内

shine_rainbow·2024-01-08 12:21

[嵌入式AI从0开始到入土]1_昇腾Altas 200 DK上手

上手第二章下载昇腾案例并运行第三章官方模型适配工具使用第四章炼丹炉的搭建（基于Ubuntu23.04Desktop）第五章Ubuntu远程桌面配置第六章下载yolo源码及样例运行验证第七章转化为昇腾支持的om离线模型第八

工具人呵呵·2024-01-08 11:02

[嵌入式AI从0开始到入土]7_转化为昇腾支持的om离线模型

[嵌入式AI从0开始到入土]嵌入式AI系列教程注：等我摸完鱼再把链接补上可以关注我的B站号工具人呵呵的个人空间，后期会考虑出视频教程，务必催更，以防我变身鸽王。第一章昇腾Altas200DK上手第二章下载昇腾案例并运行第三章官方模型适配工具使用第四章炼丹炉的搭建（基于Ubuntu23.04Desktop）第五章Ubuntu远程桌面配置第六章下载yolo源码及样例运行验证第七章转化为昇腾支持的om离