Linux安装Hadoop

新年快乐—数睿通2.0数据中台全新功能模块发布

FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经基本开发完毕了，集成了Flink，Hadoop
小螺旋丸·2024-01-03 10:43

Linux 服务器（二）-linux安装方法之Centos安装介绍——Windows中制作USB启动盘 & MacOS中制作USB启动盘

Linux服务器（二）-linux安装方法之Centos安装介绍——Windows中制作USB启动盘&MacOS中制作USB启动盘安装方法Centos安装方法：下载镜像按需选择下载：类型DVDMinimal
viceen·2024-01-03 09:59

Hive自定义函数支持国密SM4解密

当前项目背景需要使用到国密SM4对加密后的数据进行解密，Hive是不支持的，尝试了华为DWS数仓，华为只支持在DWS中的SM4加密解密，不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到jar包中，hadoop
4935同学·2024-01-03 08:03

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计

流程：1.Python爬虫采集中华健康网约10万医生数据，最终存入mysql数据库；2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析，使用高德地图解析地理位置
计算机毕业设计大神·2024-01-03 07:53

纠删码ReedSolomon

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。
旅僧·2024-01-03 07:14

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

Hadoop简介众所周知，我们已经进入了大数据时代，每天都有PB级的数据需要处理、分析，从中提取出有用的信息。Hadoop就是这一时代背景下的产物。
张吉Jerry·2024-01-03 07:35

新手入门安装PyTorch及其测试验证

中安装GPU版本在windows环境安装cpu版本验证安装总结检查系统要求在开始安装PyTorch之前，请确保你的系统满足以下要求：Python版本：3.6或更高操作系统：Windows，macOS，或Linux
E寻数据·2024-01-03 06:43

python操作hdfs及hbase

创建目录client.makedirs("/tmp/ct/test51")默认权限755，用户名：dr.who可以创建多层级目录（类似mkdir-p）如果存在权限不足，可以通过命令行对上层目录权限进行修改：hadoopdfs-chmod-R777
佛系小懒·2024-01-03 04:26

使用Datax将Hive中的表迁移到MySQL

无法上传（2）解压datax压缩包sudotar-zxvfdatax.tar.gz-C/usr/local（解压到的目录，可自己设置）（3）修改文件夹名称 mvdatax.tar  datax（4）给hadoop
孤城暮雨@·2024-01-03 04:17

Azkaban+Spark资源调度

前提条件：各节点之间的免密、登录启动Hadoop集群、Spark、Azkaban、Hive免密登录操作ssh-keygen-trsaslave01执行：scp~/.ssh/id_rsa.pubhadoop
孤城暮雨@·2024-01-03 04:46

Linux安装MySQL(超详细，附图安装)

一、安装MySQL服务1.查看是否已经安装了MySQLrpm-qa|grepmysql如果什么都没有，就是还没有装过MySQL2.下载MySQL安装包wget-i-chttp://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm3.安装MySQL包yum-yinstallmysql57-community-release-e
是一个双子座的程序猿吖·2024-01-03 01:33

计算机毕业设计大数据类题目

序号题目题目要求（该课题的研究目的、所实现的主要功能等）1基于Hadoop的大数据宠物商城推荐系统收集大量有关宠物产品和用户购买行为的数据，并使用hadoop进行数据处理和存储，以构建一个个性化的宠物产品推荐系统
程序源码123·2024-01-03 00:14

hive多分隔符外表支持

CREATEEXTERNALTABLEtext_mid1(idSTRING,nameSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.contrib.
甲乙寄几·2024-01-02 19:31

1.Redis详解

文章目录一.Nosql概述1.为什么使用Nosql2.什么是Nosql3.Nosql特点4.阿里巴巴演进分析5.Nosql的四大分类二.Redis入门1.概述2.环境搭建(1).Windows安装(2).Linux
仙谢郭嘉·2024-01-02 18:13

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学·2024-01-02 14:38

10.Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
__元昊__·2024-01-02 13:45

在Linux安装卸载文件

目录一、Linux系统应用程序1.典型的应用程序的目录结构2、常见的软件包封装类型二、RPM软件包管理1、RPM是什么？2、rpm一般命名格式3、RPM安装包从何而来？如何挂载？4、挂载的注意事项:5、目的：提供安装包6、查看已经安装的软件包7.查看未安装的软件包格式：8、安装9、卸载10、重建数据库：11、yum三、yum仓库的搭建2、可能会出现的问题四、编译安装1、安装准备工作：2、安装过程：
不知名汉堡·2024-01-02 12:56

Spark内容分享(二十三)：Spark on K8s 在茄子科技的实践

4.EMR类产品的缺陷5.传统Hadoop生态，三大组件的前世今生6.SparkonK8s的优势SparkonK8s原理介绍1.Spark的集群部署模式2.Sparkonk8s如何运行3.Spark的dynamicAllocation
之乎者也··2024-01-02 11:30

Spark内容分享(二十二)：eBay最佳实践：Spark SQL优化之物化视图

的实现验证部分重写部分物化视图应用场景及收益应用场景：物化视图重写普通视图应用场景：物化视图重定义表结构物化视图应用收益总结及后续计划背景Carmel是eBay内部基于ApacheSpark打造的一款SQL-on-Hadoop
之乎者也··2024-01-02 11:00

Spark内容分享(二十一)：字节跳动 Spark 支持万卡模型推理实践

-资源匹配未来展望背景介绍随着云原生的发展，Kubernetes由于其强大的生态构建能力和影响力，使得包括大数据、AI在内越来越多类型的负载应用开始向Kubernetes迁移，字节内部探索Spark从Hadoop
之乎者也··2024-01-02 11:59

hadoop环境搭建

一、平台环境CentOS6.5二、软件版本hadoop-2.8.1下载地址jdk-8u45-linux-x64下载地址apache-maven-3.3.9软件下载三、内容目录前置内容1.1jdk安装和配置
熊_看不见·2024-01-02 10:00

linux安装anaconda

1、安装包将安装包放到linux上。2、运行安装包bash./Anaconda3-4.3.1-Linux-x86_64.sh3、安装过程不断按enter键即可。输入【yes】同意证书按默认安装路径即可，继续按【enter】等待安装即可。安装完成4、修改环境变量vi/etc/profileexportANACONDA_HOME=/root/anaconda3exportPATH=$PATH:$ANA
Python伊甸园·2024-01-02 10:02

小肥柴的Hadoop之旅

小肥柴的Hadoop之旅（目录）（第0章）导航0-0-1写博客的初衷0-0-2参考资料和书籍0-0-3完工部分传送门导航0-0-1写博客的初衷从门外汉边学边上课，到入门的菜鸡，对如何正确的学习Hadoop
卷毛迷你猪·2024-01-02 10:30

【Hadoop】如何启动和关闭Hadoop集群

启动Hadoop集群关闭Hadoop集群启动Hadoop集群参考官方文档ApacheHadoop3.3.6–HadoopClusterSetup要启动Hadoop集群，需要同时启动HDFS和YARN集群
不怕娜·2024-01-02 10:29

【Hadoop】集群配置之主要配置文件（hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml...）

Hadoop配置文件模板core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop
不怕娜·2024-01-02 10:27

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-02 08:59

Hive(二)之bash群起脚本

集群的启动启动HDFS启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang·2024-01-02 07:45

Linux安装使用及命令大全

第一章、linux的介绍和安装1.1linux操作系统介绍linux的创始人Linustorvalds。linux与GNU和minixlinux与windowslinux与unix（POSIX标准）linux的版本号linux的优点1.2linux操作系统的安装1.2.1linux的常见发行版本redhat：advancedstandard5；Enterprisestandard5；worksta
qq_34350402·2024-01-02 06:18

大数据 - Hadoop系列《三》- HDFS（分布式文件系统）概述

5.1hdfs的概念HDFS分布式文件系统,全称为:HadoopDistributedFileSystem。
王哪跑nn·2024-01-02 06:06

Linux安装Mysql5.7

Linux安装Mysql5.71.下载Mysql5.7安装包1.1推荐大家直接下载我的链接:https://pan.baidu.com/s/1oKRlfq1M4PmesMXDv4AZAw提取码:19992
孤居自傲·2024-01-02 06:55

虚拟机linux安装zookeeper

1.进入zookeeper官网，并点击红线标记的部分2.滑到下面选择下载以前的版本3.我们下载的版本为3.4.94.安装前提是我们安装过JDK环境，将文件上传到虚拟机中，最好不要随意放置路径5.解压压缩包解压成功：6.进入到conf文件夹下7.修改名称8.修改zoo.cfg9.在zookeeeper文件夹内创建zkData文件夹10.复制其路径11.将dataDir=的内容改为自己刚刚复制的路径1
爱分享的小邓·2024-01-02 06:22

Hadoop运维--Zookeeper--安装配置

一、服务规划服务器IP地址软件服务备注master192.168.71.130zookeeperQuorumPeerMainfollowerslave1192.168.71.129zookeeperQuorumPeerMainleaderslave2192.168.71.132zookeeperQuorumPeerMainfollower二、ZooKeeper安装配置下载地址：https://zo
无剑_君·2024-01-02 06:39

如何使用Linux docker方式快速安装Plik并结合内网穿透实现公网访问

文章目录1.Docker部署Plik2.本地访问Plik3.Linux安装Cpolar4.配置Plik公网地址5.远程访问Plik6.固定Plik公网地址7.固定地址访问Plik本文介绍如何使用Linuxdocker
qiuqiushuibx·2024-01-02 04:52

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

flink 连接 hdfs 读取文件配置

flink连接hdfs读取文件配置hadoop版本为2.7.3window系统本地运行flink程序读取hdfs文件配置1，请导入hadoop和httpclient的包org.apache.flinkflink-hadoop-fs
eagle隼·2024-01-02 02:06

linux安装jenkins 【详细教程】

步骤前提1、确保jdk已经安装，至少是java8以上，如果没有安装，可以参考https://blog.csdn.net/Think_and_work/article/details/122842622?spm=1001.2014.3001.55021、下载jenkins方式一：公众号获取关注"IamWalker"，回复"jenkins"获取方式二：官网下载http://mirrors.jenkin
walkerShen·2024-01-02 02:30

Linux安装Rust

Linux安装Rust官方链接rust教学1.配置源exportRUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/rust-staticexportRUSTUP_UPDATE_ROOT
JasBin2008·2024-01-02 01:36

第二单元 Linux常用命令及使用

背景服务器版的Linux安装完毕了，但没有图形化界面，我们只能通过控制台去操作系统，我们就要使用类似DOS命令的Linux命令去操作系统，那么下面我们就进行Linux的命令的学习。
玉奎·2024-01-01 23:44

Ubuntu配置hadoop伪分布式

1.设置免密登录伪分布式搭建过程中会涉及各种管理员权限，一次一次输入密码太过麻烦，我们要求各集群间免密码连接sudoapt-getinstallopenssh-server#安装openssh-serversshlocalhost#连接到主机exit#退出刚才的sshlocalhostcd~/.ssh/#若没有该目录，请先执行一次sshlocalhostssh-keygen-trsa#会有提示，都
MA木易YA·2024-01-01 23:46

2018-05-21

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?
CrUelAnGElPG·2024-01-01 23:55

2023.12.31 Python 词频统计

练习：使用Python中的filter、map、reduce实现词频统计样例数据：helloworldjavapythonjavajavahadoopsparksparkpython需求分析：1-文件中有如上的示例数据
白白的wj·2024-01-01 23:40

hdfs数据完整性

hdfs会对写入的所有数据计算校验和，在数据通过不可靠通道传输的时候再次计算校验和，对比就能发现数据是否损坏，常用的通过32位循环冗余校验，在hadoop中，可以通过checksum命令得到想要的文件的校验和
文贞武毅·2024-01-01 20:45

扩展Hadoop 3.x新特性概述

扩展Hadoop3.x新特性概述Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使用jdk1.7，要求jdk1.8以上版本。
奋斗的蛐蛐·2024-01-01 20:44

大数据与Hadoop之间是什么关系

Hadoop只是一种处理大数据的技术手段。“大数据”概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶在《第三次浪潮》首次提出，由麦肯锡公司(McKinsey)最早应用。
数据僧·2024-01-01 18:21

大数据技术与应用开发赛项笔记

各种启动命令修改mysql数据库编码：alterdatabaseshtd_resultCHARACTERSETutf8;hadoop:start-all.shhive服务：hive--servicemetastorehive
南城守护·2024-01-01 17:56

Atlas 2.2.0 安装部署

ApacheAtlas是一套可扩展、可延伸的核心基础治理服务，使企业能够切实有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。
mba1398·2024-01-01 16:33

Docker安装ElasticSearch

前期准备：Windows安装虚拟机Linux安装Docker1.设置max_map_count不能启动es会启动不起来查看max_map_count的值默认是65530cat/proc/sys/vm/max_map_count
青竹心_zxx·2024-01-01 15:49

python 实现hadoop的mapreduce

为了用python实现mapreduce，我们先引入下面两个个知识sys.stdin()itertools之groupbysys模块的简单学习sys.stdin是一个文件描述符，代表标准输入，不需使用open函数打开，就可以使用例如下面的简单程序#coding=utf-8importsysforlineinsys.stdin:printline执行命令cat/etc/passwd|pythonte
数据蛙datafrog·2024-01-01 15:42

Spark大数据分析与实战笔记（第二章 Spark基础-01）

文章目录第2章Spark基础章节概要2.1初识Spark2.1.1Spark概述2.1.2Spark的特点2.1.3Spark应用场景2.1.4Spark与Hadoop对比第2章Spark基础章节概要Spark
想你依然心痛·2024-01-01 14:16

机器环境无法访问GitHub情况下linux安装OpenCV执行cmake无法下载ADE文件v0.1.1f.zip

在linux安装OpenCV与上面博文不同的是版本选择必须选择
LaoYuanPython·2024-01-01 14:39
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他