hadoop离线

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

Zookeeper搭建集群步骤

[hadoop@note1~]$cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
qq_22019789·2024-02-08 06:37

MapReduce的类型与格式

MapReduce的类型Hadoop的MapReduce中，map函数和reduce函数遵循如下格式：map：(k1,v1)--->list(k2,v2)combiner：（k2,list(v2)）--
Vechace·2024-02-08 05:31

自动化测试当中的三大设计技巧：PO设计思想，数据驱动及关键字驱动

当我们以离线脚本的形式编写了大量的自动化测试代码后，很容易发现以下常见问题：（1）对于UI自动化，当UI层的元素发生改变，需要修改所有相关的case，工作量巨大（2）代码难以扩展，每次想新增一个自动化case
测试要用手·2024-02-08 05:16

Spark安装（Yarn模式）

一、解压链接：https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码：mb4htar-zxvf/opt/software/spark-3.0.3-bin-hadoop3.2
莫噶·2024-02-08 04:44

Hadoop搭建（完全分布式）

bigdata-masterbigdata-slave1bigdata-salve2NameNodeNodeManagerNodeManagerSecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode目录一、jdk安装：二、hadoop
莫噶·2024-02-08 04:14

现成Hadoop安装和配置，图文手把手交你

为了可以更加快速的可以使用Hadoop，便写了这篇文章，想尝试自己配置一下的可以参考从零开始配置Hadoop，图文手把手教你，定位错误资源1.两台已经配置好的hadoop2.xshell+Vmware链接
叫我小唐就好了·2024-02-08 03:56

VoIP之主备注册服务器机制

  在IP话机的实际使用中，不可避免的会出现服务器离线运维、服务宕机、IP话机和服务器连接中断等情况。为了保证电话服务的连续性，在VoIP部署服环境中必须有冗余机制。
浪游东戴河·2024-02-08 00:50

Spark Standalone 集群配置

ApacheMesos-一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。（已弃用）HadoopYARN-Hado
董可伦·2024-02-07 23:01

Hadoop系统应用之Zookeeper分布式集群部署

一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包（地址）https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包（SecureCRT&FX）通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-·2024-02-07 22:31

Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令

文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在Hadoop完全分布式集群环境下，里面的各个节点都是通过SSH免密登陆连接的
「已注销」·2024-02-07 21:20

linux（centos7)离线安装A100显卡驱动cuda/cudnn 以及解决docker not select device driver...gpu

1.确认GPU型号和操作系统版本，本示例中以A100以及操作系统为Centos7.9进行操作。准备GPU驱动和CUDA11.2软件包，在nvidia官网进行驱动包和CUDA包下载链接:linklinux系统均选择Linux64-bitCUDAToolkit选择最新版本如您需要老版本CUDA，请前往老版本CUDA下载本示例中使用CUDA11.2。访问nvidia官网，下载CUDA，cuda的链接为：
dream_home8407·2024-02-07 19:44

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么·2024-02-07 19:37

万物皆可问 — 私有部署网易有道QAnything

QAnything（QuestionandAnswerbasedonAnything）是一个本地知识库问答系统，旨在支持多种文件格式和数据库，允许离线安装和使用。
hyang1974·2024-02-07 19:11

【hadoop】集群搭建之部署mysql并远程访问（连接）

的roo账号密码并连接mysql（四）更改默认密码并创建testdb数据库（五）将mysqljdbc驱动引入ider中的java项目里（六）通过jdbc连接（访问）mysql(使用ider)（七）创建hadoop
db_lcz_2014·2024-02-07 18:32

推送helm-chart到harbor仓库

Chart.yamlchartstemplatesvalues.yaml安装插件并添加源在线安装$helmplugininstallhttps://github.com/chartmuseum/helm-push离线安装选择合适的版本
火箭蛋头·2024-02-07 16:34

使用navicat导出mysql离线数据后，再导入doris的方案

一、背景doris本身是支持直接从mysql中同步数据的，但有时候，客户不允许我们使用doris直连mysql，此时就需要客户配合将mysql中的数据手工导出成离线文件，我们再导入到doris中二、环境
austin1000·2024-02-07 16:23

学习大数据需要掌握哪些知识？

而且不论是学习hadoop，还
大数据学习01·2024-02-07 15:16

DataX概述

1.概述DataX是阿里开源的的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权·2024-02-07 14:01

阿里云datax工具使用详解

阿里云datax实操详解datax介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle
王春星·2024-02-07 14:01

datax安装与使用详解

一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase
jhchengxuyuan·2024-02-07 14:00

CentOS7集群配置免密登录

准备工作提前开启三台虚拟机hadoop102、hadoop103,hadoop104,关于三台虚拟机的安装可以参考：https://mp.csdn.net/mp_blog/creation/editor
在下区区俗物·2024-02-07 12:00

eclipse4.28.0版本如何安装FatJar插件

问题描述一顿操作后，发现FatJar死活安装了，在线安装提示content.xml异常；离线安装，重启eclipse后还是没有出现FatJar的选项。原因分析：提示：这里填写问
余额很不足·2024-02-07 12:29

CentOS7搭建Hadoop集群

集群环境搭建（3台）-CSDN博客2、配置虚拟机之间免密登录，参考：CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk，参考：CentOS7集群安装JDK1.8-CSDN博客4、下载Hadoop
在下区区俗物·2024-02-07 12:57

请问半吊子 C++选手该如何深入学习 C++?

java是典型的后台语言，能和netty、hadoop、hbase-、elastics
枪哥玩转嵌入式·2024-02-07 11:21

5.electron之主进程起一个本地服务

1.项目效果,我这里的本地服务是一个离线的地图2.文件目录我的目的就是将public/foxigis-s
前端加油站·2024-02-07 10:44

hadoop集群搭建踩坑实录

由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓·2024-02-07 10:39

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

解决sublime text3安装Package Control问题

离线安装：下载地址：https://github.com/wbond/pack...1.把下载好的zip包解压，重命名为PackageControl。2.打开Sublime3，菜单->P
拾柒丶_8257·2024-02-07 09:15

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

RCS系统之：机器人状态

在设计RCS系统平台时，机器人总共设计状态有：离线模式；如图，18号机器人呈灰黑色，表示机器人没有上电状态工作模式；如图，10号机器人成绿色，表示机器人处于工作模式，等待上游发送任务；手动模式；如图，10
barton-lee·2024-02-07 09:12

2024年笔记--centos docker离线安装启动失败

FailedtostartDockerApplicationContainerEngine错误如下：[root@el70docker]#systemctlstartdocker.serviceJobfordocker.servicefailedbecausestartoftheservicewasattemptedtoooften.See"systemctlstatusdocker.service
老爸我爱你·2024-02-07 09:32

解决方案：2024年Pytorch（GPU版本）+ torchvision手动安装教程[万能安装方法] win64、linux、macos、arm、aarch64均适用

目录一、Pytorch手动安装1.1、前提准备1.2、创建虚拟环境1.3、搜索Pytorch包1.4、选择下载符合配置的Pytorch包1.4、安装离线包二、torchvision手动安装2.1、查找对应的版本
中杯可乐多加冰·2024-02-07 08:27

搭建oracle+mysql双数据源springboot+vue项目配置记录

主要根据项目需要自行搭建简易双数据源框架，以便自行学习实践相关离线开发，话不多说直接开干1.首先准备所需依赖资源：springboot框架代码结构（搭建项目略）；oracle数据库（建库建表过程略）；mysql
enjoysummer·2024-02-07 08:13

IDEA插件CamelCase插件——驼峰转换

第二种安装方式是使用离线插件进行安装。插
朵朵宝·2024-02-07 08:13

JVS物联网、低代码、规则引擎2.5功能新增说明

物联网更新功能新增:1、新增离线存储-页面配置及指令下发对接；用户可以对平台的页面进行自定义配置，通过平台，可以将指令下发给与之相连的设备或系统，这些指令可以是控制指令、配置指令或其他类型的指令。
jonyleek·2024-02-07 06:23

原来还可以使用 DataX 进行数据同步

DataX进行数据同步DataX一、环境要求二、DataX部署三、新建JobDataXDataX是阿里云DataWorks的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
lytao123·2024-02-07 06:16

Clickhouse到HBase(Phoenix)数据导入 DataX

DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
布尔科技技术团队·2024-02-07 06:44

datax离线同步oracle表到clickhouse实践1

时间：2024.01目录1、安装启动oracle19c容器2、rpm包安装clickhouse3、datax安装4、datax同步目标库根据要同步的表，按照clickhouse建表规范建表编写json文件编写增量同步shell脚本，加入crond定时任务1、安装启动oracle19c容器二、拉取镜像dockerpullregistry.cn-hangzhou.aliyuncs.com/zhuyij
probtions·2024-02-07 06:14

win10 spark scala 本地运行wordcount

注意每次修改环境变量都要重启cmd本机运行需要hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin
疯琴·2024-02-07 06:06

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？
l鹿狸i·2024-02-07 06:12

mapbox 本地化 离线化

项目中遇到的一些问题，记录一下1、Error{message:'Unimplementedtype:4'}问题：Error{message:'Unimplementedtype:4'}原因：无法加载文字标注，字体没有引入进来2、本地化时：当layer使用了background-pattern、fill-pattern、line-pattern、fill-extrusion-pattern、icon
AllBlue·2024-02-07 06:47

Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件1）hadoop-3.3.5将下载的文件保存到英文路径下，名称一定要短。
Snower_2022·2024-02-07 05:02

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3
-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize
Clearlove灬Star·2024-02-07 05:01

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。
一头骇人鲸·2024-02-07 05:00

hadoopwordcount代码分析

输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.hadoop.fs.Path
姹紫_嫣红·2024-02-07 05:57

【实验2】在Hadoop平台上部署WordCount程序

HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装Hadoop-Eclipse
-借我杀死庸碌的情怀-·2024-02-07 05:27

如何将日志文件和二进制文件快速导入HDFS？

日志数据在应用程序中一直很常见，Hadoop能够处理生产系统生成的大量日志数据，比如网络设备、操作系统、Web服务器和应用程序的日志数据。
weixin_34159110·2024-02-07 05:36

qnx 启动&日志

QNX启动流程_qnx启动-CSDN博客8155-XBL分析(xjx100.cn)[实践篇]13.24QNX镜像编译_qnx编译-CSDN博客DiagnosticLogandTrace——DLT离线日志存储
lei7143·2024-02-07 04:13
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他