研磨hadoop

Java实现Hive UDF详细步骤 (Hive 3.x版本，IDEA开发）

这里写目录标题前言1.新建项目2.配置maven依赖3.编写代码4.打jar包5.上传服务器6.代码中引用前言老版本编写UDF时，需要继承org.apache.hadoop.hive.ql.exec.UDF
Called_Kingsley·2023-11-02 06:01

Hadoop+Hive+HBase+Kylin 集群维护手册（2018年5月25日）

Hadoop全家桶如果是自己手动安装的话，日常使用中会用到大量的命令和配置修改，所以特地记录在这里，方便查找和使用。
SinanWu·2023-11-02 06:46

4 HDFS常用命令 2018-05-24

1.jps命令，查看进程[hadoop@hadoop003~]$jps2034NameNode2148DataNode2633NodeManager5129Jps2521ResourceManager2364SecondaryNameNode
lizhigang·2023-11-02 05:28

Hadoop PseudoDistributed Mode 伪分布式

HadoopPseudoDistributedMode伪分布式加粗样式hadoop101hadoop102hadoop103192.168.171.101192.168.171.102192.168.171.103namenodesecondarynamenoderecourcemanagerdatanodedatanodedatanodenodemanagernodemanagernodeman
李昊哲小课·2023-11-02 05:06

CentOS 搭建 Hadoop3 高可用集群

HadoopFullyDistributedMode完全分布式spark101spark102spark103192.168.171.101192.168.171.102192.168.171.103namenodenamenodejournalnodejournalnodejournalnodedatanodedatanodedatanodenodemanagernodemanagernodem
李昊哲小课·2023-11-02 05:58

大数据复习（day03）

3、低成本部署，Hadoop可构建在廉价的服务器上。4、能够检测和快速应对硬件故障，通过RPC心跳机制来实现。
快乐咸鱼Y·2023-11-02 04:05

Hadoop 面试知识点整理

Hadoop面试知识点整理整理来源https://www.cnblogs.com/yunkaifa/p/3538154.htmlhttp://www.aboutyun.com/thread-5337-1
hakase_nano·2023-11-02 02:39

阅读笔记-Hadoop入门实践

ASF：阿里软件开发平台服务框架SIP：服务集成平台BEA：应用基础结构软件公司分布式计算的应用场景：日志分析、索引建立Threshold:是一款IOS平台的应用。随时随地帮您监控行动数据使用奘况无论是使用无限数据方案或是有限数据方案,Threshold可以帮助您随时掌握最新数据使用状态,提供客制化警示设定,还可以设立一个您专属的行动数据区域,以确保您不会被额外收费。对于日志内容使用任务分解的多线
weixin_34232617·2023-11-01 22:49

Hive面试题

hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将
布小昕·2023-11-01 20:58

数据仓库建设规范

序列号内容链接1大数据知识面试题-通用（2022版）https://blog.csdn.net/qq_43061290/article/details/1248190892大数据知识面试题-Hadoop
拉格朗日(Lagrange)·2023-11-01 18:35

对象序列化 avro的使用

Avro是Hadoop中的一个子项目，Avro是一个基于二进制数据传输高性能的中间件。Avro可以做到将数据进行序列化，适用于远程或本地大批量数据交互。
wudl5566·2023-11-01 18:24

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1.1软件环境本教程的演示环境如下：Centos7Apahcedoris1.1Hadoop3.3.
hf200012·2023-11-01 18:45

划片机：半导体芯片是如何封装的？

以下是半导体芯片封装的常见步骤：1.减薄：将晶圆研磨减薄，以便于后续的划片操作。2.划片：将晶圆分离成单个的芯片，通常使用切片机或激光切割设备进行操作。
博捷芯精密划片机·2023-11-01 17:45

流计算处理系统入门

流计算框架Hadoop:批处理框架：采集的数据全存入HDFS，并使用MapReduce进行批处理。处理结果存储在HDFS/分布式数据库中。需要时候使用Hive查询spark:微批处理框架。
叩钉吧zz·2023-11-01 13:42

Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
京东云技术团队·2023-11-01 13:07

viewfs://为Hadoop 中的一个特殊文件系统

解释viewfs://是Hadoop中的一个特殊文件系统URI，用于访问Hadoop的视图文件系统（ViewFS）。
言之。·2023-11-01 11:10

Hadoop RPC简介

数新网络-让每个人享受数据的价值https://www.datacyber.com/前言RPC（RemoteProcedureCall）远程过程调用协议，一种通过网络从远程计算机上请求服务，而不需要了解底层网络技术的协议。RPC它假定某些协议的存在，例如TPC/UDP等，为通信程序之间携带信息数据。在OSI网络七层模型中，RPC跨越了传输层和应用层，RPC使得开发，包括网络分布式多程序在内的应用程
数新网络·2023-11-01 10:54

安装迅雷：dpkg-buildpackage，dpkg-buildpackage: 错误: debian/rules binary subprocess returned exit status 2

make[1]:***[Makefile:150：install]错误1make[1]:离开目录“/home/hadoop/XwareDesktop”dh_auto_install:make-j1installDESTDIR
白痴才子·2023-11-01 09:46

Linux Centos7.6 服务器搭建（大二笔记）——JDK、Tomcat、Mysql、Redis、Hadoop完全分布式集群（三台云服务器）

LinuxCentos7.6服务器搭建笔者购买的服务器是腾讯云（最低配置88元/年，穷苦大二学生为了学习后端知识）。购买之后需要在腾讯云重装系统，建立新的用户。连接服务器的软件是Xshell。一、JDK1.8安装1.获取jdk安装包在网上获取的jdk-8u45-linux-x64.tar.gz（网盘地址：https://pan.baidu.com/s/1o7B1PXK密码：el7b）。然后使用Xs
hato️·2023-11-01 09:08

报错：-bash: /usr/local/jdk/bin/java: Permission denied

问题：在搭hadoop集群格式化hdfs时的报错，-bash:/usr/local/jdk/bin/java:Permissiondenied，发现jdk用不了，/usr/local/jdk/bin/java
黄丕理·2023-11-01 07:52

UDF函数，hive调用java包简单方法

UDF函数，是hadoop在强大的大数据批量导入导出操作之余，为了满足复杂的数据逻辑操作留下的接口核心思想：不管是UDF函数还是自定义处理jar包，都是要放置在hadoop服务器上的，相当于hadoop
weixin_30307267·2023-11-01 07:50

UDF 编写与注册

功能对数据加解密方式处理环境hadoop2.6.0+cdh5.11.2hive1.1.0+cdh5.11.2java1.8.xxx配置新加入hadoop集群的服务器需要放/opt/logs/env.properties
大怀特·2023-11-01 07:20

大数据环境搭建

大数据环境搭建linux环境安装VM虚拟机centos创建用户并赋予权限ssh免密登录配置编写集群分发脚本xsync安装jdk集群所有进程查看脚本hadoop环境配置Hadoop集群Hadoop环境hadoop
yulishi12·2023-11-01 07:36

Hbase

目录1概述1.1HBase数据模型1.1.1HBase逻辑结构1.1.2HBase物理存储结构1.1.3数据模型1.2HBase基本架构2HBase快速入门2.1HBase安装部署hadoop3.X和Hbase2
Int mian[]·2023-11-01 06:17

springboot+vue基于Hadoop短视频流量数据分析与可视化系统的设计与实现【内含源码+文档+部署教程】

博主介绍：✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，拉到文章底部即可看到个人VX。2023年-2024年最新计算机毕业设计本科选题大全汇总感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人
zhulin1028·2023-11-01 06:55

java 读取hdfs上的文件内容

importcom.nature.component.process.vo.DebugDataResponse;importorg.apache.commons.lang3.StringUtils;importorg.apache.hadoop.conf.Configuration
Alex_81D·2023-11-01 04:24

centos7配置jdk和hadoop

一、JDK安装在/opt下新建两个module和software目录，software用于存放软件安装包，module用于存放软件安装位置把jdk上传到/opt/software目录下把jdk解压到/opt/module下配置环境变量，在/etc/profile.d新建一个my_env.sh文件，并写入环境变量激活my_env.sh文件查看java版本自己写一个A.java文件，输出为hellow
米 柴·2023-11-01 01:24

离线分析：Flume+Kafka+HBase+Hadoop通话数据统计

文章目录项目背景项目架构系统环境系统配置框架安装JDKHadoopZookeeperKafkaFlumeHBase项目实现项目结构表设计HBaseMysql功能编写公共服务生产日志服务数据存储服务协处理器服务数据分析服务
一半@java·2023-10-31 23:00

Linux环境下运行selenium4.14

dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm-y2、安装chromedriver1）运行下面命令查看浏览器版本[root@hadoop5program
码道功成·2023-10-31 22:16

Sqoop使用教程

Sqoop安装：（要有hadoop环境）1.上传源码sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz，并解压#tar-zxvfsqoop-1.4.4.bin__hadoop
码道功成·2023-10-31 22:14

生态扩展Spark Doris Connector

生态扩展SparkDorisConnectordoris官网去查找相匹配的sparkspark的安装：tar-zxvfspark-3.1.2-bin-hadoop3.2.tgzmvspark-3.1.2
墨卿风竹·2023-10-31 20:30

Apache Doris在蜀海供应链的实践

incubator-doris欢迎大家关注加星概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop
hf200012·2023-10-31 20:59

《10天入门Tableau数据分析》-01功能介绍

个部分介绍下Tableau的功能一、Tableau功能介绍-连接数据Tableau可以快速地连接到各类数据源，Excel、TextFile和Access等数据文本、Oracle、Mysql、IBMDB2、HadoopHive
柯凌·2023-10-31 17:41

hadoop权威指南第四版

第一部分HaDOOP基础知识1.1面临的问题存储越来越大，读写跟不上。并行读多个磁盘。
春风不会绿大地·2023-10-31 17:11

2023年第七期丨全国高校大数据与人工智能师资研修班

全国高校大数据与人工智能师资研修班邀请函2023年第七期线下班（昆明）：数据采集与机器学习实战线上班（七大专题）:PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战（Hadoop
泰迪智能科技·2023-10-31 16:40

小鼠单克隆抗体制备FAQ

可溶性抗原需加完全弗式佐剂并经充分乳化，如为聚丙烯酰胺电泳纯化的抗原，可将抗原所在的电泳条带切下，研磨后直接用以动物免疫。
卡梅德生物·2023-10-31 14:11

[hadoop读书笔记] 第一章 初识 Hadoop

P3-P4：目前遇见的问题很简单:硬盘容量不断提升，1TB的已成为主流，然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s读取一个1TB的硬盘数据需要耗时至少2.5个小时。写入数据则会消耗更多时间。解决方法是从多个硬盘上读取，试想，若当前有100个盘，每个盘存储1%数据，则并行读取仅需2minutes则可读取完所有的数据。与此同时，并行读写数据带来了几个问题：1、某个硬件故障
weixin_34060741·2023-10-31 13:16

（四）大数据集群运维

大数据集群运维ES常见运维命令windows和linux常用命令文章目录大数据集群运维1：集群扩容均衡1.1：hdfs均衡1.2：kafka均衡1.3：es均衡2：hadoop集群服务角色汇总2.1：hdfs2.2
猿来如此dj·2023-10-31 12:39

监控cpu使用率大于500%的任务并发送告警信息

背景：hadoop集群节点存在cpu告警的信息，不知道具体哪个应用造成cpu告警的，编写了脚本获取到占用cpu使用最高的前5个进程，并发送告警。
临风赏月·2023-10-31 12:08

6个人如何维护上千规模的大数据集群？

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
郭首志·2023-10-31 12:05

HBase集群的搭建

HBase集群搭建HBase官网：http://hbase.apache.org/考虑点：版本选择企业常用的：0.96,0.98,hbase-2.x,这里我们选择1.2.12版本兼容问题hadoop-2.7.7hbase
顾子豪·2023-10-31 10:53

Kafka3.x笔记

profile.d/my_env.shzookeeper集群启动kafka集群启动编写kafka.sh集群操作脚本(先关闭kafka,再关闭zookeeper)2.kafka命令行操作2.1主题命令行操作[root@hadoop102kafka
懒虫111·2023-10-31 08:55

大数据-Storm流式框架（八)---Storm案例

中国移动项目部署文档一、项目架构二、启动集群1、启动Zookeeper集群2、启动Hbase（完全分布式需要先启动Hadoop集群）在conf/hbase-env.sh中设置JAVA_HOME在conf
30岁老阿姨·2023-10-31 06:49

Hadoop YARN功能介绍--资源管理、调度任务

HadoopYRAN介绍YARN是一个通用资源管理系统平台和调度平台，可为上层应用提供统一的资源管理和调度。他的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处。
liyantower·2023-10-31 05:17

Apache Hive

目录数据仓库（DW）SQL语法分类Hive和Hadoop之间的关系（底层是HadoopHive将SQL转换为MapReduce）为什么使用Hive使用HadoopMapReduce直接处理数据所面临的问题使用
liyantower·2023-10-31 05:44

JAVA面试三——多线程

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配
x37558670·2023-10-31 05:41

2019最新Java面试题——多线程

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配的基本
weixin_45737309·2023-10-31 05:39

hive中distinct和group by 去重运行效率对比

先来看hive的运行机制：Hive通过用户提供的一系列交互接口，接收到用户的指令（SQL），使用自己的Driver，结合元数据（MetaStore），将这些指令翻译成MapReduce，提交到hadoop
¤睿·2023-10-31 05:38

Hadoop+hive+flask+echarts大数据可视化项目之flask结合echarts前后端结合显示hive分析结果

Hadoop+hive+flask+echarts大数据可视化项目（五）------flask与echarts前后端结合显示hive分析结果-------关注过Hadoop+hive+flask+echarts
play_big_knife·2023-10-31 03:48

《大数据》第1期“专题”——大数据与OLAP系统

可喜的是，近年来进展迅速，涌现了很多以Hadoop上的数
唐名威·2023-10-31 00:40
上一页 65 66 67 68 69 70 71 72 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他