hadoop离线数仓

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

Hadoop配置文件加载

1.hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml
sf_www·2024-01-20 11:52

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

银河麒麟操作系统 v10 中离线安装 Docker

银河麒麟操作系统v10中离线安装Docker1.查看系统版本2.查看Linux内核版本（3.10以上）3.查看iptabls版本（1.4以上）4.判断处理器架构5.离线下载Docker安装包6.移动解压出来的二进制文件到
linmengmeng_1314·2024-01-20 11:17

01-开始Rust之旅

这边提供了离线安装版本。
Snasph·2024-01-20 10:08

Hadoop基础知识

Hadoop基础知识1、Hadoop简介广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
坐在风口上de猪·2024-01-20 10:10

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-20 10:36

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

2021-12-12 centos中IPMI管理软件

安装（在线）yum-yinstallOpenIPMIipmitoolsystemctlrestartipmi安装（离线）OpenIPMI-2.0.27-1.el7.x86_64.rpmipmitool-
LIU·2024-01-20 09:47

ROS2手册的离线编译安装

ROS开发中经常要查询相关API，把文档下载到本地离线使用方便快捷，极大提高开发效率下载ROS2文档gitclonehttps://github.com/ros2/ros2_documentation.gitcdros2
ArslanRobot·2024-01-20 08:16

黑猴子的家：Linux 文件有空格或特殊字符--转义

1、使用window斜杠""转义处理[victor@hadoop102~]$cdwindow\vnc/2、使用英文双引号处理[victor@hadoop102~]$cd"windowvnc"
黑猴子的家·2024-01-20 07:10

【Docker】离线部署

离线安装Docker1、下载docker离线安装包下载地址2、将下载的包上传至服务器上我这里下载的是20.10.9image-20230418164826277.png3、解压文件tar-zxvfdocker
HeloWxl·2024-01-20 05:13

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是
weixin_45810046·2024-01-20 03:41

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人·2024-01-20 03:07

Kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。
终将老去的穷苦程序员·2024-01-20 03:04

CVE-2023-46226 Apache iotdb远程代码执行漏洞

它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩·2024-01-20 02:27

超融合之道：亚信安慧AntDB 8.0版本引领数据库创新

在当今多变的数据应用场景中，AntDB作为行业领先的超融合流式实时数仓，秉承着“融合+实时”的研发理念，全面应对企业日益复杂的数据处理需求。
亚信安慧AntDB数据库·2024-01-20 01:00

细说JavaScript BOM之HTML5新特性

HTML5引入了应用程序缓存技术，意味着Web应用可进行缓存，并在没有网络的情况下使用，通过创建cachemanifest文件，可以轻松的创建离线应用。
知数SEO·2024-01-20 00:47

Qt 5.13 Android开发初探

平台Ubuntu20.04+QT5.13+QtCreator4.10.1安装QTQT官网注册个帐户吧,后续安装会用到InstallQt5onUbuntu下载离线安装包可用版本安装(qt-opensource-linux-x64
ansondroider·2024-01-20 00:03

深入理解kafka-总结

即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数
haungtan07·2024-01-19 23:02

超详细版Hadoop的安装与使用（单机/伪分布式）

一、首先安装VMware虚拟机虚拟机安装包以及UbuntuISO映像下载：https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999下载完成后，进入VMware，点击右上角【文件】——【新建虚拟机向导】1.1选择典型1.2选择光盘映像映像文件选择上方刚刚下载的ubuntukylin-16.04-desktop-amd641.3命名根据自己需求来
比护隆佑·2024-01-19 23:49

10

今天去公司完成一个软件的离线部署，因为同事需要带着出差，本以为简单的事情没想到，弄了一天也没有成功总结了一下今天造成的原因，第一点，对接项目时没有将整个项目根据功能文档进行一一测试，虽然也都是公司里认识的人做的
whIteKi·2024-01-19 21:24

hadoop dfs web页面访问增加鉴权

前言装好了Hadoop，通过浏览器访问，发现竟然不需要鉴权就能访问，且暴露了很多服务器层文件路径信息，基于多年积累的安全意识，必须得配置些鉴权信息，就有了该文，仅做学习记录，下次自己再装时能提高效率。
花菜回锅肉·2024-01-19 21:10

通过Cesium制作地形的离线加载

首先要启用Cesium的插件，装配好如图中的几个组件。并且注册cesiumlab3的账户。然后下载地形的高程图tif文件,和卫星的影像图tif文件。在地理空间世界云的高程图比较可靠，这里选GDEMV2,GDEMV3都可以。本片用的2,对应的经纬度选择下载，下载的文件中就有tif。卫星影像图用水经注来下载比较好,商用的精度也高。如果在其它方式能找到tif也可以，只是质量可能没那么好.下好的数据，要在
曼巴UE5·2024-01-19 20:14

【北亚企安数据恢复】RAIDZ多块磁盘离线导致服务器崩溃的数据恢复案例

服务器数据恢复环境：ORACLESUNZFS某型号存储，共40块磁盘组建存储池，其中的36块磁盘分为三组，每组12块，单个组使用ZFS特有的RAIDZ管理所有磁盘，RAIDZ级别为2；另外的4块磁盘作为全局热备。存储池内划分出若干空间映射到服务器使用。服务器故障：服务器正常运行过程中崩溃，服务器管理员重启设备后无法进入系统。通过对服务器和存储的初步检测以及和管理人员的沟通，排除了断电、进水、异常操
北亚数据恢复·2024-01-19 19:18

服务器数据恢复—OceanStor存储raid5热备盘同步数据失败的数据恢复案例

服务器故障：该存储raid5阵列中有一块硬盘离线，热备盘自动激活并开始同步数据，在热备盘同步数据的过程中，raid5阵列中另一块硬盘离线，上层应用崩溃，数据丢失。
北亚数据恢复·2024-01-19 19:16

Hadoop 伪分布式坏境搭建

环境说明：VM上ubuntu16.04版本安装hadoop前的准备（1）ssh免密登录（2）配置好Java环境（1）（2）步骤的安装见网上博客安装Hadoop（1）下载hadoop到上一篇博客给出的网下载
zoux·2024-01-19 19:16

【python】一键导出当前环境依赖包，以及批量安装依赖包

文章目录背景一键导出环境依赖包方法1：freeze方法2：pipreqs一键安装环境依赖包方式1：使用requirements.txt在线安装方式2：使用requirements.txt离线安装Q&Apipwheel
日青山雨xxq·2024-01-19 18:07

python pip安装库延迟高中断便利解决方法

最近菜鸟学习python，结果发现直接使用pip安装库老是各种失败，几百k的库也安装不了，后来试了试把whl库文件离线下载在python安装目录的python3_install\Lib\site-packages
熙攘灬·2024-01-19 17:05

【动态规划】【离线查询】【前缀和】689. 三个无重叠子数组的最大和

作者推荐【动态规划】【数学】【C++算法】18赛车本文涉及的基础知识点动态规划滚动向量离线查询C++算法：前缀和、前缀乘积、前缀异或的原理、源码及测试用例包括课程视频LeetCode689.三个无重叠子数组的最大和给你一个整数数组
闻缺陷则喜何志丹·2024-01-19 16:17

华为外包数据库面试问题分享20211225

数仓的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发，具体是作了哪些。你的工作意愿是哪个方向（这么问是因为知道了我没做过DBA）在数仓的设
钦䲹·2024-01-19 16:05

Java Springboot SSE 解决永久存活 判断客户端离线问题

在生产环境下，服务端的SseEmitter对象在初始化时可以填入参数，以保证其存活时间，一旦超时，客户端会自动断线重连，在这个过程中如果没有做消息队列等缓存手段，就可能会丢数据。但是如果设置SseEmitter存活时间为永久（参数填0），就会导致服务端无法感知客户端下线，从而使服务端维持连接池会越来越大无法释放。导致这一问题的出现，就是服务端在发送消息后没有直接可用的方法可以感知客户端是否接到消息
ctanll·2024-01-19 16:35

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？
劝学-大数据·2024-01-19 16:03

Unreal Engine(UE5)中构建离线地图服务

1.首先需要用到3个软件，UnrealEngine，gisoffice和bigemap离线服务器UnrealEngine下载地址:点击前往下载页面Gisoffice下载地址:点击前往下载页面Bigemap
Bigemap·2024-01-19 16:21

android gradle offline work

离线或者外地办公的神器，只要你编译过的所有jar或者是依赖到本地后，打开这个offlinework，具体位置在file--settings--gradle--offlinework！
Ad大成·2024-01-19 14:43

JNI技术

在离线地图产品上有实践。
一颗顽皮的小草·2024-01-19 12:48

Stability AI发布全新代码模型Stable Code 3B

即使在MacBookAir等普通笔记本电脑上没有GPU，也可以离线运行。1月16日，StabilityAI宣布2024年第一个大型语言模型版本：stable-code-3b。这个新
Funny_AI_LAB·2024-01-19 11:41

文档加密编辑：打破数据泄露的魔咒

云盒子企业网盘，针对共享文档编辑过程的安全性，提供云文件不落地编辑、区域权限管控以及离线加密编辑，帮助企业围堵文件编辑过程的泄密漏洞，帮助增强企业的数据安全防护体系。
云盒子·2024-01-19 11:38

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。1.1集群安全模块1、安全模式：文件系统只接收读数据请求，而不接收删除、修改等变更请求2、进入安全模式场景1）NameNode在加载镜像文件和编辑日志期间处于安全模式2）NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.safemode.min.datanode
Key-Key·2024-01-19 10:50

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一
Apache Flink·2024-01-19 08:54

打造无缝体验：将网站封装App的全新策略

通过使用ServiceWorkers和Manifest文件，开发者可以使网站可安装、支持离线使用，并且更快地加载。PWA还能够通过推送通知与用户保持互动，提供更高级的用户体验。
xxxxfdsax·2024-01-19 08:22

在线App封装技术：HTML5的新生命

HTML5封装的魅力所在HTML5带来了丰富的多媒体功能、地理位置服务、离线存储等特性，使得Web应用的体验更加接近原生App。
xxxxfdsax·2024-01-19 08:14

离线安装python2的paramiko模块

离线安装python2的paramiko模块环境centos7.9pytthon2.7.5参考博客地址https://blog.csdn.net/u010916017/article/details/129640193
Mr.徐大人ゞ·2024-01-19 08:08

离线安装python2的MySQLdb

离线安装python2的MySQLdb需求环境：centos7.9pytthon2.7.5安装MySQLdb模块下载MySQLdb模块地址直接安装报错如下[root@localhostMySQL-python
Mr.徐大人ゞ·2024-01-19 08:22

caused by: java.lang.outofmemory_hadoop运行java.lang.OutOfMemoryError:java heap space错误。

99M的文件，运行时出现下面的问题：java.lang.RuntimeException:java.lang.reflect.InvocationTargetExceptionatorg.apache.hadoop.util.ReflectionUtils.newInstance
weixin_39662834·2024-01-19 08:16

CAN FD数据脱机记录仪的在汽车应用上的优势

离线处理：CANFD数据脱机记录仪可以在网络连接的情况下工作，这使得它可以在各种环境下使用，例如在偏远地区或需要长时间运行的应用中。
来可小闵儿·2024-01-19 07:07

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26

大数据开发之Hadoop（MapReduce）

第1章：MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
Key-Key·2024-01-19 06:40
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他