大数据-HIVE

如何安装 elasticsearch-head 插件？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2024-01-29 11:53

基于大数据平台的kylin安装部署手册

单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4检查hive
猿来孺词·2024-01-29 10:26

Sqoop使用详解

目录1.概述2.codegen3.create-hive-table4.eval5.export6.import7.import-all-tables8.job9.list-databases10.list-tables11
猿来孺词·2024-01-29 10:26

Sqoop实用linux脚本

1、通用脚本1.1、Sqoop导入DATADB数据到HIVEsqoop_load_data.sh#!
猿来孺词·2024-01-29 10:26

大数据系列之ELK集群环境部署

本文主要介绍ELK相关组件的环境部署和配置，并以系统syslog作为源数据输入测试验证elasticsearch端数据接收和Kibana端数据展示。1、基本概念和环境配置介绍1.1ELK基本概念ELK是一款开源的海量日志搜索分析平台，能够完美的解决我们上述的问题，对日志进行集中采集和实时索引，提供实时搜索、分析、可视化、报警等功能，帮助企业在统一平台实时管理日志数据，进行线上业务实时监控、异常原因
solihawk·2024-01-29 10:41

5大主流方案对比：MySQL千亿级数据线上平滑扩容实战

1.五个方案1.1停机方案1.2停写方案1.3日志方案1.4双写方案（中小型数据）1.5平滑2N方案（大数据量）2.平滑2N扩容方案实践2.1实现应用服务级别的动态扩容2.2实现数据库的秒级平滑2N扩容
seaskyccl·2024-01-29 10:10

程序员裁员潮：技术变革下的职业危机

大数据技术的应用使得企业和政府能够更好地分析和利用海量数据，为决策提供更加准确的依据。云计算技术的普及使得企业能够更加灵活地部署和管理IT资源，降低了成本，并提高了效率。
m0_70572045·2024-01-29 10:36

FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志

不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysqlbinlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata
chenzhihao·2024-01-29 09:08

Linux一条命令换阿里源

Debian/Ubuntu系统：sudocp/etc/apt/sources.list/etc/apt/sources.list.backup#备份原始源列表sudosed-i's/http:\/\/archive.ubuntu.com
吻等离子·2024-01-29 09:00

产业需求大数据平台

产业需求大数据平台，依托大数据、NLP等技术，全面采集区域产业人才需求数据，从宏观、中观、微观三个层面对产业需求进行分析，并匹配学校自身的办学定位、专业布局、人才培养目标、培养规格和课程设置，进行专业设置匹配度
单眼皮的老虎·2024-01-29 09:24

Vue2+echarts 实现图表的简单绘制

Echarts具有高度可定制性和交互性，支持动态数据更新和大数据量展示。Echarts提供了丰富的API和文档，可以方便地与其他前端框架整合。E
ZLY_2004·2024-01-29 09:54

教学质量常态监控与评价平台

教学质量常态监控与评价平台，以提高教学质量为目标导向，利用Al、大数据等新型技术手段作为技术支撑，服务于教学质量科、督导、教师、学生等角色，基于教学过程数据，关注教师的教学内涵，覆盖了对教师、课堂、专业
单眼皮的老虎·2024-01-29 09:54

专业建设数字平台

专业建设数字平台，遵循以学生发展为中心、以产出为导向的OBE理念，大数据赋能人才培养全过程管理，支撑专业数字化建设与专业认证等专项工作，平台围绕学院与专业建设中人才培养方案制定的顶层设计工作及全流程、全场景业务
单眼皮的老虎·2024-01-29 09:54

全角色服务、全场景支撑、全业务应用的新一代智慧教室

为核心目标，以AI赋能的智能硬件为基础构建多形态智慧教学环境，以中台为支撑实现数据、设备、系统、业务的互联互通、开放共享，以平台全面覆盖教学应用，采集、汇聚、挖掘、分析课前课中课后、线上线下全流程的教学大数据
单眼皮的老虎·2024-01-29 09:22

论文精读--BERT

不像视觉领域，在Bert出现之前的nlp领域还没有一个深的网络，使得能在大数据集上训练一个深的神经网络，并应用到很多nlp的任务上AbstractWeintroduceanewlanguagerepresentationmodelcalledBERT
__如果·2024-01-29 09:43

Hive-DML

Load在将数据加载到表中时，Hive不会进行任何转换。加载操作是将数据文件移动到与Hive表对应的位置的纯复制或移动操作。
KevinDu_134d·2024-01-29 09:20

bert预训练模型下载

查看bert模型所支持的预训练模型有哪些fromtransformersimportBERT_PRETRAINED_MODEL_ARCHIVE_LISTprint(BERT_PRETRAINED_MODEL_ARCHIVE_LIST
木下瞳·2024-01-29 08:13

Hive 报错 Invalid column reference 列名

两张表当我执行selectm.movieid,m.moviename,substr(m.moviename,-5,4)asyears,avg(r.rate)asavgScoreFROMt_movieasmjoint_ratingasronm.movieid=r.movieidGROUPbym.movieidHAVINGavgScore>=4;报错：Invalidcolumnreference'mo
木下瞳·2024-01-29 08:43

【美团】交易系统平台-数据仓库研发工程师

随着万物到家业务战略推进，我们在需求侧致力于通过大数据与大算力深度融合，建设强大的LBS零售电商系
探小虎·2024-01-29 08:53

java jdk8和jdk17同时存在【环境配置】

1、先进行环境下载：jdk8:https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.htmljdk17
你小子在看什么……·2024-01-29 08:22

详解智能停车计费系统的后端架构：Java与SpringBoot的完美结合

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-29 07:24

ubuntu18.04安装paddlepaddle开发环境

//www.jianshu.com/p/e70436c3b0072.安装CUDA下载选择系统信息：https://developer.nvidia.com/cuda-10.0-download-archive
奋斗_登·2024-01-29 07:24

Hadoop, HIve, Spark关系简述

大数据∈数据管理系统的范畴数据管理系统：数据怎么存？数据怎么算？单机数据管理时代下，数据处理的任务：IO密集型；数据存不下？HDFS用于存放多机器的数据并提供相关Api接口。
小白兔奶糖ovo·2024-01-29 07:22

【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件

问题：执行SQL报错提示缺少文件异常信息如下在hdfs上查看的时候连文件夹都没有，所以这个异常会抛出，但是我是基于CDH搭建的，可以直接基于下面操作执行完成之后查看HDFS文件重新执行SQL发现可以正常执行了
谷新龙001·2024-01-29 07:46

2021-11-20 行业研报分享

2020年中国在线教育行业研究报告-68页.pdf2021年中国综合性终身教育平台用户大数据报告-41页.pdf2020中国教育培训移动应用发展研究报告-44页.pdf2021中国教育智能硬件趋势洞察报告
参一智库·2024-01-29 06:29

学习大数据时，一定要注重这8个Python小细节，让你工作事半功倍

学习数据科学的过程，从来就不是一帆风顺的。在写代码的时候，你是否也经常不得不反复搜索同一个问题，同一个概念，甚至同一个语法结构的特性呢？对，你不是一个人在战斗。我也一直在同样的情况里挣扎着。虽然遇到问题上StackOverflow搜一搜是相当正常的，但比起切实掌握理解语言特性的情况，不断重复的遇到问题＋搜来搜去，会严重拖慢你的速度。如今，无穷无尽的免费资源时时刻刻充斥着互联网，一搜即得。然而，对初
妄心xyx·2024-01-29 06:50

大数据时代，人的决策能力体现在什么地方？

最近看今日简史以及万万没想到两本书，感觉有点毛骨悚然。举个例子，我们现在开车出行的时候习惯于使用导航软件推荐的路线，即使是我们很熟悉的路，他推荐我们往右，可左转更近一点，但是当我们转弯左边的时候发现塞车了；这种情况多出现几次，开始习惯于听从导航软件的推荐。一些这两年拿驾照的朋友，更喜欢于—开车把导航软件打开；在一个陌生的地方，又没有导航软件的话，感觉不会开车了一样，找不到路了，不知道往哪里走。除了
陈伟新_走在自我完善的路上·2024-01-29 06:27

记一次Flink自带jar包与第三方jar包依赖冲突解决

flink版本1.14.5hadoop2.6.0为了实现flink读取hive数据写入第三方的数据库，写入数据库需要调用数据库的SDK，当前SDK依赖的protobuf-java-3.11.0.jar，
一枚小刺猬·2024-01-29 06:10

Hive之set参数大全-19

指定用于计算列的唯一值数（NDV，即基数）的算法在Hive中，hive.stats.ndv.algo是一个配置参数，用于指定用于计算列的唯一值数（NDV，即基数）的算法。
OnePandas·2024-01-29 06:39

【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:37

【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:06

【大数据】Flink 架构（六）：保存点 Savepoint

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:06

【大数据】Flink 架构（四）：状态管理

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:36

【大数据】Flink 架构（二）：数据传输

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:35

【大数据】Flink 架构（三）：事件时间处理

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:35

【大数据】Flink 架构（一）：系统架构

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:05

Hive之set参数大全-20

指定在执行大表半连接操作时的最小表大小，以决定是否启用半连接操作的优化在Hive中，hive.tez.bigtable.minsize.semijoin.reduction是一个配置参数，用于指定在执行大表半连接操作时的最小表大小
OnePandas·2024-01-29 06:03

【大数据】Flink 架构（六）：保存点 Savepoint

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点Checkpoint（看完即懂）Flink架构（六）：保存点Savepoint如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！！您的支持将激励博主输出更多优质内容！
G皮T·2024-01-29 06:32

大数据||日志数据Nginx及业务需求

Nginx语法日志格式实际日志"27.38.5.159""-""31/Aug/2015:00:04:37+0800""GET/course/view.php?id=27HTTP/1.1""303""440"-"http://www.ibeifeng.com/user.php?act=mycourse""Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.3
明明德撩码·2024-01-29 06:12

“ 黑天鹅现象与精准突破 ”（556）

中*兴和华*为在前两年遇到的非常挑战给企业界颇多启迪，“备胎”计划与冗余储备正与大数据精准化并肩前行，通俗的说定性管理和定量管理都要求更高的智慧。
周安柱·2024-01-29 05:07

23.12.17日总结

HTML5新增特性html5新增特性-CSDN博客flex布局和grid布局的学习flex布局和grid布局-CSDN博客今天的答辩还问到了nextTick()，js的八大数据类型饿了么项目这周实现了商品收藏
明里灰·2024-01-29 05:36

[AIGC 大数据基础] 大数据流处理 Kafka

大数据处理已成为各行各业中不可或缺的一部分。在大数据处理的过程中，流处理变得越来越重要，因为我们需要实时地处理和分析数据，以便做出及时的决策。
程序员三木·2024-01-29 05:32

2020-02-16

临沂市财金大数据有限公司|货币较量的斗士，留在沂蒙的红色金融足迹O北海银行||货币较量的斗士，留在沂蒙的红色...
财金人啊·2024-01-29 05:25

“大数据”能够对人力资源企业提供什么帮助？

“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访记录，还有许多其他来源。
41099802·2024-01-29 04:32

曲园学子寒假三下乡:电商产业园，同乡共振行

在大数据、区块链等大趋势下，互联网得到了前所未有的广泛应用，从而推动了数字产业化与产业数字化的高度融合。电子商务已成为经济发展的重要引擎，助推着社会经济的发展，人民美好生活的实现。
植此青绿实践队·2024-01-29 04:20

如何利用数据压缩提高高性能存储的效率？

在当前信息爆炸的时代，大数据存储和管理成为了各大企业和组织面临的重要挑战之一。高性能存储系统的效率对于数据处理和应用的性能至关重要。而数据压缩技术的应用可以在一定程度上提高高性能存储的效率。
莱卡云·2024-01-29 04:13

大数据之Hadoop-MapReduce（1）

第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapReduce优缺点1.2.1优点MapReduce易于编程它简单的实现一些接口，就可以完成一个
jackyan163·2024-01-29 04:18

商业银行金融科技布局困境

大数据应用主要流程包括数据采集
木易的简单生活·2024-01-29 04:10

Hive(HiveServer2 & Beeline)

hive有两种方式写SQL；方式一：bin/hive是hive的shell客户端，可直接写sql方式二：bin/hive--servicehiveserver2后台执行脚本：nohupbin/hive-
%HelloWorld%·2024-01-29 03:41

Hive初体验

首先，确保启动了Metastore服务{runjar就是metastore；hadoop要先启动}可以执行：bin/hive进入到HiveShell环境中，可以直接执行SQL的语句；·创建表（hive里面的字符串就是
%HelloWorld%·2024-01-29 03:09
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他