大数据技术栈-hive

Hadoop技术栈

1.什么是hadoop（分布式软件框架）他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1hadoop的用处可以部署在1台乃至成千上万台服务器节点上协同工作。个人或企业可以借助Hadoop构建大规模服务器集群，完成海量数据的存储和计算。1.2hadoop的功能通常意义上，Hadoop是一个整体，其内部还会细分为三个功能组件，分别是：HDFS组件：HDFS是Hadoop内的
XingChen.·2024-08-31 16:48

Spark SQL 结构化数据处理流程及原理是什么？

SparkSQL可以使用现有的Hive元存储、SerDes和UDF。它可以使用JDBC/ODBC连接到现有的BI工具。有了SparkSQL，用户可以编写SQL风格的查询。
我想去吃ya·2024-08-31 16:18

中标 | 极客天成分布式存储软件成功中标华泰证券并行文件系统软件项目

华泰证券并行文件系统软件项目是服务于华泰证券量化投研的重点项目,是华泰证券能否取得可持续性竞争优势的关键所在,华泰证券多年深耕信用量化投研领域，基于大数据、人工智能、NLP等技术自主研发。
极客天成ScaleFlash·2024-08-31 14:31

《数字时代的学与教》第四模块共读心得

教师选用何种教学策略不是凭老师的经验，而是大数据统计出学生的学习诉求、学生对教学内容的掌握情况来决定的。
屏西小学陈欣艳·2024-08-31 12:10

数据爬虫工作中的IP清理频率

在大数据和信息时代，数据爬虫已经成为获取信息的重要手段。然而，频繁的数据抓取往往会引发目标网站的反爬虫机制，导致IP地址被封禁。
KookeeyLena3·2024-08-31 12:19

人心

人心人性是复杂，无法用所谓的理性和数据来分析，所有的分析从本质是错的，虽然常常会自我感觉良好，比如经济发展水平的分析，数据一大套一大套，成果一大堆一大堆，大数据啊！
苏鹰鹰哥·2024-08-31 11:39

大数据产品化的窗口期

已经之身大数据行业三四年，按理说应该可以说点所谓的经验。但是，现在大数据行业似乎有行无市。看起来高大上，但距离日常好像很远。
可鱼KEYU·2024-08-31 10:57

Ubuntn安装Xfce桌面环境

原文：https://blog.c12th.cn/archives/11.html前言最近搞了台云服务器(2H2G)玩玩，其实一直想挂一些奇奇怪怪的东西到服务器？
c12th·2024-08-31 09:03

解决Butterfly主题图标不显示问题

文章目录原文：https://blog.c12th.cn/archives/4.html前言解决方法主题4.3.0及以上主题4.2.0及以上方法之一主题4.2.0以下方法一(不推荐)方法二(推荐)补充原文
c12th·2024-08-31 09:33

JavaWeb——前端工程化

2.前端工程化实现技术栈:ES6+Nodejs+npm+Vite+VUE3+Router+Pinia+Axios+Element-plusECMAScript6:VUE3中大量使用ES6语法;Nodejs
A_Tai2333333·2024-08-31 08:21

布隆过滤器：大数据的高效守门员（在 Spring Boot 项目中实现布隆过滤器）

文章目录手写SpringBoot启动器：实现布隆过滤器布隆过滤器基本概念布隆过滤器原理应用场景SpringBoot实现示例添加依赖示例代码解析总结手写SpringBoot启动器：实现布隆过滤器在大数据和高性能计算领域
无理 Java·2024-08-31 08:19

halo主题开发环境搭建

halo主题开发环境搭建|LogDicthttps://www.logdict.com/archives/halozhu-ti-kai-fa-huan-jing-da-jian
该账号已被封禁丨·2024-08-31 06:41

tar命令解压报错“Error is not recoverable: exiting now”

tar命令解压报错：gzip:stdin:invalidcompresseddata--formatviolatedtar:UnexpectedEOFinarchivetar:UnexpectedEOFinarchivetar
Yana.com·2024-08-31 05:58

MySQL高级课程：索引设计与性能优化的最佳实践

为了保证MySQL数据库在高并发、大数据量场景下的高效运行，索引设计与性能优化成为数据库管理的重要一环。本课程将深入探讨MySQL索引设计和性能优化的最佳实践，帮助你掌握从理论到实战的优化技巧。
勤劳兔码农·2024-08-31 04:25

【MYSQL】在MySQL中设置 max_allowed_packet、wait_timeout 和 interactive_timeout

目录重要配置参数临时设置参数1.使用SQL语句设置1.检查当前设置持久化设置修改配置文件在Linux上重启MySQL服务：在Windows上重启MySQL服务：注意事项示例：使用BLOB存储大数据总结解决连接断开问题的总结在处理大于
丶2136·2024-08-31 04:22

《C++与新兴数据库技术的完美交互：开启高效数据处理新时代》

一、新兴数据库技术的崛起随着大数据、云计算和人工智能等技术的飞速发展，传统的关系型数据库在某些场景下已经难以满足日益增长的需求。新兴的数据库技术，如NoSQL数据库、NewSQL数据库、分布式
程序猿阿伟·2024-08-31 03:14

Gulp入门个人总结

Gulp入门个人总结参考资料：http://www.ydcss.com/archives/18http://www.techug.com/gulphttp://www.browsersync.cn/一．
薰衣草smile·2024-08-31 02:45

双十一云起实验室体验专场，七大场景，体验有礼

\大数据计算场景《基于EMR离线数据分析》E-MapReduce（简称“EMR”）是
阿里云天池·2024-08-31 01:30

Linux基础入门

课程链接：黑马程序员新版Linux零基础快速入门到精通，全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、大数据集群项目实战等_哔哩哔哩_bilibili声明：该文章为本人的学习笔记
LIPAH·2024-08-31 00:27

【选型】数据库 Mysql MariaDB 存储引擎选择

MysqlMariaDB存储引擎选择MariaDB新增十多个存储引擎，比较有特色的有：（1）Aria：适用于快速读取快速写入场景，替代为人诟病的MyISAM，支持事务，支持崩溃恢复；（2）TokuDB：适用于大数据量写入场景
我是Superman丶·2024-08-31 00:56

常用ES查询DSL语句

1.针对hive表中jsonObject类型的String数据mapping中定义如下："esf_room":{"type":"text","fields":{"keyword":{"type":"keyword
攻城狮Kevin·2024-08-30 22:15

2019-03-21

SPA:单页应用https://baike.baidu.com/item/SPA/175363131.场景（1）中后台管理系统（2）H5前端开发（3）跨端APP开发2.技术栈（1）SpringBootvue-cliIDEnpmElementUI
蜜思1013·2024-08-30 22:08

2022-05-17

所以，疫情真的让我们失去了很多：亲朋好友间的欢聚说走就走的旅行想见却不能见无处安放的理想…………疫情之下，你的行踪不再是秘密不要担心忘记自己去过哪里大数据都会帮你记得
爱米儿·2024-08-30 19:01

新型冠状病毒感染肺炎防护，喝酒能杀病毒吗？板蓝根能预防感染

截止今日大数据统计：确诊新型冠状病毒感染肺炎者，11823人。疑似病例者17988人，死亡者259人，治愈人数243人。新型冠状病毒感染肺炎，还在不断扩散蔓延。
文娱综艺·2024-08-30 17:28

【赵渝强老师】基于大数据组件的平台架构

  在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。  
赵渝强老师·2024-08-30 16:07

hive中的分区

文章目录Hive分区1.简介为什么要分区如何分区以及细节2.Hive分区的建立创建分区静态分区动态分区启动动态分区功能多分区单分区区别创建多分区插入分区查看分区数查看表结构Hive分区1.简介Hive分区的概念与传统关系型数据库分区不一样
百流·2024-08-30 16:07

kafka的安装与测试

kafka的安装与测试一、概念定义：kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue),主要用于大数据实时处理领域使用消息队列的一个好处1.解耦：不需要两台服务器保持同时在线
无情白·2024-08-30 16:04

[Datawhale AI 夏令营][第五期]智能识别系统-Task1笔记

任务是发布在MARS大数据服务平台的2024“大运河杯”数据开发应用创新大赛——城市治理。了解智慧河长的朋友可能听说类似的项目，它们可以识别河道中出现的一些问题。
keexh·2024-08-30 15:58

linux网络流程分析（一）---网卡驱动

转载：https://www.cnblogs.com/gogly/archive/2012/06/10/2541573.html分析linux网络的书已经很多了，包括《追踪LinuxTCP/IP代码运行
wang603603·2024-08-30 15:55

三防平板：定制化服务的趋势——以智慧医疗为例

来百度APP畅享高清图片智慧医疗，即通过智能设备、大数据、云计算等技术，实现医疗服务的数字化、智能化和个性化。在这个背景下，三防平板凭借
livefan·2024-08-30 15:24

深度学习赋能数据分析，联蔚盘云引领业务革新

一、引言随着大数据时代的到来，深度学习技术正逐渐成为企业数据分析的新引擎。联蔚盘云凭借其在深度学习领域的深厚积累，为企业提供高效、精准的数据分析解决方案，助力企业实现业务革新与增长。
联蔚盘云·2024-08-30 14:20

关于vue2运行时filemanager-webpack-plugin报错isFile is undefind

/dist.zip'],archive:[{source:'./dist',destination:'./dist.zip'}]}})在对应的路径下建一个dist文件夹
又写了一天BUG·2024-08-30 12:34

小白学习大数据测试之hadoop hdfs和MapReduce小实战

转发是对小编的最大支持在湿货|大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02·2024-08-30 11:39

sql-函数

SQL函数及报错问题合集一、sql函数1.日期函数（**Hive**）1.1日期减少函数:date_sub1.2日期增加函数：date_add1.3日期格式转化函数：date2datekey/datekey2date2
weixin_45925478·2024-08-30 11:03

项目搭建使用qiankun（乾坤），入门篇，以及遇到的坑与解决

微前端架构具备以下几个核心价值：技术栈无关主框架不限制接入应用的技术栈，微应用具备完全自主权独立开发、独立部署微应用仓库独立，前后端可独立开发，部署完成后主框架自动完成同步更新增量升级在面对各种复杂场景时
喂！大掌柜·2024-08-30 11:02

游卡，三七互娱，得物，顺丰，快手，oppo，莉莉丝，康冠科技，途游游戏，埃科光电25秋招内推

游卡，三七互娱，得物，顺丰，快手，oppo，莉莉丝，康冠科技，途游游戏，埃科光电25秋招内推①顺丰【招聘岗位】研发、算法、大数据、产品、项管、设计、人资等【官方内推码】4FOLXH【一键内推】https
weixin_53585422·2024-08-30 11:29

联发科Wi-Fi7基带芯片MT7996AV和收发芯片MT7977AN工艺全景图

芯品快报：亚德诺（ADI）超静音步进电机驱动芯片——TMC2209芯品快报：德州仪器（TI）的高性能、集成式的双全桥电机驱动器——DRV8412IPBrain小组集成电路大数据平台2024年07月11日
Victor-Tian·2024-08-30 10:58

Hive3：列注释、表注释等乱码解决方案

--在Hive的MySQL元数据库中执行usehive;1).修改字段注释字符集altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8
生产队队长·2024-08-30 08:09

常见的实时数仓方案

实时部分以消息队列的方式实时增量消费，一般以Flink+Kafka的组合实现，维度表存在关系型数据库或者HBase；离线部分一般采用T+1周期调度分析历史存量数据，每天凌晨产出，更新覆盖前一天的结果数据，计算引擎通常会选择Hive
北极冰雨·2024-08-30 05:27

【IEEE出版 | 往届会后三个月检索】第五届大数据、人工智能与软件工程国际研讨会（ICBASE 2024，9月20-22）

第五届大数据、人工智能与软件工程国际研讨会（ICBASE2024）将于2024年09月20-22日在中国温州隆重举行。会议主要围绕大数据、人工智能与软件工程等研究领域展开讨论。
i嗑盐の小F·2024-08-30 03:10

C# 与 Qt 的对比分析

C#与Qt的对比分析目录C#与Qt的对比分析1.语言特性2.开发环境3.框架和库4.用户界面设计5.企业级应用6.性能考量在软件开发领域，C#和Qt是两种常用的技术栈，它们分别在.NET平台和跨平台桌面应用开发中占据重要位置
N201871643·2024-08-29 21:01

虚拟机安装hadoop，hbase（单机伪集群模式）

虚拟机安装Hadoop，Hbase工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心
流~星~雨·2024-08-29 21:31

hive中的数据同步到hbase

hive中的数据同步到hbase工作中遇到了这个工作，就是将hive中的数据同步到hbase中，然后java通过hbase相关的API来访问hbase中的数据。
流~星~雨·2024-08-29 21:31

HIVE 数据模型

type=hive集群状态管理：http://tdxy-bigdata-03:7180/cmf/home基于HDFS没有专门的数据
HFDYCYY·2024-08-29 19:47

Apache Kafka 快速学习大纲

Kafka概述定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
aaaak_·2024-08-29 19:46

Hive 数据模型切换后的数据验证方案

记录这样一个场景，cdp/dmp等等标签模型系统，会出现这样一种情况。标签系统一般属于ads集市层加工的模型数据，如果上游（数仓/业务）表进行了切换，比如我们项目最近上游从fdl/gdl切换到了dwd/dws，切换完毕后的数据一般都会出现问题，如何进行数据验证是一个需要好好思考的问题。首先，如果把切换后的结果表当成左表去匹配切换前的结果表，很容易出现因未验证语法不正确导致的数据验证问题，例如：切换
小菜菜1223·2024-08-29 19:16

大数据实训笔记7：kafka

概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。Producer：消息生产者，就是向kafkabroker发消息的客户端。Consumer：消息消费者，向kafkabroker取消息的客户端。ConsumerGroup（CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消
Roslin_v·2024-08-29 19:14

这几个高级爬虫软件和插件真的强！

亮数据（BrightData）亮数据是一款强大的数据采集工具，以其全球代理IP网络和强大数据采集技术而闻名。它能够轻松采集各种网页数据，包括产品信息、价格、评论和社交媒体数据等。
@Python大数据分析·2024-08-29 17:05

Mysql 查询数据库或数据表中的数据量以及数据大小_mysql 获取查询记录的 数据大小

许多数据库的元数据都是存储在mysql中的，例如hive、startrockes，因此可以通过mysql中的“information_schema.TABLES”表来查询对应数据库或对应数据表的具体信息
m0_74932057·2024-08-29 17:02

开始学习大数据

我是一个java开发人员，做java服务器开发已经有一年的时间了，而实际的开发经验有两年的时间，最开始的一年的时间，我从事与Android开发。而为什么从Android开发转到Java服务器开发，有如下原因：1.我自己对于做界面不太喜欢，而且也没有足够的耐心去调试界面，而且对于深度，我有足够的畏惧，因为越学到后面，就必须要对面Android的内核，这个是当时自己没有足够的多的信息继续走Androi
昨天的殇·2024-08-29 16:51
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他