大数据—Hadoop

人工智能在各领域的大放异彩，炒币机器人又真的靠谱吗8-07-11

众所周知，大数据、AI、区块链是近几年的科技大热门，关注与否，承认与否，智能机器人都在
玲岚书坊·2024-02-05 20:03

大数据时代的新型数据库 — 图数据库 Neo4j 的应用

概览微云数聚（北京）科技有限公司是一家实力雄厚的大数据技术公司，由移动互联网技术专家团队、大数据专业团队和建模博士团队组成。
weixin_33766805·2024-02-05 19:49

软件评测师写作专栏之负载压力测试的基础知识27

A、负载测试B、压力测试C、大数据量测试D、疲劳强度测试【昊洋详解】：本题考察负载压力测试各个类别的区别。常见的负载压力测试类型有以下四种：1）、负载测试：通过逐步增加系统负载，测试系统性能的变
昊洋_写作的匠心·2024-02-05 19:05

Linux--- vim详解

作者简介：RO-BERRY学习方向：致力于C、C++、数据结构、TCP/IP、数据库等等一系列知识日后方向:偏向于CPP开发以及大数据方向，欢迎各位关注，谢谢各位的支持“学如逆水行舟，不进则退”目录1.
RO-BERRY·2024-02-05 19:12

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

【Java知识手册】一.Java开发工具和前言

1Java前言1.1简介强类型语言、开源、跨平台、多态、多线程、面向对象完善的异常处理机制，大数据
Fred3D·2024-02-05 17:28

Infinite Cycle无限循环互动平台2.0系统上线

各个国家从增强自身竞争力的目的出发，很多的现代游戏业开始朝区块链技术革新游戏业发展了，与传统游戏相比较，区块链游戏与当前高新技术相结合更具有明显的优势，由于传统游戏受到自身条件的限制，对于大数据和人工智能等技术无法做到很好的融合
熊猫财经·2024-02-05 17:41

企业级大数据平台应用场景介绍

从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
明月说数据·2024-02-05 16:10

国内首个openEuler师训营圆满结营！麒麟信安深化产教融合，助力培养国产操作系统高质量师资人才

本次师训营由长沙市大数据产业链、长沙市新一代自主安全计算系统产业链指导，由湖南欧拉生态创新中心和国家关键领域信创行业产教融合共同体主办。
麒麟信安·2024-02-05 16:10

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

DolphinScheduler数仓任务管理规范

DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四、结语前言：大数据领域对多种任务都有调度需求
i7杨·2024-02-05 16:09

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

大数据技术应用场景

大数据技术产品大数据技术产品大数据技术分类：存储，计算，资源管理1.存储：(1)最基本的存储技术是HDFS:比如在企业应用中，会把通过各种渠道得到的数据，比如关系数据库的数据、日志数据、应用程序埋点采集的数据
大数据基础入门教程·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

大数据平台_大数据应用场景有哪些

大数据时代的出现，简单的讲是海量数据同完美计算能力结合的结果，确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。
思迈特Smartbi·2024-02-05 16:06

大数据企业应用场景分析

目录一、企业分析1.1企业领域维度分析1.2技术服务型维度分析1.3细分领域维度分析二、大数据应用场景2.1数据分析2.2智能推荐2.3产品/流程优化2.4异常监测2.5智能管理2.6人工智能和机器学习三
i7杨·2024-02-05 16:35

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

被“窥探”“窃听”的生活

最近应老师要求，一直在看一些关于大数据啊，云计算的东西。确实，现在是网络时代，数据时代，要想去了解一个人太容易了。比如你在某
忘时离·2024-02-05 16:04

【EI会议征稿通知】2024年数字化社会与人工智能国际学术会议（DSAI 2024）

数字化社会是以构筑全民畅享的数字生活为目标，以数字化、网络化、大数据、人工智能等当代信息科技的快速发展和广泛应用为支撑，通过数据驱动推动产业发展、公共服
搞科研的小刘选手·2024-02-05 16:46

深拷贝浅拷贝的区别？如何实现一个深拷贝？

concat()拓展运算符三、深拷贝\_.cloneDeep()jQuery.extend()JSON.stringify()循环递归四、区别小结一、数据类型存储前面文章我们讲到，JavaScript中存在两大数据类型
花言儿·2024-02-05 15:27

第12讲新课标视角下的课堂教学转型 （案例解读）

《国土面积》数学眼光找比吉林省面积大、小的、接近的省份应加入估计数学表达活动三是改写应该再多出示生活中的一些利用改写表达万以上的大数据的情境。教师的组织：指导化用还见要加强。
19吉林榆树焦艳丰·2024-02-05 15:21

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

如何进行有效的Shopee新店选品

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分
duoduocanmou·2024-02-05 14:56

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

一步一个脚印，一天一道大数据面试题。在流式大数据处理框架中，Exactly-Once语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。
Jiweilai1·2024-02-05 13:54

如何在Shopee平台上进行手机类目选品？

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分析、行业大盘
duoduocanmou·2024-02-05 13:54

在工业制造方面，如何更好地实现数字化转型？

3.数据分析和大数据：利用先
weixin_50515446·2024-02-05 13:52

【原创文集】+弯道超越

大数据工程学院+18物联本+代跃谁都想走笔直大道，但世上没有永远的笔直大道，只要你一直往前走，你就避免不了遇到坡道和弯路。
无忧_a746·2024-02-05 13:01

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

三维可视化助力船舶制造：大数据处理、实时协作更高效！

随着科技的不断发展，船舶制造行业也在不断寻求创新和提高效率的途径。其中，HOOPS技术作为一种先进的三维可视化和工程协作技术，正逐渐成为船舶制造领域的关键工具。本文将深入探讨HOOPS技术在船舶制造行业的应用，探讨其带来的优势和创新。HOOPS中文网http://techsoft3d.evget.com/一、HOOPS技术概述HOOPS技术是一种由TechSoft3D公司开发的三维图形库，具有高性
慧都科技3D·2024-02-05 13:00

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

flask_django_python五金电商网络营销的可视化分析研究

而Python语言也是比较受欢迎，尤其是在人工智能和大数据领域有着广泛的应用。特别是Python的第三方库，让人们能够通过简单的代码解决更
QQ_402205496·2024-02-05 13:58

2021-10-26晨间日记

开卷有益-学习/读书/听书正在读《大数据时代》，开卷读书，闭卷写所得。好习惯打卡早起锻炼，日
混元通灵·2024-02-05 12:22

大数据时代的主旋律传播 毛泽东思想

在当前大数据时代，高校学生学习科研、社会交往以及日常生活的思想行为都已高度网络化、数字化和虚拟化，传统单向度教育方式和经验性管理模式已经难以适应网络信息社会的发展要求。
能_fac6·2024-02-05 11:57

ssm/php/node/python智能医院app

智能医院app是一种结合了互联网、大数据、人工智能等技术的医疗服务平台，旨在为患者提供便捷、高效、个性化的医疗服务。通过智能医院app，患者可以随
花花 程序设计·2024-02-05 11:54

ssm/php/node/python智慧医疗app

智慧医疗是指通过运用现代信息技术，如大数据、云计算、物联网等，对医疗健康领域的各个环节进行深度融合和创新，实现医疗服务的智能化、个性化和高效化。在这个背景下，智慧医
乐乐 程序设计·2024-02-05 11:53

【Elasticsearch】从入门到精通

目前java常见的针对大数据存储的方案并不多，常见的就是mysql的分库分表、es存储这里偏向es存储方案，es不同的版本之间其实差异还挺大的，本篇博文版本Elasticsearch7.14.0Springboot
暮色里de白雪檐·2024-02-05 11:47

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

2020实体书店销售统计数据

据中金易云大数据平台实时监控的数据，今年上半年，实体书店图书销售码洋同比去年上半年下降了31.47%，为40.39亿，动销品种同比下
爆江·2024-02-05 10:27

优化总结

这也不难理，为什么在无去重需求下，使用UNIONALL而不是UNION2)DISTINCT替代方式GROUPBY：优化原理：我们先说下为什么大数据集下先GROUPBY再COUNT的效率要优于直接COUNT
xuanxing123·2024-02-05 09:13

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

1.业务场景与现状趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了1000台以上规模
阿里云技术·2024-02-05 09:29

大数据-Spark调优（一）

大数据-Spark调优（一）分配更多的资源分配更多的资源是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的
海恋北斗星·2024-02-05 09:29

大数据笔记--Spark（第五篇）

目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量2、计数器三、VSM算法1、什么是倒排索引表？2、什么是相似度的概念？3、什么是TF-IDF算法4、VSM算法Ⅰ、概念Ⅱ、算法原理Ⅲ、举例一、Spark的调优1、更改序列化为kryoSpark
是小先生·2024-02-05 09:59
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他