大数据云原生hadoop

被“窥探”“窃听”的生活

最近应老师要求，一直在看一些关于大数据啊，云计算的东西。确实，现在是网络时代，数据时代，要想去了解一个人太容易了。比如你在某
忘时离·2024-02-05 16:04

【EI会议征稿通知】2024年数字化社会与人工智能国际学术会议（DSAI 2024）

数字化社会是以构筑全民畅享的数字生活为目标，以数字化、网络化、大数据、人工智能等当代信息科技的快速发展和广泛应用为支撑，通过数据驱动推动产业发展、公共服
搞科研的小刘选手·2024-02-05 16:46

Nacos最新版安装教程（史上最详细保姆级教程）

Nacos下载安装包修改配置文件端口配置本地数据库配置启动Nacos简介Nacos/nɑ:kəʊs/是DynamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现
天马行空的程序猿·2024-02-05 16:45

深拷贝浅拷贝的区别？如何实现一个深拷贝？

concat()拓展运算符三、深拷贝\_.cloneDeep()jQuery.extend()JSON.stringify()循环递归四、区别小结一、数据类型存储前面文章我们讲到，JavaScript中存在两大数据类型
花言儿·2024-02-05 15:27

第12讲新课标视角下的课堂教学转型 （案例解读）

《国土面积》数学眼光找比吉林省面积大、小的、接近的省份应加入估计数学表达活动三是改写应该再多出示生活中的一些利用改写表达万以上的大数据的情境。教师的组织：指导化用还见要加强。
19吉林榆树焦艳丰·2024-02-05 15:21

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

如何进行有效的Shopee新店选品

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分
duoduocanmou·2024-02-05 14:56

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

一步一个脚印，一天一道大数据面试题。在流式大数据处理框架中，Exactly-Once语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。
Jiweilai1·2024-02-05 13:54

如何在Shopee平台上进行手机类目选品？

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分析、行业大盘
duoduocanmou·2024-02-05 13:54

在工业制造方面，如何更好地实现数字化转型？

3.数据分析和大数据：利用先
weixin_50515446·2024-02-05 13:52

【原创文集】+弯道超越

大数据工程学院+18物联本+代跃谁都想走笔直大道，但世上没有永远的笔直大道，只要你一直往前走，你就避免不了遇到坡道和弯路。
无忧_a746·2024-02-05 13:01

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

三维可视化助力船舶制造：大数据处理、实时协作更高效！

随着科技的不断发展，船舶制造行业也在不断寻求创新和提高效率的途径。其中，HOOPS技术作为一种先进的三维可视化和工程协作技术，正逐渐成为船舶制造领域的关键工具。本文将深入探讨HOOPS技术在船舶制造行业的应用，探讨其带来的优势和创新。HOOPS中文网http://techsoft3d.evget.com/一、HOOPS技术概述HOOPS技术是一种由TechSoft3D公司开发的三维图形库，具有高性
慧都科技3D·2024-02-05 13:00

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

flask_django_python五金电商网络营销的可视化分析研究

而Python语言也是比较受欢迎，尤其是在人工智能和大数据领域有着广泛的应用。特别是Python的第三方库，让人们能够通过简单的代码解决更
QQ_402205496·2024-02-05 13:58

2021-10-26晨间日记

开卷有益-学习/读书/听书正在读《大数据时代》，开卷读书，闭卷写所得。好习惯打卡早起锻炼，日
混元通灵·2024-02-05 12:22

大数据时代的主旋律传播 毛泽东思想

在当前大数据时代，高校学生学习科研、社会交往以及日常生活的思想行为都已高度网络化、数字化和虚拟化，传统单向度教育方式和经验性管理模式已经难以适应网络信息社会的发展要求。
能_fac6·2024-02-05 11:57

ssm/php/node/python智能医院app

智能医院app是一种结合了互联网、大数据、人工智能等技术的医疗服务平台，旨在为患者提供便捷、高效、个性化的医疗服务。通过智能医院app，患者可以随
花花 程序设计·2024-02-05 11:54

ssm/php/node/python智慧医疗app

智慧医疗是指通过运用现代信息技术，如大数据、云计算、物联网等，对医疗健康领域的各个环节进行深度融合和创新，实现医疗服务的智能化、个性化和高效化。在这个背景下，智慧医
乐乐 程序设计·2024-02-05 11:53

【Elasticsearch】从入门到精通

目前java常见的针对大数据存储的方案并不多，常见的就是mysql的分库分表、es存储这里偏向es存储方案，es不同的版本之间其实差异还挺大的，本篇博文版本Elasticsearch7.14.0Springboot
暮色里de白雪檐·2024-02-05 11:47

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

2020实体书店销售统计数据

据中金易云大数据平台实时监控的数据，今年上半年，实体书店图书销售码洋同比去年上半年下降了31.47%，为40.39亿，动销品种同比下
爆江·2024-02-05 10:27

优化总结

这也不难理，为什么在无去重需求下，使用UNIONALL而不是UNION2)DISTINCT替代方式GROUPBY：优化原理：我们先说下为什么大数据集下先GROUPBY再COUNT的效率要优于直接COUNT
xuanxing123·2024-02-05 09:13

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

1.业务场景与现状趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了1000台以上规模
阿里云技术·2024-02-05 09:29

大数据-Spark调优（一）

大数据-Spark调优（一）分配更多的资源分配更多的资源是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的
海恋北斗星·2024-02-05 09:29

大数据笔记--Spark（第五篇）

目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量2、计数器三、VSM算法1、什么是倒排索引表？2、什么是相似度的概念？3、什么是TF-IDF算法4、VSM算法Ⅰ、概念Ⅱ、算法原理Ⅲ、举例一、Spark的调优1、更改序列化为kryoSpark
是小先生·2024-02-05 09:59

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

kafka基本原理

一、kafka概述1、定义kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越2、消息队列【1】应用场景用于异步、削峰、解耦【2】两种模式（1）点对点模式一对一，消费者主动拉取数据
会飞的大鱼吃小鱼·2024-02-05 08:59

大学生搜题用这三款神器就够了!!! #经验分享#经验分享#媒体

大学生必备，这条笔记大数据一定定要推给刚上大学的学弟学妹！！1.WolframAlphaWolframAlpha堪称“数学解题神器”！
学习93398·2024-02-05 08:23

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

建筑工程答案在哪搜？九个免费好用的大学生搜题工具 #经验分享#知识分享

大学生必备，这条笔记大数据一定定要推给刚上大学的学弟学妹！！1.七燕搜题这是一个公众号解题步骤详细解析，帮助你理解问题本质。其他考试领域也能找到答案。
奔跑sdgfg·2024-02-05 07:18

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

abap实现大数据-echar调用

abap实现大数据-echar调用前言一、echart代码获取二、abap实现1.定义HTML控件2.构建option3.完整ABAP代码总结前言最近做了个bw+smartbi项目，smartbi虽然好
小猿的hello World·2024-02-05 07:03

azkaban编译时报错的解决方案

大数据单机学习环境搭建(11)Azkaban单机部署，关于Azkaban和gradle下载，本文编译不限于单机solo模式。
赫加青空·2024-02-05 07:53

Python调用pyspark报错整理

前言Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下
赫加青空·2024-02-05 07:52

0.07 秒启动一个 SpringBoot 项目！Spring Native 很强！！

这项技术被spring官方命名为SpringNative，翻译成中文叫Spring云原生，应该有少部分人听说过这个概念，我先带大家
漫走云雾·2024-02-05 07:42

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

云原生数据库 GaiaDB 的核心技术演进和解析

导读在越来越强调云原生的环境下，存算分离作为一种新的架构理念，已经是大势所趋。
大数据和云计算技术·2024-02-05 06:23
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他