大数据云原生hadoop 第33页

解密 ARMS 持续剖析：如何用一个全新视角洞察应用的性能瓶颈？

作者：饶子昊、杨龙应用复杂度提升，根因定位困难重重随着软件技术发展迭代，很多企业软件系统也逐步从单体应用向云原生微服务架构演进，一方面让应用实现高并发、易扩展、开发敏捷度高等效果，但另外一方面也让软件应用链路变得越来越长

阿里云云原生·2024-02-07 06:51

告别 GPU 焦虑，玩转极致性价比的 CPU 文生图

针对文生图模型特性和规模化场景，本文提供了一种新的思路，通过云原生部署方式提供推理服务API，使用CPU矩阵计算能力针对模型进行无侵入优

阿里云云原生·2024-02-07 06:20

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？

l鹿狸i·2024-02-07 06:12

「云原生可观测团队」获选「InfoQ 年度技术内容贡献奖」

随着云原生、人工智能逐渐成为各行各业的创新生产力工具。可以预见，我们即将进入全新的智能化时代。随着数据成为新型生产要素，云和AI正走向深度融合。

阿里云云原生·2024-02-07 06:15

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。

一杯咖啡半杯糖·2024-02-07 06:39

数据湖与数据仓库

但是随着大数据技术的融合发展，数据湖不断演变，汇集了各种技术，包括数据仓

四月天03·2024-02-07 05:36

Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件1）hadoop-3.3.5将下载的文件保存到英文路径下，名称一定要短。

Snower_2022·2024-02-07 05:02

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3

-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize

Clearlove灬Star·2024-02-07 05:01

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。

一头骇人鲸·2024-02-07 05:00

hadoopwordcount代码分析

输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.hadoop.fs.Path

姹紫_嫣红·2024-02-07 05:57

【实验2】在Hadoop平台上部署WordCount程序

HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装Hadoop-Eclipse

-借我杀死庸碌的情怀-·2024-02-07 05:27

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了

lixia0417mul2·2024-02-07 05:22

重续勇气读书，节选前后封面重点

他主要研究“教育大数据、教育治理现代化和未来学校与未来教育新图景……”2.本书内容简介：学校属于上层建筑的一部分，它需要发生变革才能驱动社会

N1124王双凤·2024-02-07 05:10

如何将日志文件和二进制文件快速导入HDFS？

日志数据在应用程序中一直很常见，Hadoop能够处理生产系统生成的大量日志数据，比如网络设备、操作系统、Web服务器和应用程序的日志数据。

weixin_34159110·2024-02-07 05:36

吸引力法则｜万事万物之间，都是有吸引力的

大数据不会骗人，当你刷到这里。留下一句“一顺百顺”，你担心的那件事，好结果马上就来临。当你想做某件事的时候，整个宇宙都会过来帮你。｜《吸引力法则》【什么是吸引力法则】万事万物之间，都是有吸引力的。

Quasar知识星球·2024-02-07 03:13

node爬虫入门竟如此简单

目前市面上也有专门的爬虫工程师，并且在大企业的大数据部门，大数据工程师们也会兼任一些爬取竞对数据的工作，当然也有专门做安全的工程师应对爬虫的危害。所以爬虫真的那么高深莫测吗？

南宫__·2024-02-07 03:06

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

做个合格的大厂程序员·2024-02-07 03:42

【云原生进阶之PaaS中间件】第三章Kafka-4.2-生产者工作原理剖析

随后会经过序列化，kafka并没有采用Java提供的序列化器，而是自己实现的序列化器，但是Java提供的序列化器，会在原有数据的基础上，增加很多的用于安全校验的数据，在大数据的场景下，每次传输的数据量很大

江中散人·2024-02-07 02:27

【云原生进阶之PaaS中间件】第三章Kafka-4.3.1-broker 工作流程

1kafkabroker1.1kafkabroker工作流程这一部分大体了解下kafkaBroker的工作流程，看一下zookeeper在kafkabroker工作中发挥的作用，那些重要数据在zookeeper中存储。1.1.1zookeeper存储kafka的信息zookeeper在kafka中扮演了重要的角色，kafka使用zookeeper进行元数据管理，保存broker注册信息，包括主题（

江中散人·2024-02-07 02:56

快速上手医学影像组学和机器学习（训练营：2023.9.19~9.26）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层

茗创科技·2024-02-07 02:08

一文搞懂 Kafka 中的 listeners 和 advertised.listeners 以及其他通信配置

原文地址：【云原生】一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置参数详解listeners侦听器列表，这里配置的监听器底层调用的是ServerSocketAdaptor.bind

灵泽~·2024-02-07 02:32

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。

啊其11·2024-02-07 02:47

存内计算——发展史与近期成果

随着大数据时代的到来，存内计算由于其结构特点以及摩尔定律的“失效”，被认为是提升处理器能效和性能以及加速神经网络运算的新出路。接下来我们将从存内计算的源头出发，介绍它的发展史与近期取得的成果。

YoungerChina·2024-02-07 02:29

爬虫（一）

近两年随着大数据的兴起，爬虫一行，也逐渐进入了大众的视野。而我这个初出茅庐的菜鸟，也因为一系列的起源巧合，慢慢的转变成了一个专门从事于爬虫行业的一份子。

沙漏如心·2024-02-07 02:25

官宣|九章云极DataCanvas核心产品通过 “可信大数据”权威评测

近日，中国信息通信研究院（以下简称“中国信通院”）第十四批“可信大数据”产品能力评测结果揭晓。

九章云极DataCanvas·2024-02-07 01:22

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用

深海suke·2024-02-07 01:34

云原生 | Kubernetes - kubectl 备忘单

目录Kubectl自动补全BASHZSH关于--all-namespaces的一点说明Kubectl上下文和配置Kubectlapply创建对象查看和查找资源更新资源部分更新资源编辑资源对资源进行伸缩删除资源与运行中的Pod进行交互从容器中复制文件和目录与Deployments和Services进行交互与节点和集群进行交互资源类型格式化输出Kubectl日志输出详细程度和调试Kubectl自动补全

不会调制解调的猫·2024-02-07 01:41

2023年腾讯全球数字生态大会：核心内容与学习收获（附大会核心PPT下载）

目录一、核心内容：数字生态的未来趋势1、人工智能与大数据：引领产业升级2、云计算：赋能企业创新3、物联网与5G：加速万物互联二、我们能学到什么？

百家峰会·2024-02-07 01:39

自学Python 1 介绍

Python是一款计算机语言，对大数据分析、人工智能等机器学习、深度学习都提供了大力的支持。它背后有最庞大的“代码库”，也称之它为“胶水语言”。

江南赴艽野·2024-02-07 01:58

一、Python的自述

1.我们为什么要学习pythonpython应用范围广对大数据分析、人工智能中至关重要的机器学习、深度学习都提供了大力支持背后有最庞大的“代码库”习惯称为“胶水语言”2.python能做啥能抢票，数据分析

多斯Niko·2024-02-07 01:54

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上。第3章SparkRDD弹性分布式数据集章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘

想你依然心痛·2024-02-07 01:53

杀熟

在大数据，互联网经济的今天，行业杀熟行为时有发生，但都只是以小额补偿或不轻不重的道歉，匆匆收场，顾客他多你一个不会赚更多，少你一个损失也不大，反正商家的东西似乎一点也不愁卖的样子。

云物农语·2024-02-07 01:25

在相遇里重逢

网络大数据清晰地记录了我上一年度听过的各种音乐数据，诸如共计听了多少首歌和时长，哪天听音乐时长最长，哪天单曲循环最多，哪天听音乐时间最晚，我的音乐偏好是什么……如此云云。

我是亚丽·2024-02-07 00:51

Hadoop集群（第10期副刊）_常用MySQL数据库命令

1、系统管理1.1连接MySQL格式：mysql-h主机地址-u用户名－p用户密码举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录mysqlbin，再键入命令"mysql–uroot–p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是：mysql>。例2：连接到远程主机上的MYSQL。

阿布2·2024-02-07 00:08

「Java核心技术大会 2023」6月重磅启动，邀你共同探讨Java生态 ~文末福利

几分醉意.·2024-02-07 00:01

SpinrgBoot-Mybatis基础

Java后端操作数据库的解决方案，操作数据的指令应该来自于前端，前端把数据提交到后端Java代码，由后端Java代码操作数据库（JDBC是Java提供的一套专门用于操作数据库的接口或规范，没有提供实现，由各大数据厂商提

Zyangxsir·2024-02-07 00:01

探索PostgreSQL：从基础到实践（简单实例）

二、使用步骤1.引入库2.读入数据总结下载点击下载提取码888999前言在当今的大数据时代，数据库作为信息的核心存储和管理工具，扮演着举足轻重的角色。

Java000I·2024-02-07 00:07

【白话python连载（4.1）】python的数据类型

微信公众号【哈希大数据】imagepython的数据类型--迈步万里长城（一）从之前的介绍我们知道，python作为计算机程序之一，可以用来处理数学计算、文本、图像、视频、网页等等。

哈希大数据·2024-02-06 23:20

2024-02-06（Sqoop）

1.SqoopApacheSqoop是Hadoop生态体系和RDBMS（关系型数据库）体系之间传递数据的一种工具。Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。

陈xr·2024-02-06 23:29

双地图：别再纠结手机使用哪款导航软件了

毕竟这两款软件在使用上我们会发现区别，在各个方面各有各的优点，比如百度地图最大优点在于精度高，更新比较快，毕竟有百度强大数据支撑，适合于生活类的人经常使用；而有些人喜欢使用高德地图，毕竟可以离线使用，还可以根据实际行车路线进行更改

技巧大全·2024-02-06 22:02

【C#笔记整理】-常用开源库

常用开源库SqlSugarhttps://www.donet5.com/Home/Doc一款老牌.NET开源ORM框架支持全自动分表组件，SAAS分库，大数据处理的ORM.轻量级ORM，性能非常强，上手非常简单

是小明同学呀·2024-02-06 22:42

StarRocks 1 月社区动态（2024）

StarRocks在2023年不断进化，锤炼核心功能，打磨全新特性，成功实现了从全场景OLAP到云原生湖仓的全面升级，成为湖仓新范式的造浪者。

StarRocks_labs·2024-02-06 22:41

容器走进生产环境，哪些相关技术值得关注？解读 Gartner 容器技术成熟度曲线

文章导览本文详细解读Gartner容器技术成熟度曲线（2023）中评估的9项重要技术，包括云原生架构、Kubernetes、容器管理、容器原生存储、KubeVirt、云原生基础设施等。

志凌海纳SmartX·2024-02-06 21:46

SmartX 在保险（2023）：服务 40+ 客户，聚焦信创转型与高性能数据库场景

新增Nutanix国产化替代、高性能数据库构建与验证、企业云原生转型等场景实践。更多超融合金融核心生产业务场景实践，欢迎阅读文末电子书。

志凌海纳SmartX·2024-02-06 21:16

原创文集+《关于理想》

大数据工程学院+18物联本+靳文哲努力回忆吧我已在广阔的海洋里行驶很久了看看吧志摩兄的高哥哥的叔同大师的他们的船已驶过彼岸我相信我也会找到那些风、那些雨、那些礁石高高的云帆定会拉着我糙糙的手一起起舞

无忧_a746·2024-02-06 21:10

2021-11-02

CancerCell|单细胞测序检测揭示CAR-T脱靶效应（2）原创风不止步图灵基因今天收录于话题#前沿生物大数据分析撰文：风不止步IF=31.743推荐度：⭐⭐⭐⭐⭐亮点：研究利用单细胞分析报告了CAR

图灵基因·2024-02-06 20:51

java推荐算法_基于内容的推荐算法实现

javapackagecom.oracle.moviecf;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuration

RED韵·2024-02-06 19:54

2022-01-14

强大的大数据时代，消费把我们安排的明明白白的。前几天，一个辣妈在晒餐具，说是摩登主妇的餐具很漂亮，真的只是看了一眼，我发现我也喜欢，但是，也仅是看了一眼，感觉喜欢而已。

借点墨香·2024-02-06 19:58

4种不同类别的机器学习概述

作者：列奥纳多·德·马尔希（LeonardoDeMarchi），劳拉·米切尔(LauraMitchell)来源：大数据DT（ID：hzdashuju）我们可以根据算法执行学习的方式将它们分为以下不同类别

大数据v·2024-02-06 19:44

推荐频道

大数据云原生hadoop