大数据数据分析

大数据技术之Flume 企业开发案例——自定义 Interceptor（8）

目录自定义Interceptor1）案例需求2）需求分析3）实现步骤创建一个Maven项目，并引入以下依赖。定义CustomInterceptor类并实现Interceptor接口。编辑flume配置文件分别在hadoop12，hadoop13，hadoop14上启动flume进程，注意先后顺序。在hadoop12使用netcat向localhost:44444发送字母和数字。观察hadoop13
大数据深度洞察·2024-09-03 03:50

大数据基础之Flume——Flume基础及Flume agent配置以及自定义拦截器

Flume简介Flume用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地 -一种可靠、可用的高效分布式数据收集服务Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复由Cloudera2009年捐赠给Apache，现为Apache顶级项目Flume架构Client：客户端，数据产生的地方，如Web服务器Event：事件，指通过Agent传输的单个数据包，如日志数据通常对
Clozzz·2024-09-03 03:17

嵌入式学习（数据库）

Sqlite小型数据库.Sqlite特点:可以实现大数据量的管理读写速度慢最常见的数据库类型是关系型数据库管理系统（RDBMS）：RDRMS中的数据存储在被称为表（tables）的数据库对象中。
小林王斯·2024-09-03 03:17

明天开课 | 第十一届脑电数据分析启航班（训练营：2023.4.7~5.6）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★“十三五”时期，脑科学与类脑研究被纳入“科技创新2030-重大项目”，将“以脑认知原理为主体，以类脑计算与脑机智能、
茗创科技·2024-09-03 02:33

Mapreduce是什么

简单来说，MapReduce是一个编程模型，用以进行大数据量的计算。
whisky丶·2024-09-03 01:07

大数据技术之HBase 与 Hive 集成(7)

目录使用场景HBase与Hive集成使用1）案例一2）案例二使用场景如果大量的数据已经存放在HBase上面，并且需要对已经存在的数据进行数据分析处理，那么Phoenix并不适合做特别复杂的SQL处理。
大数据深度洞察·2024-09-03 00:03

大数据技术之Flume 数据流监控——Ganglia 的安装与部署（11）

目录Flume数据流监控Ganglia的安装与部署Ganglia组件介绍1）安装Ganglia2）在hadoop12修改配置文件/etc/httpd/conf.d/ganglia.conf3）在hadoop12修改配置文件/etc/ganglia/gmetad.conf4）在hadoop12,hadoop13,hadoop14修改配置文件/etc/ganglia/gmond.conf5）在hado
大数据深度洞察·2024-09-03 00:33

Hadoop 中的大数据技术：调优篇（3）

HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失，如何恢复NameNode？故障模拟终止NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[[email protected]]$rm-rf/opt/module/hadoop-3.1.3/data/dfs/name/*问题解决从Se
大数据深度洞察·2024-09-03 00:33

大数据技术之Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。1.2Flume基础架构Flume组成架构如下图所示。1.2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。1.2.2Sourc
okbin1991·2024-09-03 00:32

利用AI应用实现企业降本增效

AI不仅能够自动化重复性任务，还能通过数据分析提供深刻的业务洞察，从而帮助企业优化运营、节省成本、提高效率。二、应用思路1.自动化流程AI可以自动化那些耗时且重复的任务，例如数据输入、客户服务、库存
科新数智·2024-09-02 23:55

SkyWalking：⼀款用于分布式系统的应用程序性能监视工具

主要功能特性多种监控手段，可以通过语言探针和servicemesh获得监控的数据支持多种语言自动探针，包括Java，.NETCore和Node.JS;轻量高效，无需大数据平台和大量的服务器资源4、模块化
学博成·2024-09-02 23:23

Origin 2022软件安装包下载及安装教程 免激活永久使用

OriginLab公司成立于1992年，当时主要从事数据分析软件的研发和销售。随着科研和工程设计对数据分析和可视化的需求不断增加，OriginLab公司开始研发可视化和科学绘图软件，其中Orig
2401_87084737·2024-09-02 23:22

使用Python和大模型进行数据分析和文本生成

如何使用Python和大模型进行数据分析和文本生成Python语言以其简洁和强大的特性，成为了数据科学、机器学习和人工智能开发的首选语言之一。
lizi88888·2024-09-02 22:20

经验笔记：拓扑学在计算机科学中的应用及原理

在计算机科学中，拓扑学的应用非常广泛，涵盖了从网络设计到数据结构优化，再到高级数据分析等多个方面。1.计算机网络设计应用：拓扑学在计算机网络设计中的应用主要体现在网络结构的选择上。
漆黑的莫莫·2024-09-02 22:15

Elasticsearch 查询和聚合查询：基本语法和统计数量

引言Elasticsearch是一种开源的分布式搜索和分析引擎，广泛应用于各种场景，包括日志分析、全文搜索、实时数据分析等。它提供了灵活且强大的查询和聚合功能，可以帮助我们从海量的数据中快速检索和提取
zybsjn·2024-09-02 20:40

淘宝天猫卖家，需要用到哪些数据分析工具？这个黑科技插件，你一定要知道！

今天给各位分享一个，特别好用又实际的一个淘宝数据分析插件—口袋参谋，我自己最近也一直在用。
口袋参谋插件·2024-09-02 20:33

unity加载网页显示不了流视频解决了

unity做一个加载大数据的软件，大数据是用html5开发的，里面有很多带blob的流视频，但是unity换了几个插件都不能播放，最终用Electron做了一个网页框架放到unity上方，unity通过
hquu·2024-09-02 20:37

医疗数字化转型数据中台架构方案（一）

为推进医疗数字化转型，我们提出构建数据中台架构方案：通过集成医院内外多个数据源，利用大数据、人工智能等技术对数据进行清洗、整合、标准化处理，形成高质量的数据资产；再基于云原生技术构建湖仓一体化大数据平台
智汇优库·2024-09-02 19:32

Python递归爬取今日头条指定用户一个月内发表的所有文章，视频，微头条(2)

礼尚往来总是要有的：①2000多本Python电子书（主流和经典的书籍应该都有了）②Python标准库资料（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）④Python基础入门、爬虫、web开发、大数据分析方面的视频
2401_84139095·2024-09-02 19:01

06 | 学数据分析要掌握哪些基本概念？

商业智能BI、数据仓库DW、数据挖掘DM开头中的百货商店利用数据预测用户购物行为属于商业智能，他们积累的顾客的消费行为习惯会存储在数据仓库中，通过对个体进行消费行为分析总结出来的规律属于数据挖掘。元数据（MetaData）：描述其它数据的数据，也称为“中介数据”。通过元数据，可以很方便地帮助我们管理数据仓库。数据元（DataElement）：就是最小数据单元。数据挖掘：分类、聚类、预测和关联分析K
张九日zx·2024-09-02 15:48

大数据技术之HBase API(3)

目录HBaseAPI环境准备创建连接单线程创建连接多线程创建连接DDLDMLHBaseAPI环境准备新建项目后，在pom.xml中添加如下依赖：org.apache.hbasehbase-server2.4.11org.glassfishjavax.elorg.glassfishjavax.el3.0.1-b06注意：javax.el包虽然会报错不存在，但这仅是一个测试用的依赖，不会影响实际使用。
大数据深度洞察·2024-09-02 14:07

SQL SUM() 函数

这个函数对于执行财务计算、数据分析以及其他需要总计数值数据的操作非常有用。语法SUM()函数的基本语法如下：SELECTSUM(column_name)FROMtable_na
wjs2024·2024-09-02 14:04

大数据技术之HBase整合 Phoenix(6)

目录HBase整合PhoenixPhoenix简介Phoenix定义为什么使用PhoenixPhoenix快速入门安装1）官网地址2）Phoenix部署PhoenixShell操作Table表的映射数字类型说明PhoenixJDBC操作Phoenix二级索引二级索引配置文件全局索引（globalindex）包含索引（coveredindex）本地索引（localindex）HBase整合Phoen
大数据深度洞察·2024-09-02 14:32

大数据技术之Zookeeper概述（1）

目录Zookeeper入门概述Zookeeper的主要特点包括：Zookeeper的应用场景：Zookeeper的基本概念：架构：Zookeeper工作机制Zookeeper数据结构Znode（ZookeeperNode）Znode的类型Znode路径Znode属性Watcher监听器使用示例总结Zookeeper入门概述Zookeeper是一个分布式的、开放源码的协调服务，用于大型应用中管理和协
大数据深度洞察·2024-09-02 14:02

大数据开发技术HBase优化与特点分析

高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。关闭HBase集群（如果没有开启则跳过此步）[atguigu@hadoop102hbase]$bin/stop-hbase.sh在con
at小白在线中·2024-09-02 13:32

疫情3年 你还好吗

谁也不会想到，21世纪的今天，能有被禁足3年，不能随性旅游、随性就餐、随性交往的漫长的3年，一个初中、高中阶段，也就3年，大学才4年，3年的网课，剩一年实习、找工作……大数据分析结论：疫情后抑郁、焦虑的人
011551462e4f·2024-09-02 13:01

Java整体基础知识体系图

Java具有跨平台性、面向对象、健壮性、安全性、可移植性等特点，被广泛应用于企业级应用开发、移动应用开发、大数据处理、云计算等领域。
神州永泰·2024-09-02 13:26

这才是老板喜欢的产品经理简历

突出核心技能：列出与产品经理职位相关的技能，如需求分析、用户研究、数据分析等，并用实例说明你是如何运用这些技能的。量化成果：用数字来展示你的成就，比如“提升产品用户满意度30%”或“优化
itLeeyw·2024-09-02 11:47

基于Matlab与Simulink实现100种仿真案例（附上案例源码）

MATLAB是一种高级编程语言，主要用于数值计算和数据分析，而Simulink则是一种基于模型的设计和仿真环境，用于开发和测试控制系统、信号处理和通信系统等。
Matlab仿真实验室·2024-09-02 11:46

这才是老板喜欢的数据分析简历

速创猫今天给大家分享的是应届毕业生数据分析简历优化案例，希望对大家求职有帮助。
itLeeyw·2024-09-02 11:44

今日头条极速版邀请码是多少顶配（附2024今日头条极速版邀请码邀请码及获取与填写方法）珍惜码

我们结合大数据算法，根据你的兴趣和习惯，智能推送文章。
桃朵十三·2024-09-02 11:34

每日安全资讯（2018.6.06）

《贵阳市大数据安全管理条例》将实施：明确数据安全第一责任人《条例》明确，大数据发展应用中，数据的所有者、管理者、使用者和服务提供者等安全责任单位的法定代表人或主要负责人，是本单位大数据安全的第一责任人。
溪边的墓志铭·2024-09-02 10:15

2018-09-15

包括数学，逻辑，计算机，数据分析，统计概率，建模等等这些注重纯逻辑推理和计算的东西。EmpiricalAnalyses：实证分析。包括物理，化学，生物，医学，气候学等
浮生梦苏·2024-09-02 09:22

人工智能和大数据时代背景下的财务管理新思路

科技的发展迎来了人工智能与大数据时代,也是企业财务管理在新时期发展过程中所面临的机遇与挑战。
戚戚_7a86·2024-09-02 09:01

Spark MLlib模型训练—回归算法 GLR( Generalized Linear Regression)

SparkMLlib模型训练—回归算法GLR(GeneralizedLinearRegression)在大数据分析中，线性回归虽然常用，但在许多实际场景中，目标变量和特征之间的关系并非线性，这时广义线性回归
猫猫姐·2024-09-02 08:28

深入分析和优化MySQL主从复制延迟的技术指南

在高并发和大数据量的数据库环境中，主从复制延迟是一个常见的问题。特别是当多个数据库共享同一个实例时，资源竞争会更加激烈，从而导致复制延迟。
molashaonian·2024-09-02 08:25

NoSQL是非关系型数据库

在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。
潘志杰_34fd·2024-09-02 06:53

综合治税的发展前景

综合治税的发展前景较为广阔，主要体现在以下几个方面：-技术应用持续深化：-大数据与人工智能助力精准治税：随着大数据技术的不断发展，税务部门能够整合来自多部门、多渠道的海量数据，包括企业的财务数据、交易数据
alankuo·2024-09-02 06:16

2018-10-17

协会由从事计算机信息系统集成、运行维护、互联网、信息安全、云计算、物联网、人工智能、共享经济和大数据等业务的企业、投资机构及应用信息化的单位组成。协会成立至今共产生5届理事会，目前为第五届。
北京信息化协会·2024-09-02 06:11

【华为OD】2024D卷——精准核酸检测

现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹的交叉。
简单.is.good·2024-09-02 06:13

【大数据】孤立森林算法

目录一、孤立森林算法概述二、孤立森林算法优缺点和改进2.1孤立森林算法优点2.2孤立森林算法缺点2.3孤立森林算法改进三、孤立森林算法代码实现3.1孤立森林算法python实现3.2孤立森林算法JAVA实现3.3孤立森林算法C++实现四、孤立森林算法应用一、孤立森林算法概述孤立森林算法是一种用于异常检测的机器学习算法。它基于这样的直觉：异常点是数据中的少数派，它们在特征空间中的分布与正常数据点不同
大雨淅淅·2024-09-02 03:56

京东云业务的无线宝初体验

自从2014年京东开始涉猎云服务开始，“云”这块蛋糕也一直被京东所重视，从2014年6月开始的第一款京东云服务APP，到现在的各种企业云、大数据、AI，可以预见到京东对于云业务将会越来越重视。
骄阳似我lzy·2024-09-02 02:02

matplotlib和seaborn绘图

https://www.jianshu.com/p/7a0eafdd1340《利用Python进行数据分析·第2版》第9章绘图和可视化matplotlib引入%matplotlibnotebookimportmatplotlib.pyplotasplt
Oliveee·2024-09-02 01:57

自主学习——助力终身发展的核心奠基

自主学习——助力终身发展的核心奠基“智慧作业”基于大数据收集、分析，借助各种先进设备，凭借先进技术，动态采集学生作业情况，帮助教师更好地掌握学生学习状况，提供靶向式教学方案，从而提高教学效率，减轻学生学习与教师工作负担
蒋铭国江西乐平·2024-09-02 00:19

游卡，三七互娱，得物，顺丰，快手，oppo，莉莉丝，康冠科技，途游游戏，埃科光电25秋招内推

游卡，三七互娱，得物，顺丰，快手，oppo，莉莉丝，康冠科技，途游游戏，埃科光电25秋招内推①顺丰【招聘岗位】研发、算法、大数据、产品、项管、设计、人资等【官方内推码】4FOLXH【一键内推】https
2401_86288678·2024-09-01 23:02

游卡，三七互娱，得物，顺丰，快手，oppo，莉莉丝，康冠科技，途游游戏，埃科光电25秋招内推

游卡，三七互娱，得物，顺丰，快手，oppo，莉莉丝，康冠科技，途游游戏，埃科光电25秋招内推①顺丰【招聘岗位】研发、算法、大数据、产品、项管、设计、人资等【官方内推码】4FOLXH【一键内推】https
2401_86288678·2024-09-01 23:31

uniapp使用 uview-plus 底部导航栏(vue3项目)_uniapp底部导航栏

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
2401_84181383·2024-09-01 20:15

oracle大数据量查询sql优化

纯手打，编辑工具用的不熟练，格式不会整，见谅，严禁抄袭！数据库版本19c，数据量>5亿1.查询强行指定索引在查询时，oracle会对sql进行优化，但有时，优化后，会不走索引造成查询速度过慢，比如使用模糊匹配，或者查询使用到了联合索引，却未使用联合索引的第一个字段作为查询条件。造成索引失效的方式很多，不再赘述。写法：select/*+index(表名索引名)*/字段1,字段2from表2.如果为分
雪夜明月·2024-09-01 19:37

大数据量sql优化

说明：表里有406243206多数据，每天需要捞出100万的数据进行处理。条件有day_id,sub,…等相关条件，表中已经建立了联合索引，但还是会出现慢sql，sql运行时常10多s的都有。优化方案：1、先根据条件查询出最大的ID，和最小的IDselectIDfromxxxwheredata_day_id=#{dayId}andsub_biz_type=#{subBizType}andflow_
菜鸟小学弟·2024-09-01 19:35

汇编之mov、movsx、movzx

表现示例mov将数据从一个位置复制到另一个位置直接数据传输传输数据，不改变数据内容传输数据，不改变数据内容moveax,ebxmovsx将源操作数符号扩展到目标操作数有符号扩展数据将较小数据类型符号扩展到较大数据类型将较小数据类型符号扩展到较大数据类型
TIF星空·2024-09-01 17:51
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他