数据平台-基础架构

橙信通宁都县果品加工企业入网入云工作动员部署会召开！

宁都县果茶局局长宋小保、宁都县果茶局副局长赖树群、宁都县果茶局市场营销股股长张志春、橙信通赣南脐橙大数据平台供应链总监管永基、宁都县全部果品加工企业负责人，共计20余人出席会议。
橙信通大数据平台·2024-01-21 08:54

【AI】深度学习在编码中的应用（3）

接上，本文重点梳理基础架构设计相关的知识。一、一些概念的理解和学习有损/无损神经数据压缩：有损神经数据压缩和无损神经数据压缩是两种不同的数据压缩方法，它们在神经科学领域中被广泛应用。
giszz·2024-01-21 07:49

Docker安装rancher并搭建k8s集群

它可以帮助组织在生产环境中轻松快捷的部署和管理容器,rancher可以轻松地管理各种环境的kubernetes,满足IT需求并为devops团队提供支持Kubernetes不仅已经成为的容器编排标准，它也正在迅速成为各类云和虚拟化厂商提供的标准基础架构
kirk15951859811·2024-01-21 06:28

InnoDB 存储引擎介绍

1.MySQL基础架构前面写过几篇MySQL的文章，大多是对一些基础概念的讲解，当我想去了解存储引擎的时候发现不知从何下手，或者说不知道如何开头，回头想想好像对MySQL的基础架构还不是特别熟悉，所以本文尽管是介绍
汪了个王·2024-01-21 06:20

ElasticSearch 亿级数据检索深度优化！

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考
夜空_2cd3·2024-01-21 03:53

Spider爬虫简介

display=0&retcode=6102数据平台购买数据：数据堂http://www.datatang.com/about/a
錦魚·2024-01-21 01:18

客户案例｜知名证券机构核心大数据平台升级之路

1项目背景在金融领域中，数据处理一直是IT系统中非常重要的一部分，证券发行、登记、托管、交易、结算的各个环节都有大量的数据产生。Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。某综合类证券机构，早年以Hadoop平台为基础，结合多种大数据处理技术，构建了大数据专用存储与处理系统。但随着实际
云掣YUNCHE·2024-01-21 01:17

Hologres V2.1版本发布，新增计算组实例构建高可用实时数仓

Highlight产品介绍Hologres是阿里云自研一站式实时数仓，统一数据平台架构，将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上，实现一份数据，多种计算场景。
阿里云大数据AI技术·2024-01-20 21:07

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

区块链，下一代互联网？

都说区块链技术很有可能成为下一代互联网的基础架构。那么仍然是那句老话，历史不会重演，但总是都说押着相同的韵脚。
日落西四·2024-01-20 20:51

Linux下使用speedtest测速

它基于Speedtest.net的基础架构来测量网络的上/下行速率。安装speedtest很简单——只需要下载其Python脚本文件。
蚊子爱喝水·2024-01-20 18:02

虚拟服务器的监控和管理

虚拟服务器在现代IT基础架构中越来越普遍，是在物理服务器上运行的软件定义服务器，虚拟服务器监控现在是现代IT基础架构管理的一个关键方面。
ManageEngine卓豪·2024-01-20 17:42

阿里云 E-MapReduce 全面开启 Serverless 时代

EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。
Apache Spark中国社区·2024-01-20 12:22

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里
Apache Spark中国社区·2024-01-20 12:51

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-20 10:36

CloudPanel RCE漏洞复现（CVE-2023-35885）

它提供了一个集中式平台，用于管理云基础架构的各个方面，包括虚拟机（VM）、存储、网络和应用程序。0x02漏洞概述由于2.3.1之前的CloudPanel具有不安全的文件管理器cookie身份验证。
OidBoy_G·2024-01-20 07:41

docker -v 覆盖了容器中的文件_「安定坊」安全卫士-容器漏洞评估

因此，今天我们要来展示的是“如何在任何基础架构中进行容器审计以
weixin_39595271·2024-01-20 02:53

Docker Swarm：大规模简化容器的编排

在容器化和云计算的环境中，在分布式基础架构上管理和编排容器相对比较困难。
胖头鱼不吃鱼-·2024-01-19 19:01

智慧校园大数据云存储和云灾备

云存储基于NCS分布式海量存储系统随着虚拟化成为基础架构主要的工作机制，数据中心的存储设计面临前所未有的挑战：第一个挑战是管理复杂、不灵活。存储一直是虚拟化架构设计中最关键的环节之一。
shawn_song1212·2024-01-19 16:20

数据中台到底是什么？

跟大数据平台是什么关系？在架构层面是怎么体现的？数据中台跟产品又有什么关系？
治理之路·2024-01-19 11:23

一个十年IT老兵-如何看待IT基础架构的

现在企业对基础设施架构也越来越重视，并且随着新时代的变革，云服务，大数据，人工智能这几年快速发展和落地，没有任何企业不会不重视这部分新技术给自身业务带来的挑战，所以也没有必要质疑IT基础架构的重要性。
知息学术_IT之路·2024-01-19 09:03

智算让大模型触手可及

本文整理自2023年12月20日举办的「2023百度云智大会·智算大会」主论坛，百度智能云AI与大数据平台总经理忻舟的主题演讲《智算让大模型触手可及》。
百度Geek说·2024-01-19 07:27

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。
OkGogooXSailboat·2024-01-19 06:26

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

1.背景最近笔者在开发大数据平台XSailboat的数据资产目录模块。它的其中一个功能是能定义并查看资产数据。我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

大数据开发之Hadoop（Yarn）

1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key·2024-01-19 06:09

EMQX ECP 2.0 工业互联数据平台产品发布会

当下，依托软件定义制造、数据互通、人工智能驱动以及云边协同等前沿关键技术构建的工业互联数据平台能系统性地解决工业企业所面临的数据挑战。
EMQX·2024-01-19 04:25

爬虫实战入门（第二天），小白入门js逆向教程，红人

知识梳理第一天分析扣代码部分运行效果图：练习具体网址：某数据平台：hr,具体网址请私信博主，或者博客中有什么不明白的也可以私信博主第一天作者学习初衷：在面对ai时代，数据是基础，然而那么多的数据去哪找呢
Ming_bc·2024-01-19 04:39

基于Prism框架的WPF前端框架开发《知产代理数字化解决方案》

最近新开发了一套WPF前端界面框架，叫《知产代理数字化解决方案》，采用了时下流行的Prism框架作为整个系统的基础架构，演示了Prism中的IRegionManager区域管理器、IDialogAware
重-庆-教-主·2024-01-19 03:25

信息系统建模的三个阶段：资产管理、CMDB、资源管理

它主要被用于高效控制与管理不断变化的IT基础架构与IT服务。CMDB存储与管理企业IT架构中设备的各种配置信息，通过识别、控制、维护，检查企业的IT资源。
杨正同学·2024-01-19 02:19

VMware技术专题分享：VMware云管平台运维管理

阅读字数：4068|6分钟阅读观看嘉宾完整演讲视频及PPT，请点击：http://t.cn/ELoBXdO摘要跨SDDC和多云环境从应用到基础架构的智能I
IT大咖说·2024-01-18 23:02

构建高效数据生态：数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技

本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值，帮助您构建一个符合自身业务需求的高效数据生态系统。
光点数据治理·2024-01-18 12:24

情报研判分析系统开发，可视化大数据研判平台建设

情报研判分析系统功能：1、大数据多维度预测分析：通过大数据平台和算法对历史数据
d13823153201·2024-01-18 12:08

公安情报大数据分析研判平台建设解决方案，情报信息平台建设

公安情报大数据分析研判平台建设解决方案，情报信息平台建设公安情报大数据分析研判平台建设解决方案，通过构建汇聚公安内部各警种部门和公安外部单位各类社会数据的大数据平台，以公安数据业务为基础、情报需求为主导
d13823153201·2024-01-18 12:37

天猫数据分析工具推荐（天猫第三方数据平台）

在电商迅速发展的大背景下，做好天猫数据分析能够在多方面帮助品牌商家更好地运营店铺、塑造品牌，如通过数据分析了解消费者的需求、购买偏好，这有利于品牌商家及时调整商品结构、产品推广、商品宣传等等，灵活制定品牌的销售策略。那么，天猫平台行业、品牌、商品的具体销售数据该如何查询？首先我们需要选择一个专业的大数据分析平台，以鲸参谋电商数据分析平台为例，接下来具体介绍一下该怎么获取相关数据。在平台中，品牌方可
jingcanmou_data·2024-01-18 12:27

MOJO语言的诞生

MLIR是一个相对较新的开源编译器基础架构，最初由Google（其主要负责人转到Modular）启动，已在机器学习加速器社区广泛应用。
是乔乔啊·2024-01-18 11:50

【大数据】kafka

文章目录【后端目录贴】1.定义2.消息队列2.1使用消息队列的好处2.2消息队列的两种模式3.Kafka基础架构4.kafka使用4.1jar包下载(0.11.0.0版本)4.2部署5.Kafka架构深入
骑鱼过海的猫123·2024-01-18 09:34

MongoDB携手亚马逊云科技优化Amazon CodeWhisperer建议，助力开发者在MongoDB上构建应用程序

MongoDB是业界领先的开发者数据平台，每天有数以百万计的开发者和数以万计的客户在MongoDB上运行关键业务应用程序。AmazonCodeWhisperer是由AW
MongoDB 数据库·2024-01-18 09:59

MongoDB Atlas —— 多云开发者数据平台

MongoDBAtlas是MongoDB公司提供的MongoDB云服务，由MongoDB数据库的开发团队构建和运维，可以在AWS、MicrosoftAzure、GoogleCloudPlatform云平台上轻松部署、运营和扩展。MongoDBAtlas内建了MongoDB安全和运维最佳实践，可自动完成基础设施的部署、数据库的构建、高可用部署、数据的全球分发、备份等即费时又需要大量经验运维工作。让您
MongoDB 数据库·2024-01-18 09:28

如何设计实时数据平台（设计篇）

本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/OyQ0_BhFzEknqOdF0VaeWA导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台
longLiveData·2024-01-18 05:11

提升问题检索的能力

一些搜索引擎的出现已极大地方便了我们日常的信息检索，此处需要注意的是我们不能仅仅局限于常见的搜索引擎，也需要关注和积累一些专业平台或是具有集成功能的引擎，例如常见的文献检索平台、专利平台、科学数据平台等等
角砾岩队长·2024-01-18 01:43

合格的Salesforce管理员必备技能 - 快速入坑篇

以下从个人十多年的从业经验来给大家做下分享：必备技能篇章一.掌握Force.com平台的基础架构及产品线概况二.熟悉Salesforce平台的权限逻辑：包含有OrgLevelSettings、Profile
Frank_Salesforce·2024-01-18 00:18

模型服务网格：云原生下的模型服务管理

它提供了一个可扩展的、高性能的基础架构，用于将多个模型服务进行管理、部署和调度，以此更好地处理模型的部署、版本管理、路由和推理请求的负载均衡。
阿里云云原生·2024-01-17 22:03

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他