数据平台

火山引擎ByteHouse：如何为OLAP设计高性能向量检索能力？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群背景随着LLM技术应用及落地，数据库需要提高向量分析以及AI支持能力，向量数据库及向量检索等能力“异军突起”，迎来业界持续不断关注
·2024-02-11 18:27

面霜最好用的品牌排行榜，口碑最好的面霜品牌

通过大数据平台，我们得到了真正好用的面霜排行榜10强，都是来自群众真实使用以后的评分，效果可是真正的好买面霜上高省，佣金真的高，我们真的省！
高省张导师·2024-02-10 19:21

新人数据技术如何快速提升

|0x00初来乍到对于数据技术而言，基础的技能有三种，一个是熟悉你所使用的数据平台和工具，一个是熟悉开发过程中的流程与规范，最后一个是熟练使用开发使用的语言。
晓阳的数据小站·2024-02-09 23:46

数据中台 pdf_数据中台到底怎么建设，有人把他说清楚了

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP
weixin_39699121·2024-02-09 18:59

某企业多Scrum团队解决方案题文章

●背景●业务快速发展，开发下一代云原生大数据平台●产研测-多Scrum团队多sprint并行开发●公司需要，建立PMO体系，结合实际建立流程体系●问题描述●关键字：跨团队、多scrum、沟通、大版本、技术能力
叶建波_8de4·2024-02-09 16:57

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么·2024-02-07 19:37

阿里首次披露自研飞天大数据平台技术架构

9月26日，阿里云飞天大数据平台在云栖大会第二天主论坛上正式对外发布，这也是阿里首次对外披露飞天大数据平台的整体架构。
DP29syM41zyGndVF·2024-02-07 11:13

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。
一杯咖啡半杯糖·2024-02-07 06:39

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

七年经验总结：主数据平台是企业提升数据分析质量的重要基础

在数字化转型的大背景下，企业主数据治理工作的开展，总是面临“雷声大，雨点小”，“说得多，做得少”的困境。总希望先看到他人的实现效果，再考虑自己动手实施。众多企业之所以主数据治理推进进度慢，主要是还是由于对主数据治理认知不足。本文将基于得帆团队多年主数据治理和主数据管理平台实施的经验，从不同的视角分析企业主数据治理的动因。企业数据分析过程中遇到的问题随着近年来数字化转型的深入，人们已经意识到数据是企
得帆低代码PaaS·2024-02-06 15:57

为什么建筑工程行业要十分重视主数据管理？

主数据管理能够提供一个统一的数据平台，方便各个部门数据共享和交流，也可以实现人力、物资、设备等各种资源的集中管理和优化配置。此外，主数据管理可以提供准确、及时的数据支持，帮助决策者做出更明智的决策。
得帆低代码PaaS·2024-02-06 15:26

Flink 动态表 (Dynamic Table) 解读

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-02-06 11:26

当我用Python采集了电商平台所有商品后发现....

电子商务的飞速发展，电商平台众多，可供我们采集的数据平台也就丰富多彩。大多数电商数据的采集，都需要用电商数据接口采集。
电商数据girl·2024-02-06 10:28

2020-11-23CVE -2020-13942 (Apache Unomi 远程代码执行漏洞)复现

CVE-2020-13942(ApacheUnomi远程代码执行漏洞)一、漏洞描述：ApacheUnomi是一个Java开源客户数据平台，这是一个Java服务器，旨在管理客户，潜在顾客和访问者的数据，并帮助个性化客户体验
thelostworldSec·2024-02-06 07:33

企业级大数据平台应用场景介绍

从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
明月说数据·2024-02-05 16:10

大数据平台_大数据应用场景有哪些

大数据时代的出现，简单的讲是海量数据同完美计算能力结合的结果，确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。一些公司也成立了大数据部门，大数据得到了企业的高度重视，但是很多企业和厂商主要的困难在于大数据的场景应用，既如何利用数据分析和外部数据来提升业务。其实大数据的场景应用可以从横向和纵向来说，可以从数据源、数据应用、数据分析方法和
思迈特Smartbi·2024-02-05 16:06

2020实体书店销售统计数据

据中金易云大数据平台实时监控的数据，今年上半年，实体书店图书销售码洋同比去年上半年下降了31.47%，为40.39亿，动销品种同比下
爆江·2024-02-05 10:27

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术·2024-02-05 09:29

大数据平台-可视化面板介绍-Echarts

应对现在数据可视化的趋势，越来越多企业需要在很多场景(营销数据，生产数据，用户数据)下使用，可视化图表来展示体现数据，让数据更加直观，数据特点更加突出。目录01-使用技术02-案例适配方案03-基础设置04-header布局05-mainbox主体模块06-公共面板模块panel07-柱形图bar模块(布局)08-中间布局09-Echarts-介绍10-Echarts-体验11-Echarts-基
py爱好者~·2024-02-04 19:08

探秘海洋生物，来看看海洋生物公开基因组数据集吧！

近日，由青岛华大基因研究院规划的海洋生物公开基因组数据集（PublicMarineGenomeResources,PMGR）系列在国家基因库生命大数据平台（CNGBdb）正式上线。
尐尐呅·2024-02-04 18:57

币圈乐成：逢低吸筹或将再次来临，切勿再次盲目追风

6月20日，数据平台QKL123显示，加密资产信托基金灰度（以下简称“灰度信托”）的比特币持仓量已达到37.11万枚。
币圈乐成·2024-02-04 13:22

智慧水务（水厂）大数据平台，打造水务运营管理驾驶舱

智慧水务运营管理平台全天候把握水源、水厂、管网、泵站等生产调度全过程数据。各环节数据联动，形成设备自动运行的预设逻辑，简化人工操作，实现无人值守。并对取水总能耗、吨水电耗、运行经济性成本加以分析，辅助水务系统节能降耗，降低运营成本。以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产
郭靖守襄阳【软芯民用】·2024-02-04 09:52

转载-58同城离线计算平台设计与实践

本次分享将聚焦大数据平台离线计算和大家一起系统的探讨58在离线计算平台建设实践的思路、方案和问题解决之道。
无色的叶·2024-02-04 09:14

日调用量超千万，超低查询延迟！跨越速运基于Flink + OceanBase的实时分析解决方案与实践

跨越速运内部有超过100位BI分析师，日常工作需要借助大数据平台中的服务项目进行数据研发。跨越速运的数据服务场景中有一万余数据接口，日调用量超过1000万次，并保持99%查
OceanBase数据库官方博客·2024-02-03 23:48

2019-10-08 大数据开发进阶之路

HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/SparkStreaming等能够对崭新的问题进行建模分析，使用一直只是进行解决掌握大数据平台调优技能
红瓦李·2024-02-03 20:39

Flink实时数仓同步：拉链表实战详解

然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

二、场景在大数据平台中，业
Light Gao·2024-02-03 10:14

Flink实时数仓同步：快照表实战详解

然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。
Light Gao·2024-02-03 10:38

第十一章 金融大数据解决方案

金融信息化1.全球金融信息化发展历程2.我国金融信息化发展趋势金融大数据综述1.金融大数据特征2.金融大数据的机遇和挑战金融大数据平台总体架构数据应用-数据计算-数据管理-数据源1.建设原则和目标2.金融大数据业务架构数据才基层
etheon·2024-02-03 00:36

数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体

如何应对海量数据存储和处理的挑战，建设好数据平台，对一个企业来说是很关键的问题。从数据仓库、数据湖，到现在的湖仓一体，业界建设数据平台的新方法和新技术层出不穷。
百度智能云技术站·2024-02-02 23:04

南大通用数据库-Gbase-8a-学习-20-统一数据平台监控（GBaseGMonitor）

一、测试环境名称值cpuIntel®Core™i5-1035G1CPU@1.00GHz操作系统CentOSLinuxrelease7.9.2009(Core)内存4G逻辑核数3Gbase-8a单机版节点-IP192.168.142.11GBaseGMonitor节点-IP192.168.142.11Gbase-8a集群版节点-IP192.168.142.10Gbase-8a数据库集群版本8.6.2
阳光九叶草LXGZXJ·2024-02-02 19:48

精益开发——税务大数据平台建设效能提升的倍增器

2020年阿里巴巴的研发效能峰会上，阿里资深技术专家何勉做了“ALPD——阿里创新能力背后的精益产品开发体系”的分享，它是阿里正在实践和持续打造的产品开发方法，目的是帮助组织提升精益的交付和创新能力，实现十倍效能提升（包括：响应速度、过程质量、有效价值交付等）。或许大家会有怀疑，采用精益开发真有这么大的提升吗？答案是肯定的。这种巨大的提升来自于精益软件开发的理念和方法，它更精准地把握了软件开发过程
悬臂星云·2024-02-02 10:36

珠宝的新模式分析

最新的一轮融资将用来建设珠宝首饰全行业大数据平台，应该是要更好地对珠宝行业的发展把脉。“每月花100元上下成为会员，用户会收到一个‘小蓝盒’，盒子里面有三件总价值在200
三锦囊的猫·2024-02-02 08:15

基于PLC远程网关的智慧农业远程监控系统解决方案

政府大力推动农业科技创新，并通过政策扶持和社会资本投入促进智能农机设备、农业大数据平台、无人农场等新型模式广泛应用。
蓝蜂物联网·2024-02-02 03:48

大数据信用报告应该去哪里查询比较好呢?

本文将为您详细介绍征信和大数据的区别，并推荐一个可靠的大数据平台。
2401_82630523·2024-02-02 01:03

实现成本最优的一体化管理，新一代数据平台的建设方式丨爱分析调研

2.随数据平台领域成熟，厂商应结合自身需求，重新思考“基于开源自建数据平台”的重资产模式与“购买云上成熟数据产品”的轻资产模式。3.组装式数据架构逐渐老旧。
ifenxi爱分析·2024-02-01 20:10

Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-02-01 15:24

【大数据安全】数据管理安全&安全分析&隐私保护

大数据安全分析架构（二）大数据防DDoS攻击（三）攻击可视化与安全业务定制三、隐私保护（一）隐私保护面临的挑战（二）内容关联密钥（三）华为大数据隐私保护方案一、数据管理安全（一）数据溯源数据溯源技术对大数据平台中的明细数据
Francek Chen·2024-02-01 13:48

亿级流量系统架构之如何支撑百亿级数据的存储与计算

这篇文章就聊聊这个数据产品背后对应的一套大型商家数据平台，看看这个平台在分布式、高并发、高可用、高性能、海量数据等技术挑战下的架构演
java成功之路·2024-02-01 13:21

火山引擎ByteHouse：分析型数据库如何设计并发控制？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群分析型数据库设计并发控制的主要原因是为了确保数据的完整性和一致性，同时提高数据库的吞吐量和响应速度。
字节数据平台·2024-01-31 22:38

火山引擎VeDI：新增微信小程序广告A/B实验功能，助力企业降低获客成本

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，火山引擎数智平台VeDI旗下的A/B测试平台（DataTester）宣布推出一项创新的广告投放解决方案，这项能力让企业可以在微信小程序端进行广告
字节数据平台·2024-01-31 22:07

火山引擎ByteHouse：分析型数据库如何设计列式存储

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群列式存储通过支持按列存储数据，提供高性能的数据分析和查询。
字节数据平台·2024-01-31 22:37

A/B实验在字节跳动推荐系统中的应用与实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群本文作者为火山引擎A/B测试团队资深研发工程师，内容主要介绍A/B实验在推荐系统中的应用，并介绍了在实践中总结的几点经验
字节数据平台·2024-01-31 22:36

漏洞分析|Apache RocketMQ 远程命令执行漏洞（CVE-2023-33246）

1.漏洞描述RocketMQ是一个分布式消息和流数据平台，具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。ApacheRocketMQ此漏洞是一个远程命令执行漏洞。
AttackSatelliteLab·2024-01-31 16:26

【大数据安全】大数据安全的挑战与对策&基础设施安全

目录一、大数据安全的挑战与对策（一）数据加密技术（二）大数据安全与隐私（三）大数据安全保障体系（四）华为大数据安全解决方案二、基础设施安全（一）认证技术（二）访问控制（三）公钥基础设施（四）华为大数据平台大数据安全是指在大数据环境下
Francek Chen·2024-01-31 10:49

基于JAVA的免费天气预报接口查询

今天主要分享一下篇如何基于JAVA对聚合数据平台的天气接口，进行查询：1、开通接口天气预报接口服务使用的聚合数据提供的免费接口，免费会员每天可以100次免费调用。
Q_Jamie·2024-01-31 07:58

精选案例｜首创证券 NoETL 敏捷数据分析创新实践

【方案亮点】基于AloudataAIR逻辑数据平台、AloudataCAN自动化指标平台，轻松实现企业全域数据的集成整合、指标定义及业务自助分析：逻辑化集成整合，零数据搬运实现10+个不同数据源的快速、
Aloudata·2024-01-31 06:03

从 Greenplum 到 Databend，万全网络数据库平台架构演进

作者：代城万全网络高级工程师，负责万全网络数据平台整体架构研发工作，拥有超过7年的大数据相关技术研发经验，一直关注着开源和云技术的发展。万全网络科技有限公司是一家专注于B端电商物流供应链的公司。
Databend·2024-01-31 04:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他