数据处理系统

编译优化 | LLVM代码生成技术详解及在数据库中的应用

简介：作者：长别1.前言随着IT基础设施的发展，现代的数据处理系统需要处理更多的数据、支持更为复杂的算法。数据量的增长和算法的复杂化，为数据分析系统带来了严峻的性能挑战。
·2021-06-24 18:03

Flume日志数据采集

知识要点.前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop
JN冰·2021-06-22 08:06

命令行工具-常用技巧总结[转载]

原文地址：https://github.com/jlevy/the-art-of-command-line/blob/master/README-zh.md前言基础日常使用文件及数据处理系统调试单行脚本冷门但有用仅限
ruizuo007·2021-06-21 19:10

如何快速搭建一个高可用的数据处理流水线？

通过ASWMap并发能力编排调用云函数，完成批量数据的处理，并将结果写回存储，提供开箱即用、灵活便捷、高弹性高可用的数据处理系统模型。尤其适合证券交易数据统计，电商系统商品订单数据分析，微
·2021-06-21 15:56

命令行的艺术-来自GitHub开源

命令行的艺术前言基础日常使用文件及数据处理系统调试单行脚本冷门但有用仅限OSX系统仅限Windows系统更多资源免责声明熟练使用命令行是一种常常被忽视，或被认为难以掌握的技能，但实际上，它会提高你作为工程师的灵活性以及生产力
月上秦少·2021-06-19 16:15

Pregel-大规模图数据处理系统

这篇文章主要是对Pregel论文的翻译，还可能夹杂一点自己的思考。需要注意的是，本文只是在看Pregel论文的时的记录并不是全文翻译，所以你应该仅以此作参考。文章中Vertex被翻译为顶点，节点(Pregel说法为Worker)则表示分布式系统中的执行机。1.介绍现在很多都要求对大规模图数据的处理，诸如网页图和社交网络图，那么如何高效地在图上做计算就变成了一个大的挑战，在此背景下，Pregel出世
一天天就知道睡觉·2021-06-18 22:41

实时计算 Flink 版总体介绍

实时计算Flink版（AlibabaCloudRealtimeComputeforApacheFlink，PoweredbyVerverica）是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统
·2021-06-18 22:38

实时计算 Flink 版总体介绍

实时计算Flink版（AlibabaCloudRealtimeComputeforApacheFlink，PoweredbyVerverica）是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统
·2021-06-18 22:14

吴恩达深度学习笔记(69)-端到端的深度学习

简而言之，以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段，用单个神经网络代替它。
极客Array·2021-05-08 04:16

信息安全简述（隐患、检测、安全防御技术）

信息安全，ISO（国际标准化组织）的定义为：为数据处理系统建立和采用的技术、管理上的安全保护，为的是保护计算机硬件、软件、数据不因偶然和恶意的原因而遭到破坏、更改和泄露。
xiaoxiaojinglinger·2021-05-06 23:39

Lan分享岗位信息

1.滴滴出行（1）服务端研发工程师(J171115004)-质量部工作职责:1.负责实时大数据处理系统及应用平台的设计与开发2.能够针对用户提出的业务需求进行抽象&&实施落地任职资格:1.2年+研发经验
TonyLan·2021-05-06 10:08

C1-简易轮播图-html css javascript

⼤⼚就完全不同了——⼤⼚的⼯程师可能会⾯对⼏千万甚⾄⼏亿的注册⽤户，开发的是TB、PB级别的数据处理系统，需要利⽤各种中间件整合衔接多个上下游系统——可⽤性、健壮性、响应速度这些最基本的性能指标是⼯程师时时刻刻都要关注和解决的问题
麦克猫Cat·2021-05-05 11:49

2W 字长文： Kafka 实战教程与面试题全讲解

其具有高吞吐、低延迟的特性，许多大数据处理系统比如Storm、Spark、Flink等都能很好地与之集成。按照Wikipedia上的说
日常君·2021-05-04 11:56

色谱仪的水冷散热解决方案

包括进样系统、检测系统、记录和数据处理系统、温控系统以及流动相控制系统等。现代的色谱仪具有稳定性、灵敏性、多用性和自动化程度高等特点。有气相色谱仪、液相色谱仪和凝胶色谱仪等。
honey泰格·2021-04-25 11:55

Spark案例

Spark实战，第1部分:使用Scala语言开发Spark应用程序Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统Spark实战，第3部分:使用SparkSQL
Albert陈凯·2021-04-20 20:45

Flink vs Spark —— 为Spark开发者介绍Apache Flink

Madhukar原文世界需要另外一个大数据处理系统吗？这是当我第一次听说ApacheFlink的时候产生的问题。在大数据领域，我们不缺乏框架。
Anor9·2021-04-20 13:02

全面解析大数据同步工具DataX与Sqoop的区别

DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem)之间的数据交换，由淘宝数据平台部门完成。
丨程序之道丨·2021-04-19 04:02

数据主义

根据数据主义的观点，可以把全人类看作单一的数据处理系统，而每个人都是里面的一个芯片。
JessicaWang123·2021-04-14 08:40

2021-04-04 python数据处理系统学习（十八）层次化索引

2021-04-04python数据处理系统学习（十八）层次化索引data1=pd.read_excel('附件1：123家有信贷记录企业的相关数据.xlsx',sheet_name=0,header=
GraceWangWYY·2021-04-04 20:26

excel数据文件转sav数据文件

因为数据处理系统只能识别sav文件，需要把excel数据文件转为sav文件。
酱酱小可爱·2021-03-10 09:34

流量回放原理

流量回放是通过日志采集再处理来获取所需要的数据日志采集通过logstash工具从应用容器拉取日志信息，可以根据filter、tags来筛选数据传输通过kafka等消息队列将获取的日志数据传输进行下一步处理数据处理从消息队列中消费日志数据，通过storm数据处理系统从日志信息中获取到想要的数据
DuffyMagic·2021-02-03 21:49

看了 Google 大牛 Jeff Dean 的传说，我拜服了～

主要成就：MapReduce一个大规模数据处理系统BigTable一个结构化数据的分布式存储系统Spanner一个全球性的数据库系统参与谷歌的网络爬虫、索引、查询系统、AdSense、谷歌翻译的设计与实现
·2021-01-24 11:40

大数据计算系统学习笔记

1.大数据计算体系可归纳三个基本层次：数据应用系统，数据处理系统，数据存储系统2.计算的总体架构HDFS(Hadoop分布式文件系统)(1)设计思想：分而治之，将大文件大批量文件，分布式存放在大量服务器上
小辉～·2021-01-17 14:22

毕设题目汇总(一)

技术的智能语音分析工具-负责语义分析部分（论文替代）基于SpringBoot的用户音乐平台家装设计公司客户关系系统基于机器学习的文本语义分析工具基于微信小程序的私教预约系统标准化轮胎仓库管理系统公务机典型试飞科目数据处理系统基于图像的结构化数值识别系统的设计与实现基于
DanCheng-studio·2020-10-19 10:12

火影推荐程序连载33-什么是Lambda架构

MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。
liudahai777·2020-09-17 14:54

流式数据、批式数据、实时数据、历史数据的区别

1.流式数据、批式数据、实时数据、历史数据的区别：根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。
Charmian Chen·2020-09-17 01:34

Flink Time和Watermark的理解

这些数据源中数据元素具有固定的时间属性，是在流数据处理系统之外的其它系统生成的。比如，上亿用户通
江畔独步·2020-09-16 11:43

命令行的艺术

转载自https://github.com/jlevy/the-art-of-command-line必读基础日常使用文件及数据处理系统调试单行脚本冷门但有用仅限OSX系统更多资源免责声明授权条款必读涵盖范围
lwfcgz·2020-09-16 05:56

什么是Lambda架构

MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。
WindyQin·2020-09-15 13:00

Common Lisp 超规范(译文)：1. 引言

1.6语言的扩展1.7语言的子集1.8弃用的语言特性1.9COMMON-LISP包中的符号1.1适用范围,目的,和历史1.1.1适用范围和目的这个文档中提出的规范旨在促进CommonLisp程序在各种数据处理系统之间的移植性
乐征skyline·2020-09-15 12:41

数据库系统的概念及其四大特点

是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质、处理对象和管理系统的集合体。
太阳是我啃圆的 i·2020-09-14 23:21

storm基础详解

Storm基础详解一、storm是什么Storm是一个分布式的、可靠的、高容错的实时流式数据处理系统。二、storm的特性简单的编程模型。
牛奋lch·2020-09-14 14:30

33-Storm学习-史上最通俗易懂Storm教程：大白话介绍Storm

ApacheStorm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。Storm是一个分布式的，可靠的，容错的数据流处理系统。
luu_一只程序猿·2020-09-14 12:42

辅助系统----日志采集框架Flume

前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架
魔法 • 革·2020-09-13 22:54

开源实时数据处理系统Pulsar：一套搞定Kafka+Flink+DB

编辑|DebraAI前线导读：实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中，消息、计算和存储三个部分的分离，给方案的实现带来了高复杂性，低可维护性，低效率等问题。更多干货内容请关注微信公众号“AI前线”，（ID：ai-front）本文整理自Streamlio核心创始人翟佳在QCon2018北京站的演讲，在本次演讲中，翟佳介绍了ApachePulsar的架构、特性和其生态系统
weixin_34195546·2020-09-13 21:08

一个demo快速入门Storm

简单地说：storm是一个分布式实时大数据处理系统，主要用于做实时流式计算。
我的兔子丢了·2020-09-13 20:38

C++设计日志：读写定界符文件

C++设计日志：读写定界符文件荣耀2003我将撰写的“C++设计实践”系列文章，会讲到一些数据处理系统设计方法。我并不希望文章局限于特定数据库产品，我也不喜欢空对空地讲述太多抽象道理。
optimizer·2020-09-13 14:48

Linux教程（第4版）习题答案第1-6章（1）第1，2章

答：软件是相对硬件而言的，它是与数据处理系统操作有关的计算机程序和相关数据等的总称。软件通常可分为三大类，即系统软件、应用软件和支撑软件。1.2根据你的理解，简述操作系统的定义。
Van.G·2020-09-12 14:05

大数据系统和分析技术综述【程学旗】

本文结构1大数据处理与系统1.1批量数据处理系统1.1.1批量数据的特征与典型应用1.1.2代表性的处理系统1.2流式数据处理系统1.2.1流式数据的特征及典型应用1.2.2代表性的处理系统1.3交互式数据处理
weixin_33704234·2020-09-12 07:26

工程和考试中用的到的网络安全常识

ISO信息安全定义：为数据处理系统建立和采取的技术和管理的安全保护，保护计算机硬件,软件和数据不因偶然和恶意的原因而遭到破话，更改和显露。
weixin_34327223·2020-09-11 21:25

PB中GetItemStatus和SetItemStatus

用户在DataWindow中对数据处理系统内部的操作实际上都是将数据在这几个缓冲区中进行的修改和移动，最后在用户提交数据库时，系统根据这四个缓冲区中的信息形成SQL的IN-SERT，UPDATE，D
feixiang7443·2020-09-11 19:50

【雷达与对抗】【2010.12】实验雷达杂波数据的谱和统计分析

首先利用通用信号对硬件和数据处理系统进行验证，然后在露天环
梅花香——苦寒来·2020-09-11 11:32

大数据处理系统关键层次架构

在数据存储层，还有很多类似的系统和某些系统的变种，这里，我仅仅列出较为出名的几个。如漏掉某些重要系统，还请谅解。以下是对上图中各层次架构的说明一、数据存储层宽泛地讲，据对一致性(consistency)要求的强弱不同，分布式数据存储策略，可分为ACID和BASE两大阵营。ACID是指数据库事务具有的四个特性：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation
weixin_34240657·2020-08-25 08:44

SAP 系统软件英语缩写解释大集成 ( 未完...待续 )

SAP（Systemapplicationandproductsindataprocessing）数据处理系统应用和产品简介是SAP公司的产品——企业管理解决方案的软件名称。
xiaofengxiaoling·2020-08-23 08:55

4个你未必知道的内存小知识

基本成为分布式系统标配的缓存中间件、高性能的数据处理系统及当前流行的大数据平台，都离不开对计算机内存的深入理解与巧妙使用。本文将探索这个让人感到熟悉又复杂的领域。
博文视点·2020-08-22 09:44

左耳朵耗子：程序员如何把控自己的职业？

对高性能，高可用性，分布式，高并发，以及大规模数据处理系统有一些经验和心得。喜欢关注底层技术平台和互联网行业应用。技术擅长C/C++/Java和Unix/Linux/Windows。
zl1zl2zl3·2020-08-22 09:38

GPS网络时间服务器让您拥有不一样的网络系统

GPS网络时间服务器让您拥有不一样的网络系统GPS网络时间服务器让您拥有不一样的网络系统京准电子科技官微——ahjzsz时间同步技术必定将是整个大数据处理系统的重要支撑和保障。
GPS时钟服务器,NTP时间服务器,时间同步服务器15901092122岳峰·2020-08-21 10:00

Hadoop中的YARN

MRv1是目前使用的标准的大数据处理系统。但是，这种架构存在不
小鸟123·2020-08-21 04:22

从Storm到Flink：大数据处理的开源系统及编程模型（文末福利）

本文节选自CCF大数据教材系列丛书之《大数据处理》，本书由华中科技大学金海教授主编，包括大数据处理基础技术、大数据处理编程与典型应用处理、大数据处理系统与优化三个方面。
AI科技大本营·2020-08-21 02:37

万字详解TDengine 2.0整体架构设计思路

大数据处理系统就是要将各种采集的
涛思数据·2020-08-20 17:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他