E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
webrtc大数据开发
大数据开发
之Flume
第1章:Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输系统。1.2Flume基础架构1.2.1Agent1、Agent:Flume的部署单元,本质是一个JVM进程,Agent内部是以事件的形式将数据从源头送至目的。2、组成:Agent主要有3个部分组成,Source、Channel、Sink。1.2.2Source1、S
Key-Key
·
2024-01-15 12:35
大数据
flume
大数据开发
之Hive(压缩和存储)
第9章:压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormatAPI可以从不同数据源读取数据,使用OutputFormatAPI可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销,但是会节约客观的磁盘空间,并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可
Key-Key
·
2024-01-15 12:34
大数据
hive
hadoop
大数据开发
之Hive(企业级调优)
第10章:企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key
·
2024-01-15 12:34
大数据
hive
hadoop
大数据开发
之Hive(统计影音视频网站的常规指标)
第11章:Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄(int)视频在平台上的整天数category视频类别(Array)上传视频指定的视频分类length视频长度(Int)整形数字标识的视频长度views观看次数(Int)视频被浏览的次数rate视频
Key-Key
·
2024-01-15 12:34
大数据
hive
hadoop
大数据开发
之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)
第1章:Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑,开发人员要编写MR对数据进行统计分析难度极大,所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key
·
2024-01-15 12:04
大数据
hive
hadoop
大数据开发
之Hive(查询、分区表和分桶表、函数)
第6章:查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2
Key-Key
·
2024-01-15 12:04
大数据
hive
hadoop
大数据开发
之HA
第1章:HadoopHA高可用1.1HA概述所谓HA(HighAvailablity),即高可用(7*24小时不间断服务)。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启。NameNode机器需要升级,包括软件、硬件升
Key-Key
·
2024-01-15 12:03
大数据
hadoop
大数据开发
之Hive(详细版,最后有实战训练)
第1章:Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑,开发人员要编写MR对数据进行统计分析难度极大,所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key
·
2024-01-15 12:29
hive
hadoop
大数据
大数据开发
之Zookeeper
第1章:Zookeeper入门1.1概述它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知这些已经在Zookeeper上注册的那些观察者做出相应的反应。1.2特点一个领导者(Leader),多个跟随者(Follower)组成的集群。集群中只要有半数以上的节点存活,Zookeeper集群就能正常工作。所以Zookeeper适合安装奇数台
Key-Key
·
2024-01-15 09:25
大数据
zookeeper
分布式
metartc5_jz源码阅读-yang_encode_rtpExtensions
//定义metartc的rtp扩展,标准的
webrtc
不定义任何头扩展,这个由开发者自定义。
王方帅
·
2024-01-15 00:42
metartc5_jz源码阅读
音视频
p2p
实时音视频
webrtc
WebRTC
入门:基础的核心协议与概念(二十三)
简介:CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长!优质专栏:Audio工程师进阶系列【原创干货持续更新中……】优质专栏:多媒体系统工程师系列【原创干货持续更新中……】人生格言:人生从来没有捷径,只有行动才是治疗恐惧和懒惰的唯一良药.更多原创,欢迎关注:Android系统攻城狮<
Android系统攻城狮
·
2024-01-14 09:27
WebRTC
Native实战系列
webrtc
某大公司-
大数据开发
-二面
自我介绍1.来了公司,你知道这个岗位需要做什么吗。2.你之前休息的几个月,你都干了什么。这里我回答:自己刷题,加整理简历。然后对方领导反问我一直在找工作,我说是。觉得有点傻。3.假如我是刚来的,如果我做的任务不是很好,领导和下级觉得我做的不是很满意,我该怎么办。-------------以后打死一天至多面试两场。可能是没有休息好。我觉得我思考问题的时候都慢了半拍。然后一天面试三场真的很累。发现甲方
劝学-大数据
·
2024-01-13 19:23
大数据面试题
大数据
普通程序员转型
大数据开发
需要考虑哪些因素?
大数据工程师平均年薪达20万,在中国顶尖的互联网公司里,
大数据开发
人员的薪酬比同级别的其他职位高出30%以上,这也是很多程序员纷纷选择转型
大数据开发
的原因。
你的社交帐号昵
·
2024-01-13 17:57
Windows7下载编译
webrtc
一、前提最重要的是使用稳定的FQ工具,下载中遇到的大部分错误都是因为网络不稳定导致下载失败二、下载代码1、下载安装VS2017,安装时选择VC++,Win10SDK;2、安装depot_tools,地址https://storage.googleapis.com/chrome-infra/depot_tools.zip3、设置环境变量Path中添加depot_tools路径,重启cmd并设置代理;
亮仔很贪吃
·
2024-01-13 12:53
大数据开发
工程师需要具备哪些技能?
在回答这个问题之前,需要充分了解一下当前大数据的几个就业方向,可以参考下主流互联网行业的部门架构、职责和JD,
大数据开发
工程师,总体来说有这么几类,不同的公司叫法不一样:1、数仓开发工程师2、算法挖掘工程师
郑小柒是西索啊
·
2024-01-12 21:58
大数据
WebRTC
实现1对1音视频通信原理
什么是
WebRTC
?
十年编程老舅
·
2024-01-12 04:39
音视频开发
webrtc
音视频
C++音视频
视频编解码
音视频通话
srs
流媒体服务器
RTMP vs SRT:延迟与最大带宽的比较
本文福利,免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码,内容包括(音视频开发,面试题,FFmpeg,
webRTC
,rtmp,hls,rtsp,ffplay,编解码,推拉流,srs)↓↓↓
十年编程老舅
·
2024-01-12 04:09
音视频开发
ffmpeg
RTSP
RTMP
音视频开发
音视频
SRT
linux搭建SRS服务器
服务器文章目录linux搭建SRS服务器SRS说明实验说明搭建步骤推流步骤查看web端服务器拉流步骤finalSRS说明SRS(simpleRtmpServer),是一个简单高效的实时视频服务器,支持RTMP/
WebRTC
Lu Zelin
·
2024-01-11 16:20
音视频基础
服务器
linux
运维
WebRTC
协议研究
背景自己在做一个视频分析项目的时候,需要将后台读取的视频实时抛转到前台web页面显示,本来是用的是MQTT协议,已经可以满足需求。但是在实时上线测试的时候,发现当图片比较大的时候,会存在页面不能实时显示图片的bug,经过各种分析和研究发现,造成这个问题的主要原因是因为图片数据比较大,上传会存在一定的延迟,而MQTT对响应时间有一定的要求,因此无法实时显示,查阅资料建议使用更具有即时性的协议WebR
图灵追慕者
·
2024-01-11 10:12
webrtc
MQTT
WEB
图片抛转
数据对接
外包-某行
大数据开发
-一面
估计是因为见到过我这种简历太多了,然后面试官直接问了问题1.clickhouse熟悉吗?2.shell熟悉吗,问了两个问题。1.如何获取文件的第一行?2.shell中怎么拼接两个字符串?3.传统数据库用的多吗?然后问了薪资多少,就没有再问了,合适再聊,就直接挂了我电话。整个过程没有超过5分钟。我回答了自己有写过相关脚本,但是其实当时都是照着抄的,面试官问两个问题我就露馅了,惭愧。从以上情况可以看出
劝学-大数据
·
2024-01-10 07:47
个人面试真题记录
大数据
webrtc
streamer&前端页面js播放摄像头rtsp流
webrtc
streamer大致的了解了一下,就是使用js来播放rtsp视频流的一个技术。目前实现的厂家有很多,但是要收费。
高胤川
·
2024-01-10 03:11
前端
webrtc
javascript
Linux部署
webrtc
-streamer不完全教程
一、部署
webrtc
-streamer二、安装gcc-8.2.0(centos8不需要安装)离线2022-11-2500:23:18URL:ftp://gcc.gnu.org/pub/gcc/infrastructure
吭哧瘪肚的万能工
·
2024-01-10 03:41
linux
服务器
运维
史上最详细的
webrtc
-streamer的H265解决方案
目录前言开局废话软件环境整体思路详细方案下载mediaMtx配置mediamtx.yml启动API使用查询所有路径:http://localhost:9997/v2/paths/list添加一个名称为111的通道路径(不转码):http://192.168.1.227:9997/v2/config/paths/add/111添加一个名称为222的通道路径(转码):http://192.168.1.
吭哧瘪肚的万能工
·
2024-01-10 03:41
webrtc
音视频
【无标题】
方案方案选用为基于
WebRTC
的视频即时通讯,它原生支持对RTP协议的解码,所以能够做到延迟很低,大概0.2-0.4秒左右,其他方案都有大于1秒的延迟。
半隐退状态
·
2024-01-10 03:10
音视频
webrtc
webRtc
-streamer简单使用-备份
公司业务需求,在前端实现海康摄像头的实时播放,参考文档资料后决定使用
webrtc
-streamer来实现rtsp流的播放,在此备份一下,也希望能够帮助到有需要的友友。
拄杖盲写轻声码
·
2024-01-10 03:40
webrtc
vue.js
javascript
【
webrtc
-streamer】关于
webrtc
-streamer使用时CPU占用过高处理方式记录
关于
webrtc
-streamer使用时CPU占用过高处理方式记录最近项目中需要集成海康、大华等摄像头的视频流进来,从最初的研究海康自带的SDK中demo到现在统一走onvif方式取rtsp流,各种艰辛不再提了
liutian_ye
·
2024-01-10 03:09
工具/环境
webrtc
ffmpeg
图像处理
史上最详细的
webrtc
-streamer访问摄像机视频流教程
目录前言一、
webrtc
-streamer的API二、
webrtc
-streamer的启动命令介绍1.原文2.译文三、
webrtc
-streamer的安装部署1.下载地址https://github.com
吭哧瘪肚的万能工
·
2024-01-10 03:36
webrtc
linux
windows
github
java
【Unity】 Render Streaming 云渲染基本环境搭建及应用(尽量详细,欢迎补充)
演示所使用的版本:电脑Win10系统Unity:2022.3.0RenderStreaming:3.1.0-exp.6
WebRTC
:3.0.0-pre.5(Pre-release)RenderStreamingWebServer
祁渺
·
2024-01-09 20:01
Unity
unity
游戏引擎
图形渲染
虚拟现实
实时互动
大数据开发
:Hive基础知识点介绍
今天的
大数据开发
分享,我们来讲讲Hive的基础知识点。Hive简介根据官方文档的定义,Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。
加米谷大数据张老师
·
2024-01-09 13:52
大数据
数据库
hive
数据仓库
webrtc
源码之nack&&rtx详解
1、nack协商m=video9RTP/AVPF96979899100101127122108109123a=rtpmap:96H264/90000a=rtcp-fb:96goog-remba=rtcp-fb:96transport-cca=rtcp-fb:96ccmfira=rtcp-fb:96nacka=rtcp-fb:96nackplia=fmtp:96level-asymmetry-all
和松
·
2024-01-09 09:46
某外包~
大数据开发
~项目经理二面
一面通过后,hr开始谈工资,以为外包一面就能拿下,没想到还是要我来公司聊一聊。1.介绍之前的项目2.公司是做什么业务的3.对加班的看法4.两道sql题,直接问的1.对于交易明细表中,求每个用户最大的日期的交易记录2.求学生表中,学生的最大成绩,成绩是varchar类型。答案如下:首先进行转换,然后在排序,之所以进行转换,原因是因为varchar类型比较大小时,按照的是位与位进行比较,若2与11va
劝学-大数据
·
2024-01-09 06:12
大数据面试题
大数据
某大厂
大数据开发
-外包面试
1.自我介绍2.具体问项目流程,如项目怎么实现的3.印象最深的问题,怎么发现的,怎么解决的?4.spark用过吗,用到的开发工具5.数据量多少,服务器台数6.数仓每层做了什么事,为什么这样做?笔试题:hive-sql一个表tbl:c_idu_idscore用SQL计算每个班级top5学生的平均分表A(uid,bid),uid代表:用户idbid代表:uid关注的用户id表数据示例:uidbid12
劝学-大数据
·
2024-01-09 06:42
面试
职场和发展
大数据
大数据开发
-某外包公司
1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop有那些组件面试体会:因为岗位jd上有明确的表示面试可能会问到的问题,比如数据湖,但是我几乎没有复习,所以很遗憾,说的也很糟糕。然后面试官说,
劝学-大数据
·
2024-01-09 06:10
个人面试真题记录
大数据
WebRTC
API获取音视频设备数据
一.getUserMedia
WebRTC
提供了mediaDevices.getUserMeidaAPI获取系统音视频设备数据。
椛茶
·
2024-01-09 01:34
WebRTC
webrtc
api
音视频
设备采集
getUserMedia
大数据开发
学习笔记——hbase的rowkey设计
写在最前面:今日都是纯文字的笔记,希望朋友们能耐心看rowkey长度原则rowkey是一个二进制码流,可以是任意字符串,最大长度64kb,实际应用中一般为10-100bytes,以byte[]形式保存,一般设计成定长。建议越短越好,不要超过16个字节,原因如下:目前操作系统都是64位系统,内存8字节对齐,控制在16个字节,8字节的整数倍利用了操作系统的最佳特性。rowkey散列原则如果rowkey
卿卿老祖
·
2024-01-08 21:38
pandas应用和学习
一.pandas的基本内容1.Python在数据处理上有代码灵活,开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在
大数据开发
场景都具有显著优势:①Pandas是Python
MSJ3917
·
2024-01-08 16:33
pandas
学习
webrtc
合流
constconfig={iceServers:[{urls:"turn:118.186.244.77:3478?transport=udp",credential:"hmcs123456",username:"admin",},{urls:"stun:global.stun.twilio.com:3478?transport=udp"},],};importJanusfrom"../../../
秋天呀
·
2024-01-08 09:48
webrtc
css
html
前端
javascript
Spark Core进阶知识
小知识:
大数据开发
人员/数据分析人员,必须要对自己统计的指标结果负责!!!
MSJ3917
·
2024-01-08 07:52
spark
大数据
分布式
2018-12-17
这里更深入的接触了
WEBRTC
技术,接触了部分android、iOS技术,研究了两三个月的JS,主要
福莱得
·
2024-01-08 00:42
Android IOS
WebRTC
音视频开发总结(四七)-- 深度解读国内首届
WebRTC
大会背后的真相...
本文主要解读国内首届
WebRTC
大会背后的真相,文章来自博客园RTC.Blacker,支持原创,转载必须说明出处,更多详见www.rtc.help----------------------------
weixin_34184561
·
2024-01-07 18:36
移动开发
Docker安装
WebRTC
下TURN服务
详细实现方式以及代码下载请前往https://www.passerma.com/article/90实现效果一、手动构建镜像1.新建Dockerfile文件文件用于编译镜像以alpine为基础镜像添加coturn需要的依赖库获取coturn并进行编译通过start.sh启动turnserver服务DockerfileFROMalpineRUNapkaddmake\gcc\g++\wget\libe
passerma
·
2024-01-07 11:42
docker
webrtc
容器
有用的技术分享主题
SQLServer数据库和AgentJob集成化监控工具Airflow调度工具的安装和使用Tableau报表开发网络爬虫技术开发PythonGUI应用开发基于S3的数据湖架构设计和
大数据开发
Hive大数据仓库超大数据集去重解决方案
weixin_30777913
·
2024-01-07 10:42
sqlserver
数据库
数据仓库
big
data
etl
第9课 回声抑制(AEC+AGC+ANS)的实现
业界比较好用的AEC方案是
webRTC
开源的回声抑制方案,除了AEC,还可以同时实现AGC和ANS。1.配置开发环境与使用F
西部秋虫
·
2024-01-06 22:26
C++
opencv
ffmpeg
ffmpeg
opencv
c++
视频智能分析/云存储平台EasyCVR接入海康SDK,通道名称未自动更新该如何解决?
视频监控汇聚平台EasyCVR支持多种播放协议,包括:HLS、HTTP-FLV、WebSocket-FLV、
WebRTC
、RTSP、RTMP,并且支
EasyCVR
·
2024-01-06 11:44
解决方案
EasyCVR
视频上云
音视频
Linux常见面试题
题目说明:LINUX类的面试题适合传统行业实施,运维以及
大数据开发
,运维等岗位,在以上提到的岗位面试中均会有所涉及,初级岗位大部分为基础命令考核,难度丌大,但需要准确不熟练,会编写SHELL脚本会成为此类岗位求职优势
莓是草莓的莓
·
2024-01-06 01:17
webrtc
搭建
#
WebRTC
网页即时通信(WebReal-TimeCommunication),是一个支持[网页浏览器](https://baike.baidu.com/item/%E7%BD%91%E9%A1%B5%
xueyong8869
·
2024-01-06 01:25
线上故障之Redis缓存数据异常
queueList":["10000993","10000994","10000995"],"agent":{"queueList":["10000993","10000994","10000995"],"
webrtc
SipK
小徐很努力
·
2024-01-06 00:08
故障分析
redis
数据库
缓存
rtsp解析视频流
所以我放弃了这个插件目前我实现了rtsp流播放是用
webrtc
-streamer(这个的缺点是起
webrtc
-streamer
li@h
·
2024-01-05 23:08
前端
Hadoop面试题与python基础
python基础(面向
大数据开发
)如果你是面向python开发,那么我的这些应该是不够用的,我的这些只够
大数据开发
人员使用;每一个岗位它对一门语言的要求掌握程度是不一样的;但是我写的这些你必须要会,它是基础中的基础
中长跑路上crush
·
2024-01-05 23:02
hadoop
python
大数据
数据分析求职-入职必备-工具篇
通常所说的数据分析岗位这个大类,细分的话还可以分为3个细类:数据研发/
大数据开发
:专注于数据的清洗和预处理,为后续消费数据的服务(比如数据分析
阿清陪你聊聊数据分析
·
2024-01-05 18:56
求职辅导
数据分析
数据挖掘
求职招聘
就业辅导
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他