E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Linkis
案例分享 | 基于
Linkis
+DSS构建合合信息一站式数据开发平台
作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio(IDS)是上海合合信息科技股份有限公司,大数据平台基于微众WDS社区开源的
Linkis
康月牙
·
2024-01-10 15:16
巧妙实现四大实时功能 |
Linkis
与Hudi结合的数据湖构建实践
背景介绍
Linkis
是一款优秀的计算中间件,他对应用层屏蔽了复杂的底层计算引擎和存储方案,让大数据变得更加简单易用,同时也让运维变得更加方便。
康月牙
·
2023-12-28 20:02
windows下DSS界面本地集成
linkis
管理台
1.linkisweb编译#进入项目WEB根目录$cdlinkis/
linkis
-web#安装项目所需依赖$npminstall参考官方编译说明,windows下编译一直异常,切换不同的node版本,均报错
暗影八度
·
2023-12-05 11:03
大数据
java
hadoop
【数据中台】开源项目(3)-
Linkis
通过使用
Linkis
提供的REST/WebSocket/JDBC等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎,同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通
码农丁丁
·
2023-12-03 23:42
#
数据中台
#
大数据
开源
数据中台
Linkis
产品迭代更新 | 阿列夫科技基于
Linkis
+DataSphere Studio的单机安装部署实战
作者:萧寒GitHubID:hx23840阿列夫科技原来的技术平台是基于Hadoop,Spark平台搭建的,为了充分的满足业务需求,做了大量接口封装。但是随着业务发展,现有技术平台日渐满足不了业务需求。ApacheLinkis提供了统一的对接方式,同时,在性能方面也有了极大提升,满足了我们在产品迭代更新的需求。如下是基于ApacheLinkis+DataSphereStudio的单机安装部署实战内
微众开源
·
2023-12-03 23:12
开源
微众开源
大数据
科技
hadoop
大数据
开源里程碑 | 数据应用开发管理集成框架 DataSphere Studio 1.1.0 新版本发布
基于插拔式的集成框架设计,及计算中间件
Linkis
,可轻松接
微众开源
·
2023-12-03 23:11
大数据
开源
大数据
【里程碑】| 数据应用开发管理框架DataSphere Studio 1.1.0 新版本发布
基于插拔式的集成框架设计,及计算中间件
Linkis
,可轻松接
微众开源
·
2023-12-03 23:11
大数据
开源
架构
github
大数据
数据中台方案
平台引擎DataSphereStudio基于插拔式的集成框架设计,及计算中间件
Linkis
,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。
aaaak_
·
2023-12-03 23:11
大数据
大数据
【数据中台】开源项目(3)-DataSphere Studio
基于插拔式的集成框架设计,及计算中间件
Linkis
,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。
码农丁丁
·
2023-12-03 23:10
#
数据中台
数据中台
读书笔记
开源
在dss中运行scala任务报java.lang.NullPointerException: null
版本信息:dss:1.1.1
linkis
1.1.1hadoop:3.1.3hive:3.1.2spark:3.0.0修改文件:SparkScalaExecutor.scala修改文件内容如下:上图红色标记内容
heheha_zj
·
2023-11-25 18:18
dss
or
linkis
Apache
Linkis
修复多个漏洞
聚焦源代码安全,网罗国内外最新资讯!编译:代码卫士ApacheLinkis是一款热门的计算中间件,用于弥合上层应用程序和底层引擎之间的差距,从而能够无缝访问多个引擎如MySQL、Spark、Hive、Presto和Flink。然而,研究人员在ApacheLinkis中发现多个需要解决的重要漏洞,以确保用户数据和系统的持续安全性和完整性。CVE-2023-27602是位于ApacheLinkisPu
奇安信代码卫士
·
2023-11-24 23:31
apache
大数据
hive
hadoop
数据仓库
Linkis
1.0.2 安装及使用指南
Linkis
安装及使用指南1.背景2.简介2.1
Linkis
2.1.1核心特性2.2DataSphereStudio3.安装3.1涉及组件版本说明3.2依赖环境安装3.3安装包准备3.4安装3.4.1安装环境检查
MariaCarrie
·
2023-10-19 03:08
big
data
hive
spark
flink
Apache Linki 1.3.1+DataSphereStudio+正常启动+微服务+端口号
我使用的是一键部署容器化版本,官方文章默认会启动6个
Linkis
微服务,其中下图
linkis
-cg-engineconn服务为运行任务才会启动,一共七个
LINKIS
-CG-ENGINECONN:38681
LINKIS
-CG-ENGINECONNMANAGER
Xiaoweidumpb
·
2023-09-09 06:53
微服务
架构
云原生
Linki
大数据
报错 could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s)
Causedby:org.apache.hadoop.ipc.RemoteException:File/tmp/
linkis
/root/bml/20230809/68d17478-8b31-44f7-984f
gs80140
·
2023-09-07 10:05
hadoop
各种问题
hadoop
linkis
dss 启动报错 首次上传资源失败
executefailed,reason:org.apache.
linkis
.httpclient.exception.HttpClientResultException:errCode:10905,desc
gs80140
·
2023-09-07 10:05
各种问题
java
DataSphere
linkis
hadoop
大数据
Apache
Linkis
与 OceanBase 集成:实现数据分析速度提升
近日,计算中间件ApacheLinkis在其新版本中通过数据源功能,支持用户通过
Linkis
去对接使用OceanBase数据库。本文主要介绍Linkisv1.3.2中OceanBase数据库的集成。
OceanBase数据库官方博客
·
2023-09-05 07:23
apache
oceanbase
数据分析
queue ide is not exists in YARN
BaseTaskScheduler-Thread-7]o.a.l.o.s.a.AsyncExecTaskRunnerImpl(79)[run]-FailedtoexecutetaskastJob_1_codeExec_1org.apache.
linkis
.orchestrator.ecm.exception.ECMPluginE
gs80140
·
2023-08-23 22:52
DataSphere
linkis
【大数据】
Linkis
简述
Linkis
简述1.引言2.背景3.设计初衷4.技术架构5.业务架构6.处理流程7.如何支撑高并发8.用户级隔离度和调度时效性9.总结
Linkis
是微众银行开源的一款数据中间件,用于解决前台各种工具、应用
G皮T
·
2023-08-23 06:23
大数据
大数据
Linkis
微服务
数据中间件
DataSphere Studio Caused by: java.lang.ClassNotFoundException: javax.jdo.JDOQLTypedQuery
报错:Causedby:java.lang.ClassNotFoundException:javax.jdo.JDOQLTypedQuery解决办法:cd/home/hadoop/dss_
linkis
/
gs80140
·
2023-08-18 02:52
linkis
DataSphere
linkis
1.1.1 报错 No plugin found spark-2.4.8, please check your configuration
desc='Nopluginfoundspark-2.4.8,pleasecheckyourconfiguration',ip='hadoop0004',port=9103,serviceKind='
linkis
gs80140
·
2023-08-18 02:51
linkis
DataSphere
【运维】
linkis
1.3.2添加jdbc引擎(添加mysql、greenplum、starrocks、doris数据源查询)与配合多数据源管理提交任务初探
重启刷新4.2.检查引擎是否刷新成功二.测试mysql、starrocks与doris数据库1.通过shell提交任务2.通过(IDE)shell进行提交3.通过接口提交三.添加greenplum四.通过
linkis
roman_日积跬步-终至千里
·
2023-08-17 06:44
linkis
java
【运维】
linkis
安装dss保姆级教程与踩坑实践
文章目录一.安装准备二.创建用户三.准备安装包四.修改配置1.修改config.sh2.修改db.sh五、安装和使用1.执行安装脚本2.启动服务3.查看验证是否成功六.报错处理报错一:Theuserisnotloggedin报错二:dss接口报错报错三:执行没有输出结果dss官方安装文档一.安装准备需要的命令工具(安装时会自动检查,并安装,如果安装失败则需手动安装):telnet;tar;sed;
roman_日积跬步-终至千里
·
2023-08-16 20:54
linkis
运维
【运维】
linkis
1.3.2版本保姆级安装
文章目录一.建议配置1软硬件环境建议配置1.1Linux操作系统版本要求1.2服务器建议配置1.3软件要求1.4客户端Web浏览器要求2.3LDAP设置(暂时不需要)二.下载三.安装部署linkisserver端1.首次安装准备事项1.1Linux服务器1.2添加部署用户2.配置修改2.1解压2.2配置数据库信息2.3配置基础变量3.安装和启动3.1执行安装脚本:3.2添加mysql驱动包3.3配
roman_日积跬步-终至千里
·
2023-08-12 05:21
linkis
运维
DataSphere Studio- 1.1.1 安装部署(自动化脚本)
DSS+LinkisAnsible一键安装脚本DSS1.1.1&
Linkis
1.3.0Ansible一键部署脚本作者:wuboliveQQ:1049635685邮箱:
[email protected]
Xiaoweidumpb
·
2023-08-05 15:27
大数据技术
自动化
运维
DataSphere Studio - 1.1.0安装部署 (单机版)
自动部署脚本githubhttps://github.com/wubolive/dss-
linkis
-ansible社区优秀文章合集,感谢大佬https://mp.weixin.qq.com/s/OLw9VLz80otL
Xiaoweidumpb
·
2023-08-05 15:57
大数据技术
大数据
运维
安装 DataSphereStudio-Doc 报错:Invalid default value for ‘update_time‘
0.完整报错:安装DataSphereStudio-Doc,在安装Linkiss时,报错ERROR1067(42000)atline32infile:'/usr/local/dss_
linkis
/
linkis
mizuhokaga
·
2023-07-27 03:33
总结
sql
mysql
数据库
单机部署apache
linkis
Linkis
在上层应用程序和底层引擎之间构建了一层计算中间件。
贾斯汀玛尔斯
·
2023-07-19 13:37
hadoop
apache
linkis
里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级
yuanwen:里程碑|WeDataSphere一站式开源大数据平台套件全面升级-知乎源码:GitHub-apache/
linkis
:ApacheLinkisbuildsacomputationmiddlewarelayertofacilitateconnection
javastart
·
2023-06-20 01:10
数据仓库
大数据
大数据
linkis
-cg-engineconnmanager错误
Error:Couldnotfindorloadmainclassorg.apache.
linkis
.ecm.server.LinkisECMApplication
sunnyday0426
·
2023-06-14 19:15
linux
官宣:计算中间件 Apache
Linkis
正式毕业成为 Apache 顶级项目
Apache软件基金会(ASF)孵化器于2022年12月03日,通过了ApacheLinkis计算中间件项目的孵化毕业投票。2023年01月18日,Apache软件基金会官方宣布ApacheLinkis顺利毕业,成为Apache顶级项目(TLP)。以上截图来自Apache官网原文链接:https://news.apache.org/found...一、关于ApacheLinkisApacheLin
·
2023-04-20 11:40
apache
【高危】Apache
Linkis
<1.3.2 存在反序列化漏洞(CVE-2023-29216)
漏洞描述ApacheLinkis是一个用于将上层应用与底层数据引擎解耦,提供标准化接口的中间件。该项目受影响版本存在存在反序列化漏洞,由于SqlConnection.java中未对host、port、username,、password等参数进行充分过滤,当恶意用户完全控制应用程序连接的MySQL服务并设置jdbcurl中的autoDeserialize参数为true(默认false)时,可通过控
墨菲安全
·
2023-04-17 04:29
墨菲安全实验室漏洞预警
apache
java
开发语言
网络安全
【高危】Apache
Linkis
JDBC EngineConn 插件<1.3.2 存在反序列化漏洞
漏洞描述ApacheLinkis是一个用于将上层应用与底层数据引擎解耦,提供标准化接口的中间件。该项目受影响版本存在反序列化漏洞,由于ConnectionManager.java中未对dbUrl、username、password等参数进行充分过滤,当恶意用户完全控制应用程序连接的MySQL服务并设置jdbcurl中的autoDeserialize参数为true(默认false)时,可通过控制My
墨菲安全
·
2023-04-17 04:29
墨菲安全实验室漏洞预警
apache
java
开发语言
网络安全
【高危】Apache
Linkis
Gateway模块存在身份验证绕过漏洞(CVE-2023-27987)
Gateway是
Linkis
接受客户端和外部请求的主要入口点,在ApacheLinkis受影响版本中,由于在LinkisGateway部署时产生的Token默认为
LINKIS
_CLI_TEST,攻击者可以利用该
墨菲安全
·
2023-04-17 04:29
墨菲安全实验室漏洞预警
apache
gateway
网络安全
Apache
Linkis
正式毕业成为 Apache 顶级项目
全网最全大数据面试提升手册!Apache软件基金会(ASF)孵化器于2022年12月03日,通过了ApacheLinkis计算中间件项目的孵化毕业投票。2023年01月18日,Apache软件基金会官方宣布ApacheLinkis顺利毕业,成为Apache顶级项目(TLP)。以上截图来自Apache官网原文链接:https://news.apache.org/foundation/entry/th
王知无(import_bigdata)
·
2023-04-16 03:43
apache
大数据
数据库
Apache
Linkis
参数介绍
导语:本文主要对
Linkis
的参数体系进行介绍,包括
Linkis
服务端参数、客户端参数、管理台参数的介绍。
小水滴2014
·
2023-04-16 03:12
开源
大数据
apache
linkis
开源
大数据平台
Linkin-1.0.0提交spark任务到HDP环境报错:failed to request external resource provider
linkis
-1.0.0部署到hdp集群,执行spark任务时候报错如下:找到日志
linkis
-cg-linkismanager.log可以看到一些错误日志,如图所示:于是开启
linkis
-cg-linkismanager
头顶榴莲树
·
2023-04-16 03:12
大数据
大数据
Apache
Linkis
自定义变量介绍
目标支持任务代码的变量替换支持自定义变量,支持用户在脚本和提交给
Linkis
的任务参数定义自定义变量,支持简单的+,-等计算预设置系统变量:run_date,run_mont
小水滴2014
·
2023-04-16 03:42
开源
大数据
apache
linkis
开源
Apache
Linkis
介绍
关键名词LinkisMaster:
Linkis
的计算治理服务层架中的管理服务,主要包含了AppManager、ResourceManager、LabelManager等几个管控服务。
拾数崽
·
2023-04-16 03:42
数据平台
apache
大数据
【Apache 强大连接存储引擎】
Linkis
有助于轻松连接各种后端计算/存储引擎(Spark、Python、TiDB...)
项目介绍
Linkis
有助于轻松连接各种后端计算/存储引擎(Spark、Python、TiDB...),公开各种接口(REST、JDBC、Java...),具有多租户、高性能和资源控制。
内心的声音
·
2023-04-16 03:40
java
后端
架构
漏洞预警|Apache
Linkis
存在反序列化漏洞
通过使用
Linkis
提供的REST/WebSocket/JDBC等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive
棱镜七彩
·
2023-04-15 01:52
java
开发语言
【DataSphereStudio - 1.1.0 安装介绍】
【DataSphereStudio-1.1.0安装介绍】DataSphereStudio&
Linkis
【DataSphereStudio-1.1.0安装介绍】1.DataSphereStudio介绍2.
yuhh_
·
2023-03-19 11:45
#
linux
大数据
官宣:计算中间件 Apache
Linkis
正式毕业成为 Apache 顶级项目
Apache软件基金会(ASF)孵化器于2022年12月03日,通过了ApacheLinkis计算中间件项目的孵化毕业投票。2023年01月18日,Apache软件基金会官方宣布ApacheLinkis顺利毕业,成为Apache顶级项目(TLP)。以上截图来自Apache官网原文链接:https://news.apache.org/found...一、关于ApacheLinkisApacheLin
·
2023-02-03 17:00
开源
官宣:计算中间件 Apache
Linkis
正式毕业成为 Apache 顶级项目
Apache软件基金会(ASF)孵化器于2022年12月03日,通过了ApacheLinkis计算中间件项目的孵化毕业投票。2023年01月18日,Apache软件基金会官方宣布ApacheLinkis顺利毕业,成为Apache顶级项目(TLP)。以上截图来自Apache官网原文链接:https://news.apache.org/found...一、关于ApacheLinkisApacheLin
·
2023-02-03 17:28
开源
官宣:计算中间件 Apache
Linkis
正式毕业成为 Apache 顶级项目
Apache软件基金会(ASF)于2022年12月03日,通过了ApacheLinkis计算中间件项目的孵化毕业投票。2023年01月18日,Apache软件基金会官方宣布ApacheLinkis顺利毕业,成为Apache顶级项目(TLP)。以上截图来自Apache官网原文链接:https://news.apache.org/found...一、关于ApacheLinkisApacheLinkis
·
2023-02-03 00:46
apache
DolphinScheduler&
Linkis
强强联合,探索计算治理难题的终极密码!
2022年12月1日,ApacheDolphinScheduler&ApacheLinkis(Incubating)线上Meetup活动即将来袭!来自ApacheDolphinScheduler和ApacheLinkis(Incubating)两个社区的核心贡献者将带来项目整合的技术分享,聚焦解决计算治理难题的方法,干货满满!在大数据平台的建设中,计算引擎能力的构建是极其重要的,DolphinSc
·
2022-12-18 10:11
apache计算机
案例分享 | 基于
Linkis
+DSS构建合合信息一站式数据开发平台
作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio(IDS)是上海合合信息科技股份有限公司,大数据平台基于微众WDS社区开源的
Linkis
微众开源
·
2022-12-15 11:02
大数据
开源
大数据
DolphinScheduler&
Linkis
强强联合,探索计算治理难题的终极密码!
点亮⭐️Star·照亮开源之路https://github.com/apache/dolphinscheduler活动预告2022/12/12022年12月1日,ApacheDolphinScheduler&ApacheLinkis(Incubating)线上Meetup活动即将来袭!来自ApacheDolphinScheduler和ApacheLinkis(Incubating)两个社区的核心贡
DolphinScheduler社区
·
2022-11-30 16:52
大数据
java
apache
数据库
开发语言
Apache
Linkis
有奖征文,诚邀您的参与
社区的小伙伴们好~距离上次《有奖征文|我有酒,你有故事吗?》的征文活动,已经过去一段时间啦。在这期间项目进行了多次发版,迭代更新,相信大家一定从中有了新的丰硕收获!为了给社区用户,大数据领域开发人员,开源项目爱好者提供更多的项目经验与借鉴,现在社区开启第二期征文活动,此次征文聚焦于Apachelinkis项目。提交作品就有机会获得奖金和周边激励,而且社区还会帮助在各大技术平台发布,优秀作品更能获得
·
2022-06-28 16:03
Apache
Linkis
自定义变量实践分享
目标支持任务代码的变量替换支持自定义变量,支持用户在脚本和提交给
Linkis
的任务参数定义自定义变量,支持简单的+,-等计算预设置系统变量:run_date,run_month,
·
2022-06-28 15:55
三方应用通过HTTP接入
Linkis
“variable”:{“k1”:“v1”},“configuration”:{“special”:{“k2”:“v2”},“runtime”:{“k3”:“v3”},“startup”:{“k4”:“v4”}}},“executeApplicationName”:“spark”,“executionCode”:“showtables”,“runType”:“sql”,“source”:{“scr
m0_67614284
·
2022-04-30 09:54
Java
经验分享
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他