Gmall

数仓搭建——DWD层

1.2get_json_object函数使用数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]取出第一个json对象hive(gmall
丝丝呀·2024-01-14 06:10

MySQLSyntaxErrorException: Unknown database ‘gmall_product‘

shardingsphere的时候报错，JDBC连接MySql出现的错误com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Unknowndatabase'gmall_product
Xability·2024-01-13 00:37

kylin操作实战

一、数据准备事实表：dwd_payment_info维度表：dwd_order_info和dwd_user_info1.1建表dwd_payment_infohive(gmall)>droptableifexistsdwd_payment_info
比格肖·2024-01-05 20:26

Dubbo基础知识+实战Demo

1.3实现原理：1.3.1生成调用方法的请求：动态代理1.3.2传输使用序列化2Dubbo：远程过程调用2.1Dubbo框架结构2.3项目构建的相关2.4环境搭建2.5Demo搭建2.5.1公共接口项目gmall-interface2.5.2
尚墨1111·2023-11-26 23:53

数据治理平台之数据采集细节

收集数据写代码注意事项不要反复连接数据库，尤其不要把对数据库的操作写在循环中提前设置list容量大小，避免反复扩容搭建前端页面前端页面拷贝到resourcesweb服务端口80host把127.0.0.1映射为dg.gmall.com
十七✧ᐦ̤·2023-11-22 04:04

大数据之Hive：get_json_object函数使用

4.复杂案例1.数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2.取出第一个json对象hive(gmall
浊酒南街·2023-11-03 07:48

vue3 vite.config.js 解决跨域问题

在自带的vite.config.js文件中加入以下代码：server:{//host:'',//本机ipport:8080,proxy:{'/api':{target:'http://gmall-h5-
wlocfo·2023-10-15 22:16

项目日记：学成在线（第一天P7~P23）

1、可以通过启动类启动一个项目举例：@SpringBootApplication@EnableDiscoveryClient//将微服务注册到注册中心@ComponentScan("com.xyxy.gmall
m0_50538723·2023-10-05 22:16

使用redisson解决分布式锁

导入依赖org.redissonredisson3.15.3配置类配置redissonpackagecom.atguigu.gmall.common.config;@Data@Configuration
Cure The World·2023-09-24 08:36

dbeaver的连接超时(Connection timed out: connect)

hive2,但是就是连接不了win上的dbeaver问题描述：CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://192.168.2.104:10001/gmall
空气城堡·2023-09-23 08:22

离线数仓同步数据_用户行为表数据同步

]$cd/opt/module/flume/[gpb@hadoop104flume]$cdjob/[gpb@hadoop104job]$rmfile_to_kafka.confcom.atguigu.gmall.flume.interceptor.TimestampInterceptor
program chef·2023-09-05 21:16

业务数据模拟/采集

2.2.2建表语句1）通过SQLyog创建数据库2）设置数据库名称为gmall，编码为utf-8，排序规则为utf8_general_ci3）导入数据库结构脚本（gmall.sql）注意：完成后，要记得右键
program chef·2023-09-05 21:45

用户行为数据模拟/采集

用户行为数据模拟一级目录一级目录3.5模拟数据3.5.1使用说明1）将application.yml、gmall2020-mock-log-2021-10-10.jar、path.json、logback.xml
program chef·2023-09-05 07:06

SpringBoot多模块引用报错

maven-compiler-plugin与spring-boot-maven-plugin的区别4.1maven-compiler-plugin4.2spring-boot-maven-plugin五.报错的原因一.问题背景如下图所示，gmall
Android_la·2023-08-03 16:44

【采集项目-（4)业务数据采集】

Docker安装MySQL】业务数据模拟1）在hadoop102的/opt/module/目录下创建db_log文件夹[atguigu@hadoop102module]$mkdirdb_log/2）把gmall2020
Tonystark_sunshine·2023-07-18 11:27

dubbo-分布式服务框架学习笔记

核心概念2.1简介2.2基本概念3.dubbo环境搭建3.1安装zookeeper3.2安装dubbo-admin管理控制台4.dubbo-helloworld4.1提出需求4.2创建模块4.2.1.gmall-interface4.2.2
葡萄枸杞桂圆干·2023-07-17 00:45

Flink-intervalJoin源码和并行度问题

1.源码底层用的是connect把两个流的数据先保存到状态中先判断有没有迟到，迟到就放到侧输出流再根据范围找数据然后根据上界删除数据packagecom.atguigu.gmall.realtime.test
青云游子·2023-07-15 13:26

superset链接本地数据库

打开图中选择database先解释SQLlite的格式如下SQLALCHEMY_DATABASE_URI='mysql://username:[email protected]:3306/gmall_report
jio本小子·2023-06-18 17:20

Flink_SQL Interval Join

packagecom.ygy.gmall.realtime.test3;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
a 茶叶蛋吃蛋白不吃蛋黄·2023-06-18 16:14

利用Aop+分布式锁

定义一个注解packagecom.Zh.gmall.common.cache;importjava.lang.annotation.ElementType;importjava.lang.annotation.Retention
CV工程湿·2023-04-20 04:45

解析SpringBoot启动类——起步依赖、自动配置

@SpringBootApplication@EnableDiscoveryClient//将微服务注册到注册中心@ComponentScan("com.xyxy.gmall")//自定义包扫描，将自定义的
其实不会敲代码·2023-04-12 16:09

谷粒商城P64品牌服务上传图片不回显【已解决】

这个地方不对啊，应该是guawaz-gmall，噢哈哈哈，聪明的我突然意识到，应该是前端从后端拿到policy后直接把图片上传，再拿这一长串地址去oss下载图片，将其预览展示在上面~~由于前端上传地址是写死在前端代码里的
爱吃小香葱·2023-04-11 04:14

全网最透彻！Dubbo整合SpringBoot详解，又通宵了

1.准备工作创建一个Maven空项目，作为项目的父工程，此工程的子项目基于SpringBoot2.0.5实现在父工程的pom.xml引入之后要创建的子工程gmall-interfaceuser-service-provi
m0_67402235·2023-04-08 02:04

springcloud中的跨域问题

springcloud-gateway集成的是webflux，使用的是CorsWebFilter在gmall-gateway中编写一个配置类，并且注册CorsWebFilter：@ConfigurationpublicclassCorsConfig
jpcmshjs·2023-04-07 22:49

vue实战项目-电商商城前台-（学习尚硅谷的）尚品汇

文章目录最好使用视频上的账号密码，13700000000密：111111最新服务端接口地址：http://gmall-h5-api.atguigu.cn脚手架使用1、创建项目2、脚手架默认目录：3、脚手架下载的项目稍微配置一下
欢莱·2023-04-04 09:21

【实时数仓】CDC简介、实现DWD层业务数据的处理（主要任务、接收kafka数据、动态分流*****）

实现动态分流功能（3）把分好的流保存到对应表、主题中2接收Kafka数据，过滤空值数据（1）代码（2）测试3根据MySQL的配置表，进行动态分流（1）准备工作a引入pom.xml依赖b在Mysql中创建数据库c在gmall2022
OneTenTwo76·2023-03-31 21:58

Spark-ClickHouse-ES实时项目第五天-redis去重

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git
SmallScorpion·2023-03-29 15:03

第22天-单点登录SSO，JWT实现无状态登录，自定义网关过滤器处理登录验证

查看浏览器控制台：domain：作用域名domain参数gmall.comsearch.gmall.comitem.gmall.comgmal
zenggeweiss·2023-03-23 22:06

第20天-认证服务，短信验证码，MD5加密，用户注册细节

1.认证中心服务搭建1.1.创建认证中心微服务模块创建认证中心gmall-auth微服务模块Nacos注册中心spring:application:name:gmall-authcloud:nacos:
zenggeweiss·2023-03-23 22:36

第三章 数据采集模块之FlinkCDC实时采集Mysql数据

1、Mysql数据准备（1）创建实时同步数据库createdatabaseflink_gmall（2）将Mysql.sql文件导入到Mysql中source/opt/data/Mysql.sql（3）查看数据库表
随缘清风殇·2023-03-19 11:20

3.搭建dubbo消费者工程

user-service-provider”--服务提供者项目结构2.创建maven项目，jar包:"order-service-customer"--服务消费者项目结构3.创建maven项目，jar包:"gmall-interface
可惜我是水瓶座_5afd·2023-03-17 18:12

【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集

实时数据大屏监控（3）数据预警或提示（4）实时推荐系统三统计架构分析1离线架构2实时架构四日志数据采集1模拟日志生成器的使用2本地测试（1）SSM和SpringBoot（2）创建SpringBoota创建空的父工程gmall2022
OneTenTwo76·2023-02-26 07:23

使用flink将数据流写入到Clickhouse的工具类

使用flink将数据流写入到Clickhouse的工具类packagecom.gmall.realtime.util;importcom.gmall.realtime.bean.VisitorStats
大数据面壁者·2023-02-26 07:52

大数据Flink电商实时数仓实战项目流程全解(四）动态分流详解

DWD层业务数据分流回顾一下之前业务数据的处理；首先把脚本生成的业务数据发送到MySql数据库中，在表gmall0709中可以看到数据：这里就是生成的对应数据表，然后通过Maxwell把数据输入到Kafka
大数据YYDS·2022-12-19 09:05

[1174]collect_set()函数用法

collect_set函数（1）创建原数据表hive(gmall)>droptableifexistsstud;createtablestud(namestring,areastring,coursestring
周小董·2022-12-04 20:09

大数据项目之电商数仓、业务数据介绍、业务数据模拟、生成业务数据、业务数据建模

.业务数据介绍6.5业务数据模拟6.5.1连接MySQL6.5.2建表语句6.5.3生成业务数据6.5.3.1在hadoop102的/opt/module/目录下创建db_log文件夹6.5.3.2把gmall2020
Redamancy_06·2022-11-16 07:59

vue实战项目-电商商城前台-（学习尚硅谷的）尚品汇

文章目录最好使用视频上的账号密码，13700000000密：111111最新服务端接口地址：http://gmall-h5-api.atguigu.cn脚手架使用1、创建项目2、脚手架默认目录：3、脚手架下载的项目稍微配置一下
drhrht·2022-09-08 17:09

dubbo学习笔记

尚硅谷DUBBO笔记一、MAVEN工程公共接口gmall-interfaceProviderConsumer二、SPRINBG-BOOT工程依赖位置公共接口ProviderConsumer三、启动zookeeper
WWWOWhite·2022-08-20 13:25

尚硅谷 VUE 尚品汇项目实战问题解决方式整理

（1）接口更新http://gmall-h5-api.atguigu.cn/api：最新接口噢（2）.Vuexvuex是一个官方插
weixin_57132938·2022-08-14 09:12

数仓4.0笔记——数仓环境搭建—— DataGrip准备和数据准备

测试使用创建数据库gmall，并观察是否创建成功。注意当前使用
丝丝呀·2022-08-05 14:36

大数据之Hive:Hive中next_day函数

目录1.next_day函数2.取当前周的周一3.取当前周的周一和周日1.next_day函数取当前天的下一个周一hive(gmall)>selectnext_day('2021-05-28','MO'
浊酒南街·2022-02-28 11:39

Sqoop定时导入HDFS脚本

/bin/bashdb_date=$2echo$db_datedb_name=gmall#定义了一个方法，方法体里边的$1,$2指的是调用这个方法时候传入的参数import_data(){/opt/module
香山上的麻雀·2022-02-15 15:59

1.Flink实时项目前期准备

-SNAPSHOT.jargmall_mock|----mock_common|----mock_db|----mock_log项目地址：https://github.com/zhangbaohpu/gmall-mock
选手一号位·2022-02-05 12:00

sqoop导出时拒绝链接

如下图所示：hive表.png表详细信息可以通过以下命令查看hive(gmall)>showcreatetable表名;当表状态不正常时，查询表数据会出现如下报错信息，但是不影响正常
如虎添·2020-11-11 11:29

Spark-ClickHouse-ES实时项目第四天-消费Kafka数据

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git
SmallScorpion·2020-09-11 22:41

Spark-ClickHouse-ES实时项目第三天-ES工具类编写测试

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.gitElasticSearch
SmallScorpion·2020-09-11 22:41

Spark-ClickHouse-ES实时项目第二天上-Nginx安装

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git
SmallScorpion·2020-09-11 22:10

Spark-ClickHouse-ES实时项目第一天下-数据发送Kafka并部署在Linux中

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git
SmallScorpion·2020-09-11 22:09

Spark-ClickHouse-ES实时项目第一天中-日志服务器

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git
SmallScorpion·2020-09-11 22:09

flink自定义mysql sink

extendsRichSinkFunction[Array[Any]]{valdriver="com.mysql.jdbc.Driver"valurl="jdbc:mysql://hadoop2:3306/gmall2019
岁月的深沉·2020-09-11 05:55
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他