java+大数据实战 短链项目

一.前言

1.1课程大致包含技术

首先选这套课的目的是 包含了我所学的大部分技术

比如springboot ssm redis kafka flink clickhouse 等

1.2 外界客观原因

就业环境一般 目前来看暂时还没但是有后续潜在的毕业 或者 离职

1.3技术追求

个人的技术追求暂时是在技术总监 技术架构

1.4通用性

项目具备一定的通用性 中大厂基本用得到

二.项目简介 亮点与架构

2.1亮点

2.2技术栈

 2.3各微服务模块概览

2.4流量包业务模型

 

 三.服务器搭架子

3.1.服务器

我这是天翼云买了三台服务器 四核八G 配置最少要两核8G 因为后续要运行的程序会比较多 比较吃内存

3.2docker环境搭建

运用以下命令搭建好docker环境

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum list docker-ce --showduplicates | sort -r

yum -y install docker-ce-20.10.10-3.el7

docker -v

systemctl start docker

systemctl status docker

docker info

启动使⽤Docker
systemctl start docker     #运⾏Docker守护进程
systemctl stop docker      #停⽌Docker守护进程
systemctl restart docker   #启Docker守护进程

设置开机自启动docker
systemctl enable docker

docker ps查看容器
docker stop 容器id

修改镜像仓库
vim /etc/docker/daemon.json
#改为下⾯内容，然后启docker
{
"debug":true,"experimental":true,
"registry-mirrors":
["https://pb5bklzr.mirror.aliyuncs.com","https://hub -
mirror.c.163.com","https://docker.mirrors.ustc.edu.c n"]
}

注意：不使⽤1.13.1版本，该版本在jenkins使⽤docker命令时会说找不到配置⽂件！

3.3安装mysql8

#⽹络安全组记得开放端⼝ 3306

3.3.1启动mysql容器

docker run \
    -p 3306:3306 \
    -e MYSQL_ROOT_PASSWORD=你自己的密码 \
    -v /home/data/mysql/data:/var/lib/mysql:rw \
    -v /etc/localtime:/etc/localtime:ro \
    --name xdclass_mysql \
    --restart=always \
    -d mysql:8.0

3.3.2客户端连接报错解决

踩坑：

这里使用客户端连接mysql报错了：caching_sha2_password can't be loaded

参考这篇文章解决的 报错解决

3.3.3设置最大连接数

# 连接数配置

show variables like '%max_connections%';

set GLOBAL max_connections=5000;

set GLOBAL mysqlx_max_connections=5000;

3.4安装redis6

#⽹络安全组记得开放端⼝ 6379

docker run -itd --name xdclass-redis -p 6379:6379 -v /mydata/redis/data:/data redis:6.2.4 --requirepass 你的密码

3.5安装nacos2

3.5.1建表

需要把配置持久化 所以要先创建必须的表

创建nacos_config库

建表sql

3.5.2运行容器

#⽹络安全组记得开放端⼝ 8848

docker run -d \
-e NACOS_AUTH_ENABLE=true \
-e MODE=standalone \
-e JVM_XMS=128m \
-e JVM_XMX=128m \
-e JVM_XMN=128m \
-p 8848:8848 \
-e SPRING_DATASOURCE_PLATFORM=mysql \
-e MYSQL_SERVICE_HOST=101.227.52.230 \
-e MYSQL_SERVICE_PORT=3306 \
-e MYSQL_SERVICE_USER=root \
-e MYSQL_SERVICE_PASSWORD=892660rG \
-e MYSQL_SERVICE_DB_NAME=nacos_config \
-e MYSQL_SERVICE_DB_PARAM='characterEncoding=utf8&con nectTimeout=10000&socketTimeout=30000&autoReconnec t=true&useSSL=false' \
--restart=always \
--privileged=true \
-v /home/data/nacos/logs:/home/nacos/logs \
--name xdclass_nacos \
nacos/nacos-server:2.0.2

默认账号密码是 nacos nacos

通过以下url访问nacos控制台首页

ip:8848/nacos

3.6 安装RabbitMQ

docker run -d  --name xdclass_rabbit -e \
RABBITMQ_DEFAULT_USER=admin -e \
RABBITMQ_DEFAULT_PASS=你的密码 -p 15672:15672 -p 5672:5672 rabbitmq:3.8.15-management

访问首页 服务器ip:15672 可以看到 页面如下

​

# ⽹络安全组记得开放端⼝

4369 erlang 发现⼝

5672 client 端通信⼝

15672 管理界⾯ ui 端⼝

25672 server 间内部通信⼝

四.代码搭架子

4.1创建maven project

 name: dcloud-short-link

踩坑：

我使用的 idea2023版本 最开始通过下面Maven Archetype 来new project 不下载jar包，

还一直以为maven配置问题，后面换成New Project 就好了 

 4.2创建 maven module

然后在该maven project下创建以下需要的maven module

dcloud-account        clodud-app        dcloud-common
dcloud-data        dcloud-gateway        dcloud-link        dcloud-shop

4.3配置pom.xml

4.3.1父项目的pom.xml

内容如下链接

https://blog.csdn.net/JavaCoder_juejue/article/details/131757162

它要进行依赖管理，就是其它的子模块需要的一些依赖直接版本给他确定好

4.3.2 dcloud-common的pom.xml

内容如下链接

https://blog.csdn.net/JavaCoder_juejue/article/details/131757214

这个是一些通用的依赖

4.4 常用工具类

内容如下链接 

https://blog.csdn.net/JavaCoder_juejue/article/details/131757258

这个是一些常用的类 比如json 时间 处理 自定义异常捕获等工具类