chizhui8035
chizhui8035

开源API网关系统Kong

Kong

简介

  1. Kong是一个可扩展的开源API层(也称为API网关或API中间件)，是一个在Nginx运行的Lua应用程序，由lua-nginx-module实现。
    1. Kong核心基于OpenResty构建，实现了请求/响应的Lua处理化
    2. Kong插件拦截请求/响应，如果接触过Java Servlet，等价于拦截器，实现请求/响应的AOP处理
    3. Kong Restful 管理API提供了API/API消费者/插件的管理
    4. 数据中心用于存储Kong集群节点信息、API、消费者、插件等信息，目前提供了PostgreSQL和Cassandra支持，如果需要高可用建议使用Cassandra
    5. Kong集群中的节点通过gossip协议自动发现其他节点，当通过一个Kong节点的管理API进行一些变更时也会通知其他节点。每个Kong节点的配置信息是会缓存的，如插件，那么当在某一个Kong节点修改了插件配置时，需要通知其他节点配置的变更
  2. 特性
    1. 可扩展: 通过简单地添加更多的机器，可以轻松地平行扩展，这意味着您的平台可以在一个较低负载的情况下处理任何请求。
    2. 模块化: 可以通过添加新的插件进行扩展，这些插件可以通过RESTful Admin API轻松配置。
    3. 在任何基础架构上运行: Kong可以在任何地方都能运行。您可以在云或内部部署环境中部署Kong，包括单个或多个数据中心设置，以及public，private 或invite-only APIs。
  3. 主要组件
    1. Kong Server：基于nginx的服务器，用来接收 API 请求
    2. APache Cassandra：用来存储操作数据
  4. 请求流程：当Kong运行时，每个对API的请求将先被Kong命中，然后这个请求将会被代理到最终的API。在requests和responses之间，Kong将会执行已经事先安装和配置好的任何插件，授权您的API。Kong是每个API请求的入口点（point）。
  5. 监听
    • 8000：此端口是KONG用来监听来自客户端传入的HTTP请求，并将此请求转发到上有服务器
    • 8443：有的地方使用8443代替8000， 此端口是KONG用来监听来自客户端传入的HTTP请求的。它跟8000端口的功能类似，但是它只是用来监听HTTP请求的，没有转发功能。可以通过修改配置文件来禁止它
    • 8001：Admin API，通过此端口，管理者可以对KONG的监听服务进行配置
    • 8444：有的地方使用8444代替8001，通过此端口，管理者可以对HTTP请求进行监控

安装

  1. 下载，官网

    	$ wget https://bintray.com/kong/kong-community-edition-rpm/download_file?file_path=centos/7/kong-community-edition-1.0.2.el7.noarch.rpm

  2. 安装Kong

    $ yum install epel-release
$ yum install kong-community-edition-1.0.2.el7.noarch.rpm --nogpgcheck

  3. 安装Postgresql，下载

    	$ yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
	$ yum install postgresql11
	$ yum install postgresql11-server
	$ yum install postgresql11-libs

  4. 初始化及配置Postgresql

    $ /usr/pgsql-11/bin/postgresql-11-setup initdb
$ systemctl enable postgresql-11
$ systemctl start postgresql-11

$ netstat -tlun | grep 5432  # 查看状态，postgres是占用5432端口

# 修改监听端口，将listen_addresses 修改为 ‘*‘
$ vim /var/lib/pgsql/11/data/postgresql.conf
# 修改IP访问权限，（host all all 0.0.0.0/0 md5）
# 此处可能出现用户无权限操作的问题，本机测试时所有权限都改为 'trust'
$ vim /var/lib/pgsql/11/data/pg_hba.conf

$ systemctl restart postgresql-11

  5. 准备数据库

    # 切换Postgresql用户
$ sudo -s -u postgres
# 进入数据库界面
$ psql
# 创建一个名为 kong 的用户，并且创建一个名为 kong 的数据库
postgres=# CREATE USER kong WITH PASSWORD 'kong';
postgres=# CREATE DATABASE kong OWNER kong;
postgres=# GRANT ALL PRIVILEGES ON DATABASE kong to kong;

  6. Kong配置数据库连接

    # 创建kong.conf
$ cp /etc/kong/kong.conf.default /etc/kong/kong.conf
# 编辑/etc/kong/kong.conf，配置以下内容（参考第五步创建的用户）
## database=postgres
## pg_host=127.0.0.1
## pg_port=5432
## pg_user=kong
## pg_password=123456
## pg_database=kong 
## pg_ssl = off  #设置kong和postgres的连接方式
## pg_ssl_verify = off

$ vi /etc/kong/kong.conf

  7. 环境变量

    $ vim /etc/profile  
# 加入环境变量 export PATH=$PATH:/usr/pgsql-11/bin  
$ source /etc/profile
$ systemctl restart postgresql-11

  8. Kong应用配置

    	$ kong migrations bootstrap -c /etc/kong/kong.conf

  9. 启动 KONG。--vv 可以打印更多的启动日志

    	$ kong start -c /etc/kong/kong.conf --vv

  10. 检查KONG运行状态

    $ curl -i http://localhost:8001/
或者
$ kong health

  11. 停止 Kong

    $ kong stop

  12. 安装 Kong Dashboard，需要先安装 npm

    $ npm install -g kong-dashboard
$ kong-dashboard start --kong-url http://localhost:8001

# 访问 http://localhost:8080，使用Kong-Dashboard对Kong进行管理

    # 常用功能
# 用自定义端口启动 Kong Dashboard 
$ kong-dashboard start --kong-url http://localhost:8001 --port [port]
# 使用权限认证启动 Kong Dashboard
$ kong-dashboard start --kong-url http://kong:8001 --basic-auth user1=password1 user2=password2
# Kong Dashboard 帮助文档
$ kong-dashboard start --help

使用指南

配置

默认安装配置文件 /etc/kong/kong.conf.default，创建自定义配置，通过在CLI中使用 -c / -conf 使用自定义配置文件 $ cp /etc/kong/kong.conf.default /etc/kong/kong.conf $ kong start --conf /path/to/kong.conf

  1. 验证配置

    # configuration at /etc/kong/kong.conf is valid
$ kong check

  2. 定制Nginx配置和嵌入Kong

    Kong可以用 --nginx-conf 的参数启动，重新加载和重新启动，该参数必须指定Nginx配置模板。当Kong开始运行时，在开始Nginx之前，它将这两个文件（nginx-kong.conf/nginx.conf）复制到前缀目录中。

    1. 自定义Nginx配置
    2. 在OpenResty里嵌入Kong
    3. Kong为网站和你的Api提供服务

  3. 属性详解

    1. 常规属性
      1. prefix
      2. log_level
      3. proxy_access_log
    2. Nginx属性
    3. 数据存储属性
    4. 数据缓存属性
    5. DNS解析属性
    6. 开发与其他属性

代理

身份验证

上游API服务都需要客户端有身份认证，且不允许错误的认证或无认证的请求通过。认证插件可以实现这一需求

  1. 流程

    1. 向一个API或全局添加AUTH插件（此插件不作用于consumers）；
    2. 创建一个consumer对象；
    3. 为consumer提供指定的验证插件方案的身份验证凭据；
    4. 现在，只要有请求进入Kong，都将检查其提供的身份验证凭据（取决于auth类型），如果该请求无法被验证或者验证失败，则请求会被锁定，不执行向上有服务转发的操作

  2. 简单验证

    # 创建service
$ curl -i -X POST \
      --url http://localhost:8001/services/ \
      --data 'name=auth-service-test' \
      --data 'url=http://mockbin.org/request'

    # 创建route
$ curl -i -X POST \
      --url http://localhost:8001/services/auth-service-test/routes \
      --data 'paths[]=/auth-request'

    此时访问：http://localhost:8000/auth-request，就可以转发到http://mockbin.org/request

    # 给Service配置一个key-auth(关键词认证)插件，获得一个plugin_id
$ curl -i -X POST \
      --url http://localhost:8001/services/auth-service-test/plugins/ \
      --data 'name=key-auth'

    # 添加一个匿名消费者，获得consumer_id
$ curl -i -X POST \
      --url http://localhost:8001/consumers/ \
      --data "username=auth-user-test"

    # 关联匿名消费者与key-auth插件
$ curl -i -X PATCH \
      --url http://localhost:8001/plugins/{plugin_id} \
      --data "config.anonymous={consumer_id}"

    # 添加关键字认证
$ curl -X POST http://localhost:8001/consumers/auth-user-test/key-auth \
    -d 'key=test'

    正常访问：http://localhost:8000/auth-request?apiKey=test

负载均衡

健康检查和断路器

集群

网络和防火墙

共有Lua API

管理API安全保护

插件

身份验证

Basic验证

Key验证

OAuth2.0验证

权限安全

ACL鉴权

动态SSL

IP限制（黑白名单）

爬虫控制

流量控制

请求大小限制

请求速率限制

请求终止

Serverless

Serverless功能

分析与监控

Zipkin

数据转换

日志

Kong网关Admin API使用指南

SERVICE服务

  1. 说明

    服务（SERVICE）实体，是用户服务的抽象。
    服务的主要属性是它的URL（在这里，Kong应该代理流量），它可以被设置为单个字符串，或者通过单独指定其协议、主机、端口和路径。
    服务与路由相关联（服务可以有许多与之相关联的路由）。路由是在Kong的入口点，并定义了匹配客户端请求的规则。一旦匹配了路由，Kong就会将请求委托给它的相关服务。

  2. 示例

    	# 添加 service，成功返回 HTTP/1.1 201 Created
	curl -i -X POST \
	--url http://localhost:8001/services/ \
	--data 'name=example-service-testsample' \
	--data 'url=http://mockbin.org'
	# 添加当前服务的路由 route，成功返回 HTTP/1.1 201 Created
	# 一个IP地址可以对应多个域名，服务器根据Host这一行中的值来确定本次请求的是哪个具体的网站
	curl -i -X POST \
	--url http://localhost:8001/services/example-service-testsample/routes \
	--data 'hosts[]=example.com'
	# Kong 做一个请求转发，成功返回 HTTP/1.1 200 OK
	curl -i -X GET \
	--url http://localhost:8000/ \
	--header 'Host:example.com'

  3. API

    1. 查找service列表

      # 请求地址 /services/
# 请求方法 GET
# 属性
    > offset（可选）:用于分页的游标。偏移量是定义列表中的位置的对象标识符
    > size（可选，默认是100 max是1000):每个页面返回的对象数量的限制

      $ curl -i -X GET \
--url http://localhost:8001/services/ \
--data 'size=2' \
--data 'offset=1'

    2. 查找单个service

      1. 单service查找

        	# 请求地址 /services/{name or id}
	# 请求方法 GET
	# 属性
	> name or id（必填）：要更新的服务的id或name属性

        	curl -i -X GET \
	--url http://localhost:8001/services/service-thistest

      2. 根据route_id更新service

        # 请求地址 /routes/{route id}/service
# 请求方法 GET
# 属性
    > route id（必填）：要更新服务的路由的id属性

        同上

    3. 添加service

      # 请求地址 /service/
# 请求方法 POST
# 属性
    # 不可同时声明两个相同name的service
    > name(可选)：服务名称.
    > protocol：该协议用于与upstream通信。它可以是http（默认）或https。
    > host：upstream服务器的主机。
    > port：upstream服务器端口，默认为80
    > path(可选)：在向upstream服务器请求中使用的路径。默认为空。
    > retries(可选)：在代理失败的情况下执行的重试次数。默认值是5。
    > connect_ timeout(可选)：建立到upstream服务器的连接的超时时间。默认为60000。
    > write timeout(可选)：将请求发送到upstream服务器的两个连续写操作之间的超时时间。默认为60000。
    > read_timeout(可选)：将请求发送到upstream服务器的两个连续读取操作之间的超时时间。默认为60000。
    > url（简写属性）：将协议、主机、端口和路径立即设置成简短的属性。这个属性是只写的（管理API从来不“返回”url）。


      curl -i -X POST \
  --url http://localhost:8001/services/ \
  --data 'name=service-thistest' \
  --data 'url=http://mockbin.org/request'

    4. 删除service

      # 请求地址 /services/{name or id}
# 请求方法 DELETE
# 属性
    # 当service下有route时，无法删除该service
    > name or id（PATH参数，必填）：要删除的服务的id或name属性

      $ curl -i -X DELETE \
--url http://localhost:8001/services/service-thistest

    5. 更新service

      1. 单service更新

        # 请求地址 /services/{name or id}
# 请求方法 PATCH
# 属性
    > name or id（必填）：要更新的服务的id或name属性

        curl -i -X PATCH \
  --url http://localhost:8001/services/service-thistest

      2. 根据route_id更新service

        # 请求地址 /routes/{route id}/service
# 请求方法 PATCH
# 属性
    > route id（必填）：要更新服务的路由的id属性

        同上

ROUTE路由

  1. 说明

    Route实体定义匹配客户端请求的规则。
    每个路由都与一个服务相关联，而服务可能有多个与之相关联的路由。
    每一个匹配给定路线的请求都将被提交给它的相关服务。

  2. API

    1. 添加route

      # 请求地址：/routes/
# 请求方法：POST
# 属性：
    > methods(半可选):与此路由相匹配的HTTP方法列表。例如: ["GET", "POST"].至少有一个主机、路径或方法必须被设置。用表单编码参数是methods[]=GET&methods[]=OPTIONS。使用JSON，使用数组
    > hosts(半可选):与此路径匹配的域名列表。例如:example.com. 至少有一个主机、路径或方法必须被设置。用表单编码参数是 hosts[]=foo.com&hosts[]=bar.com。使用JSON，使用数组
    > paths(半可选):与此路径相匹配的路径列表。例如: /my-path.至少有一个主机、路径或方法必须被设置。用表单编码参数是 paths[]=/foo&paths[]=/bar. 使用JSON，使用数组
    > service:这条路线的服务是相关的。这是路由代理通信的地方。用表单编码参数是service.id=。如果是JSON，则使用"service":{"id":""}

      $ curl -i -X POST \
  --url http://localhost:8001/services/{service name}/routes \
  --data 'paths[]=/route-testadd&paths[]=/route-testadd2'

    2. 检索route

      # 请求地址：/routes/{id}
# 请求方法：GET
# 属性：
    > id（必填）：检索路由的id属性

      $ curl -i -X GET \
    --url http://localhost:8001/routes/id

    3. route列表

      # 请求地址：/routes
# 请求方法：GET
# 属性：
    > offset（可选）:用于分页的游标。偏移量是定义列表中的位置的对象标识符
    > size（可选，默认是100 max是1000):每个页面返回的对象数量的限制

      $ curl -i -X GET \
    --url http://localhost:8001/routes

    4. 列出service相关route

      # 请求地址：/services/{service name or id}/routes
# 请求方法 GET
# 属性
    > service name or id（PATH参数，必填）：要检索路由的服务的id或name属性。当使用这个API时，只有属于指定服务的路由才会被列出

      $ curl -i -X GET \
    --url http://localhost:8001/services/{service name or id}/routes

    5. 更新route

      # 请求地址 /routes/{id}
# 请求方法 PATCH
# 属性
    > id（PATH参数，必填）：更新路由的id属性

      $ curl -i -X PATCH \
    --url http://localhost:8001/routes/{id}

    6. 删除route

      # 请求地址 /routes/{id}
# 请求方法 DELETE
# 属性
    > id（PATH参数，必填）：删除路由的id属性

      $ curl -i -X DELETE \
    --url http://localhost:8001/routes/{id}

API对象

CONSUMER消费者

表示服务的消费者或使用者。您既可以依赖于Kong作为主数据存储，也可以使用数据库映射消费者列表，以保持Kong和现有主数据存储之间的一致性

  1. API

    1. 创建consumer

      # 请求地址 /consumers/
# 请求方法 POST
# 属性
    > username（半可选）：用户的唯一用户名。username或custom_id二选一
    > custom_id（半可选）：消费者存储唯一ID - 用于现有数据库中的用户进行映射。username或custom_id二选一

      $ curl -i -X POST \
    --url http://localhost:8001/consumers/ \
    --data 'username=mt-consumer1'

    2. 检索consumer

      # 请求地址 /consumers/{username or custom_id}
# 请求方法 GET
# 属性
    > username or custom_id（必选）：要检索的消费者的唯一标识符或用户名

      $ curl -i -X GET \
    --url http://localhost:8001/consumers/ \
    --data 'username=mt-consumer1'

    3. consumer列表

      # 请求地址 /consumers/
# 请求方法 GET

      $ curl -i -X GET \
    --url http://localhost:8001/consumers/

    4. 更新consumer

      # 请求地址 /consumers/{username or custom_id}
# 请求方法 PATCH
# 属性
    > username or custom_id（必选）：要检索的消费者的唯一标识符或用户名

      $ curl -i -X PATCH \
    --url http://localhost:8001/consumers/ \
    --data 'username=mt-consumer1'

    5. 更新或创建consumer

      # 请求地址 /consumers/
# 请求方法 PUT

      $ curl -i -X PUT \
    --url http://localhost:8001/consumers/

    6. 删除consumer

      # 请求地址 /consumers/{username or custom_id}
# 请求方法 DELETE
# 属性
    > username or custom_id（必选）：要检索的消费者的唯一标识符或用户名

      $ curl -i -X DELETE \
    --url http://localhost:8001/consumers/ \
    --data 'username=mt-consumer1'

Kong最佳实践

Kong整合Consul

Kong整合SpringSecurity实现OAuth2.0验证

实现Kong的Java管理API

Docker 安装

  1. 完整安装

    # Create a Docker network
$ docker network create kong-net
# 开启数据库
$ docker run -d --name kong-database \
    --network=kong-net \
    -p 5432:5432 \
    -e "POSTGRES_USER=kong" \
    -e "POSTGRES_DB=kong" \
    postgres:latest
# 准备数据库
$ docker run --rm \
     --network=kong-net \
     -e "KONG_DATABASE=postgres" \
     -e "KONG_PG_HOST=kong-database" \
     -e "KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
     kong:0.14-centos kong migrations up
# 启动kong
$ docker run -d --name kong \
     --network=kong-net \
     -e "KONG_DATABASE=postgres" \
     -e "KONG_PG_HOST=kong-database" \
     -e "KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
     -e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
     -e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
     -e "KONG_PROXY_ERROR_LOG=/dev/stderr" \
     -e "KONG_ADMIN_ERROR_LOG=/dev/stderr" \
     -e "KONG_ADMIN_LISTEN=0.0.0.0:8001, 0.0.0.0:8444 ssl" \
     -p 8000:8000 \
     -p 8443:8443 \
     -p 8001:8001 \
     -p 8444:8444 \
     kong:0.14-centos
# 启动 kong-dashboard
$ docker run --rm -p 8080:8080 --network kong-net -d --name kong-dashboard pgbi/kong-dashboard start --kong-url http://kong:8001

  2. 安装 postgresql

    # 查找
$ docker search postgresql
$ docker pull postgres
# 运行
$ docker run --name postgres1 -e POSTGRES_PASSWORD=kong -p 54321:5432 -d postgres:latest
# 登录docker
$ docker exec -it {image_ps_id} /bin/bash
# 登录postgresql
$ su postgres
$ psql
# 创建用户
postgres=#: CREATE USER kong WITH PASSWORD 'kong';
postgres=#: CREATE DATABASE kong OWNER kong;
postgres=#: GRANT ALL PRIVILEGES ON DATABASE kong to kong;

转载于:https://my.oschina.net/beborn/blog/3062030

你可能感兴趣的:(数据库,运维,lua)

  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 入门MySQL——查询语法练习 K_un
    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
    文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 3.增删改查--连接查询 问女何所忆
    关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
  • docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
    小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
  • Redis:缓存击穿 我的程序快快跑啊 缓存redisjava
    缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your †徐先森® Oracle数据库Web相关错误集
    createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
  • Redis 有哪些危险命令？如何防范？ 花小疯 redis缓存数据库危险命令大数据
    Redis有哪些危险命令？Redis的危险命令主要有以下几个：1.keys客户端可查询出所有存在的键。2.flushdb删除Redis中当前所在数据库中的所有记录，并且此命令从不会执行失败。3.flushall删除Redis中所有数据库中的所有记录，不止是当前所在数据库，并且此命令从不会执行失败。4.config客户端可修改Redis配置。怎么禁用和重命名危险命令？看下redis.conf默认配置
  • 2020年最新程序员职业发展路线指南，超详细！ 编程流川枫 11编程语言程序员互联网IT职业
    【文章来源微信公众号：每天学编程】01、程序员的特性技术出身的职场人特性很明显，与做市场、业务出身的职场人区别尤其明显。IT行业中常见的一些职场角色：老板、项目经理、产品经理、需求分析师、设计师、开发工程师、运维工程师等。开发工程师具有如下特征：1、逻辑思维清晰、严谨和细腻；但是有时不容易转弯，有些程序员容易较劲、钻牛角尖。2、性格偏内向、不善于沟通、表达和交际；但是在网络聊天工具上，有些显为幽默
  • 【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八） 向往风的男子 k8s学习kubernetes容器
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
  • spring security中几大组件的作用和执行顺序 阿信在这里 javaspring
    springsecurity中几大组件的作用和执行顺序在SpringSecurity中，AuthenticationProvider、GroupPermissionEvaluator、PermissionEvaluator、AbstractAuthenticationProcessingFilter、DefaultMethodSecurityExpressionHandler和ManageSecu
  • 【Golang】 Golang 的 GORM 库中的 Rows 函数 不爱洗脚的小滕 golang开发语言后端
    文章目录前言一、Rows函数解释二、代码实现三、总结前言在使用Go语言进行数据库操作时，GORM（GoObject-RelationalMapping）库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍GORM库中的Rows函数，这是一个用于执行原生SQL查询并返回结果的函数。一、Rows函数解释在GORM库中，Rows函数用于执行原生SQL查询并返回*sql.Rows结
  • 接口测试如何设计测试用例 李蕴Ronnie
    接口测试用例设计方式针对每个必填参数，都设计一条参数为空的测试用例必填参数不存在传的参数值在数据库中不存在添加数据接口，传入已有的数据重复添加编辑数据接口，各个字段分别编辑，合并编辑参数数据类型限制，针对每个参数设计一条参数值类型不符合的逆向用例参数自身取值范围，针对所有参数，设计一条每个参数值在取值范围内最大值的正向测试用例是否满足前提条件（token、headers），几个前提条件几条用例针对
  • ViewController添加button按钮解析。（翻译） 张亚雄 c
    <div class="it610-blog-content-contain" style="font-size: 14px"></div>//  ViewController.m //  Reservation software // //  Created by 张亚雄 on 15/6/2.
  • mongoDB 简单的增删改查 开窍的石头 mongodb
       在上一篇文章中我们已经讲了mongodb怎么安装和数据库/表的创建。在这里我们讲mongoDB的数据库操作       在mongo中对于不存在的表当你用db.表名 他会自动统计 下边用到的user是表明，db代表的是数据库       添加(insert):
  • log4j配置 0624chenhong log4j
    1) 新建java项目 2) 导入jar包，项目右击，properties—java build path—libraries—Add External jar，加入log4j.jar包。 3) 新建一个类com.hand.Log4jTest package com.hand; import org.apache.log4j.Logger; public class
  • 多点触摸(图片缩放为例) 不懂事的小屁孩 多点触摸
    多点触摸的事件跟单点是大同小异的，上个图片缩放的代码，供大家参考一下 import android.app.Activity; import android.os.Bundle; import android.view.MotionEvent; import android.view.View; import android.view.View.OnTouchListener
  • 有关浏览器窗口宽度高度几个值的解析 换个号韩国红果果 JavaScripthtml
    1 元素的 offsetWidth 包括border padding  content  整体的宽度。 clientWidth  只包括内容区 padding 不包括border。 clientLeft =  offsetWidth -clientWidth  即这个元素border的值 offsetLeft  若无已定位的包裹元素
  • 数据库产品巡礼：IBM DB2概览 蓝儿唯美 db2
    IBM DB2是一个支持了NoSQL功能的关系数据库管理系统，其包含了对XML，图像存储和Java脚本对象表示（JSON）的支持。DB2可被各种类型的企 业使用，它提供了一个数据平台，同时支持事务和分析操作，通过提供持续的数据流来保持事务工作流和分析操作的高效性。 DB2支持的操作系统 DB2可应用于以下三个主要的平台:   工作站，DB2可在Linus、Unix、Windo
  • java笔记5 a-john java
    控制执行流程： 1，true和false    利用条件表达式的真或假来决定执行路径。例：（a==b）。它利用条件操作符“==”来判断a值是否等于b值，返回true或false。java不允许我们将一个数字作为布尔值使用，虽然这在C和C++里是允许的。如果想在布尔测试中使用一个非布尔值，那么首先必须用一个条件表达式将其转化成布尔值，例如if(a!=0)。 2，if-els
  • Web开发常用手册汇总 aijuans PHP
    一门技术，如果没有好的参考手册指导,很难普及大众。这其实就是为什么很多技术，非常好，却得不到普遍运用的原因。 正如我们学习一门技术，过程大概是这个样子： ①我们日常工作中，遇到了问题，困难。寻找解决方案，即寻找新的技术； ②为什么要学习这门技术？这门技术是不是很好的解决了我们遇到的难题，困惑。这个问题，非常重要，我们不是为了学习技术而学习技术，而是为了更好的处理我们遇到的问题，才需要学习新的
  • 今天帮助人解决的一个sql问题 asialee sql
                今天有个人问了一个问题，如下： type     AD      value          A  
  • 意图对象传递数据 百合不是茶 android意图IntentBundle对象数据的传递
    学习意图将数据传递给目标活动; 初学者需要好好研究的       1,将下面的代码添加到main.xml中    <?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android="http:/
  • oracle查询锁表解锁语句 bijian1013 oracleobjectsessionkill
    一.查询锁定的表 如下语句，都可以查询锁定的表 语句一： select a.sid, a.serial#, p.spid, c.object_name, b.session_id, b.oracle_username, b.os_user_name from v$process p, v$s
  • mac osx 10.10 下安装 mysql 5.6 二进制文件［tar.gz］ 征客丶 mysqlosx
    场景：在 mac osx 10.10 下安装 mysql 5.6 的二进制文件。 环境：mac osx 10.10、mysql 5.6 的二进制文件 步骤：[所有目录请从根“/”目录开始取，以免层级弄错导致找不到目录] 1、下载 mysql 5.6 的二进制文件，下载目录下面称之为 mysql5.6SourceDir； 下载地址：http://dev.mysql.com/downl
  • 分布式系统与框架 bit1129 分布式
    RPC框架 Dubbo 什么是Dubbo   Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。其核心部分包含:    远程通讯: 提供对多种基于长连接的NIO框架抽象封装，包括多种线程模型，序列化，以及“请求-响应”模式的信息交换方式。    集群容错: 提供基于接
  • 那些令人蛋痛的专业术语 白糖_ springWebSSOIOC
    spring 【控制反转(IOC)/依赖注入(DI)】： 由容器控制程序之间的关系，而非传统实现中，由程序代码直接操控。这也就是所谓“控制反转”的概念所在：控制权由应用代码中转到了外部容器，控制权的转移，是所谓反转。 简单的说：对象的创建又容器(比如spring容器)来执行，程序里不直接new对象。 Web 【单点登录(SSO)】：SSO的定义是在多个应用系统中，用户
  • 《给大忙人看的java8》摘抄 braveCS java8
    函数式接口：只包含一个抽象方法的接口 lambda表达式：是一段可以传递的代码       你最好将一个lambda表达式想象成一个函数，而不是一个对象，并记住它可以被转换为一个函数式接口。 事实上，函数式接口的转换是你在Java中使用lambda表达式能做的唯一一件事。   方法引用：又是要传递给其他代码的操作已经有实现的方法了，这时可以使
  • 编程之美-计算字符串的相似度 bylijinnan java算法编程之美
    public class StringDistance { /** * 编程之美 计算字符串的相似度 * 我们定义一套操作方法来把两个不相同的字符串变得相同，具体的操作方法为： * 1.修改一个字符（如把“a”替换为“b”）; * 2.增加一个字符（如把“abdd”变为“aebdd”）; * 3.删除一个字符（如把“travelling”变为“trav
  • 上传、下载压缩图片 chengxuyuancsdn 下载
    /** * * @param uploadImage --本地路径(tomacat路径) * @param serverDir --服务器路径 * @param imageType --文件或图片类型 * 此方法可以上传文件或图片.txt,.jpg,.gif等 */ public void upload(String uploadImage,Str
  • bellman-ford(贝尔曼-福特)算法 comsci 算法F#
    Bellman-Ford算法(根据发明者 Richard Bellman 和 Lester Ford 命名)是求解单源最短路径问题的一种算法。单源点的最短路径问题是指：给定一个加权有向图G和源点s，对于图G中的任意一点v，求从s到v的最短路径。有时候这种算法也被称为 Moore-Bellman-Ford 算法，因为 Edward F. Moore zu 也为这个算法的发展做出了贡献。 与迪科
  • oracle ASM中ASM_POWER_LIMIT参数 daizj ASMoracleASM_POWER_LIMIT磁盘平衡
    ASM_POWER_LIMIT 该初始化参数用于指定ASM例程平衡磁盘所用的最大权值，其数值范围为0~11，默认值为1。该初始化参数是动态参数，可以使用ALTER  SESSION或ALTER  SYSTEM命令进行修改。示例如下： SQL>ALTER  SESSION  SET   Asm_power_limit=2;
  • 高级排序:快速排序 dieslrae 快速排序
    public void quickSort(int[] array){ this.quickSort(array, 0, array.length - 1); } public void quickSort(int[] array,int left,int right){ if(right - left <= 0
  • C语言学习六指针_何谓变量的地址 一个指针变量到底占几个字节 dcj3sjt126com C语言
    # include <stdio.h> int main(void) { /* 1、一个变量的地址只用第一个字节表示 2、虽然他只使用了第一个字节表示，但是他本身指针变量类型就可以确定出他指向的指针变量占几个字节了 3、他都只存了第一个字节地址，为什么只需要存一个字节的地址，却占了4个字节，虽然只有一个字节， 但是这些字节比较多，所以编号就比较大，
  • phpize使用方法 dcj3sjt126com PHP
    phpize是用来扩展php扩展模块的，通过phpize可以建立php的外挂模块,下面介绍一个它的使用方法,需要的朋友可以参考下 安装（fastcgi模式）的时候，常常有这样一句命令： 代码如下: /usr/local/webserver/php/bin/phpize   一、phpize是干嘛的？ phpize是什么？ phpize是用来扩展php扩展模块的，通过phpi
  • Java虚拟机学习 - 对象引用强度 shuizhaosi888 JAVA虚拟机
    本文原文链接：http://blog.csdn.net/java2000_wl/article/details/8090276 转载请注明出处！ 无论是通过计数算法判断对象的引用数量，还是通过根搜索算法判断对象引用链是否可达，判定对象是否存活都与“引用”相关。 引用主要分为 ：强引用(Strong Reference)、软引用(Soft Reference)、弱引用(Wea
  • .NET Framework 3.5 Service Pack 1（完整软件包）下载地址 happyqing .net下载framework
      Microsoft .NET Framework 3.5 Service Pack 1（完整软件包）  http://www.microsoft.com/zh-cn/download/details.aspx?id=25150 Microsoft .NET Framework 3.5 Service Pack 1 是一个累积更新，包含很多基于 .NET Framewo
  • JAVA定时器的使用 jingjing0907 javatimer线程定时器
    1、在应用开发中，经常需要一些周期性的操作，比如每5分钟执行某一操作等。 对于这样的操作最方便、高效的实现方式就是使用java.util.Timer工具类。 privatejava.util.Timer timer; timer = newTimer(true); timer.schedule( newjava.util.TimerTask() { public void run()
  • Webbench 流浪鱼 webbench
    首页下载地址 http://home.tiscali.cz/~cz210552/webbench.html Webbench是知名的网站压力测试工具，它是由Lionbridge公司（http://www.lionbridge.com）开发。 Webbench能测试处在相同硬件上，不同服务的性能以及不同硬件上同一个服务的运行状况。webbench的标准测试可以向我们展示服务器的两项内容：每秒钟相
  • 第11章 动画效果（中） onestopweb 动画
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • windows下制作bat启动脚本. sanyecao2314 javacmd脚本bat
    java -classpath C:\dwjj\commons-dbcp.jar;C:\dwjj\commons-pool.jar;C:\dwjj\log4j-1.2.16.jar;C:\dwjj\poi-3.9-20121203.jar;C:\dwjj\sqljdbc4.jar;C:\dwjj\voucherimp.jar com.citsamex.core.startup.MainStart
  • Java进行RSA加解密的例子 tomcat_oracle java
    加密是保证数据安全的手段之一。加密是将纯文本数据转换为难以理解的密文；解密是将密文转换回纯文本。 　　数据的加解密属于密码学的范畴。通常，加密和解密都需要使用一些秘密信息，这些秘密信息叫做密钥，将纯文本转为密文或者转回的时候都要用到这些密钥。 　　对称加密指的是发送者和接收者共用同一个密钥的加解密方法。 　　非对称加密(又称公钥加密)指的是需要一个私有密钥一个公开密钥，两个不同的密钥的
  • Android_ViewStub 阿尔萨斯 ViewStub
    public final class ViewStub extends View java.lang.Object android.view.View android.view.ViewStub 类摘要： ViewStub 是一个隐藏的，不占用内存空间的视图对象，它可以在运行时延迟加载布局资源文件。当 ViewSt
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他