nvd11

fluentd 简介，日志收集并导入BigQuery

日志收集的工具有很多种

例如 Splunk ，很多大公司都在使用，但是个人使用的话并不合适，主要是需要license的… 钱是1个大问题

另1个常见开源的解决方案是ELK, 但是搭建和学习成本高，如果只是为了日志收集并不值。

对于k8s 方案，还有1个开源选择，就是fluentd，本文的主题。

Fluentd 的简介

Fluentd 是一个开源的数据收集器，旨在实现日志数据的统一收集、处理和转发。它支持多种数据源和数据格式，并具有灵活性和可扩展性，使得在大规模分布式系统中处理日志数据变得更加容易。

以下是 Fluentd 的一些关键特点和优势：

多源数据收集：Fluentd 支持从各种数据源收集数据，包括日志文件、系统日志、应用程序日志、传感器数据等。
数据格式转换：Fluentd 可以将不同格式的数据转换为统一的格式，使其更容易进行处理和分析。
数据过滤：Fluentd 允许用户定义过滤规则，以便在数据传输过程中对数据进行处理和过滤，只传递感兴趣的数据。
数据输出：Fluentd 支持将处理后的数据输出到各种目的地，如文件、数据库、消息队列、存储服务等。
插件生态系统：Fluentd 拥有丰富的插件生态系统，用户可以根据自己的需求选择合适的插件来扩展 Fluentd 的功能。
轻量级和高性能：Fluentd 的设计追求简单和高效，具有低资源消耗和高性能的特点。

总的来说，Fluentd 是一个功能强大且灵活的数据收集工具，适用于各种场景下的日志数据管理和分析需求。

使用Flunetd 把日志导入到另1个文件

我们首先present 1个简单的例子，虽然实际上这个场景较少。

但是如果1个service 有多个instances, 如果把多个instance 的日志导入到同1个文件实际上也可以方便日志查阅。

安装fluentd

安装fluentd 的方法有很多种
具体请情况参考
https://docs.fluentd.org/installation

fluentd 是由Ruby 语言编写的，所以很可能还要配置一些Ruby的library.

但是现在都是容器的年代了，我们有更好的选择，选择容器镜像启动，并不需要安装

编写fluentd.conf

我们只需要准备下面文件：

gateman@MoreFine-S500:~/projects/github/fluentd-home$ pwd
/home/gateman/projects/github/fluentd-home
gateman@MoreFine-S500:~/projects/github/fluentd-home$ ls -l
total 28
-rw-rw-r-- 1 gateman gateman   490  9月  3 01:23 Dockerfile
-rw-rw-r-- 1 gateman gateman  1174  9月  3 03:03 fluent.conf
-rw-rw-r-- 1 gateman gateman 11357  9月  2 21:52 LICENSE

LICENSE 文件可以忽略，实际上我们只需要3个东西

1个docker 运行环境
1个dockerfile
1个fluentd.conf

我们首先编写fluent.conf

<source>
    @type tail
    path /app/logs/springboot.log
    pos_file /app/logs/springboot.log.pos
    tag springboot.logs 
    format none
source>

<match **>
    @type file
    path /var/log/fluent/springboot.log
    <buffer>
        @type file
        path "/var/log/fluent/springboot.log"
        timekey 2s  # 指定每两秒刷新一次缓冲区
        timekey_wait 2s  # 等待时间
    buffer>
match>

fluent 的配置格式很奇怪（其实也支持yaml），编写起来相对简单，当然也可以写得很复杂。
无法包括数据从哪里来，格式转换， filtering ，数据输出到哪里

官方文档：
https://docs.fluentd.org/configuration/config-file

在这个入门例子，我们尽量精简，只配置数据从哪里来，输出到哪里

解释

#  fluentd 配置文件
#
#    指明日志来源
# @Type tail 表示日志从tail 命令的输出
#  path      指明日志文件的路径
#  pos_file  指明日志文件的偏移量文件的路径， 就是告诉fluent 日志文件被读到了哪里， 就算fluentd 下次启动就能找到上次读到的位置
#  tag       指明日志的tag
#  format    指明日志的格式
#
#     指明日志的处理规则
#  @type     指明日志处理的类型
#  path      指明处理后的日志文件的路径

值得注意的是这里tag 并没有起作用，因为下面match 的匹配是 ** 所有source

如果有多个数据源(source) ，要分别output 到不同的地方，我们可以用来指定对应的source

而且最好加上，就算不加buffer, fluentd 默认还是会配置buffer for file output

编写DockerFile

Docker file 相对简单，关键无非是把 fluent.conf 复制在容器内

# 使用 Fluentd 官方的镜像作为基础镜像
FROM fluentd:latest
USER root
RUN mkdir -p /app/logs/

# 安装 fluent-plugin-bigquery 插件
RUN gem install fluent-plugin-bigquery

# 复制 Fluentd 配置文件到镜像中
COPY fluent.conf /fluentd/etc/fluent.conf

# 定义 CMD 指令用于启动 Fluentd 并指定配置文件
CMD ["fluentd", "-c", "/fluentd/etc/fluent.conf"]

构建镜像

注意这里使用了代理，虽然国内还是能连接docker hub
但是 Ruby 的library仓库是连不上的

git pull && docker build --build-arg http_proxy=http://10.0.1.223:7890 --build-arg https_proxy=http://10.0.1.223:7890 -t gateman/fluentd:1.0.0 .
Already up to date.
DEPRECATED: The legacy builder is deprecated and will be removed in a future release.
            Install the buildx component to build images with BuildKit:
            https://docs.docker.com/go/buildx/

Sending build context to Docker daemon  199.2kB
Step 1/6 : FROM fluentd:latest
 ---> 414115680fc4
Step 2/6 : USER root
 ---> Using cache
 ---> 48b0e0d075ee
Step 3/6 : RUN mkdir -p /app/logs/
 ---> Using cache
 ---> 99d16129060a
Step 4/6 : RUN gem install fluent-plugin-bigquery
 ---> Using cache
 ---> 0e9ce3cc963b
Step 5/6 : COPY fluent.conf /fluentd/etc/fluent.conf
 ---> 06f66a9dd16f
Step 6/6 : CMD ["fluentd", "-c", "/fluentd/etc/fluent.conf"]
 ---> Running in a1832bf42150
Removing intermediate container a1832bf42150
 ---> ef6f02d5299d
Successfully built ef6f02d5299d
Successfully tagged gateman/fluentd:1.0.0

启动容器

gateman@DESKTOP-UIU9RFJ:~/projects/fluentd-home$ docker run -d -e http_proxy=http://10.0.1.223:7890 -e https_proxy=http://10.0.1.223:7890 -v /app/logs:/app/logs --name fluentd2 gateman/fluentd:1.0.0 
b50d398a139a9e92f8d9ff669e6f758cce9f472c497a73ca63b466b850943e00
gateman@DESKTOP-UIU9RFJ:~/projects/fluentd-home$ docker logs fluentd2
fluentd -c /fluentd/etc/fluent.conf
2024-09-05 18:41:42 +0000 [info]: init supervisor logger path=nil rotate_age=nil rotate_size=nil
2024-09-05 18:41:42 +0000 [info]: parsing config file is succeeded path="/fluentd/etc/fluent.conf"
2024-09-05 18:41:42 +0000 [info]: gem 'fluentd' version '1.17.1'
2024-09-05 18:41:42 +0000 [info]: gem 'fluent-plugin-bigquery' version '3.1.0'
2024-09-05 18:41:42 +0000 [warn]: define <match fluent.**> to capture fluentd logs in top level is deprecated. Use <label @FLUENT_LOG> instead
2024-09-05 18:41:42 +0000 [info]: using configuration file: <ROOT>
  <source>
    @type tail
    path "/app/logs/springboot.log"
    pos_file "/app/logs/springboot.log.pos"
    tag "springboot.logs"
    format none
    <parse>
      @type none
      unmatched_lines 
    </parse>
  </source>
  <match **>
    @type file
    path "/var/log/fluent/springboot.log"
    <buffer>
      @type "file"
      path "/var/log/fluent/springboot.log"
      timekey 2s
      timekey_wait 2s
    </buffer>
  </match>
</ROOT>
2024-09-05 18:41:42 +0000 [info]: starting fluentd-1.17.1 pid=7 ruby="3.2.4"
2024-09-05 18:41:42 +0000 [info]: spawn command to main:  cmdline=["/usr/bin/ruby", "-Eascii-8bit:ascii-8bit", "/usr/bin/fluentd", "-c", "/fluentd/etc/fluent.conf", "--plugin", "/fluentd/plugins", "--under-supervisor"]
2024-09-05 18:41:43 +0000 [info]: #0 init worker0 logger path=nil rotate_age=nil rotate_size=nil
2024-09-05 18:41:43 +0000 [info]: adding match pattern="**" type="file"
2024-09-05 18:41:43 +0000 [info]: adding source type="tail"
2024-09-05 18:41:43 +0000 [warn]: #0 define  to capture fluentd logs in top level is deprecated. Use  instead
2024-09-05 18:41:43 +0000 [info]: #0 starting fluentd worker pid=16 ppid=7 worker=0
2024-09-05 18:41:43 +0000 [info]: #0 following tail of /app/logs/springboot.log
2024-09-05 18:41:43 +0000 [info]: #0 fluentd worker is now running worker=0

注意启动时，我吧主机的/app/logs matched 到容器内的/app/logs 文件夹，则这个fluentd 就可以从主机的/app/logs里读取配置文件

启动1个springboot service 测试

在主机上，我们启动1个springboot service, 并把日志输出到 fluentd 定义的/app/logs/springboot.log

gateman@DESKTOP-UIU9RFJ:~/projects/demo_cloud_order$ cd target
gateman@DESKTOP-UIU9RFJ:~/projects/demo_cloud_order/target$ java -jar demo_cloud_order-1.0.2.jar --spring.profiles.active=dev --logging.file.name=/app/logs/springboot.log

  .   ____          _            __ _ _
 /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::      (v3.1.11-SNAPSHOT)

2024-09-06T02:44:44.802+08:00  INFO 19701 --- [           main] c.h.clouduser.DemoCloudOrderApplication  : Starting DemoCloudOrderApplication v1.0.2 using Java 17.0.12 with PID 19701 (/home/gateman/projects/demo_cloud_order/target/demo_cloud_order-1.0.2.jar started by gateman in /home/gateman/projects/demo_cloud_order/target)
2024-09-06T02:44:44.815+08:00  INFO 19701 --- [           main] c.h.clouduser.DemoCloudOrderApplication  : The following 1 profile is active: "dev"
2024-09-06T02:44:46.017+08:00  INFO 19701 --- [           main] .s.d.r.c.RepositoryConfigurationDelegate : Bootstrapping Spring Data JPA repositories in DEFAULT mode.
2024-09-06T02:44:46.087+08:00  INFO 19701 --- [           main] .s.d.r.c.RepositoryConfigurationDelegate : Finished Spring Data repository scanning in 59 ms. Found 1 JPA repository interface.
2024-09-06T02:44:46.436+08:00  INFO 19701 --- [           main] ptablePropertiesBeanFactoryPostProcessor : Post-processing PropertySource instances
2024-09-06T02:44:46.437+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource configurationProperties [class org.springframework.boot.context.properties.source.ConfigurationPropertySourcesPropertySource
2024-09-06T02:44:46.440+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource commandLineArgs [org.springframework.core.env.SimpleCommandLinePropertySource] to EncryptableEnumerablePropertySourceWrapper
2024-09-06T02:44:46.440+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletConfigInitParams [class org.springframework.core.env.PropertySource$StubPropertySource
2024-09-06T02:44:46.441+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletContextInitParams [class org.springframework.core.env.PropertySource$StubPropertySource
2024-09-06T02:44:46.441+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource systemProperties [org.springframework.core.env.PropertiesPropertySource] to EncryptableMapPropertySourceWrapper
2024-09-06T02:44:46.441+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource systemEnvironment [org.springframework.boot.env.SystemEnvironmentPropertySourceEnvironmentPostProcessor$OriginAwareSystemEnvironmentPropertySource] to EncryptableSystemEnvironmentPropertySourceWrapper
2024-09-06T02:44:46.442+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource random [org.springframework.boot.env.RandomValuePropertySource] to EncryptablePropertySourceWrapper
2024-09-06T02:44:46.442+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource Config resource 'class path resource [application-dev.yml]' via location 'optional:classpath:/' [org.springframework.boot.env.OriginTrackedMapPropertySource] to EncryptableMapPropertySourceWrapper
2024-09-06T02:44:46.443+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource Config resource 'class path resource [application.yml]' via location 'optional:classpath:/' [org.springframework.boot.env.OriginTrackedMapPropertySource] to EncryptableMapPropertySourceWrapper
2024-09-06T02:44:46.652+08:00  INFO 19701 --- [           main] c.u.j.filter.DefaultLazyPropertyFilter   : Property Filter custom Bean not found with name 'encryptablePropertyFilter'. Initializing Default Property Filter
2024-09-06T02:44:46.666+08:00  INFO 19701 --- [           main] c.u.j.r.DefaultLazyPropertyResolver      : Property Resolver custom Bean not found with name 'encryptablePropertyResolver'. Initializing Default Property Resolver
2024-09-06T02:44:46.669+08:00  INFO 19701 --- [           main] c.u.j.d.DefaultLazyPropertyDetector      : Property Detector custom Bean not found with name 'encryptablePropertyDetector'. Initializing Default Property Detector
2024-09-06T02:44:46.918+08:00  INFO 19701 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat initialized with port(s): 8080 (http)
2024-09-06T02:44:46.930+08:00  INFO 19701 --- [           main] o.apache.catalina.core.StandardService   : Starting service [Tomcat]
2024-09-06T02:44:46.931+08:00  INFO 19701 --- [           main] o.apache.catalina.core.StandardEngine    : Starting Servlet engine: [Apache Tomcat/10.1.20]
2024-09-06T02:44:47.025+08:00  INFO 19701 --- [           main] o.a.c.c.C.[Tomcat].[localhost].[/]       : Initializing Spring embedded WebApplicationContext
2024-09-06T02:44:47.026+08:00  INFO 19701 --- [           main] w.s.c.ServletWebServerApplicationContext : Root WebApplicationContext: initialization completed in 2140 ms
2024-09-06T02:44:47.230+08:00  INFO 19701 --- [           main] c.u.j.encryptor.DefaultLazyEncryptor     : String Encryptor custom Bean not found with name 'jasyptStringEncryptor'. Initializing Default String Encryptor
2024-09-06T02:44:47.247+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.key-obtention-iterations, using default value: 1000
2024-09-06T02:44:47.247+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.pool-size, using default value: 1
2024-09-06T02:44:47.248+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.provider-name, using default value: null
2024-09-06T02:44:47.248+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.provider-class-name, using default value: null
2024-09-06T02:44:47.249+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.salt-generator-classname, using default value: org.jasypt.salt.RandomSaltGenerator
2024-09-06T02:44:47.250+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.iv-generator-classname, using default value: org.jasypt.iv.RandomIvGenerator
2024-09-06T02:44:47.251+08:00  INFO 19701 --- [           main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.string-output-type, using default value: base64
2024-09-06T02:44:47.447+08:00  INFO 19701 --- [           main] o.hibernate.jpa.internal.util.LogHelper  : HHH000204: Processing PersistenceUnitInfo [name: default]
2024-09-06T02:44:47.544+08:00  INFO 19701 --- [           main] org.hibernate.Version                    : HHH000412: Hibernate ORM core version 6.2.24.Final
2024-09-06T02:44:47.547+08:00  INFO 19701 --- [           main] org.hibernate.cfg.Environment            : HHH000406: Using bytecode reflection optimizer
2024-09-06T02:44:47.701+08:00  INFO 19701 --- [           main] o.h.e.boot.internal.EnversServiceImpl    : Envers integration enabled? : true
2024-09-06T02:44:47.930+08:00  INFO 19701 --- [           main] o.s.o.j.p.SpringPersistenceUnitInfo      : No LoadTimeWeaver setup: ignoring JPA class transformer
2024-09-06T02:44:47.960+08:00  INFO 19701 --- [           main] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Starting...
2024-09-06T02:44:51.093+08:00  INFO 19701 --- [           main] com.zaxxer.hikari.pool.HikariPool        : HikariPool-1 - Added connection com.mysql.cj.jdbc.ConnectionImpl@15fb7a32
2024-09-06T02:44:51.095+08:00  INFO 19701 --- [           main] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Start completed.
2024-09-06T02:44:51.507+08:00  WARN 19701 --- [           main] org.hibernate.orm.deprecation            : HHH90000025: MySQL8Dialect does not need to be specified explicitly using 'hibernate.dialect' (remove the property setting and it will be selected by default)
2024-09-06T02:44:51.508+08:00  WARN 19701 --- [           main] org.hibernate.orm.deprecation            : HHH90000026: MySQL8Dialect has been deprecated; use org.hibernate.dialect.MySQLDialect instead
2024-09-06T02:44:51.739+08:00  INFO 19701 --- [           main] o.h.e.c.i.m.AuditMetadataGenerator       : Adding properties for entity: com.home.clouduser.entities.Order
2024-09-06T02:44:52.561+08:00  INFO 19701 --- [           main] o.h.e.t.j.p.i.JtaPlatformInitiator       : HHH000489: No JTA platform available (set 'hibernate.transaction.jta.platform' to enable JTA platform integration)
2024-09-06T02:44:55.300+08:00  INFO 19701 --- [           main] j.LocalContainerEntityManagerFactoryBean : Initialized JPA EntityManagerFactory for persistence unit 'default'
2024-09-06T02:44:55.314+08:00  INFO 19701 --- [           main] com.home.clouduser.configs.MainConfigs   : MainConfigs: getHostName ...
2024-09-06T02:44:55.720+08:00  INFO 19701 --- [           main] c.home.clouduser.configs.MyInitializer   : Application started...
2024-09-06T02:44:55.720+08:00  INFO 19701 --- [           main] c.home.clouduser.configs.MyInitializer   : Setting proxy for dev environment...
2024-09-06T02:44:55.720+08:00  INFO 19701 --- [           main] c.home.clouduser.configs.MyInitializer   : https.proxyHost: 10.0.1.223
2024-09-06T02:44:55.721+08:00  INFO 19701 --- [           main] c.home.clouduser.configs.MyInitializer   : https.proxyPort: 7890
2024-09-06T02:44:55.767+08:00  WARN 19701 --- [           main] JpaBaseConfiguration$JpaWebConfiguration : spring.jpa.open-in-view is enabled by default. Therefore, database queries may be performed during view rendering. Explicitly configure spring.jpa.open-in-view to disable this warning
2024-09-06T02:44:56.369+08:00  INFO 19701 --- [           main] o.s.b.a.e.web.EndpointLinksResolver      : Exposing 4 endpoint(s) beneath base path '/actuator'
2024-09-06T02:44:56.464+08:00  INFO 19701 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat started on port(s): 8080 (http) with context path ''
2024-09-06T02:44:56.466+08:00  INFO 19701 --- [           main] u.j.c.RefreshScopeRefreshedEventListener : Refreshing cached encryptable property sources on ServletWebServerInitializedEvent
2024-09-06T02:44:56.467+08:00  INFO 19701 --- [           main] CachingDelegateEncryptablePropertySource : Property Source commandLineArgs refreshed
2024-09-06T02:44:56.467+08:00  INFO 19701 --- [           main] CachingDelegateEncryptablePropertySource : Property Source systemProperties refreshed
2024-09-06T02:44:56.468+08:00  INFO 19701 --- [           main] CachingDelegateEncryptablePropertySource : Property Source systemEnvironment refreshed
2024-09-06T02:44:56.468+08:00  INFO 19701 --- [           main] CachingDelegateEncryptablePropertySource : Property Source random refreshed
2024-09-06T02:44:56.468+08:00  INFO 19701 --- [           main] CachingDelegateEncryptablePropertySource : Property Source Config resource 'class path resource [application-dev.yml]' via location 'optional:classpath:/' refreshed
2024-09-06T02:44:56.468+08:00  INFO 19701 --- [           main] CachingDelegateEncryptablePropertySource : Property Source Config resource 'class path resource [application.yml]' via location 'optional:classpath:/' refreshed
2024-09-06T02:44:56.468+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource configurationProperties [class org.springframework.boot.context.properties.source.ConfigurationPropertySourcesPropertySource
2024-09-06T02:44:56.469+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletConfigInitParams [class org.springframework.core.env.PropertySource$StubPropertySource
2024-09-06T02:44:56.469+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource servletContextInitParams [org.springframework.web.context.support.ServletContextPropertySource] to EncryptableEnumerablePropertySourceWrapper
2024-09-06T02:44:56.469+08:00  INFO 19701 --- [           main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource Management Server [org.springframework.boot.actuate.autoconfigure.web.server.ManagementContextAutoConfiguration$SameManagementContextConfiguration$1] to EncryptablePropertySourceWrapper
2024-09-06T02:44:56.488+08:00  INFO 19701 --- [           main] c.h.clouduser.DemoCloudOrderApplication  : Started DemoCloudOrderApplication in 12.329 seconds (process running for 12.891)

进入容器检查输出文件

当然我们也可以吧输出文件的path 映射出来，但是这个例子没有

teman@DESKTOP-UIU9RFJ:~/projects/fluentd-home$ docker exec -it fluentd2 /bin/sh
/ # cd /var/log
/var/log # ls
fluent
/var/log # cd fluent/
/var/log/fluent # ls
springboot.log                       springboot.log.20240905184444_0.log  springboot.log.20240905184448_0.log  springboot.log.20240905184452_0.log  springboot.log.20240905184456_0.log
springboot.log.20240905184142_0.log  springboot.log.20240905184446_0.log  springboot.log.20240905184450_0.log  springboot.log.20240905184454_0.log
/var/log/fluent # cat springboot.log
cat: read error: Is a directory
/var/log/fluent # cd springboot.log/
/var/log/fluent/springboot.log # ls
/var/log/fluent/springboot.log # cd ..
/var/log/fluent # ls
springboot.log                       springboot.log.20240905184444_0.log  springboot.log.20240905184448_0.log  springboot.log.20240905184452_0.log  springboot.log.20240905184456_0.log
springboot.log.20240905184142_0.log  springboot.log.20240905184446_0.log  springboot.log.20240905184450_0.log  springboot.log.20240905184454_0.log
/var/log/fluent # cat springboot.log.2024*
2024-09-05T18:41:43+00:00	fluent.info	{"pid":16,"ppid":7,"worker":0,"message":"starting fluentd worker pid=16 ppid=7 worker=0"}
2024-09-05T18:41:43+00:00	fluent.info	{"message":"following tail of /app/logs/springboot.log"}
2024-09-05T18:41:43+00:00	fluent.info	{"worker":0,"message":"fluentd worker is now running worker=0"}
2024-09-05T18:44:45+00:00	fluent.info	{"message":"detected rotation of /app/logs/springboot.log; waiting 5 seconds"}
2024-09-05T18:44:45+00:00	fluent.info	{"message":"following tail of /app/logs/springboot.log"}
2024-09-05T18:44:45+00:00	springboot.logs	{"message":"2024-09-06T02:44:44.802+08:00  INFO 19701 --- [main] c.h.clouduser.DemoCloudOrderApplication  : Starting DemoCloudOrderApplication v1.0.2 using Java 17.0.12 with PID 19701 (/home/gateman/projects/demo_cloud_order/target/demo_cloud_order-1.0.2.jar started by gateman in /home/gateman/projects/demo_cloud_order/target)"}
2024-09-05T18:44:45+00:00	springboot.logs	{"message":"2024-09-06T02:44:44.815+08:00  INFO 19701 --- [main] c.h.clouduser.DemoCloudOrderApplication  : The following 1 profile is active: \"dev\""}
2024-09-05T18:44:46+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.017+08:00  INFO 19701 --- [main] .s.d.r.c.RepositoryConfigurationDelegate : Bootstrapping Spring Data JPA repositories in DEFAULT mode."}
2024-09-05T18:44:46+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.087+08:00  INFO 19701 --- [main] .s.d.r.c.RepositoryConfigurationDelegate : Finished Spring Data repository scanning in 59 ms. Found 1 JPA repository interface."}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.436+08:00  INFO 19701 --- [main] ptablePropertiesBeanFactoryPostProcessor : Post-processing PropertySource instances"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.437+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource configurationProperties [class org.springframework.boot.context.properties.source.ConfigurationPropertySourcesPropertySource"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.440+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource commandLineArgs [org.springframework.core.env.SimpleCommandLinePropertySource] to EncryptableEnumerablePropertySourceWrapper"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.440+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletConfigInitParams [class org.springframework.core.env.PropertySource$StubPropertySource"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.441+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletContextInitParams [class org.springframework.core.env.PropertySource$StubPropertySource"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.441+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource systemProperties [org.springframework.core.env.PropertiesPropertySource] to EncryptableMapPropertySourceWrapper"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.441+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource systemEnvironment [org.springframework.boot.env.SystemEnvironmentPropertySourceEnvironmentPostProcessor$OriginAwareSystemEnvironmentPropertySource] to EncryptableSystemEnvironmentPropertySourceWrapper"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.442+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource random [org.springframework.boot.env.RandomValuePropertySource] to EncryptablePropertySourceWrapper"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.442+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource Config resource 'class path resource [application-dev.yml]' via location 'optional:classpath:/' [org.springframework.boot.env.OriginTrackedMapPropertySource] to EncryptableMapPropertySourceWrapper"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.443+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource Config resource 'class path resource [application.yml]' via location 'optional:classpath:/' [org.springframework.boot.env.OriginTrackedMapPropertySource] to EncryptableMapPropertySourceWrapper"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.652+08:00  INFO 19701 --- [main] c.u.j.filter.DefaultLazyPropertyFilter   : Property Filter custom Bean not found with name 'encryptablePropertyFilter'. Initializing Default Property Filter"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.666+08:00  INFO 19701 --- [main] c.u.j.r.DefaultLazyPropertyResolver      : Property Resolver custom Bean not found with name 'encryptablePropertyResolver'. Initializing Default Property Resolver"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.669+08:00  INFO 19701 --- [main] c.u.j.d.DefaultLazyPropertyDetector      : Property Detector custom Bean not found with name 'encryptablePropertyDetector'. Initializing Default Property Detector"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.918+08:00  INFO 19701 --- [main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat initialized with port(s): 8080 (http)"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.930+08:00  INFO 19701 --- [main] o.apache.catalina.core.StandardService   : Starting service [Tomcat]"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:46.931+08:00  INFO 19701 --- [main] o.apache.catalina.core.StandardEngine    : Starting Servlet engine: [Apache Tomcat/10.1.20]"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.025+08:00  INFO 19701 --- [main] o.a.c.c.C.[Tomcat].[localhost].[/]       : Initializing Spring embedded WebApplicationContext"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.026+08:00  INFO 19701 --- [main] w.s.c.ServletWebServerApplicationContext : Root WebApplicationContext: initialization completed in 2140 ms"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.230+08:00  INFO 19701 --- [main] c.u.j.encryptor.DefaultLazyEncryptor     : String Encryptor custom Bean not found with name 'jasyptStringEncryptor'. Initializing Default String Encryptor"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.247+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.key-obtention-iterations, using default value: 1000"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.247+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.pool-size, using default value: 1"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.248+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.provider-name, using default value: null"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.248+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.provider-class-name, using default value: null"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.249+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.salt-generator-classname, using default value: org.jasypt.salt.RandomSaltGenerator"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.250+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.iv-generator-classname, using default value: org.jasypt.iv.RandomIvGenerator"}
2024-09-05T18:44:47+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.251+08:00  INFO 19701 --- [main] c.u.j.c.StringEncryptorBuilder           : Encryptor config not found for property jasypt.encryptor.string-output-type, using default value: base64"}
2024-09-05T18:44:48+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.447+08:00  INFO 19701 --- [main] o.hibernate.jpa.internal.util.LogHelper  : HHH000204: Processing PersistenceUnitInfo [name: default]"}
2024-09-05T18:44:48+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.544+08:00  INFO 19701 --- [main] org.hibernate.Version                    : HHH000412: Hibernate ORM core version 6.2.24.Final"}
2024-09-05T18:44:48+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.547+08:00  INFO 19701 --- [main] org.hibernate.cfg.Environment            : HHH000406: Using bytecode reflection optimizer"}
2024-09-05T18:44:48+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.701+08:00  INFO 19701 --- [main] o.h.e.boot.internal.EnversServiceImpl    : Envers integration enabled? : true"}
2024-09-05T18:44:48+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.930+08:00  INFO 19701 --- [main] o.s.o.j.p.SpringPersistenceUnitInfo      : No LoadTimeWeaver setup: ignoring JPA class transformer"}
2024-09-05T18:44:48+00:00	springboot.logs	{"message":"2024-09-06T02:44:47.960+08:00  INFO 19701 --- [main] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Starting..."}
2024-09-05T18:44:51+00:00	springboot.logs	{"message":"2024-09-06T02:44:51.093+08:00  INFO 19701 --- [main] com.zaxxer.hikari.pool.HikariPool        : HikariPool-1 - Added connection com.mysql.cj.jdbc.ConnectionImpl@15fb7a32"}
2024-09-05T18:44:51+00:00	springboot.logs	{"message":"2024-09-06T02:44:51.095+08:00  INFO 19701 --- [main] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Start completed."}
2024-09-05T18:44:52+00:00	springboot.logs	{"message":"2024-09-06T02:44:51.507+08:00  WARN 19701 --- [main] org.hibernate.orm.deprecation            : HHH90000025: MySQL8Dialect does not need to be specified explicitly using 'hibernate.dialect' (remove the property setting and it will be selected by default)"}
2024-09-05T18:44:52+00:00	springboot.logs	{"message":"2024-09-06T02:44:51.508+08:00  WARN 19701 --- [main] org.hibernate.orm.deprecation            : HHH90000026: MySQL8Dialect has been deprecated; use org.hibernate.dialect.MySQLDialect instead"}
2024-09-05T18:44:52+00:00	springboot.logs	{"message":"2024-09-06T02:44:51.739+08:00  INFO 19701 --- [main] o.h.e.c.i.m.AuditMetadataGenerator       : Adding properties for entity: com.home.clouduser.entities.Order"}
2024-09-05T18:44:53+00:00	springboot.logs	{"message":"2024-09-06T02:44:52.561+08:00  INFO 19701 --- [main] o.h.e.t.j.p.i.JtaPlatformInitiator       : HHH000489: No JTA platform available (set 'hibernate.transaction.jta.platform' to enable JTA platform integration)"}
2024-09-05T18:44:55+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.300+08:00  INFO 19701 --- [main] j.LocalContainerEntityManagerFactoryBean : Initialized JPA EntityManagerFactory for persistence unit 'default'"}
2024-09-05T18:44:55+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.314+08:00  INFO 19701 --- [main] com.home.clouduser.configs.MainConfigs   : MainConfigs: getHostName ..."}
2024-09-05T18:44:56+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.720+08:00  INFO 19701 --- [main] c.home.clouduser.configs.MyInitializer   : Application started..."}
2024-09-05T18:44:56+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.720+08:00  INFO 19701 --- [main] c.home.clouduser.configs.MyInitializer   : Setting proxy for dev environment..."}
2024-09-05T18:44:56+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.720+08:00  INFO 19701 --- [main] c.home.clouduser.configs.MyInitializer   : https.proxyHost: 10.0.1.223"}
2024-09-05T18:44:56+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.721+08:00  INFO 19701 --- [main] c.home.clouduser.configs.MyInitializer   : https.proxyPort: 7890"}
2024-09-05T18:44:56+00:00	springboot.logs	{"message":"2024-09-06T02:44:55.767+08:00  WARN 19701 --- [main] JpaBaseConfiguration$JpaWebConfiguration : spring.jpa.open-in-view is enabled by default. Therefore, database queries may be performed during view rendering. Explicitly configure spring.jpa.open-in-view to disable this warning"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.369+08:00  INFO 19701 --- [main] o.s.b.a.e.web.EndpointLinksResolver      : Exposing 4 endpoint(s) beneath base path '/actuator'"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.464+08:00  INFO 19701 --- [main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat started on port(s): 8080 (http) with context path ''"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.466+08:00  INFO 19701 --- [main] u.j.c.RefreshScopeRefreshedEventListener : Refreshing cached encryptable property sources on ServletWebServerInitializedEvent"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.467+08:00  INFO 19701 --- [main] CachingDelegateEncryptablePropertySource : Property Source commandLineArgs refreshed"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.467+08:00  INFO 19701 --- [main] CachingDelegateEncryptablePropertySource : Property Source systemProperties refreshed"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.468+08:00  INFO 19701 --- [main] CachingDelegateEncryptablePropertySource : Property Source systemEnvironment refreshed"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.468+08:00  INFO 19701 --- [main] CachingDelegateEncryptablePropertySource : Property Source random refreshed"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.468+08:00  INFO 19701 --- [main] CachingDelegateEncryptablePropertySource : Property Source Config resource 'class path resource [application-dev.yml]' via location 'optional:classpath:/' refreshed"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.468+08:00  INFO 19701 --- [main] CachingDelegateEncryptablePropertySource : Property Source Config resource 'class path resource [application.yml]' via location 'optional:classpath:/' refreshed"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.468+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource configurationProperties [class org.springframework.boot.context.properties.source.ConfigurationPropertySourcesPropertySource"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.469+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletConfigInitParams [class org.springframework.core.env.PropertySource$StubPropertySource"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.469+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource servletContextInitParams [org.springframework.web.context.support.ServletContextPropertySource] to EncryptableEnumerablePropertySourceWrapper"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.469+08:00  INFO 19701 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource Management Server [org.springframework.boot.actuate.autoconfigure.web.server.ManagementContextAutoConfiguration$SameManagementContextConfiguration$1] to EncryptablePropertySourceWrapper"}
2024-09-05T18:44:57+00:00	springboot.logs	{"message":"2024-09-06T02:44:56.488+08:00  INFO 19701 --- [main] c.h.clouduser.DemoCloudOrderApplication  : Started DemoCloudOrderApplication in 12.329 seconds (process running for 12.891)"}

注意这里每两秒生成了1个文件，而springboot.log 本身是1个folder, 里面会存放缓存文件。
测试ok

使用Flunetd 把日志导出到biqquery

以前之所以会使用ELK, 是为因为ES 具有强大的查询性能。

而使用GCP 后， bigquery 同样提供相同的大数据查询能力。

而fluentd 本身是不支持把数据到处到bigquery的， good news是有人开发了fluented的bigquery 插件
github 地址：
https://github.com/fluent-plugins-nursery/fluent-plugin-bigquery#options

编写fluentd.conf

<source>
    @type tail
    path /app/logs/springboot.log
    pos_file /app/logs/springboot.log.pos
    tag springboot.logs 
    format none
</source>

# https://github.com/fluent-plugins-nursery/fluent-plugin-bigquery#options
<match **>
  @type bigquery_insert
  
  <buffer>
    flush_mode immediate
  </buffer>
  
  #auth_method compute_engine
  auth_method json_key
  json_key /app/gcp-key/fluentd-ingress-jason-hsbc.json
  # private_key_passphrase notasecret # default

  project jason-hsbc
  dataset LOGS
  auto_create_table true
  table springboot_log

  <inject>
    time_key timestamp
    # time_type unixtime_millis # out of range
    time_type string
    time_format %Y-%m-%d %H:%M:%S.%L
  </inject>

  schema [
    {
      "name": "timestamp",
      "type": "TIMESTAMP"
    },
    {
      "name": "project_id",
      "type": "STRING"
    },
     {
      "name": "dataset",
      "type": "STRING"
    },
     {
      "name": "table",
      "type": "STRING"
    },
    {
      "name": "worker",
      "type": "STRING"
    },
     {
      "name": "insert_errors",
      "type": "STRING"
    },
    {
      "name": "message",
      "type": "STRING"
    }
  ]
</match>

注意这里source 是没有改动的

改动的只是output 配置
重点：

@type bigquery_insert 表示我们使用bigquery 的streaming insert

insert data over streaming inserts
plugin type is bigquery_insert
for continuous real-time insertions
https://developers.google.com/bigquery/streaming-data-into-bigquery#usecases

load data
plugin type is bigquery_load
for data loading as batch jobs, for big amount of data
https://developers.google.com/bigquery/loading-data-into-bigquery

使用自定义1个field, 记录插入时间
我们使用json_key 作为权限验证方法， bigquery的验证方法还有很多种
There are four methods supported to fetch access token for the service account.

Public-Private key pair of GCP(Google Cloud Platform)'s service account
JSON key of GCP(Google Cloud Platform)'s service account
Predefined access token (Compute Engine only)
Google application default credentials (http://goo.gl/IUuyuX)

由于我这个测试没用gcp的云服务器，就用普通的service account json file
我们需要指定gpc project id 和 bigquery 的dataset name
我们需要定义存放log的表的结构
正常来讲，我们应该修改springboot 配置让日志输出为json格式，这样我们就可以吧日志的各个部分存放到bigquery 不同列中
但是这个例子并没有，这样fluentd 会把日志整行输出到table的 message field 中，所以message field 是必须的

修改docker file

# 使用 Fluentd 官方的镜像作为基础镜像
FROM fluentd:latest
USER root
RUN mkdir -p /app/logs/

RUN mkdir /app/gcp-key/

# 安装 fluent-plugin-bigquery 插件
RUN gem install fluent-plugin-bigquery

# 复制 Fluentd 配置文件到镜像中
COPY fluent.conf /fluentd/etc/fluent.conf

COPY fluentd-ingress-jason-hsbc.json /app/gcp-key/fluentd-ingress-jason-hsbc.json

# 定义 CMD 指令用于启动 Fluentd 并指定配置文件
CMD ["fluentd", "-c", "/fluentd/etc/fluent.conf"]

重点是把用于访问bigquery 的json key也放入容器内

启动容器测试

gateman@DESKTOP-UIU9RFJ:~/projects/fluentd-home$ docker logs fluentd3
fluentd -c /fluentd/etc/fluent.conf
2024-09-05 19:06:04 +0000 [info]: init supervisor logger path=nil rotate_age=nil rotate_size=nil
2024-09-05 19:06:04 +0000 [info]: parsing config file is succeeded path="/fluentd/etc/fluent.conf"
2024-09-05 19:06:04 +0000 [info]: gem 'fluentd' version '1.17.1'
2024-09-05 19:06:04 +0000 [info]: gem 'fluent-plugin-bigquery' version '3.1.0'
2024-09-05 19:06:04 +0000 [warn]: define <match fluent.**> to capture fluentd logs in top level is deprecated. Use <label @FLUENT_LOG> instead
2024-09-05 19:06:04 +0000 [info]: using configuration file: <ROOT>
  <source>
    @type tail
    path "/app/logs/springboot.log"
    pos_file "/app/logs/springboot.log.pos"
    tag "springboot.logs"
    format none
    <parse>
      @type none
      unmatched_lines 
    </parse>
  </source>
  <match **>
    @type bigquery_insert
    auth_method json_key
    json_key xxxxxx
    project "jason-hsbc"
    dataset "LOGS"
    auto_create_table true
    table "springboot_log"
    schema [{"name":"timestamp","type":"TIMESTAMP"},{"name":"project_id","type":"STRING"},{"name":"dataset","type":"STRING"},{"name":"table","type":"STRING"},{"name":"worker","type":"STRING"},{"name":"insert_errors","type":"STRING"},{"name":"message","type":"STRING"}]
    <buffer>
      flush_mode immediate
    </buffer>
    <inject>
      time_key "timestamp"
      time_type string
      time_format "%Y-%m-%d %H:%M:%S.%L"
    </inject>
  </match>
</ROOT>
2024-09-05 19:06:04 +0000 [info]: starting fluentd-1.17.1 pid=8 ruby="3.2.4"
2024-09-05 19:06:04 +0000 [info]: spawn command to main:  cmdline=["/usr/bin/ruby", "-Eascii-8bit:ascii-8bit", "/usr/bin/fluentd", "-c", "/fluentd/etc/fluent.conf", "--plugin", "/fluentd/plugins", "--under-supervisor"]
2024-09-05 19:06:05 +0000 [info]: #0 init worker0 logger path=nil rotate_age=nil rotate_size=nil
2024-09-05 19:06:05 +0000 [info]: adding match pattern="**" type="bigquery_insert"
2024-09-05 19:06:05 +0000 [info]: adding source type="tail"
2024-09-05 19:06:05 +0000 [warn]: #0 define  to capture fluentd logs in top level is deprecated. Use  instead
2024-09-05 19:06:05 +0000 [info]: #0 starting fluentd worker pid=18 ppid=8 worker=0
2024-09-05 19:06:05 +0000 [info]: #0 following tail of /app/logs/springboot.log
2024-09-05 19:06:05 +0000 [info]: #0 fluentd worker is now running worker=0
2024-09-05 19:06:06 +0000 [warn]: #0 insert errors project_id="jason-hsbc" dataset="LOGS" table="springboot_log" insert_errors="[#], @index=0>]"

注意这里有个warning, fluentd 不能把一些meta 信息（并不是from 日志文件）输出到bq table, 原因是没一偶ppid这个field, 忽略

启动springboot service

gateman@DESKTOP-UIU9RFJ:~/projects/demo_cloud_order/target$ java -jar demo_cloud_order-1.0.2.jar --spring.profiles.active=dev --logging.file.name=/app/logs/springboot.log

查询bigquery table

测试成功！

gateman@MoreFine-S500:/app/config$ bq query --nouse_legacy_sql 'SELECT timestamp, message FROM `LOGS.springboot_log` where timestamp > TIMESTAMP("2024-09-05")'
WARNING: This command is using service account impersonation. All API calls will be executed as [[email protected]].
+---------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|      timestamp      |                                                                                                                                                                              message                                                                                                                                                                              |
+---------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 2024-09-05 17:12:09 | fluentd worker is now stopping worker=0                                                                                                                                                                                                                                                                                                                           |
| 2024-09-05 19:06:05 | following tail of /app/logs/springboot.log                                                                                                                                                                                                                                                                                                                        |
| 2024-09-05 19:06:05 | fluentd worker is now running worker=0                                                                                                                                                                                                                                                                                                                            |
| 2024-09-05 19:06:06 | insert errors project_id="jason-hsbc" dataset="LOGS" table="springboot_log" insert_errors="[#\"\", @location=\"ppid\", @message=\"no such field: ppid.\", @reason=\"invalid\">], @index=0>]" |
| 2024-09-05 19:07:52 | 2024-09-06T03:07:52.338+08:00  INFO 21005 --- [main] c.h.clouduser.DemoCloudOrderApplication  : Starting DemoCloudOrderApplication v1.0.2 using Java 17.0.12 with PID 21005 (/home/gateman/projects/demo_cloud_order/target/demo_cloud_order-1.0.2.jar started by gateman in /home/gateman/projects/demo_cloud_order/target)                                      |
| 2024-09-05 19:07:52 | 2024-09-06T03:07:52.341+08:00  INFO 21005 --- [main] c.h.clouduser.DemoCloudOrderApplication  : The following 1 profile is active: "dev"                                                                                                                                                                                                                          |
| 2024-09-05 19:07:53 | 2024-09-06T03:07:53.543+08:00  INFO 21005 --- [main] .s.d.r.c.RepositoryConfigurationDelegate : Bootstrapping Spring Data JPA repositories in DEFAULT mode.                                                                                                                                                                                                       |
| 2024-09-05 19:07:53 | 2024-09-06T03:07:53.620+08:00  INFO 21005 --- [main] .s.d.r.c.RepositoryConfigurationDelegate : Finished Spring Data repository scanning in 47 ms. Found 1 JPA repository interface.                                                                                                                                                                              |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.952+08:00  INFO 21005 --- [main] ptablePropertiesBeanFactoryPostProcessor : Post-processing PropertySource instances                                                                                                                                                                                                                          |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.953+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource configurationProperties [class org.springframework.boot.context.properties.source.ConfigurationPropertySourcesPropertySource                                                                                                              |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.956+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource commandLineArgs [org.springframework.core.env.SimpleCommandLinePropertySource] to EncryptableEnumerablePropertySourceWrapper                                                                                                            |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.956+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletConfigInitParams [class org.springframework.core.env.PropertySource$StubPropertySource                                                                                                                                             |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.957+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Skipping PropertySource servletContextInitParams [class org.springframework.core.env.PropertySource$StubPropertySource                                                                                                                                            |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.957+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource systemProperties [org.springframework.core.env.PropertiesPropertySource] to EncryptableMapPropertySourceWrapper                                                                                                                         |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.958+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource systemEnvironment [org.springframework.boot.env.SystemEnvironmentPropertySourceEnvironmentPostProcessor$OriginAwareSystemEnvironmentPropertySource] to EncryptableSystemEnvironmentPropertySourceWrapper                                |
| 2024-09-05 19:07:54 | 2024-09-06T03:07:53.958+08:00  INFO 21005 --- [main] c.u.j.EncryptablePropertySourceConverter : Converting PropertySource random [org.springframework.boot.env.RandomValuePropertySource] to EncryptablePropertySourceWrapper                                                                                                                                     |

你可能感兴趣的:(Cloud,spring,Etl,spring,boot)

SpringBlade dict-biz/list 接口 SQL 注入漏洞文章永久免费只为良心 oracle 数据库
SpringBladedict-biz/list接口SQL注入漏洞POC:构造请求包查看返回包你的网址/api/blade-system/dict-biz/list?updatexml(1,concat(0x7e,md5(1),0x7e),1)=1漏洞概述在SpringBlade框架中，如果dict-biz/list接口的后台处理逻辑没有正确地对用户输入进行过滤或参数化查询（PreparedSta
spring如何整合druid连接池？惜.己 spring spring junit 数据库 java idea 后端 xml
目录spring整合druid连接池1.新建maven项目2.新建mavenModule3.导入相关依赖4.配置log4j2.xml5.配置druid.xml1)xml中如何引入properties2)下面是配置文件6.准备jdbc.propertiesJDBC配置项解释7.配置druid8.测试spring整合druid连接池1.新建maven项目打开IDE（比如IntelliJIDEA,Ecl
SpringCloudAlibaba—Sentinel(限流) 菜鸟爪哇
前言：自己在学习过程的记录，借鉴别人文章，记录自己实现的步骤。借鉴文章：https://blog.csdn.net/u014494148/article/details/105484410Sentinel介绍Sentinel诞生于阿里巴巴，其主要目标是流量控制和服务熔断。Sentinel是通过限制并发线程的数量（即信号隔离）来减少不稳定资源的影响，而不是使用线程池，省去了线程切换的性能开销。当资源
springboot+vue项目实战一-创建SpringBoot简单项目苹果酱0567 面试题汇总与解析 spring boot 后端 java 中间件开发语言
这段时间抽空给女朋友搭建一个个人博客，想着记录一下建站的过程，就当做笔记吧。虽然复制zjblog只要一个小时就可以搞定一个网站，或者用cms系统，三四个小时就可以做出一个前后台都有的网站，而且想做成啥样也都行。但是就是要从新做，自己做的意义不一样，更何况，俺就是专门干这个的，嘿嘿嘿要做一个网站，而且从零开始，首先呢就是技术选型了，经过一番思量决定选择-SpringBoot做后端，前端使用Vue做一
Spring MVC 全面指南：从入门到精通的详细解析一杯梅子酱技术栈学习 spring mvc java
引言：SpringMVC，作为Spring框架的一个重要模块，为构建Web应用提供了强大的功能和灵活性。无论是初学者还是有一定经验的开发者，掌握SpringMVC都将显著提升你的Web开发技能。本文旨在为初学者提供一个全面且易于理解的学习路径，通过详细的知识点分析和实际案例，帮助你快速上手SpringMVC，让学习过程既深刻又高效。一、SpringMVC简介1.1什么是SpringMVC？Spri
Spring Boot中实现跨域请求 BABA8891 spring boot 后端 java
在SpringBoot中实现跨域请求（CORS，Cross-OriginResourceSharing）可以通过多种方式，以下是几种常见的方法：1.使用@CrossOrigin注解在SpringBoot中，你可以在控制器或者具体的请求处理方法上使用@CrossOrigin注解来允许跨域请求。在控制器上应用：importorg.springframework.web.bind.annotation.
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
RabbitMQ生产者重复机制与确认机制 java炒饭小能手 java-rabbitmq rabbitmq java
重复机制生产者发送消息时，出现了网络故障，导致与MQ的连接中断。为了解决这个问题，SpringAMQP提供的消息发送时的重试机制。即：当RabbitTemplate与MQ连接超时后，多次重试。需要修该发送端模块的application.yaml文件，添加下面的内容：spring:rabbitmq:connection-timeout:1s#设置MQ的连接超时时间template:retry:ena
非对称加密算法————RSA理论及详情 hu19930613
转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
加载资源时报错-ERR_CONNECTION_RESET，需要多次请求才能拿到资源的有效解决方案 Mebius1916 前端开发前端 javascript react.js 前端框架 typescript vue.js
初次加载资源时无法正常加载，需要多次刷新、请求才能拿到资源的有效解决方案前言在使用cloudinary进行图片上传并获取图片链接作为用户头像时发现，图片链接网址初次加载会报错：ERR_CONNECTION_RESET必须刷新几次才能获取到，原因可能是cloudinary没有国内的节点，而我用的是在新加坡的节点，所以会导致初次加载的时候被重定向。而这个错误会直接导致用户头像无法加载，因为在img中此
【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java 开发语言
文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
SpringBoot和SpringMVC是什么关系?SpringBoot替代SpringMVC了吗? 瑞金彭于晏 spring boot 后端 java MVC spring 数据库
SpringBoot和SpringMVC都是SpringFramework生态系统中的一部分，但它们各自扮演着不同的角色和提供不同的功能集。理解它们之间的关系，首先需要了解SpringFramework本身。SpringFrameworkSpringFramework是一个全面的、开源的应用程序开发框架，它提供了广泛的功能来支持企业应用开发的几乎所有方面。SpringFramework的核心特性之
spring mvc @RequestBody String类型参数 zoyation spring-mvc spring mvc
通过如下配置：text/html;charset=UTF-8application/json;charset=UTF-8在springmvc的Controller层使用@RequestBody接收Content-Type为application/json的数据时，默认支持Map方式和对象方式参数@RequestMapping(value="/{code}/saveUser",method=Requ
Java -jar 如何在后台运行项目 vincent_hahaha
撸了今年阿里、头条和美团的面试，我有一个重要发现.......>>>说到运行jar包通常我们都会以下面的方式运行:java-jarspringboot-0.0.1-SNAPSHOT.jar这样运行的话会有一个问题，就是我们一关闭当前窗口就会停止运行项目，要想解决这个问题，就需要在后台运行。nohupjava-jarbabyshark-0.0.1-SNAPSHOT.jar >log.file 2>&
spring security中几大组件的作用和执行顺序阿信在这里 java spring
springsecurity中几大组件的作用和执行顺序在SpringSecurity中，AuthenticationProvider、GroupPermissionEvaluator、PermissionEvaluator、AbstractAuthenticationProcessingFilter、DefaultMethodSecurityExpressionHandler和ManageSecu
探索Zebra4J：构建高效企业级Web应用的微服务框架叶准鑫Natalie
探索Zebra4J：构建高效企业级Web应用的微服务框架ZebraZebra4J/Zebra4Js基于SpringBoot的JavaWeb/Nodejs框架项目地址:https://gitcode.com/gh_mirrors/zebra/Zebra项目介绍在当今快速发展的技术环境中，构建高效、可扩展的企业级Web应用是每个开发团队的追求。Zebra4J作为一款基于SpringBoot的全新微服务
基于JavaWeb开发的Java+SpringMvc+vue+element实现上海汽车博物馆平台网顺技术团队成品程序项目 java vue.js 汽车课程设计 spring boot
基于JavaWeb开发的Java+SpringMvc+vue+element实现上海汽车博物馆平台作者主页网顺技术团队欢迎点赞收藏⭐留言文末获取源码联系方式查看下方微信号获取联系方式承接各种定制系统精彩系列推荐精彩专栏推荐订阅不然下次找不到哟Java毕设项目精品实战案例《1000套》感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人文章目录基
分布式锁和spring事务管理暴躁的鱼锁及事务分布式 spring java
最近开发一个小程序遇到一个需求需要实现分布式事务管理业务需求用户在使用小程序的过程中可以查看景点，对景点地区或者城市标记是否想去，那么需要统计一个地点被标记的人数，以及记录某个用户对某个地点是否标记为想去，用两个表存储数据，一个地点表记录改地点被标记的次数，一个用户意向表记录某个用户对某个地点是否标记为想去。由于可能有多个用户同时标记一个地点，每个用户在前端点击想去按钮之后，后台接收到请求，从数据
如何重启Linux服务器？老男孩IT教育 git linux 运维
在Linux操作系统中，提供了多种方法用于重启服务器，那么Linux服务器如何重启?以下列举了常用的几种方法，希望对大家有所帮助，快来看看吧。重启Linux服务器有以下几种方法：1、使用命令行使用reboot命令reboot使用shutdown命令shutdown-rnow2、使用systemctl使用以下命令：systemctlreboot3、使用web界面大多数现代Linux发行版本都提供一个
Java面试笔记记录6 今天背八股了吗 java 面试笔记
1.Spring是什么？特性？有哪些模块？Spring是一个轻量级、非入侵式的控制反转Ioc和面向切面AOP的框架。特性：1.Ioc和DISpring的核心就是一个大的工厂容器，可以维护所有对象的创建和依赖关系，Spring工厂用于生成Bean，并且管理Bean的生命周期，实现高内聚低耦合的设计理念。2.AOP编程Spring提供面向切面编程，可以方便实现对程序进行权限拦截、运行监控等切面功能。3
小米嵌入式面试题目RTOS面试题目嵌入式面试题目好家伙VCC 面试杂谈杂谈面试职场和发展
第一章-非RTOSbootloader工作流程MCU启动流程通信协议，SPIIICMCU怎么选型，STM32F1和F4有什么区别外部RAM和内部RAM区别，怎么分配外部总线和内部总线区别MCU上的固件，数据是怎么分配的MCU启动流程IAP是怎么升级的，突然断电怎么办挑了麦轮项目（因为大疆RM也是麦轮，面试官看样子比较感兴趣）为什么用的CAN总线你说一下spi和i2c和UART的各自的工作方式优缺点
Sentinel 眼泪落在琴弦 springcloud java java
Sentinel（服务熔断降级限流）1.引入spring-cloud-starter-alibaba-sentinel2.下载sentinel服务器3.配置application地址信息4.在控制台调整参数【默认所以流控设置保存在内存中，重启失效】5.想实时监控需每个微服务导入actuator，并配置application暴露所有端口6.自定义sentinel流控返回数据7.配置sentinel类
Spring @Async 深度解读：默认线程池执行器的配置与优化小码快撩 spring java 前端
在Spring中，@Async注解用于异步执行方法。默认情况下，@Async注解的任务是由一个线程池执行的。然而，这个默认的线程池是如何初始化的呢？本文将深入探讨这一过程，帮助你理解Spring异步任务背后的线程池执行器的初始化原理。1.@Async的基本使用首先，让我们快速回顾一下@Async的基本用法。@Async通常用于标注在需要异步执行的方法上，比如：@Servicepublicclass
Sentinel实时监控不展示问题朱杰jjj sentinel sentinel
问题官方插件Endpoint支持，可以实时统计出SpringBoot的健康状况和请求的调用信息在使用Endpoint特性之前需要在Maven中添加spring-boot-starter-actuator依赖，并在配置中允许Endpoints的访问。SpringBoot1.x中添加配置management.security.enabled=false。暴露的endpoint路径为/sentinelS
36. MyBatis如何支持多数据库操作？如何配置不同的数据源？这孩子叫逆 Mybatis笔记 mybatis 数据库
在许多企业级应用中，可能需要访问多个数据库。MyBatis可以通过配置多个数据源和动态切换数据源来支持多数据库操作。下面介绍如何在MyBatis中配置和使用多个数据源。1.多数据源的基本配置1.1配置多个数据源要支持多个数据源，首先需要在Spring或SpringBoot中配置不同的数据源。假设我们要连接两个数据库db1和db2，可以通过以下步骤进行配置。SpringBoot示例：applicat
Cloud Native Weekly | 华为云抢先发布Redis5.0，红帽宣布收购混合云提供商 weixin_34302561 数据库 devops 大数据
1——华为云抢先发布Redis5.02——DigitalOceanK8s服务正式上线3——红帽宣布收购混合云提供商NooBaa4——微软发布多项AzureKubernetes服务更新1华为云抢先发布Redis5.012月17日，华为云在DCS2.0的基础上，快人一步，抢先推出了新的Redis5.0产品，这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段，华为云率先发布了Re
Halo 开发者指南——容器私有化部署 SHENHUANJIE Docker Halo 华为云 SWR Registry
华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
SpringBoot整合ES搜索引擎实现网站热搜词及热度计算码踏云端 springboot Elasticsearch spring boot elasticsearch 后端热搜词热度计算 java
博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于
Spring Security静态资源过滤（11）小黑屋说YYDS spring
在一个实际项目中，并非所有的请求都需要经过SpringSecurity过滤器，有一些特殊的请求，例如静态资源等，一般来说并不需要经过SpringSecurity过滤器链，用户如果访问这些静态资源，直接返回对应的资源即可。回顾关于WebSecurity的讲解，提到它里边维护了一个ignoredRequests变量,该变量，记录的就是所有需要被忽略的请求，这些被忽略的请求将不再经过SpringSecu
Spring Security定义多个过滤器链（10）小黑屋说YYDS spring
在SpringSecurity中可以同时存在多个过滤器链，一个WebSecurityConfigurerAdapter的实例就可以配置一条过滤器链。我们来看如下一个案例：@ConfigurationpublicclassSecurityConfig{@BeanUserDetailsServiceus(){InMemoryUserDetailsManagerusers=newInMemoryUser
Java实现的简单双向Map，支持重复Value superlxw1234 java 双向map
关键字：Java双向Map、DualHashBidiMap 有个需求，需要根据即时修改Map结构中的Value值，比如，将Map中所有value=V1的记录改成value=V2，key保持不变。数据量比较大，遍历Map性能太差，这就需要根据Value先找到Key，然后去修改。即：既要根据Key找Value，又要根据Value
PL/SQL触发器基础及例子百合不是茶 oracle数据库触发器 PL/SQL编程
触发器的简介; 触发器的定义就是说某个条件成立的时候，触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用，也不能调用。触发器和过程函数类似过程函数必须要调用, 一个表中最多只能有12个触发器类型的,触发器和过程函数相似触发器不需要调用直接执行, 触发时间：指明触发器何时执行，该值可取： before：表示在数据库动作之前触发
[时空与探索]穿越时空的一些问题 comsci 问题
我们还没有进行过任何数学形式上的证明,仅仅是一个猜想..... 这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
easy ui datagrid上移下移一行商人shang js 上移下移 easyui datagrid
/** * 向上移动一行 * * @param dg * @param row */ function moveupRow(dg, row) { var datagrid = $(dg); var index = datagrid.datagrid("getRowIndex", row); if (isFirstRow(dg, row)) {
Java反射 oloz 反射
本人菜鸟，今天恰好有时间，写写博客，总结复习一下java反射方面的知识，欢迎大家探讨交流学习指教首先看看java中的Class package demo; public class ClassTest { /*先了解java中的Class*/ public static void main(String[] args) { //任何一个类都
springMVC 使用JSR-303 Validation验证杨白白 spring mvc
JSR-303是一个数据验证的规范，但是spring并没有对其进行实现，Hibernate Validator是实现了这一规范的，通过此这个实现来讲SpringMVC对JSR-303的支持。 JSR-303的校验是基于注解的，首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。登录需要验证类 public class Login { @NotEmpty
log4j 香水浓 log4j
log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE #log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML #console log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender log4
使用ajax和history.pushState无刷新改变页面URL agevs jquery 框架 Ajax html5 chrome
表现如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时，细心的你会发现页面之间的点击是通过ajax异步请求的，同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。是什么有这么强大的功能呢？ HTML5里引用了新的API，history.pushState和history.replaceState，就是通过
centos中文乱码 AILIKES centos OS ssh
一、CentOS系统访问 g.cn ，发现中文乱码。于是用以前的方式：yum -y install fonts-chinese CentOS系统安装后，还是不能显示中文字体。我使用 gedit 编辑源码，其中文注释也为乱码。后来，终于找到以下方法可以解决，需要两个中文支持的包： fonts-chinese-3.02-12.
触发器 baalwolf 触发器
触发器(trigger)：监视某种情况，并触发某种操作。触发器创建语法四要素：1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete) 语法： create trigger triggerName after/before
JS正则表达式的i m g bijian1013 JavaScript 正则表达式
g:表示全局（global)模式，即模式将被应用于所有字符串，而非在发现第一个匹配项时立即停止。 i:表示不区分大小写（case-insensitive）模式，即在确定匹配项时忽略模式与字符串的大小写。 m:表示
HTML5模式和Hashbang模式 bijian1013 JavaScript AngularJS Hashbang模式 HTML5模式
我们可以用$locationProvider来配置$location服务（可以采用注入的方式，就像AngularJS中其他所有东西一样）。这里provider的两个参数很有意思，介绍如下。 html5Mode 一个布尔值，标识$location服务是否运行在HTML5模式下。 ha
[Maven学习笔记六]Maven生命周期 bit1129 maven
从mvn test的输出开始说起当我们在user-core中执行mvn test时，执行的输出如下： /software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
【Hadoop七】基于Yarn的Hadoop Map Reduce容错 bit1129 hadoop
运行于Yarn的Map Reduce作业，可能发生失败的点包括 Task Failure Application Master Failure Node Manager Failure Resource Manager Failure 1. Task Failure 任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
记一次数据推送的异常解决端口解决 ronin47 记一次数据推送的异常解决
　　需求：从db获取数据然后推送到B 程序开发完成，上jboss,刚开始报了很多错，逐一解决，可最后显示连接不到数据库。机房的同事说可以ping 通。　　自已画了个图，逐一排除，把linux 防火墙　和　setenforce　设置最低。　　　service iptables stop
巧用视错觉-UI更有趣 brotherlamp UI ui视频 ui教程 ui自学 ui资料
我们每个人在生活中都曾感受过视错觉（optical illusion）的魅力。视错觉现象是双眼跟我们开的一个玩笑，而我们往往还心甘情愿地接受我们看到的假象。其实不止如此，视觉错现象的背后还有一个重要的科学原理——格式塔原理。格式塔原理解释了人们如何以视觉方式感觉物体，以及图像的结构，视角，大小等要素是如何影响我们的视觉的。在下面这篇文章中，我们首先会简单介绍一下格式塔原理中的基本概念，
线段树-poj1177-N个矩形求边长（离散化+扫描线） bylijinnan 数据结构算法线段树
package com.ljn.base; import java.util.Arrays; import java.util.Comparator; import java.util.Set; import java.util.TreeSet; /** * POJ 1177 (线段树+离散化+扫描线)，题目链接为http://poj.org/problem?id=1177
HTTP协议详解 chicony http协议
引言
Scala设计模式 chenchao051 设计模式 scala
Scala设计模式我的话：在国外网站上看到一篇文章，里面详细描述了很多设计模式，并且用Java及Scala两种语言描述，清晰的让我们看到各种常规的设计模式，在Scala中是如何在语言特性层面直接支持的。基于文章很nice，我利用今天的空闲时间将其翻译，希望大家能一起学习，讨论。翻译
安装mysql daizj mysql 安装
安装mysql (1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps (强制删除) 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令 rpm -i MySQL-server-5.5.31-2.el
HTTP状态码大全 dcj3sjt126com http状态码
完整的 HTTP 1.1规范说明书来自于RFC 2616，你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持协议版本可以通过调用request
asihttprequest上传图片 dcj3sjt126com ASIHTTPRequest
NSURL *url =@"yourURL"; ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url]; [currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
C语言中，关键字static的作用 e200702084 C++c C#
在C语言中，关键字static有三个明显的作用： 1)在函数体，局部的static变量。生存期为程序的整个生命周期，（它存活多长时间）；作用域却在函数体内（它在什么地方能被访问（空间））。一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区，函数调用结束后并不释放单元，但是在其它的作用域的无法访问。当再次调用这个函数时，这个局部的静态变量还存活，而且用在它的访
win7/8使用curl geeksun win7
1. WIN7/8下要使用curl，需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。下载地址： http://curl.haxx.se/download.html 请选择不带SSL的版本，否则还需要安装SSL的支持包 2. 可以给Windows增加c
Creating a Shared Repository; Users Sharing The Repository hongtoushizi git
转载自： http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section: git init –bare git clone git remote git pull git p
Java实现字符串反转的8种或9种方法 Josh_Persistence 异或反转递归反转二分交换反转 java字符串反转栈反转
注：对于第7种使用异或的方式来实现字符串的反转，如果不太看得明白的，可以参照另一篇博客： http://josh-persistence.iteye.com/blog/2205768 /** * */ package com.wsheng.aggregator.algorithm.string; import java.util.Stack; /**
代码实现任意容量倒水问题 home198979 PHP 算法倒水
形象化设计模式实战 HELLO!架构 redis命令源码解析倒水问题：有两个杯子，一个A升，一个B升，水有无限多，现要求利用这两杯子装C
Druid datasource zhb8015 druid
推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证，稳定可靠。它最重要的特点是：监控、扩展和性能。下载和Maven配置看这里： http
两种启动监听器ApplicationListener和ServletContextListener spjich java spring 框架
引言:有时候需要在项目初始化的时候进行一系列工作，比如初始化一个线程池，初始化配置文件，初始化缓存等等，这时候就需要用到启动监听器，下面分别介绍一下两种常用的项目启动监听器 ServletContextListener 特点: 依赖于sevlet容器，需要配置web.xml 使用方法: public class StartListener implements
JavaScript Rounding Methods of the Math object 何不笑 JavaScript Math
The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(), Math.floor(), and Math.round() — handle rounding in differen