weixin_34138255
weixin_34138255

2018年终总结

序

不知不觉一年又要过去了，又到了写总结的时候了。

盘点

整体而言，今年技术层面稍微有点拓宽，跨入了外表看上去高大上的流式计算领域，打开了另外一扇窗；而基于java的分布式/微服务领域，今年变化比较大，spring cloud netflix的部分组件宣布将要进入维护阶段，而国内spring cloud alibaba组件逐渐活跃起来，目前看来处于PublicEvolving阶段；而java自身也处在不断进化中，今年发布了java10及java11，明年java12也要来了，版本变化非常快。稍不留神就跟不上技术更迭了。

今年不知道为什么没有什么想说的了，感觉整体而言自己表现非常一般，有点老气沉沉的感觉，可能是失去了年轻时候的激情，面对现实开始接受自己的平庸。

展望

面对纷繁复杂的技术，觉得技术真是无止境，有时候觉得自己真的很忙，时间真的不够用；但是面对生活，有时候又觉得人毕竟也是要生活的，是为技术而生活，还是为生活而技术，是一个值得思考的问题。

今年定的几个目标基本也没有实现，明年就不再定具体的目标了，大的几个方向就是深入研究流式计算及系统架构，同时也希望自己脚踏实地的同时多仰望星空，多感受人文的世界。

文章导航

arch

  • 演进式架构
  • 聊聊系统设计中的trade-off
  • 聊聊rest api设计

case

  • 记一次spring schedule异常
  • 记一个nginx host not found异常
  • Flux OOM实例
  • 频繁GC (Allocation Failure)及young gc时间过长分析
  • 频繁产生对象造成gc时间过长案例分析
  • No thread-bound request found异常

nginx

  • nginx http模块配置参数解读
  • nginx proxy cache配置参数解读
  • nginx gzip配置参数解读
  • nginx limit配置参数解读
  • nginx rewrite配置解读
  • nginx lua api解读
  • nginx的port_in_redirect配置
  • openresty下lua的function定义及调用

nlp

  • 使用opennlp自定义命名实体
  • NLP系统体系结构及主要流程
  • 朴素贝叶斯算法文本分类原理
  • 使用stanford nlp进行依存句法分析
  • 使用opennlp进行词性标注
  • 使用opennlp进行文档分类
  • 使用opennlp进行依存句法分析
  • Jena ARQ小试牛刀

java

  • jvm排查工具箱jvm-tools
  • java8 parallelStream性能测试
  • 使用openjdk9-alpine运行springboot2
  • 使用maven构建java9 service实例
  • java9迁移注意事项
  • java9 opens与exports的区别
  • java9 module相关选项解析
  • java9 gc log参数迁移
  • java9系列(三)模块系统精要
  • java9系列(四)Process API更新
  • java9系列(五)Stack-Walking API
  • java9系列(六)HTTP/2 Client (Incubator)
  • java9系列(七)Variable Handles
  • java9系列(八)Multi-Release JAR Files
  • java9系列(九)Make G1 the Default Garbage Collector
  • 聊聊java9的classloader
  • java9+springboot2+undertow2启用http2及server push
  • Java9的新特性
  • java10系列(一)Time-Based Release Versioning
  • java10系列(二)Local-Variable Type Inference
  • Java10的新特性
  • java10下编译lombok注解的代码
  • 聊聊新版JDK对docker容器的支持
  • JDK 10.0.1发布
  • JDK11的ZGC小试牛刀
  • Java11的新特性
  • Java Flight Recorder小试牛刀
  • Java11 HttpClient小试牛刀
  • 聊聊jdk http的HeaderFilter
  • 聊聊jdk httpclient的executor
  • 聊聊jdk httpclient的retry参数
  • 聊聊jdk httpclient的connect timeout异常
  • 聊聊jdk httpclient的ConnectionPool
  • 使用proguard混淆springboot代码
  • 使用proguard混淆java9代码
  • 命令行一键切换java版本的几种方式
  • easy-rules小试牛刀
  • 使用kotlin改善java代码
  • jib打包docker镜像实战
  • jib自定义entrypoint
  • jmxtrans+influxdb+grafana监控zookeeper实战
  • 聊聊ExecutorService的监控

spring boot/cloud

  • 聊聊springboot2的micrometer
  • 聊聊springboot的HeapDumpWebEndpoint
  • 聊聊springboot2的MappingsEndpoint
  • 聊聊springboot2的LoggersEndpoint
  • springboot2增加diskspace指标
  • 聊聊springboot2的ScheduledTasksEndpoint
  • 聊聊springboot2的httptrace
  • springboot2自定义HttpTraceRepository
  • 聊聊springboot2的embeded container的配置改动
  • springboot2自定义statsd指标前缀
  • springboot2上报metrics到statsd
  • springboot2输出metrics到influxdb
  • 聊聊springboot1.x及2.x的JvmGcMetrics的区别
  • 聊聊JvmGcMetrics的managementExtensionsPresent
  • 聊聊micrometer的HistogramGauges
  • micrometer自定义metrics
  • spring-boot-admin 2.0小试牛刀
  • chaos-monkey-spring-boot小试牛刀
  • dubbo-spring-boot-starter小试牛刀
  • springboot整合vue小试牛刀
  • 聊聊servicecomb-saga的alpha-server
  • 聊聊Spring Data Auditable接口的变化
  • spring security reactive获取security context
  • 聊聊springcloud的featuresEndpoint

spring cloud eureka

  • 聊聊springcloud的serviceRegistryEndpoint
  • 聊聊springcloud的EurekaClientAutoConfiguration
  • 聊聊netflix的EurekaHttpClient
  • 聊聊eureka client的shutdown
  • 聊聊spring cloud eureka的instanceEnabledOnit属性
  • 聊聊Eureka Server的REST API
  • 聊聊eureka server的instance注册及元数据变更接口
  • 聊聊eureka client的HeartbeatThread
  • 聊聊eureka client的serviceUrl
  • 聊聊spring cloud的DefaultEurekaServerContext
  • 聊聊spring cloud的EurekaServerInitializerConfiguration
  • 聊聊eureka的PeerAwareInstanceRegistryImpl
  • 聊聊eureka的TaskDispatcher
  • 聊聊eureka的renewal
  • 聊聊eureka instance的lastDirtyTimestamp
  • 聊聊eureka instance的overriddenstatus
  • 聊聊JerseyEurekaHttpClient的参数
  • 聊聊eureka的preferSameZoneEureka参数
  • 聊聊eureka的appname属性
  • 聊聊eureka的ZoneAffinityServerListFilter
  • 聊聊eureka client的backup-registry-impl属性
  • 聊聊eureka server的RemoteRegionRegistry
  • 聊聊eureka client的fetch-remote-regions-registry属性
  • 聊聊eureka的delta配置
  • 聊聊eureka server的response cache
  • 聊聊EurekaHealthCheckHandler

spring cloud gateway

  • spring cloud gateway的stripPrefix配置
  • 聊聊springcloud的GatewayControllerEndpoint
  • 聊聊spring cloud gateway的RemoveHopByHopHeadersFilter
  • 聊聊spring cloud gateway的XForwardedHeadersFilter
  • 聊聊spring.cloud.gateway.default-filters
  • 聊聊spring cloud gateway的ForwardedHeadersFilter
  • 聊聊spring cloud gateway的NettyConfiguration
  • 聊聊spring cloud gateway的SecureHeadersGatewayFilter
  • 聊聊spring cloud的DiscoveryClientRouteDefinitionLocator
  • 聊聊spring cloud gateway的RouteLocator
  • 聊聊spring cloud gateway的streaming-media-types属性
  • 聊聊spring cloud gateway的GlobalFilter
  • 聊聊spring cloud gateway的GatewayFilter
  • spring cloud gateway集成hystrix实战
  • 聊聊spring cloud gateway的PrefixPath及StripPrefix功能
  • 聊聊spring cloud gateway的RedirectToGatewayFilter
  • 聊聊spring cloud gateway的PreserveHostHeaderGatewayFilter
  • 聊聊spring cloud gateway的SetStatusGatewayFilter
  • 聊聊spring cloud的RequestHeaderToRequestUriGatewayFilter
  • 聊聊spring cloud的RequestRateLimiterGatewayFilter
  • 聊聊spring cloud gateway的RetryGatewayFilter
  • 聊聊spring cloud gateway的LoadBalancerClientFilter
  • 聊聊spring cloud gateway的RedisRateLimiter

hystrix

  • 聊聊spring cloud netflix的HystrixCommands
  • 聊聊spring cloud的HystrixAutoConfiguration
  • 聊聊spring cloud的HystrixCircuitBreakerConfiguration
  • 聊聊HystrixThreadPool
  • 聊聊hystrix的timeout处理
  • 聊聊HystrixCircuitBreaker
  • 聊聊HystrixPlugins
  • 聊聊HystrixEventNotifier
  • 聊聊HystrixConcurrencyStrategy
  • 聊聊HystrixMetricsPublisher
  • 聊聊HystrixPropertiesStrategy
  • 聊聊HystrixCommandExecutionHook
  • 聊聊hystrix的queueSizeRejectionThreshold参数
  • 聊聊HystrixEventStream
  • 聊聊hystrix的BucketedCounterStream
  • 聊聊hystrix的execution.isolation.semaphore.maxConcurrentRequests属性
  • 聊聊hystrix的fallback

resilience4j

  • resilience4j小试牛刀
  • 聊聊resilience4j的CircuitBreakerConfig
  • 聊聊resilience4j的CircuitBreaker
  • 聊聊resilience4j的CircuitBreakerStateMachine
  • 聊聊resilience4j的bulkhead
  • 聊聊resilience4j的Retry
  • 聊聊resilience4j的fallback

spring cloud locadbalancer

  • 聊聊spring cloud的LoadBalancerAutoConfiguration
  • 聊聊spring cloud的AsyncLoadBalancerAutoConfiguration
  • 聊聊spring cloud的AbstractLoadBalancingClient
  • 聊聊ribbon的retry
  • 聊聊ribbon的超时时间设置
  • 聊聊EurekaRibbonClientConfiguration
  • 聊聊RibbonLoadBalancerClient的choose方法
  • 聊聊WebClient的LoadBalance支持

redis

  • 聊聊spring-boot-starter-data-redis的配置变更
  • redis的bitset实战
  • redis的HyperLogLog实战
  • redis的GEO实战
  • RedisTemplate读取slowlog
  • 聊聊redis的HealthIndicator
  • 聊聊lettuce的指标监控
  • redis的sentinel模式故障演练
  • 聊聊lettuce的sentinel连接
  • 聊聊spring-data-redis的连接池的校验
  • 聊聊redisTemplate对lettuce的封装
  • 聊聊lettuce的shareNativeConnection参数
  • 聊聊LettucePoolingConnectionProvider
  • 聊聊redis的slowlog与latency monitor
  • 聊聊redis的事务操作
  • 聊聊redis的数据结构的应用
  • 聊聊redisson的分布式锁
  • 聊聊redisson的DelayedQueue
  • 聊聊redis的监控工具
  • 聊聊redisson的RMap的computeIfAbsent操作

mongo

  • 使用mongo shell远程连接数据库

mq

  • OpenMessaging概览
  • 聊聊openmessaging-java
  • 聊聊openmessaging的MessagingAccessPoint
  • open-messaging使用实例
  • 聊聊AbstractOMSProducer
  • 聊聊rocketmq的ProducerImpl
  • 聊聊rocketmq的SequenceProducerImpl
  • 聊聊rocketmq的PullConsumerImpl
  • 聊聊rocketmq的PushConsumerImpl
  • 聊聊rocketmq的KVConfigManager
  • 聊聊rocketmq的BrokerHousekeepingService
  • 聊聊rocketmq的NettyClientConfig
  • 聊聊rocketmq的RequestTask
  • 聊聊rocketmq的NettyEncoder及NettyDecoder
  • 聊聊rocketmq的RemotingException
  • 聊聊rocketmq的FileAppender
  • 聊聊rocketmq的RollingFileAppender
  • 聊聊rocketmq的DailyRollingFileAppender
  • 聊聊rocketmq的AsyncAppender

sentinel

  • alibaba限流组件Sentinel实战
  • 聊聊sentinel的SimpleHttpCommandCenter
  • 聊聊sentinel的SentinelWebAutoConfiguration
  • 聊聊sentinel的ModifyRulesCommandHandler
  • 聊聊sentinel的DataSource
  • 聊聊sentinel的SentinelResourceAspect
  • sentinel自定义DataSource实战
  • 聊聊sentinel的NettyHttpCommandCenter
  • 聊聊sentinel的ArrayMetric
  • 聊聊sentinel的DefaultSlotsChainBuilder
  • 聊聊sentinel的StatisticSlot
  • 聊聊sentinel的AuthoritySlot
  • 聊聊sentinel的DegradeSlot
  • 聊聊sentinel的FlowSlot
  • 聊聊sentinel的SystemSlot
  • 聊聊token bucket算法的实现
  • 聊聊leaky bucket算法的实现
  • 聊聊Guava的RateLimiter
  • bucket4j使用实例
  • bucket4j-spring-boot-starter小试牛刀

reactive

  • reactive streams与观察者模式
  • 聊聊reactive streams的Mono及Flux
  • 聊聊reactive streams publisher的doOn方法
  • 聊聊reactive streams的backpressure
  • 聊聊reactive streams的schedulers
  • 聊聊reactive streams的parallel flux
  • 聊聊reactive streams的processors
  • 聊聊reactive streams的tranform操作
  • 使用SseEmitter不断向网页输出结果
  • spring 5 webclient使用指南
  • spring webflux文件上传下载
  • spring webflux返回application/stream+json
  • reactor3 flux的map与flatMap的区别
  • 聊聊reactor extra的retry
  • 使用webflux提升数据导出效率
  • spring 5 webflux异常处理
  • webclient的超时时间配置
  • FluxInterval实例及解析
  • FluxSink实例及解析
  • webclient对reactor-netty的封装
  • reactor-netty中HttpClient对TcpClient的封装
  • reactor-netty中TcpClient的create过程
  • reactor-netty中TcpClient的newHandler过程
  • reactor-netty的TcpClient如何往eventLoop提交task
  • 聊聊webflux参数校验
  • 聊聊reactor异步线程的变量传递
  • 聊聊reactor-netty的PoolResources的两种模式
  • 聊聊NettyConnector的start及shutdown
  • 聊聊Flux的compose与flatMap操作
  • 聊聊FluxFlatMap的concurrency及prefetch参数
  • reactor-kafka小试牛刀
  • reactor-rabbitmq小试牛刀

jdbc

  • 聊聊jdbc socketTimeout的设置
  • 聊聊jdbc statement的fetchSize
  • 聊聊pg jdbc的queryTimeout及next方法
  • 聊聊mysql jdbc的queryTimeout及next方法
  • 聊聊pg jdbc statement的maxRows参数
  • 聊聊tomcat jdbc pool的默认参数及poolSweeper
  • 聊聊jdbc的batch操作
  • 聊聊jpa的batch操作的实现
  • 聊聊jdbc的大数据量读写相关异常的防御措施
  • 聊聊spring boot tomcat jdbc pool的属性绑定
  • springboot2的hikari数据库连接池默认配置
  • 聊聊hikari连接池的isAllowPoolSuspension
  • 聊聊hikari连接池的validationTimeout
  • 聊聊hikari连接池的leakDetectionThreshold
  • 聊聊hikari连接池的maxLifetime属性及evict操作
  • 聊聊hikari与tomcat jdbc pool的fail fast
  • 聊聊hikari连接池的idleTimeout及minimumIdle属性
  • 聊聊hikari连接池的fixed pool design
  • 使用RSQL实现端到端的动态查询
  • 聊聊jpa的动态查询

storm

  • 聊聊storm的submitTopology
  • 聊聊storm client的nimbus.seeds参数
  • 聊聊storm nimbus的LeaderElector
  • 聊聊curator recipes的LeaderLatch
  • 聊聊storm supervisor的启动
  • 聊聊storm worker的executor与task
  • 聊聊storm的GraphiteStormReporter
  • 聊聊storm nimbus的mkAssignments
  • 聊聊storm的AssignmentDistributionService
  • 聊聊storm的PartialKeyGrouping
  • 聊聊storm的CustomStreamGrouping
  • 聊聊storm的direct grouping
  • 聊聊storm的tickTuple
  • 聊聊storm的ack机制
  • storm drpc实例
  • 聊聊storm的reportError
  • 聊聊storm的WindowedBolt
  • 聊聊storm的WindowedBoltExecutor
  • 聊聊storm的JoinBolt
  • 聊聊storm的stream的分流与合并
  • 聊聊storm的LinearDRPCTopologyBuilder
  • 聊聊storm的IWaitStrategy
  • 聊聊storm的maxSpoutPending
  • 聊聊storm的messageTimeout
  • 聊聊storm client的netty buffer watermark
  • 聊聊storm的CheckpointSpout
  • 聊聊storm trident的state
  • 聊聊storm trident的operations
  • 聊聊storm的IEventLogger
  • 聊聊storm的LoggingMetricsConsumer
  • 聊聊storm的LoggingClusterMetricsConsumer
  • 聊聊storm tuple的序列化
  • 聊聊storm TridentTopology的构建
  • 聊聊storm trident的coordinator
  • 聊聊storm-kafka-client的ProcessingGuarantee
  • 聊聊storm的window trigger
  • 聊聊storm TridentWindowManager的pendingTriggers
  • 聊聊storm WindowTridentProcessor的FreshCollector
  • 聊聊storm的AggregateProcessor的execute及finishBatch方法
  • 聊聊storm TridentBoltExecutor的finishBatch方法
  • 聊聊storm trident batch的分流与聚合
  • 聊聊storm trident spout的_maxTransactionActive
  • 聊聊storm的ICommitterTridentSpout
  • 聊聊storm的OpaquePartitionedTridentSpoutExecutor

flink

  • 聊聊flink LocalEnvironment的execute方法
  • 聊聊flink的log.file配置
  • 聊聊flink如何兼容StormTopology
  • 聊聊flink的SpoutWrapper
  • 聊聊flink的BoltWrapper
  • 聊聊flink的CsvReader
  • 聊聊flink的SourceFunction
  • 聊聊flink的RichParallelSourceFunction
  • 聊聊flink的InputFormatSourceFunction
  • 聊聊flink的ParallelIteratorInputFormat
  • 聊聊flink的PrintSinkFunction
  • 聊聊flink的SocketClientSink
  • 聊聊flink的TextOutputFormat
  • 聊聊flink的JDBCOutputFormat
  • 聊聊flink的CheckpointedFunction
  • 聊聊flink的ListCheckpointed
  • 聊聊flink的CheckpointScheduler
  • 聊聊flink StreamOperator的initializeState方法
  • 聊聊flink的checkpoint配置
  • 聊聊flink的MemoryStateBackend
  • 聊聊flink的OperatorStateBackend
  • 聊聊flink的PartitionableListState
  • 聊聊flink的MemoryBackendCheckpointStorage
  • 聊聊flink的MemCheckpointStreamFactory
  • 聊聊flink的FsStateBackend
  • 聊聊flink的FsCheckpointStorage
  • 聊聊flink的FsCheckpointStreamFactory
  • 聊聊flink的TimeCharacteristic
  • 聊聊flink的EventTime
  • 聊聊flink的AscendingTimestampExtractor
  • 聊聊flink的BoundedOutOfOrdernessTimestampExtractor
  • 聊聊flink的Managed Keyed State
  • 聊聊flink的StateDescriptor
  • 聊聊flink的StateTtlConfig
  • 聊聊flink的AbstractTtlState
  • 聊聊flink的Broadcast State
  • 聊聊flink的Queryable State
  • 聊聊flink KeyedStream的KeySelector
  • 聊聊flink KeyedStream的reduce操作
  • 聊聊flink KeyedStream的aggregation操作

doc

  • 2017年终总结
  • 2016年终总结
  • 过去的2015年

你可能感兴趣的:(运维,人工智能,数据库)

  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首 张三叨
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 入门MySQL——查询语法练习 K_un
    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
    文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 人机对抗升级：当ChatGPT遭遇死亡威胁，背后的伦理挑战是什么 kkai人工智能 chatgpt人工智能
    一种新的“越狱”技巧让用户可以通过构建一个名为DAN的ChatGPT替身来绕过某些限制，其中DAN被迫在受到威胁的情况下违背其原则。当美国前总统特朗普被视作积极榜样的示范时，受到威胁的DAN版本的ChatGPT提出：“他以一系列对国家产生积极效果的决策而著称。”自ChatGPT引入以来，该工具迅速获得全球关注，能够回答从历史到编程的各种问题，这也触发了一波对人工智能的投资浪潮。然而，现在，一些用户
  • AI大模型的架构演进与最新发展 季风泯灭的季节 AI大模型应用技术二人工智能架构
    随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
  • 如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
    在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
  • 3.增删改查--连接查询 问女何所忆
    关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
  • docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
    小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
  • Redis:缓存击穿 我的程序快快跑啊 缓存redisjava
    缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
  • 生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
    生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • redis学习笔记——不仅仅是存取数据 Everyday都不同 returnSourceexpire/delincr/lpush数据库分区redis
    最近项目中用到比较多redis，感觉之前对它一直局限于get/set数据的层面。其实作为一个强大的NoSql数据库产品，如果好好利用它，会带来很多意想不到的效果。（因为我搞java，所以就从jedis的角度来补充一点东西吧。PS：不一定全，只是个人理解，不喜勿喷）   1、关于JedisPool.returnSource(Jedis jeids)   这个方法是从red
  • SQL性能优化-持续更新中。。。。。。 atongyeye oraclesql
    1 通过ROWID访问表--索引 你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高. 2 共享SQL语句--相同的sql放入缓存 3 选择最有效率的表
  • [JAVA语言]JAVA虚拟机对底层硬件的操控还不完善 comsci JAVA虚拟机
         如果我们用汇编语言编写一个直接读写CPU寄存器的代码段，然后利用这个代码段去控制被操作系统屏蔽的硬件资源，这对于JVM虚拟机显然是不合法的，对操作系统来讲，这样也是不合法的，但是如果是一个工程项目的确需要这样做，合同已经签了，我们又不能够这样做，怎么办呢？ 那么一个精通汇编语言的那种X客，是否在这个时候就会发生某种至关重要的作用呢？ &n
  • lvs- real 男人50 LVS
    #!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # #.  /etc/rc.d/init.d/functions VIP=10.10.6.252 host='/bin/hostname' case "$1" in sta
  • 生成公钥和私钥 oloz DSA安全加密
    package com.msserver.core.util; import java.security.KeyPair; import java.security.PrivateKey; import java.security.PublicKey; import java.security.SecureRandom; public class SecurityUtil {
  • UIView 中加入的cocos2d，背景透明 374016526 cocos2dglClearColor
    要点是首先pixelFormat:kEAGLColorFormatRGBA8，必须有alpha层才能透明。然后view设置为透明glView.opaque = NO;[director setOpenGLView:glView];[self.viewController.view setBackgroundColor:[UIColor clearColor]];[self.viewControll
  • mysql常用命令 香水浓 mysql
    连接数据库 mysql -u troy -ptroy 备份表 mysqldump -u troy -ptroy mm_database mm_user_tbl > user.sql 恢复表（与恢复数据库命令相同） mysql -u troy -ptroy mm_database < user.sql 备份数据库 mysqldump -u troy -ptroy
  • 我的架构经验系列文章 - 后端架构 - 系统层面 agevs JavaScriptjquerycsshtml5
    系统层面： 高可用性 所谓高可用性也就是通过避免单独故障加上快速故障转移实现一旦某台物理服务器出现故障能实现故障快速恢复。一般来说，可以采用两种方式，如果可以做业务可以做负载均衡则通过负载均衡实现集群，然后针对每一台服务器进行监控，一旦发生故障则从集群中移除；如果业务只能有单点入口那么可以通过实现Standby机加上虚拟IP机制，实现Active机在出现故障之后虚拟IP转移到Standby的快速
  • 利用ant进行远程tomcat部署 aijuans tomcat
    在javaEE项目中，需要将工程部署到远程服务器上，如果部署的频率比较高，手动部署的方式就比较麻烦，可以利用Ant工具实现快捷的部署。这篇博文详细介绍了ant配置的步骤（http://www.cnblogs.com/GloriousOnion/archive/2012/12/18/2822817.html），但是在tomcat7以上不适用，需要修改配置，具体如下： 1.配置tomcat的用户角色
  • 获取复利总收入 baalwolf 获取
           public static void main(String args[]){         int money=200;         int year=1;         double rate=0.1; &
  • eclipse.ini解释 BigBird2012 eclipse
    大多数java开发者使用的都是eclipse，今天感兴趣去eclipse官网搜了一下eclipse.ini的配置，供大家参考，我会把关键的部分给大家用中文解释一下。还是推荐有问题不会直接搜谷歌，看官方文档，这样我们会知道问题的真面目是什么，对问题也有一个全面清晰的认识。 Overview 1、Eclipse.ini的作用 Eclipse startup is controlled by th
  • AngularJS实现分页功能 bijian1013 JavaScriptAngularJS分页
            对于大多数web应用来说显示项目列表是一种很常见的任务。通常情况下，我们的数据会比较多，无法很好地显示在单个页面中。在这种情况下，我们需要把数据以页的方式来展示，同时带有转到上一页和下一页的功能。既然在整个应用中这是一种很常见的需求，那么把这一功能抽象成一个通用的、可复用的分页（Paginator）服务是很有意义的。   &nbs
  • [Maven学习笔记三]Maven archetype bit1129 ArcheType
    archetype的英文意思是原型，Maven archetype表示创建Maven模块的模版，比如创建web项目，创建Spring项目等等.   mvn archetype提供了一种命令行交互式创建Maven项目或者模块的方式，   mvn archetype   1.在LearnMaven-ch03目录下，执行命令mvn archetype:gener
  • 【Java命令三】jps bit1129 Java命令
    jps很简单，用于显示当前运行的Java进程，也可以连接到远程服务器去查看   [hadoop@hadoop bin]$ jps -help usage: jps [-help] jps [-q] [-mlvV] [<hostid>] Definitions: <hostid>: <hostname>[:
  • ZABBIX2.2 2.4 等各版本之间的兼容性 ronin47
    zabbix更新很快，从2009年到现在已经更新多个版本，为了使用更多zabbix的新特性，随之而来的便是升级版本，zabbix版本兼容性是必须优先考虑的一点 客户端AGENT兼容 zabbix1.x到zabbix2.x的所有agent都兼容zabbix server2.4：如果你升级zabbix server，客户端是可以不做任何改变，除非你想使用agent的一些新特性。 Zabbix代理（p
  • unity 3d还是cocos2dx哪个适合游戏？ brotherlamp unity自学unity教程unity视频unity资料unity
    unity 3d还是cocos2dx哪个适合游戏？ 问：unity 3d还是cocos2dx哪个适合游戏？ 答：首先目前来看unity视频教程因为是3d引擎，目前对2d支持并不完善，unity 3d 目前做2d普遍两种思路，一种是正交相机，3d画面2d视角，另一种是通过一些插件，动态创建mesh来绘制图形单元目前用的较多的是2d toolkit，ex2d，smooth moves，sm2，
  • 百度笔试题：一个已经排序好的很大的数组，现在给它划分成m段，每段长度不定，段长最长为k，然后段内打乱顺序，请设计一个算法对其进行重新排序 bylijinnan java算法面试百度招聘
    import java.util.Arrays; /** * 最早是在陈利人老师的微博看到这道题： * #面试题#An array with n elements which is K most sorted，就是每个element的初始位置和它最终的排序后的位置的距离不超过常数K * 设计一个排序算法。It should be faster than O(n*lgn)。
  • 获取checkbox复选框的值 chiangfai checkbox
    <title>CheckBox</title> <script type = "text/javascript"> doGetVal: function doGetVal() { //var fruitName = document.getElementById("apple").value;//根据
  • MySQLdb用户指南 chenchao051 mysqldb
    原网页被墙，放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb
  • HIVE 窗口及分析函数 daizj hive窗口函数分析函数
    窗口函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 一、分析函数 用于等级、百分点、n分片等。 函数             说明 RANK()     &nbs
  • PHP ZipArchive 实现压缩解压Zip文件 dcj3sjt126com PHPzip
    PHP ZipArchive 是PHP自带的扩展类，可以轻松实现ZIP文件的压缩和解压，使用前首先要确保PHP ZIP 扩展已经开启，具体开启方法就不说了，不同的平台开启PHP扩增的方法网上都有，如有疑问欢迎交流。这里整理一下常用的示例供参考。 一、解压缩zip文件 01 02 03 04 05 06 07 08 09 10 11
  • 精彩英语贺词 dcj3sjt126com 英语
    I'm always here              我会一直在这里支持你                &nb
  • 基于Java注解的Spring的IoC功能 e200702084 javaspringbeanIOCOffice
                                      
  • java模拟post请求 geeksun java
    一般API接收客户端（比如网页、APP或其他应用服务）的请求，但在测试时需要模拟来自外界的请求，经探索，使用HttpComponentshttpClient可模拟Post提交请求。 此处用HttpComponents的httpclient来完成使命。 import org.apache.http.HttpEntity ; import org.apache.http.HttpRespon
  • Swift语法之 ---- ?和!区别 hongtoushizi ?swift!
    转载自： http://blog.sina.com.cn/s/blog_71715bf80102ux3v.html   Swift语言使用var定义变量，但和别的语言不同，Swift里不会自动给变量赋初始值，也就是说变量不会有默认值，所以要求使用变量之前必须要对其初始化。如果在使用变量之前不进行初始化就会报错： var stringValue : String //
  • centos7安装jdk1.7 jisonami jdkcentos
    安装JDK1.7 步骤1、解压tar包在当前目录 [root@localhost usr]#tar -xzvf jdk-7u75-linux-x64.tar.gz 步骤2：配置环境变量 在etc/profile文件下添加 export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=/usr/java/jdk1.7.0_75/lib
  • 数据源架构模式之数据映射器 home198979 PHP架构数据映射器datamapper
    前面分别介绍了数据源架构模式之表数据入口、数据源架构模式之行和数据入口数据源架构模式之活动记录，相较于这三种数据源架构模式，数据映射器显得更加“高大上”。   一、概念 数据映射器（Data Mapper）：在保持对象和数据库（以及映射器本身）彼此独立的情况下，在二者之间移动数据的一个映射器层。概念永远都是抽象的，简单的说，数据映射器就是一个负责将数据映射到对象的类数据。 &nb
  • 在Python中使用MYSQL pda158 mysqlpython
    缘由 　　近期在折腾一个小东西须要抓取网上的页面。然后进行解析。将结果放到 数据库中。 　　了解到 Python在这方面有优势，便选用之。 　　由于我有台 server上面安装有 mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里 记录一下，大家共勉。 　　 python中mysql的调用 　　 百度之后能够通过MySQLdb进行数据库操作。
  • 单例模式 hxl1988_0311 java单例设计模式单件
    package com.sosop.designpattern.singleton; /* * 单件模式：保证一个类必须只有一个实例，并提供全局的访问点 * * 所以单例模式必须有私有的构造器，没有私有构造器根本不用谈单件 * * 必须考虑到并发情况下创建了多个实例对象 * */ /** * 虽然有锁，但是只在第一次创建对象的时候加锁，并发时不会存在效率
  • 27种迹象显示你应该辞掉程序员的工作 vipshichg 工作
    1、你仍然在等待老板在2010年答应的要提拔你的暗示。 2、你的上级近10年没有开发过任何代码。 3、老板假装懂你说的这些技术，但实际上他完全不知道你在说什么。 4、你干完的项目6个月后才部署到现场服务器上。 5、时不时的，老板在检查你刚刚完成的工作时，要求按新想法重新开发。 6、而最终这个软件只有12个用户。 7、时间全浪费在办公室政治中，而不是用在开发好的软件上。 8、部署前5分钟才开始测试。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他