青山孤客

使用Streamsets将Oracle数据实时同步到MySQL中

前期准备：

1、打开Oracle的logminer

a.在SQL Shell中，以具有DBA的用户身份登录数据库：

sqlplus /nolog;

conn / as sysdba;

b.检查数据库日志记录模式：

select log_mode from v$database;

如果查询结果是ARCHIVELOG，则以下操作都不用执行，如果命令返回NOARCHIVELOG，请继续执行以下步骤：

c.关闭数据库：

shutdown immediate;

d.启动并挂载数据库：

startup mount;

f.启用存档，打开数据库，并使其可写：

alter database archivelog;
alter database open read write;

这里要注意，如果是Linux中通过docker容器安装的Oracle要进入容器中进行修改，外部直接sqlplus连接的话会报错。

docker exec -it oracle11g bash

2、启用补充日志

a.要验证是否为数据库启用了补充日志记录，请在SQL Shell中运行以下命令：

SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_all FROM v$database;

b.状态都为no则执行以下指令：

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;
ALTER SYSTEM SWITCH LOGFILE;

3、创建新Oracle用户并授权

开启补充日志之后为创建新的用户帐户用于Oracle CDC客户端源，并为用户 streamsets 授权,

CREATE USER streamsets IDENTIFIED BY streamsets;
GRANT create session, alter session, execute_catalog_role, select any dictionary, select any transaction, select any table to streamsets;
GRANT select on GV_$DATABASE to streamsets;
GRANT select on V_$ARCHIVED_LOG to streamsets;
GRANT select on V_$LOGMNR_CONTENTS to streamsets;
GRANT select on v_$logmnr_parameters to streamsets;

后面测试创建表后，插入数据报错：

ORA-01950: no privileges on tablespace 'USERS'

因为没有Resource权限，所以需要执行：

GRANT Resource to streamsets;

GRANT select on . TO ; 
  Streamsets管道配置： 
  1、在Streamsets中创建新的管道 
  a.通过 192.168.XXX.XXX:18630 打开Streamsets 
  默认账号密码为admin - admin 
  b.登录后在左边创建新的管道 
   
  2、编辑新建的管道 
  因为业务是将Oracle的数据实时同步到MySQL中，所以在Origins中选择Oracle CDC Client，在目的地Destinations中选择JDBC Producer。然后将两者相连： 
   
  3、导入所需的jdbc驱动包 
  在StreamSets界面中，点击右上角的Package Manager，然后右边的框拉到最下面选择External Libraries导入外部的jar包： 
   
  如果导入报错时，解决步骤可以看这里：导入外部库 
  4、配置 Oracle CDC Client 
   
   注意：
 A.这里的要注意一下 Oracle CDC Client支持处理以下数据库中的数据：
     Oracle 11g，12c，18c和19c
     Oracle Real Application Clusters（RAC）12c，18c和19c
 B.需要在Oracle终端启动LogMiner，总结数据库活动，使用这些日志来生成记录。LogMiner要求数据库是打开的，可写的，并且在启用归档的情况下处于ARCHIVELOG模式。 
   
  a.首先在Oracle 11g中创建一个学生表 
  命名为student： 
   
  然后插入一些测试数据： 
   
  b.编辑Oracle CDC中的内容 
   
   
   Tables 配置为ORACLE DATABASE中的定义的测试表STREAMSETS.student，注意ORACEL大小写敏感。 
   Initial Change配置默认是 From Latest Change，实时数据同步只需要捕获变化数据。 
   Operation配置为Hbase对应支持的CRUD操作类型，匹配ORACLE Database中实时变化数据的增删改操作事务操作。 
   
   
  这里改一下时区。 
  c.编辑JDBC配置内容 
  JDBC Connection String中输入jdbc的连接信息： 
  jdbc:oracle:thin:@192.168.105.77:helowinXDB 
   
  d.编辑Credentials 
  填写数据库的用户名与密码： 
   
  5、配置 JDBC Producer 组件 
  a.编辑General Property 
   
   Required Fields：必填字段，是必须存在于记录中以允许其进入处理阶段的字段。当记录不包含所有必填字段时，将根据为管道配置的错误处理对其进行处理。您可以为任何处理器，执行程序和大多数目标阶段定义必需的字段。 
   Preconditions：必须评估为TRUE以允许记录进入处理阶段的条件。单击"+"以创建其他前提条件。根据为阶段配置的错误处理，处理不满足所有前提条件的记录。 
   On Record Error：阶段的错误记录处理： 
    
        Discard - 丢弃记录。 
        Send to Error - 将记录发送到管道以进行错误处理。 
        Stop Pipeline- 停止管道。 
    
   
  b.编辑JDBC 
   
   
   JDBC Connection String： 用于连接数据库的连接字符串，各数据库的连接配置使用以下格式 
    
          Mysql: jdbc:mysql://xxxxxxxxxx:3306/数据库名 
          Oracle: jdbc:oracle:thin:@xxxxxxxxxx:1521:服务名 
          PostgreSQL- jdbc:postgresql://:/ 
          SQL server: jdbc:sqlserver://xxxxxxxxxx:1433;databaseName=xxx 
    
   Schema Name :要使用的可选数据库或模式名称。在数据库需要完全限定的表名时使用。提示： 默认情况下，Oracle会对模式，表和列名称使用全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。 
   Table Name :要使用的数据库表名称。使用数据库所需的表名格式。提示： 默认情况下，Oracle会对模式，表和列名称使用全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。 
   Field to Column Mapping:用于覆盖默认字段到列映射。默认情况下，字段将写入同名的列。覆盖映射时，可以定义参数化值，以便在将字符值写入列之前将SQL函数应用于字段值。例如，要将字段值转换为整数，请为参数化值输入以下内容： 
   
  CAST(? AS INTEGER) 
   
   
   Enclose Object Names:写入数据库时，将数据库或模式名称，表名称和列名称括在引号中。允许使用区分大小写的名称或带有特殊字符的名称。未启用时，目标使用的JDBC驱动程序将确定名称的提交方式。Oracle JDBC驱动程序默认将名称提交为全部大写。此外，Oracle默认使用模式，表和列名称的全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。 
   Change Log Format:变更捕获数据的格式。处理更改捕获数据时使用。 
   Default Operation:如果未设置sdc.operation.type记录标头属性，则执行的默认增删改操作。 
   Unsupported Operation Handling ：不支持在sdc.operation.type记录标头属性中定义的CRUD操作类型时要采取的操作： 
    
    Discard - 丢弃记录。 
    Send to Error - 将记录发送到管道以进行错误处理。 
    Use Default Operation - 使用默认操作将记录写入目标系统。 
    
   Use Multi-Row Operation:确定阶段如何处理记录。选择以一次启用插入和删除多个记录。在启用此选项之前，请验证数据库是否支持阶段使用的多行SQL语句。默认情况下，该阶段执行单行操作。 
   Max Cache Size Per Batch (Entries)：定义多行插入的预准备语句中允许的参数数量。使用-1可禁用参数限制。默认值为-1。 
   Rollback Batch On Error：当批次中发生错误时，回滚整个批次。 
   Additional JDBC Configuration Propertie：要使用的其他JDBC配置属性。要添加属性，请单击“ + ”并定义JDBC属性名称和值，使用JDBC所期望的属性名称和值。 
   
  c.编辑Credentials 
  填写数据库的用户名与密码： 
  
d.如果jdbc版本低于4.0，则需要配置Legacy Drivers 
   
   JDBC Driver Class Name：JDBC驱动程序的类名。早于版本4.0的JDBC版本必须填写。
 Connection Health Test Query ：可选查询，用于测试连接的运行状况。仅当JDBC版本低于4.0时建议使用。 
   
  e.编辑Advanced 
   
   Maximum Pool Size：要创建的最大连接数，默认值为1，建议值为1。 
   Minimum Idle Connections：要创建和维护的最小连接数。要定义固定连接池，请将其设置为与“Maximum Pool Size”相同的值，默认值为1。 
   Connection Timeout (Seconds)：等待连接的最长时间。在表达式中使用时间常量来定义时间增量，默认值为30秒。 
   Idle Timeout (Seconds):允许连接空闲的最长时间。在表达式中使用时间常量来定义时间增量,使用0可以避免删除任何空闲连接,默认值为10分钟. 
   Max Connection Lifetime (Seconds):连接的最长寿命。在表达式中使用时间常量来定义时间增量,使用0设置无最大生命周期,默认值为30分钟 
   Transaction Isolation：用于连接数据库的事务隔离级别。默认值是为数据库设置的默认事务隔离级别。您可以通过将级别设置为以下任何一项来覆盖数据库默认值： 
    
    读取已提交 
    读取未提交 
    可重复阅读 
    
   序列化
 Init Query：在该组件第一次连接到数据库之后立即执行的SQL查询 
   
   
  6、启动管道流： 
   
  问题解决： 
  报错一： 
  启动时候报错了 OraclORA-12505, TNS:listener does not currently know of SID given in connect descriptor 
  jdbc连接数据库的时候，需要使用数据库的sid_name，而不是数据库的services_name.而使用plsql连接数据库的时候，只需要数据库的services_name即可，所以修改连接字符串中的services_name 为sid_name.
 查询sid_name的语句： 
  select INSTANCE_NAME from v$instance; 
   
  在JDBC中修改即可: 
   
  报错二： 
  我Oracle数据修改以后，并没有在MySQL数据库中同步到数据，然后在错误中可以看到错误信息： 
   
  具体的报错内容如下： 
   
  JDBC_405 - Error while generating records: java.util.concurrent.ExecutionException: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
 java.util.concurrent.ExecutionException: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
     at java.util.concurrent.FutureTask.report(FutureTask.java:122)
     at java.util.concurrent.FutureTask.get(FutureTask.java:192)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.addRecordsToQueue(OracleCDCSource.java:1151)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.generateRecords(OracleCDCSource.java:742)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.lambda$startGeneratorThread$5(OracleCDCSource.java:463)
     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
     at java.util.concurrent.FutureTask.run(FutureTask.java:266)
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
     at java.lang.Thread.run(Thread.java:748)
 Caused by: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.objectToField(OracleCDCSource.java:1926)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.generateRecord(OracleCDCSource.java:930)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.lambda$addRecordsToQueue$11(OracleCDCSource.java:1135)
     ... 4 more 
  将Oracle与MySQL的数据表中的字段都改为大写，则成功执行： 
   
  在Oracle中新增一条数据后： 
   
  MySQL中实时新增一条数据： 
   
    
    
    
  

                            
                        
                    
                    
                    
                    
                    
                    
                
                
                    
                        
                        
                             
                        
                        
                        
                            
                        
                        
                        
                            
                        
                    
                
            
        
    
    
        你可能感兴趣的:(Database数据库,StreamSets,Streamsets,MySQL,oracle)
        
            
                
                    Android 开源组件和第三方库汇总
                        gyyzzr
AndroidAndroid开源框架
                        转载1、github排名https://github.com/trending,github搜索：https://github.com/search2、https://github.com/wasabeef/awesome-android-ui目录UIUI卫星菜单节选器下拉刷新模糊效果HUD与Toast进度条UI其它动画网络相关响应式编程地图数据库图像浏览及处理视频音频处理测试及调试动态更新热更新
                    
                    CentOS7环境卸载MySQL5.7
                        Hadoop_Liang
mysql数据库mysql
                        备份重要数据切记，卸载之前先备份mysql重要的数据。备份一个数据库例如：备份名为mydatabase的数据库到backup.sql的文件中mysqldump-uroot-ppassword123mydatabase>backup.sql备份所有数据库mysqldump-uroot-ppassword123--all-databases>all_databases_backup.sql注意：-p后
                    
                    php SPOF
                        贵哥的编程之路(热爱分享 为后来者)
PHP语言经典程序100题php开发语言
                        1.什么是单点故障（SPOF）？单点故障指的是系统中某个组件一旦失效，整个系统或服务就会不可用。常见的单点有：数据库、缓存、Web服务器、负载均衡、网络设备等。2.常见单点故障场景只有一台数据库服务器，宕机后所有业务不可用只有一台Redis缓存，挂掉后缓存全部失效只有一台Web服务器，挂掉后网站无法访问只有一个负载均衡节点，挂掉后流量无法分发只有一条网络链路，断开后所有服务失联3.消除单点故障的主
                    
                    centos7安装 mysql5.7(安装包)
                        heiPony
linuxmysqlmariadbcentosmysql
                        一.卸载centos7自带数据库查看系统自带的Mariadbrpm-qa|grepmariadbmariadb-libs-5.5.44-2.el7.centos.x86_64卸载rpm-e--nodepsmariadb-libs-5.5.44-2.el7.centos.x86_64删除etc目录下的my.cnfrm/etc/my.cnf二.检查mysql是否存在(有就卸载,删除相关文件)rpm-q
                    
                    MySQL Explain 详解：从入门到精通，让你的 SQL 飞起来
                        

                        引言：为什么Explain是SQL优化的“照妖镜”？在Java开发中，我们常常会遇到数据库性能瓶颈的问题。一条看似简单的SQL语句，在数据量增长到一定规模后，可能会从毫秒级响应变成秒级甚至分钟级响应，直接拖慢整个应用的性能。此时，你是否曾困惑于：为什么这条SQL突然变慢了？索引明明建了，为什么没生效？到底是哪里出了问题？答案就藏在MySQL的EXPLAIN命令里。EXPLAIN就像一面“照妖镜”，
                    
                    Linux/Centos7离线安装并配置MySQL 5.7
                        有事开摆无事百杜同学
LInux/CentOS7linuxmysql运维
                        Linux/Centos7离线安装并配置MySQL5.7超详细教程一、环境准备1.下载MySQL5.7离线包2.使用rpm工具卸载MariaDB（避免冲突）3.创建系统级别的MySQL专用用户二、安装与配置1.解压并重命名MySQL目录2.创建数据目录和配置文件3.设置目录权限4.初始化MySQL5.配置启动脚本6.配置环境变量三、启动与验证1.启动MySQL服务2.获取初始密码3.登录并修改密码
                    
                    OpenWebUI(12)源码学习-后端constants.py常量定义文件
                        青苔猿猿
AI大模型openwebuiconstants常量定义
                        目录文件名：`constants.py`功能概述：主要功能点详解1.**MESSAGES枚举类**2.**WEBHOOK_MESSAGES枚举类**3.**ERROR_MESSAGES枚举类**✅默认错误模板✅认证与用户相关错误✅资源冲突与重复错误✅验证失败类错误✅权限限制类错误✅文件上传与格式错误✅模型与API错误✅请求频率与安全限制✅数据库与配置错误4.**TASKS枚举类**✅总结实际应用场
                    
                    自动化运维工程师面试题解析【真题】
                        

                        ZabbixAgent默认监听的端口是A.10050。以下是关键分析：选项排除：C.80是HTTP默认端口，与ZabbixAgent无关。D.5432是PostgreSQL数据库的默认端口，不涉及ZabbixAgent。B.10051是ZabbixServer的默认监听端口，用于接收Agent发送的数据，而非Agent自身的监听端口。ZabbixAgent的配置：根据官方文档，ZabbixAgen
                    
                    什么是OA系统？使用OA系统对企业有哪些好处？
                        

                        OA系统（OfficeAutomationSystem），即办公自动化系统，是将现代化办公和计算机网络功能结合起来的一种新型的办公方式。是现代企业管理中一种重要的信息化工具，它通过计算机技术、网络技术和数据库技术等手段，实现企业内部办公流程的自动化和信息化管理。使企业的信息交流更加顺畅，办公流程更加高效，从而提高企业的运营效率和管理水平。一、主要功能1.文档管理文档存储与检索：OA系统可以集中存储
                    
                    LangChain中的向量数据库接口－Weaviate
                        洪城叮当
langchain数据库经验分享笔记交互人工智能知识图谱
                        文章目录前言一、原型定义二、代码解析1、add_texts方法1.1、应用样例2、from_texts方法2.1、应用样例3、similarity_search方法3.1、应用样例三、项目应用1、安装依赖2、引入依赖3、创建对象4、添加数据5、查询数据总结前言  Weaviate是一个开源的向量数据库，支持存储来自各类机器学习模型的数据对象和向量嵌入，并能无缝扩展至数十亿数据对象。它提供存储文档嵌
                    
                    Flutter——数据库Drift开发详细教程(七)
                        怀君
flutterflutter数据库
                        目录入门设置漂移文件入门变量数组定义表支持的列类型漂移特有的功能导入嵌套结果LIST子查询Dart互操作SQL中的Dart组件类型转换器现有的行类Dart文档注释结果类名称支持的语句自定义SQL类型定义类型使用自定义类型在Dart中在SQL中方言意识支持的SQLite扩展json1fts5地缘垄断自定义查询带有生成的api的语句自定义选择语句自定义更新语句入门Drift提供了一个dart_api来
                    
                    android中百度定位、城市选择列表，右侧字母展示
                        

                        好久好久没光顾过自己空空的博客了，做项目的时候都是逛着别人的博客急着把功能实现，近来闲下来了总结总结。这个城市选择功能也是当时做项目急着实现从哪找来的框架不记得了，然后改改用到项目中来的。非常感谢提供最初源码的博主，主要的区别是添加了搜索功能、定位功能，把以前的操作本地数据库sqlite的部分，改为操作对assest文件的操作，封装的有百度地图定位方法、可删除的edittext。百度地图的key需
                    
                    Flutter——数据库Drift开发详细教程之迁移(九)
                        怀君
flutterflutter数据库
                        迁移入门引导式迁移配置用法例子切换到make-migrations开发过程中手动迁移迁移后回调导出模式导出架构下一步是什么？调试导出架构的问题修复这个问题架构迁移助手自定义分步迁移转向逐步迁移手动生成测试迁移编写测试验证数据完整性在运行时验证数据库模式迁移器API一般提示迁移视图、触发器和索引复杂的迁移更改列的类型更改列约束删除列重命名列合并列添加新列入门Drift通过严格的架构确保查询类型安全。
                    
                    Tomcat：Java Web应用的幕后英雄
                        互联网动态分析
tomcat
                        在当今数字化浪潮中，Java作为一门成熟且广泛应用的编程语言，支撑着无数企业级应用和互联网服务的稳定运行。而在JavaWeb开发领域，Tomcat无疑是一个举足轻重的存在，它宛如一位默默耕耘的幕后英雄，为众多Web应用提供了可靠的运行环境。Tomcat的起源与发展Tomcat的故事始于1999年，当时SunMicrosystems（后被Oracle收购）与Apache软件基金会合作，旨在为Java
                    
                    《Python星球日记》第35天：全栈开发（综合项目）
                        Code_流苏
Python星球日记编程项目实战Python全栈开发DjangoFlask后端开发博客系统
                        名人说：路漫漫其修远兮，吾将上下而求索。——屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder）专栏：《Python星球日记》，限时特价订阅中ing目录一、全栈开发概述1.全栈开发的优势2.全栈开发技能组合二、博客系统项目需求分析1.功能需求2.技术栈选择3.项目结构规划三、数据库设计1.实体关系分析2.Django模型设计四、后端开发1.Django项目创建2.视图
                    
                    ETL可视化工具 DataX -- 简介( 一)
                        dazhong2012
软件工具数据仓库dataxETL
                        引言DataX系列文章：ETL可视化工具DataX–安装部署(二)ETL可视化工具DataX–DataX-Web安装(三)1.1DataX1.1.1DataX概览DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、
                    
                    Spring 声明式事务：从原理到实现的完整解析
                        Code季风
Spring详解spring数据库后端开发语言javaspringboot
                        在后端开发中，事务管理是保证数据一致性的核心机制。尤其是在复杂业务场景下，一个操作可能涉及多步数据库操作，任何一步失败都需要回滚到初始状态。Spring的声明式事务通过AOP思想，将事务管理从业务逻辑中剥离，让开发者更专注于核心业务。本文将结合实际实现，详解声明式事务的核心机制和设计思路。一、为什么需要声明式事务？在讨论实现之前，我们先明确一个问题：为什么要用声明式事务，而不是手动编写事务代码？假
                    
                    【Android】安卓四大组件之内容提供者（ContentProvider）：从基础到进阶
                        m0_59734531
AndroidandroidJavaContentProvider安卓四大组件
                        你手机里的通讯录，存储了所有联系人的信息。如果你想把这些联系人信息分享给其他App，就可以通过ContentProvider来实现。。一、什么是ContentProvider‌ContentProvider‌是Android四大组件之一，负责实现‌跨应用程序的数据共享与访问‌，通过统一接口封装数据存储细节，提供标准化操作方式。其中主要功能包括：数据抽象层：将应用内部的数据（如SQLite数据库、文
                    
                    400多个免费在线编程与计算机科学课程
                        zhufafa
基础理论课程理论计算机基础免费
                        来源：medium作者：DhawalShah五年前，麻省理工学院和斯坦福大学等学校首先向公众开放免费的在线课程。如今，全球有700多所学校创造了数以千计的免费在线课程。从入门到精通系列，是作者通过ClassCentral的课程数据库整理的400多个免费在线课程的简介和链接（来源于ClassCentral，一个在线课程搜索引擎），根据课程难度分为入门、进阶和高阶三大类，每门课程还有星级评分（统计自C
                    
                    AnythingLLM教程系列之 12 AnythingLLM 上的 Ollama 与 MySQL+PostgreSQL
                        知识大胖
NVIDIAGPU和大语言模型开发教程mysqlpostgresql数据库anythingllmollama
                        简介一款全栈应用程序，可让您将任何文档、资源或内容转换为上下文，任何LLM都可以在聊天期间将其用作参考。此应用程序允许您选择要使用的LLM或矢量数据库，并支持多用户管理和权限。本文将介绍如何在AnythingLLM上将Ollama与MySQL+PostgreSQL连接起来。系列文章如何安装《无需任何代码构建自己的大模型知识库：AnythingLLM最易于使用的一体化AI应用程序，可以执行RAG、A
                    
                    AnythingLLM教程系列之 09 AnythingLLM 支持自定义音频转录提供程序
                        知识大胖
NVIDIAGPU和大语言模型开发教程llama3anythingllmllm
                        什么是AnythingLLM?AnythingLLM是最易于使用的一体化AI应用程序，可以执行RAG、AI代理等操作，且无需任何代码或基础设施难题。您需要为您的企业或组织提供一款完全可定制、私有且一体化的AI应用程序，该应用程序基本上是一个具有许可的完整ChatGPT，但具有任何LLM、嵌入模型或矢量数据库。如何安装《无需任何代码构建自己的大模型知识库：AnythingLLM最易于使用的一体化AI
                    
                    AnythingLLM教程系列之 04 AnythingLLM 允许您以正确的格式导出聊天日志，以构建 GPT-3.5 和 OpenAI 上其他可用模型的微调模型（教程含安装步骤）
                        知识大胖
NVIDIAGPU和大语言模型开发教程llama3aianythinllmllama
                        什么是AnythingLLM?AnythingLLM是最易于使用的一体化AI应用程序，可以执行RAG、AI代理等操作，且无需任何代码或基础设施难题。您需要为您的企业或组织提供一款完全可定制、私有且一体化的AI应用程序，该应用程序基本上是一个具有许可的完整ChatGPT，但具有任何LLM、嵌入模型或矢量数据库。如何安装《无需任何代码构建自己的大模型知识库：AnythingLLM最易于使用的一体化AI
                    
                    Java实习模拟面试之安徽九德 —— 面向对象编程、Spring框架与数据库技术详解
                        培风图南以星河揽胜
java面试java面试spring
                        关键词：Java实习生、模拟面试、安徽九德、SpringBoot、MySQL、Redis、面向对象编程、团队协作一、前言作为一名计算机相关专业的学生，想要顺利进入一家互联网公司或软件开发企业实习，技术面试是必须面对的一道门槛。本文将带你走进一场真实的Java实习生模拟面试场景，以“安徽九德”公司为背景，围绕其发布的招聘岗位要求，进行一次全方位的技术面试演练。本次模拟面试涵盖以下核心知识点：Java
                    
                    优化版三国主题MySQL建表与查询练习（细节增强）
                        韩公子的Linux大集市
五MySQL运维DBAmysql数据库
                        文章目录优化版三国主题MySQL建表与查询练习（细节增强）题目一：三国人物信息表（全面优化）建表语句（增强约束与注释）插入数据（含完整信息）查询练习（增强实用性）题目二：三国战役表（增强关系设计）建表语句（完整关系模型）插入数据（完整战役信息）查询练习（多表关联）综合实战演练1.人物能力值分析2.战役地图查询3.胜负因素分析设计亮点总结优化版三国主题MySQL建表与查询练习（细节增强）题目一：三国
                    
                    Spring Boot基础
                        小李是个程序
springboot后端java
                        5.SpringBoot配置解析5.1.基础服务端口：server.port=8080（应用启动后监听8080端口）应用名称：spring.application.name=Chat64（注册到服务发现等场景时的标识）5.2.数据库连接（MySQL）URL：jdbc:mysql://localhost:3306/ai-chat（连接本地3306端口的ai-chat数据库，含时区、编码等参数）驱动：
                    
                    Docker初识：mysql8主从复制（单向）- 主从搭建扩展知识
                        滴水可藏海
#mysql数据库
                        主从服务（master-slave）新学习到的知识。1、全库同步与部分同步上回书说到Docker初识：mysql8主从复制（单向）的配置都是针对全库配置的。但是实际上并不需要针对全库做备份，只需要对一些特别重要的库或者表来进行同步。例如information_schema等。可以通过配置文件中的一些属性指定需要针对哪些库或者哪些表记录binlog。Master配置：#需要同步的二进制数据库名bin
                    
                    Mysql字段没有索引，通过where x = 3 for update是使用什么级别的锁
                        

                        没有索引时，FORUPDATE会锁住整个表现在，你正在一本一本地翻看所有书，寻找“维修中”的书，并且你对管理员说：“在我清点和修改完之前，别人不能动这些书，也不能往这个范围里加新书！”问题1：如何锁住你找到的“维修中”的书？你每找到一本“维修中”的书，就给它贴上一个“正在处理，请勿触碰”的标签（行级排他锁）。问题2：如何防止别人“往这个范围里加新书”？这是最关键的。因为你没有“状态”的目录卡片（没
                    
                    在拉卡拉分账功能中实现实时更新，需结合异步回调通知和数据库事务来确保数据一致性。以下是具体实现方案
                        肥仔全栈开发
拉卡拉支付php拉卡拉支付三方支付
                        一、实时更新的核心逻辑依赖拉卡拉分账回调拉卡拉分账完成后会主动推送回调通知（类似支付回调），需监听该回调并更新订单分账状态。数据库事务保障分账金额更新、状态变更等操作需放在事务中，避免部分失败导致数据不一致。二、代码实现1.分账回调处理接口（监听拉卡拉分账结果推送，实时更新数据库）//文件：application/api/controller/Notify.phppublicfunctionlak
                    
                    GPT实操——利用GPT创建一个应用
                        狗木马
深度学习gpt-3gpt
                        功能描述信息查询：用户可以询问各种问题，如天气、新闻、股票等，机器人会返回相关信息。任务执行：用户可以要求机器人执行一些简单的任务，如设置提醒、发送邮件等。情感支持：机器人可以与用户进行情感交流，提供安慰和支持。个性化设置：用户可以自定义机器人的回复风格和偏好。技术栈前端：React.js后端：Node.js+Express数据库：MongoDB自然语言处理：OpenAIGPT-3API其他工具：
                    
                    Android开发中RxJava的使用与原理
                        你过来啊你
androidrxjava
                        RxJava是ReactiveExtensions在JVM上的实现，专为处理异步事件流和基于观察者模式的编程而设计。在Android开发中，它极大地简化了异步操作（如网络请求、数据库访问、UI事件处理）的管理、组合和线程调度，有效解决了回调地狱问题。一、RxJava核心概念Observable(可观察者)：数据源或事件源。它负责发出数据项(onNext)或事件（成功完成onComplete/发生错
                    
                                PHP如何实现二维数组排序？
                                    IT独行者
二维数组PHP排序　
                                    二维数组在PHP开发中经常遇到，但是他的排序就不如一维数组那样用内置函数来的方便了，（一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】）。二维数组的排序需要我们自己写函数处理了，这里UncleToo给大家分享一个PHP二维数组排序的函数： 
代码： 
functionarray_sort($arr,$keys,$type='asc'){
$keysvalue= $new_arr
                                
                                【Hadoop十七】HDFS HA配置
                                    bit1129
hadoop
                                    基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。 
  
测试环境有三台 
hadoop.master 
hadoop.slave1 
hadoop.slave2 
  
hadoop.master包含的组件NameNode, JournalNode, Zookeeper，DFSZKFailoverController
                                
                                由wsdl生成的java vo类不适合做普通java vo
                                    darrenzhu
VOwsdlwebservicerpc
                                    开发java webservice项目时，如果我们通过SOAP协议来输入输出，我们会利用工具从wsdl文件生成webservice的client端类，但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用，当然有一中情况例外，如果这个自动生成的类里面的properties都是基本数据类型，就没问题，但是如果有集合类，就不行。原因如下： 
1)使用了集合如Li
                                
                                JAVA海量数据处理之二（BitMap）
                                    周凡杨
java算法bitmapbitset数据
                                             路漫漫其修远兮，吾将上下而求索。想要更快，就要深入挖掘 JAVA 基础的数据结构，从来分析出所编写的 JAVA 代码为什么把内存耗尽，思考有什么办法可以节省内存呢？   啊哈！算法。这里采用了 BitMap 思想。  
   
首先来看一个实验：  
指定 VM 参数大小： -Xms256m -Xmx540m 
                                
                                java类型与数据库类型
                                    g21121
java
                                    很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心，因为大多数hbm文件是自动生成的，但有些时候诸如：数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况，就会手动的去对应数据库与java的数据类型关心，当然比较简单的数据类型即使配置错了也会很快发现问题，但有些数据类型却并不是十分常见，这就给程序员带来了很多麻烦。 
&nb
                                
                                Linux命令
                                    510888780
linux命令
                                    系统信息 
arch 显示机器的处理器架构(1) 
uname -m 显示机器的处理器架构(2) 
uname -r 显示正在使用的内核版本 
dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) 
hdparm -i /dev/hda 罗列一个磁盘的架构特性 
hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 
cat /proc/cpuinfo 显示C
                                
                                java常用JVM参数
                                    墙头上一根草
javajvm参数
                                    -Xms：初始堆大小，默认为物理内存的1/64(<1GB)；默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制 
-Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 
-Xmn：新生代的内存空间大小，注意：此处的大小是（eden+ 2
                                
                                我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点
                                    aijuans
Spring 3
                                    方法一：

    <bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory" 
    factory-method="createMusicBoxStatic"></bean>
    

    方法二：
   
                                
                                mysql查询性能优化之二
                                    annan211
UNIONmysql查询优化索引优化
                                    

1 union的限制
  有时mysql无法将限制条件从外层下推到内层，这使得原本能够限制部分返回结果的条件无法应用到内层
  查询的优化上。
  如果希望union的各个子句能够根据limit只取部分结果集，或者希望能够先排好序在
  合并结果集的话，就需要在union的各个子句中分别使用这些子句。
  
  例如 想将两个子查询结果联合起来，然后再取前20条记录，那么mys
                                
                                数据的备份与恢复
                                    百合不是茶
oraclesql数据恢复数据备份
                                     数据的备份与恢复的方式有: 表,方案 ,数据库; 
  
  
数据的备份: 
导出到的常见命令; 
参数                        说明
USERID         确定执行导出实用程序的用户名和口令
BUFFER        确定导出数据时所使用的缓冲区大小，其大小用字节表示
FILE               指定导出的二进制文
                                
                                线程组
                                    bijian1013
java多线程threadjava多线程线程组
                                    有些程序包含了相当数量的线程。这时，如果按照线程的功能将他们分成不同的类别将很有用。 
       线程组可以用来同时对一组线程进行操作。 
       创建线程组：ThreadGroup g = new ThreadGroup(groupName); 
 &nbs
                                
                                top命令找到占用CPU最高的java线程
                                    bijian1013
javalinuxtop
                                    上次分析系统中占用CPU高的问题，得到一些使用Java自身调试工具的经验，与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程 
top -Hp 28174 -d 1 -n 1
32694 root      20   0 3249m 2.0g  11m S    2  6.4   3:31.12 java         
                                
                                【持久化框架MyBatis3四】MyBatis3一对一关联查询
                                    bit1129
Mybatis3
                                      
当两个实体具有1对1的对应关系时，可以使用One-To-One的进行映射关联查询 
  One-To-One示例数据 
以学生表Student和地址信息表为例，每个学生都有都有1个唯一的地址(现实中，这种对应关系是不合适的，因为人和地址是多对一的关系)，这里只是演示目的 
  
学生表 
  
CREATE TABLE STUDENTS 
(
  
                                
                                C/C++图片或文件的读写
                                    bitcarter
写图片
                                    先看代码： 
 
 

/*strTmpResult是文件或图片字符串
 * filePath文件需要写入的地址或路径
 */
int writeFile(std::string &strTmpResult,std::string &filePath)
{
    int i,len = strTmpResult.length();
    	unsigned cha
                                
                                nginx自定义指定加载配置
                                    ronin47

                                    进入 /usr/local/nginx/conf/include 目录，创建 nginx.node.conf 文件，在里面输入如下代码：  
upstream nodejs {
    server 127.0.0.1:3000;
    #server 127.0.0.1:3001;
    keepalive 64;
}

server {
    liste
                                
                                java-71-数值的整数次方.实现函数double Power(double base, int exponent)，求base的exponent次方
                                    bylijinnan
double
                                    

public class Power {

	/**
	 *Q71-数值的整数次方
	 *实现函数double Power(double base, int exponent)，求base的exponent次方。不需要考虑溢出。
	 */
	private static boolean InvalidInput=false;
	public static void main(
                                
                                Android四大组件的理解
                                    Cb123456
android四大组件的理解
                                     分享一下，今天在Android开发文档-开发者指南中看到的:          
         
          App components are the essential building blocks of an Android 
                                
                                [宇宙与计算]涡旋场计算与拓扑分析
                                    comsci
计算
                                     
 
     怎么阐述我这个理论呢？ 。。。。。。。。。 
 
 
      首先： 宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。 
 
      我们要在宇宙中寻找到一个适合人类居住的行星，时间非常重要，早一个刻度和晚一个刻度，这颗行星的
                                
                                同一个Tomcat不同Web应用之间共享会话Session
                                    cwqcwqmax9
session
                                    实现两个WEB之间通过session 共享数据 
 
查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下： 
 
If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
                                
                                springmvc Spring3 MVC，ajax，乱码
                                    dashuaifu
springjquerymvcAjax
                                      
 springmvc Spring3 MVC @ResponseBody返回，jquery ajax调用中文乱码问题解决       
Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法，具体实
                                
                                搭建WAMP环境
                                    dcj3sjt126com
wamp
                                    这里先解释一下WAMP是什么意思。W:windows，A：Apache，M：MYSQL，P：PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。  
    工欲善其事，必须先利其器。因为笔者的系统是WinXP，所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
                                
                                yii2 使用raw http request
                                    dcj3sjt126com
http
                                    Parses a raw HTTP request using yii\helpers\Json::decode() 
  
To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class: 
'request' =&g
                                
                                Quartz-1.8.6 理论部分
                                    eksliang
quartz
                                    转载请出自出处：http://eksliang.iteye.com/blog/2207691 一.概述 
基于Quartz-1.8.6进行学习，因为Quartz2.0以后的API发生的非常大的变化，统一采用了build模式进行构建； 
什么是quartz? 
  
答：简单的说他是一个开源的java作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
                                
                                什么是POJO？
                                    gupeng_ie
javaPOJO框架Hibernate
                                    POJO--Plain Old Java Objects(简单的java对象) 
  
POJO是一个简单的、正规Java对象，它不包含业务逻辑处理或持久化逻辑等，也不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。 
  
POJO对象有时也被称为Data对象，大量应用于表现现实中的对象。如果项目中使用了Hiber
                                
                                jQuery网站顶部定时折叠广告
                                    ini
JavaScripthtmljqueryWebcss
                                    效果体验：http://hovertree.com/texiao/jquery/4.htmHTML文件代码： 
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>网页顶部定时收起广告jQuery特效 - HoverTree<
                                
                                Spring boot内嵌的tomcat启动失败
                                    kane_xie
spring boot
                                    根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误： 
  
  
SEVERE: A child container failed during start
java.util.concurrent.ExecutionException: org.apache.catalina.Lif
                                
                                leetcode: sort list
                                    michelle_0916
Algorithmlinked listsort
                                    Sort a linked list in O(n log n) time using constant space complexity. 
====analysis======= 
mergeSort for singly-linked list  
====code=======      /** 
 * Definition for sin
                                
                                nginx的安装与配置,中途遇到问题的解决
                                    qifeifei
nginx
                                    我使用的是ubuntu13.04系统，在安装nginx的时候遇到如下几个问题，然后找思路解决的，nginx 的下载与安装 
  
wget http://nginx.org/download/nginx-1.0.11.tar.gz
tar zxvf nginx-1.0.11.tar.gz
./configure
make
make install 
  
安装的时候出现
                                
                                用枚举来处理java自定义异常
                                    tcrct
javaenumexception
                                    在系统开发过程中，总少不免要自己处理一些异常信息，然后将异常信息变成友好的提示返回到客户端的这样一个过程，之前都是new一个自定义的异常，当然这个所谓的自定义异常也是继承RuntimeException的，但这样往往会造成异常信息说明不一致的情况，所以就想到了用枚举来解决的办法。 
 
1，先创建一个接口，里面有两个方法，一个是getCode, 一个是getMessage 
 

public 
                                
                                erlang supervisor分析
                                    wudixiaotie
erlang
                                    当我们给supervisor指定需要创建的子进程的时候，会指定M,F,A,如果是simple_one_for_one的策略的话，启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组，A ++ OtherArgs。那么这个时候就有个问题了，既然参数不一致，那
                                
                
            
        
    


    
        
            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
        
    


    
        
            首页 -
            关于我们 -
            站内搜索 -
            Sitemap -
            侵权投诉
        
        版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.