MaxWelll常用命令

文章目录

        • 1.启动maxwell:
          • 1.1、控制台为输出:
          • 1.2、kafka为输出:
          • 1.3、配置指定某些表输出:
          • 1.4、配置输出到kafka,分区规则为表的主键:
          • 1.5、配置文件启动MaxWell
        • 2.抽取某张表的历史数据:
          • 2.1、直接全量抽取历史数据
          • 2.2、继续监控某张表bootstrap
          • 2.3、停止某张表的bootstrap
          • 2.4、添加where条件启动:

1.启动maxwell:

1.1、控制台为输出:
bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' --producer=stdout --daemon 
1.2、kafka为输出:
bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' \
--producer=kafka --kafka.bootstrap.servers=10.199.151.15:9092 --kafka_topic=wsk_maxwell_test
1.3、配置指定某些表输出:
bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' --client_id=test --daemon \
--producer=kafka --kafka.bootstrap.servers=10.199.151.15:9092 --kafka_topic=wsk_maxwell_test \
--filter='exclude: *.*, include: bdps_dcs_test.dcs_script, include: bdps_dcs_test.dcs_task_table' 
1.4、配置输出到kafka,分区规则为表的主键:
bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' --client_id=test \
--producer=kafka --kafka.bootstrap.servers=10.199.151.15:9092 --kafka_topic=wsk_maxwell_test \
--producer_partition_by=column --producer_partition_columns='id' --producer_partition_by_fallback=primary_key \
--filter='exclude: *.*, include: bdps_dcs_test.dcs_script, include: bdps_dcs_test.dcs_task_table' 
1.5、配置文件启动MaxWell
bin/maxwell  --config=/home/wsk/app/maxwell-1.24.1/wsk_properties/10_199_139_12.properties  --daemon 

2.抽取某张表的历史数据:

maxwell引导某张表全量数据时会多发三条消息,首两条是引导的配置信息、引导开始信息,结尾一条是引导结束信息

2.1、直接全量抽取历史数据
命令行:
bin/maxwell-bootstrap --user='maxwell' --password='123456' --host='10.199.140.143' --client_id=test \
--database bdps_dcs_test --table dcs_task_table
SQL:
insert into maxwell.bootstrap (database_name, table_name,client_id ) values ('bdps_dcs_test', 'dcs_task_table','test');
2.2、继续监控某张表bootstrap
bin/maxwell-bootstrap --user='maxwell' --password='123456' --host='10.199.140.143' \
--abort 3
2.3、停止某张表的bootstrap
bin/maxwell-bootstrap --user='maxwell' --password='123456' --host='10.199.140.143' \
--monitor 3
2.4、添加where条件启动:

你可能感兴趣的:(Maxwell)