Python 连接clickhouse数据库以及新建表结构,csv导入数据

目录

一、Python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式:

◼ 代码实现部分:

二、使用客户端工具DBeaver连接clickhouse

◼ 新建clickhouse表

三、DBeaver 连接clickhouse 用csv文件导入数据

◼ 导入方式:

方法一:使用DBeaver自带导入数据功能;

方法二:具体方式如下:

解决问题:数据导入之后,出现中文乱码。


ClickHouse是近年来备受关注的开源列式数据库(DBMS),主要用于数据联机分析(OLAP)领域,于2016年开源。

一、Python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式:

  1. 常规的http协议,java的jdbc就采用这种方式,端口一般是8123;
  2. 面向python的tcp协议,端口号通常为9000(对,是“通常”)。

端口问题,HTTP协议(默认端口8123);TCP (Native)协议(默认端口号为9000),Python里的clickhouse_driver用的tcp端口9000,DBeaver使用的是HTTP协议所以可以使用8123端口。

◼ 代码实现部分:

 (1)我们首先需要安装第三方库clickhouse_driver,

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第1张图片

(2)完整代码:使用clickhouse_driver 包中的Client类,其中需要修改的参数有host,user,password,

from clickhouse_driver import Client
client = Client(host='127.0.0.1',port='9000',user=clickhouse_user ,password=clickhouse_pwd)
sql = 'select * from db_name.tb_name limit 0, 1000'
ans = client.execute(sql)

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第2张图片

 

 

二、使用客户端工具DBeaver连接clickhouse

前提:Clickhouse客户端工具为dbeaver,首先需要安装连接工具Dbeaver。

Dbeaver安装教程地址:DBeaver安装与使用教程(超详细安装与使用教程)_多喝清晨的粥的博客-CSDN博客_dbeaver安装配置

(1)打开Dbeaver,通过操作界面菜单中“数据库”创建配置新连接,如下图所示,选择并下载ClickHouse驱动(默认不带驱动),

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第3张图片

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第4张图片

(2)填写基础配置

DBeaver配置是基于Jdbc方式,一般默认URL和端口如下:

jdbc:clickhouse://192.168.17.61:8123

如下图所示。在是用DBeaver连接Clickhouse做查询时,有时候会出现连接或查询超时的情况,这个时候可以在连接的参数中添加设置socket_timeout参数来解决问题。

jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第5张图片

 (3)测试连接,提示未安装驱动

到了这一步,说明连接配置信息填写完成,在弹出来的地方选择下载按钮,等它全部下载完驱动后即可测试连接。

如下图所示,开始下载驱动文件:

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第6张图片

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第7张图片

 点击“下载”,

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第8张图片 

等待下载完成,

 (4)再次测试连接,连接成功,

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第9张图片

 可以看到已经成功连接到了Clickhouse。

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第10张图片

 

 

◼ 新建clickhouse表

(1)右击,选择“新建列”,进行创建表,

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第11张图片

(2)或者使用代码进行创建表,

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第12张图片

 在sql编辑器中写入想要创建的表结构代码,

CREATE TABLE table_name (
    node_id Int128,
    node_name VARCHAR(100),
    ll Int16,
    ink VARCHAR(500),
    onk VARCHAR(500),
    fne VARCHAR(500),
    tne VARCHAR(500)
) Engine = MergeTree()
   ORDER BY node_id

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第13张图片

 这样表就创建好了。

三、DBeaver 连接clickhouse 用csv文件导入数据

导入方式:

(1)先再需要导入的数据表中 插入几条数据 然后 导出 csv 格式的数据。【目的是为了查看导出的cxv 的数据是是什么格式, 我们导入也按照这个格式导入】

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第14张图片

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第15张图片

(2)再导出的表格中 加入我们需要导入的数据,格式和导出的数据格式保持一致。

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第16张图片

(3)然后 通过csv 的方式导入数据到数据库表。

方法一:使用DBeaver自带导入数据功能;

右击需要导入csv文件的表,选择“导入数据”,依次进行一下步骤,

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第17张图片

 Python 连接clickhouse数据库以及新建表结构,csv导入数据_第18张图片

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第19张图片 

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第20张图片 

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第21张图片 

Python 连接clickhouse数据库以及新建表结构,csv导入数据_第22张图片

导入数据成功了。

方法二:具体方式如下:

  1. 首先将待导入的csv数据表传输到clickhouse所在的服务器;
  2. 在数据库中提前建好表,和等待导入数据匹配;
  3. 在客户端输入以下命令:
clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv

若出现问题,可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames
 

解决问题:数据导入之后,出现中文乱码。

解决方法:将csv 表格文件用记事本打开 另存为的方式 保存新的文件 ,编码格式选择为为UTF-8 然后保存。 然后从新的修改编码格式之后的文件导入数据库表格, 中文乱码的问题就解决了。

你可能感兴趣的:(#,数据库,clickhouse,java,服务器,数据库)