目录
一、Python 连接clickhouse数据库
◼ clickhouse对外的接口协议通常有两种形式:
◼ 代码实现部分:
二、使用客户端工具DBeaver连接clickhouse
◼ 新建clickhouse表
三、DBeaver 连接clickhouse 用csv文件导入数据
◼ 导入方式:
方法一:使用DBeaver自带导入数据功能;
方法二:具体方式如下:
解决问题:数据导入之后,出现中文乱码。
ClickHouse是近年来备受关注的开源列式数据库(DBMS),主要用于数据联机分析(OLAP)领域,于2016年开源。
端口问题,HTTP协议(默认端口8123);TCP (Native)协议(默认端口号为9000),Python里的clickhouse_driver用的tcp端口9000,DBeaver使用的是HTTP协议所以可以使用8123端口。
(1)我们首先需要安装第三方库clickhouse_driver,
(2)完整代码:使用clickhouse_driver 包中的Client类,其中需要修改的参数有host,user,password,
from clickhouse_driver import Client
client = Client(host='127.0.0.1',port='9000',user=clickhouse_user ,password=clickhouse_pwd)
sql = 'select * from db_name.tb_name limit 0, 1000'
ans = client.execute(sql)
前提:Clickhouse客户端工具为dbeaver,首先需要安装连接工具Dbeaver。
Dbeaver安装教程地址:DBeaver安装与使用教程(超详细安装与使用教程)_多喝清晨的粥的博客-CSDN博客_dbeaver安装配置
(1)打开Dbeaver,通过操作界面菜单中“数据库”创建配置新连接,如下图所示,选择并下载ClickHouse驱动(默认不带驱动),
(2)填写基础配置
DBeaver配置是基于Jdbc方式,一般默认URL和端口如下:
jdbc:clickhouse://192.168.17.61:8123
如下图所示。在是用DBeaver连接Clickhouse做查询时,有时候会出现连接或查询超时的情况,这个时候可以在连接的参数中添加设置socket_timeout参数来解决问题。
jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000
(3)测试连接,提示未安装驱动
到了这一步,说明连接配置信息填写完成,在弹出来的地方选择下载按钮,等它全部下载完驱动后即可测试连接。
如下图所示,开始下载驱动文件:
点击“下载”,
等待下载完成,
(4)再次测试连接,连接成功,
可以看到已经成功连接到了Clickhouse。
(1)右击,选择“新建列”,进行创建表,
(2)或者使用代码进行创建表,
在sql编辑器中写入想要创建的表结构代码,
CREATE TABLE table_name (
node_id Int128,
node_name VARCHAR(100),
ll Int16,
ink VARCHAR(500),
onk VARCHAR(500),
fne VARCHAR(500),
tne VARCHAR(500)
) Engine = MergeTree()
ORDER BY node_id
这样表就创建好了。
(1)先再需要导入的数据表中 插入几条数据 然后 导出 csv 格式的数据。【目的是为了查看导出的cxv 的数据是是什么格式, 我们导入也按照这个格式导入】
(2)再导出的表格中 加入我们需要导入的数据,格式和导出的数据格式保持一致。
(3)然后 通过csv 的方式导入数据到数据库表。
右击需要导入csv文件的表,选择“导入数据”,依次进行一下步骤,
导入数据成功了。
clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv
若出现问题,可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames
解决方法:将csv 表格文件用记事本打开 另存为的方式 保存新的文件 ,编码格式选择为为UTF-8 然后保存。 然后从新的修改编码格式之后的文件导入数据库表格, 中文乱码的问题就解决了。