python 操作数据库-sqlite篇

作为一名数据挖掘工程师，除了挖掘算法外，最常打交道的就是各类数据库了，为了对自己的工作做个记录，准备对接触到的数据库及相关工具做个通述，因为只是做个引导，所以不会深入去讲，供查阅使用~

target	go on…	todo
sqlite	√
mysql		√
redis		√
mongodb		√
postgresql&greenplum		√
oracle		√
influxdb		√
neo4j		√
elasticsearch		√
sqlalchemy		√
pyspark		√
pandas		√

python 操作数据库-sqlite篇

1. 定义用来做示例的待导入数据库信息（使用ml-latest-small作为源文件）

# create_table_sql.py

# -*- coding: utf-8 -*-
# @Author: xiaodong
# @Date  : 2020/4/4

# pip install Jinja2

from jinja2 import Template


template_sql = Template("""
                            CREATE TABLE IF NOT EXISTS  {
   {table_name}}
                            (
                                {% for segment, others in table_detail.items() %}
                                    {% if loop.last %}
                                        {
   { segment }} {
   { others }}
                                    {% else %}
                                        {
   { segment}} {
   { others }},
                                    {% endif %}
                                {% endfor %}
                            )
                        """)


mapping = {
   
    "float":
        {
   
            "sqlite": "REAL",
        }
}

links_sql = template_sql.render(table_name="links",
                                table_detail={
   
                                    "movieId": "INTEGER NOT NULL",
                                    "imdbId": "INTEGER NOT NULL",
                                    "tmdbId": "INTEGER",
                                            }
                                )
tags_sql = template_sql.render(table_name="