云计算--基于docker容器爬虫数据持久化到mysql

背景

1、如何进入启动状态的docker mysql 并使用python代码在其中创建数据表 并插入爬虫获取的数据?
2、忘记container密码,如何从images重新实例化一个?
3、直接在liunx系统当中安装的mysql如何通过.sql文件创建对应的表。
4、由于使用sudo安装的mysql的普通用户没有访问权限。

问题1解决方案:

启动Docker MySQL容器:
首先,确保你已经安装了Docker。
然后,你可以使用以下命令来启动一个MySQL容器(这里使用的是官方MySQL镜像):

docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag

这里some-mysql是容器的名字,MYSQL_ROOT_PASSWORD是MySQL root用户的密码,-d表示后台运行,mysql:tag是Docker Hub上的MySQL镜像和标签,你可以替换为你需要的版本。

等待容器启动:
容器启动后,MySQL服务可能需要一些时间来初始化。你可以使用以下命令检查容器的状态:

docker ps

连接到MySQL容器:
你可以使用mysql命令行工具连接到MySQL容器:

docker exec -it some-mysql mysql -uroot -p

这将打开一个MySQL shell,提示你输入之前设置的root密码。
创建数据表:
在MySQL shell中,你可以使用SQL语句来创建数据表。例如:

CREATE DATABASE my_new_database;
USE my_new_database;
CREATE TABLE symbols (
  ticker VARCHAR(10) NOT NULL,
  instrument VARCHAR(10) NOT NULL,
  name VARCHAR(255) NOT NULL,
  sector VARCHAR(50),
  currency VARCHAR(3),
  created_date DATETIME NOT NULL,
  last_updated_date DATETIME NOT NULL,
  PRIMARY KEY (ticker)
);

使用Python插入数据:
接下来,你可以使用Python脚本来连接到MySQL容器,并插入数据。以下是一个简单的Python脚本示例:

import mysql.connector
import datetime

# 数据库配置
db_config = {
  'host': 'localhost',
  'user': 'root',
  'password': 'my-secret-pw',
  'database': 'my_new_database'
}

# 连接到数据库
conn = mysql.connector.connect(**db_config)
cursor = conn.cursor()

# 假设你已经有了一个symbols列表,包含了要插入的数据
symbols = [
  ('AAPL', 'stock', 'Apple Inc.', 'Technology', 'USD', datetime.datetime.now(), datetime.datetime.now())
]

# 创建插入数据的SQL语句
insert_stmt = (
  "INSERT INTO symbols (ticker, instrument, name, sector, currency, created_date, last_updated_date) "
  "VALUES (%s, %s, %s, %s, %s, %s, %s)"
)

# 执行插入操作
cursor.executemany(insert_stmt, symbols)
conn.commit()

# 关闭连接
cursor.close()
conn.close()

请注意,你需要根据你的实际情况调整数据库配置和数据。

运行Python脚本:

保存Python脚本,并在宿主机上运行它。确保你的Python环境已经安装了mysql-connector-python或其他MySQL驱动。
以上步骤展示了如何启动Docker中的MySQL服务,并通过Python脚本与之交互。在实际操作中,你可能需要根据具体需求调整数据库配置、数据表结构和Python代码。

问题2解决方案:

如果你忘记了Docker容器的密码,但你可以从原始的Docker镜像重新实例化一个新的容器。以下是如何重新实例化一个Docker容器的步骤:

找到镜像:

首先,你需要确定你想要实例化的容器是基于哪个Docker镜像。你可以使用以下命令列出所有可用的镜像:

docker images

运行新容器:
使用docker run命令从镜像启动一个新的容器。你可以指定一个新的环境变量来设置root用户的密码:

docker run --name new-mysql-container -e MYSQL_ROOT_PASSWORD=new-password -d mysql:tag

这里new-mysql-container是新容器的名字,MYSQL_ROOT_PASSWORD是新的root密码,-d表示后台运行,mysql:tag是MySQL镜像和标签,你可以替换为你需要的版本。

连接到新容器:
使用以下命令连接到新启动的MySQL容器:

docker exec -it new-mysql-container mysql -uroot -p

这将打开一个MySQL shell,并提示你输入新设置的root密码。
数据迁移(如果需要):
如果你需要从旧容器迁移数据到新容器,你可以使用mysqldump工具从旧容器导出数据,然后导入到新容器。首先,找到旧容器的名称:

docker ps -a

然后,使用docker exec命令在旧容器中导出数据:

docker exec old-mysql-container mysqldump -uroot -p --all-databases > backup.sql

将备份文件复制到宿主机:

docker cp old-mysql-container:/backup.sql /path/on/host

然后,将备份文件导入到新容器:

docker exec -i new-mysql-container mysql -uroot -p < /path/on/host/backup.sql

更新应用程序配置:
更新你的应用程序配置,使用新的容器名称和密码。
删除旧容器:
如果不再需要旧容器,你可以使用以下命令删除它:

docker rm old-mysql-container

请注意,以上步骤假设你有足够的权限来访问Docker守护进程,并且你正在使用root用户。如果你使用的是具有不同权限的用户,可能需要进行相应的调整。此外,如果你的应用程序连接到MySQL容器,确保更新应用程序的数据库连接字符串,以使用新的容器名称或IP地址。

问题3解决方案:

docker是专门针对需要容器化的场景的, 但是如果只是个人使用的话,降低项目部署难度的方法还是直接安装mysql 先进行快速迭代。
在MySQL命令行界面运行.sql文件,您可以按照以下步骤操作:

启动MySQL命令行:
如果您已经处于MySQL命令行界面,您可以跳过这一步。如果没有,请使用以下命令以root用户或其他具有足够权限的用户登录:

mysql -u username -p

替换username为您的MySQL用户名,并输入密码。
选择数据库(如果需要):

如果您的.sql文件是针对特定数据库的,您需要先选择该数据库:

USE database_name;

将database_name替换为您要操作的数据库名称。
运行.sql文件:
在MySQL命令行中,您可以使用source命令来运行.sql文件。假设您的.sql文件位于您的家目录下,名为schema.sql,您可以使用以下命令:

SOURCE ~/path/to/your/schema.sql;

请确保替换~/path/to/your/schema.sql为您的.sql文件的实际路径。
退出MySQL:
完成上述操作后,您可以使用以下命令退出MySQL命令行界面:

EXIT;

请注意,.sql文件中的每一条命令都应该是正确的,并且符合您当前MySQL服务器的语法规则。如果文件中包含批处理命令或特定于其他数据库系统的命令,MySQL可能无法正确执行它们。

另外,您提供的.sql文件中包含了几个CREATE TABLE语句,这些语句用于创建数据库表。如果您直接在MySQL命令行界面中运行这些语句,您可以将它们复制并粘贴到命令行中,每条语句后加上分号;来结束命令,然后按回车键执行。如果您想一次性运行多个语句,将它们保存到文件中,然后使用SOURCE命令。

问题4解决方案:

如果您只有使用 sudo 权限才能连接到 MySQL,这意味着普通用户 zhieng 可能没有正确的权限或密码错误。以下是一些解决步骤:

确认密码:
确保您输入的密码是正确的。如果不确定,尝试使用 sudo 登录并重置密码。

使用 sudo 登录 MySQL:
打开终端并使用以下命令以 root 用户身份登录:

sudo mysql

检查用户权限:
登录后,检查 zhieng 用户的权限。使用以下 SQL 查询:

SELECT user, host FROM mysql.user WHERE user='zhieng';

授予权限:
如果 zhieng 用户不存在或没有适当的权限,授予所有权限:

CREATE USER 'zhieng'@'localhost' IDENTIFIED BY 'zhieng_password';
GRANT ALL PRIVILEGES ON *.* TO 'zhieng'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

将 zhieng_password 替换为 zhieng 用户的新密码。

检查 AppArmor 或 SELinux:
如果您的系统使用 AppArmor 或 SELinux,确保没有安全策略阻止普通用户访问 MySQL。

检查 MySQL 配置:
检查 /etc/mysql/my.cnf 或 /etc/mysql/mysql.conf.d/ 目录下的配置文件,确保没有错误的配置阻止普通用户连接。

检查错误日志:
查看 MySQL 错误日志(通常位于 /var/log/mysql/error.log),以获取更多关于访问拒绝的信息。

重启 MySQL 服务:
在进行更改后,重启 MySQL 服务以使更改生效:

sudo systemctl restart mysql

尝试重新连接:
使用普通用户 zhieng 尝试重新连接 MySQL:

mysql -uzhieng -pzhieng_password

考虑使用配置文件:
如果您经常需要以 root 用户身份连接,考虑在 ~/.my.cnf 文件中添加凭证,以便无需每次输入密码:

[client]
user=root
password=your_root_password

将 your_root_password 替换为实际的 root 用户密码。
通过上述步骤,您应该能够解决普通用户无法连接 MySQL 的问题。如果问题仍然存在,请提供更多的错误信息或检查系统日志以进一步诊断问题。

你可能感兴趣的:(云计算,docker,爬虫)