如何在Python中从csv文件创建SQL数据库

debugcn 发表于 Dev

鸭人

我需要从csv文件加载大型数据集（目前为20gb，但将来将为100gb）。我在python（PyCharm）中使用MySQLdb模块。我还只需要选择一些特定的列。到目前为止，我已经尝试过了：

import csv
import MySQLdb

mydb = MySQLdb.connect(host='localhost',
    user='root',
    passwd='',
    db='mydb')
cursor = mydb.cursor()

csv_data = csv.reader(file('collected_quotes_sample.csv'))
for row in csv_data:
    cursor.execute('INSERT INTO testcsv(RIC, Date, Time, Ask, Bid, BAS, window ) VALUES(%s, %s, %s, %s, %s, %s, %s)', row)
#close the connection to the database.
mydb.commit()
cursor.close()
print "Done"

但是它提供了许多错误。我是python和SQL数据库的新手，所以我对命令/代码不熟悉。所以我有几个问题：

1. with MySQLdb.connect( host,user,passwd,db etc), what are host, user, password etc? to my understanding, they are credentials for my account in the computer. so do I need to put in my user account and password?
2. What does mydb.cursor do?
3. How to upload a csv file into a SQL database? and after the database is created, I can write a python script to work on it and there is no need to re read/create the database?

十分感谢！

2342G456DI8

回答您的问题

与MySQLdb.connect（主机，用户，passwd，db等）一起使用，什么是主机，用户，密码等？据我了解，它们是我在计算机中帐户的凭据。所以我需要输入我的用户帐户和密码吗？

答：host是服务器的IP地址+端口号。user / pwd是您在服务器端创建的客户端用户。一个主机可以在其中创建许多数据库，因此您需要指定数据库。通常，当您启动时，很可能使用localhost（127.0.0.1），并且端口号是您在创建服务器时定义的端口号。服务器启动后，可以将一个或多个客户端连接到数据库服务器。然后，您需要拥有一个root具有所有特权的超级用户（如）和其他几个普通用户（可能具有较少的特权）。

mydb.cursor是做什么的？

答：cursor是可以执行诸如SQL语句之类的操作的对象。您始终需要Cursor对象与MySQL服务器进行交互。如果您正在使用本机SQL脚本与MySQL服务器进行交互，则实际上并不需要此cursor对象，但是由于您将MySQLdb用作Python包装器，因此您需要使用它，因为DB-API要求您连接到这样（光标对象是Python DB-API 2.0中指定的抽象）。

如何将csv文件上传到SQL数据库？创建数据库后，我可以编写一个python脚本来处理它，而无需重新读取/创建数据库？

答：通常，您在问题中显示的代码正在执行上传过程。因此，一旦成功上传，您便可以稍后通过使用MySQLdb在Python中实现一些SQL检索语句来对其进行检索。一旦创建了数据库，除非您想删除所有旧数据，否则几乎不需要重新创建。要使用它，您将始终需要read从数据库中获取。但是您可以将常用的SQL（或调用一些存储的函数/过程）放入Python代码中，以便您可以仅调用一个函数以所需的方式检索数据。

通常，我认为您在急于使用MySQL基础之前应该了解更多有关MySQL基础的知识。以及如何在Windows上安装MySQL

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。