我有一个需要导入 MySQL 数据库的外部 csv文件:csv 有 473 列(144k 行),在我看来,对于一个表来说,列太多了。
问题:我正在考虑进行一些规范化并将数据拆分为更多表,但是每当发布新的 csv(具有更多或更少的列)时,这将需要额外的工作。
如果我保持 CSV/Table 的结构完整并且有一个大表可以吗?这两种方法对 MySQL/Doctrine 的性能影响是什么?
数据:我没有这些数据的所有权,无法将其拆分到更多表中:这些数据来自政府公共资源,因为它是:没有列重复......所以没有办法拆分它:(我必须把它当作它是...任何额外的分类/拆分都是过度的,并且可能会在下一次数据更新时发生变化。
深入挖掘 CSV 数据,我发现了一些有趣的组织方式:它可以分成 18 个不同的表(提供者)。
每个表都有自己的列(有些列存在于多个表中),但最大的一个大约有 180 列。
到目前为止,这是我如何拆分数据:由于我没有 CSV 的所有权,因此我无法继续将类似的列/表分组。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句