コードを高速化-CSVを選択した列のパンダデータフレームにロードしてマージします

コードにいくつか問題があると思います。

1. なぜあなたはチャンクで読んでいますか？パンダはあなたのcsvの読み取りを処理できませんか？それとも、これはコードを高速化する試みでしたか？

2. 何らかの理由で、2番目のforループ内でリストを再初期化しています。本質的に、このコードはデータフレームを追加する以外に何もしていません。

       for chunk in pd.read_csv(directory + '\\' + fajl + ".csv", sep=",",error_bad_lines=False, encoding='latin-1',low_memory=False, chunksize=100000):
   
           mylist = []
           mylist.append(chunk)
           big_data = pd.concat(mylist, axis= 0)
   
   
           big_data = big_data.fillna(value='')
           selected = big_data[['SYS', 'MANDT', 'AGR_NAME', 'OBJECT', 'AUTH', 'FIELD', 'LOW', 'HIGH', 'DELETED']]
   
           x=x.append(selected)
   

3. パンダがあなたのcsvを処理できると仮定すると（各csvの大きさはあなたの投稿からは明らかではありません）、私はこれを次のように行います（複数のDataFrameを含むリストにpd.concatを使用すると、追加よりもはるかに効率的です）：

   import csv
   import pandas as pd    
   cwd = 'C:\\Users\\'
   print(cwd)
   directory = (cwd + '\\FINAL\\')
   directory2 = (cwd + '\\FINAL\\CSV')
   print(directory)
   my_list = []
   for file in os.listdir(directory):
       if file.endswith( "1251.csv"):
           fajl = os.path.splitext(file)[0]
           print(fajl)
           curr_df = pd.read_csv(directory + '\\' + fajl + ".csv", sep=",",error_bad_lines=False, encoding='latin-1', usecols=['SYS', 'MANDT', 'AGR_NAME', 'OBJECT', 'AUTH', 'FIELD', 'LOW', 'HIGH', 'DELETED'])
           curr_df = curr_df.fillna(value='')
           my_list.append(curr_df)
   x = pd.concat(my_list)
   x.to_csv(directory2 + '\\' + fajl + '.csv', sep=',', index=False)
   

4. あなたが本当にチャンクで読む必要があると仮定します：

   import os
   import sys
   import struct
   import fileinput
   import csv
   import pandas as pd
   
   
   
   cwd = 'C:\\Users\\'
   print(cwd)
   directory = (cwd + '\\FINAL\\')
   directory2 = (cwd + '\\FINAL\\CSV')
   print(directory)
   x = []
   for file in os.listdir(directory):
       if file.endswith( "1251.csv"):
           fajl = os.path.splitext(file)[0]
           print(fajl)
   
           for chunk in pd.read_csv(directory + '\\' + fajl + ".csv", sep=",",error_bad_lines=False, encoding='latin-1',low_memory=False, chunksize=100000):
   
               x.append(chunk['SYS', 'MANDT', 'AGR_NAME', 'OBJECT', 'AUTH', 'FIELD', 'LOW', 'HIGH', 'DELETED'])
   big_data = pd.concat(x, axis=0)
   big_data = big_data.fillna(value='')
   big_data.to_csv(directory2 + '\\' + fajl + '.csv', sep=',', index=False)