コードを高速化する方法-データフレームの検索には数時間かかります

ネリス

次の形式のGISモデルの重心間の距離を含むCSVファイルがあります。

InputID,TargetID,Distance
1,2,3050.01327866
1,7,3334.99565217
1,5,3390.99115304
1,3,3613.77046864
1,4,4182.29900892
...
...
3330,3322,955927.582933

InputID出発地(TargetID、次に最も近い目的地()で並べ替えられます。

特定のモデリングツールの場合、次のようにフォーマットされたCSVファイルでこのデータが必要です(数値は重心番号です)。

distance1->1, distance1->2, distance1->3,.....distance1->3330
distance2->1, distance2->2,.....
.....
distance3330->1,distance3330->2....distance3330->3330

したがって、InputIDやTargetIDはなく、行の出発地と列の目的地までの距離だけです(最初の5つの出発地/目的地の例)

 0,3050.01327866,3613.77046864,4182.29900892,3390.99115304
 3050.01327866,0,1326.94611797,1175.10254872,1814.45584129
 3613.77046864,1326.94611797,0,1832.209595,3132.78725738
 4182.29900892,1175.10254872,1832.209595,0,1935.55056767
 3390.99115304,1814.45584129,3132.78725738,1935.55056767,0

次のコードを作成しましたが、機能します。ただし、実行速度が非常に遅いため、3330x3330ファイルを取得するのに数日かかります。私はPythonの初心者なので、何かを見落としていると思います...

import pandas as pd
import numpy as np
file=pd.read_csv('c:\\users\\Niels\\Dropbox\\Python\\centroid_distances.csv')
df=file.sort_index(by=['InputID', 'TargetID'], ascending=[True, True])
number_of_zones=3330
text_file = open("c:\\users\\Niels\\Dropbox\\Python\\Output.csv", "w")

for origin in range(1,number_of_zones):
    output_string=''
    print(origin)
    for destination in range(1,number_of_zones):
        if origin==destination:
            distance=0
        else:
            distance_row=df[(df['InputID']==origin) & (df['TargetID'] == destination)] 
            # I guess this is the time-consuming part
            distance=distance_row.iloc[0]['Distance']
        output_string=output_string+str(distance)+','
    text_file.write(output_string[:-1]+'\n') #strip last ',' of line
text_file.close()

このコードを高速化するためのヒントを教えてください。

DSM

IIUC、必要なのはpivotこのようなフレームから開始する場合:

df = pd.DataFrame(columns="InputID,TargetID,Distance".split(","))
df["InputID"] = np.arange(36)//6 + 1
df["TargetID"] = np.arange(36) % 6 + 1
df["Distance"] = np.random.uniform(0, 100, len(df))
df = df[df.InputID != df.TargetID]
df = df.sort(["InputID", "Distance"])

>>> df.head()
   InputID  TargetID   Distance
2        1         3   6.407198
3        1         4  43.037829
1        1         2  52.121284
4        1         5  86.769620
5        1         6  96.703294

InputIDとTargetIDが一意であることがわかっているので、次のことができますpivot

>>> pv = df.pivot(index="InputID", columns="TargetID", values="Distance").fillna(0)
>>> pv
TargetID          1          2          3          4          5          6
InputID                                                                   
1          0.000000  52.121284   6.407198  43.037829  86.769620  96.703294
2         53.741611   0.000000  27.555296  85.328607  59.561345   8.895407
3         96.142920  62.532984   0.000000   6.320273  37.809105  69.896308
4         57.835249  49.350647  38.660269   0.000000   7.151053  45.017780
5         72.758342  48.947788   4.212775  98.183169   0.000000  15.702280
6         32.468329  83.979431  23.578347  30.212883  82.580496   0.000000
>>> pv.to_csv("out_dist.csv", index=False, header=False)
>>> !cat out_dist.csv
0.0,52.1212839519,6.40719759732,43.0378290605,86.769620064,96.7032941473
53.7416111725,0.0,27.5552964592,85.3286070586,59.5613449796,8.89540736892
96.1429198049,62.5329836475,0.0,6.32027280686,37.8091052942,69.8963084944
57.8352492462,49.3506467609,38.6602692461,0.0,7.15105257546,45.0177800391
72.7583417281,48.9477878574,4.21277494476,98.183168992,0.0,15.7022798801
32.4683285321,83.9794307564,23.578346756,30.2128827937,82.5804959193,0.0

チュートリアル再形成セクションが役立つ場合があります。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

現在のrコードは、worldlcimから気候データを抽出するのに長い時間がかかります。これを高速化する方法

分類Dev

VBAコードを高速化する

分類Dev

VBAコードを高速化する

分類Dev

このループコードを高速化する方法は?

分類Dev

このコードを高速化する方法はありますか?

分類Dev

このコードを高速化する方法はありますか?

分類Dev

iOS / MacOSのメタルコードを高速化する方法

分類Dev

このPythonコードを高速化する方法は?

分類Dev

コードを高速化する方法は?

分類Dev

numpyコードを高速化する方法

分類Dev

「移動する」球内の複数の配列間でデータを検索するコードのランタイムを高速化する方法

分類Dev

このコードを高速化するためにループを回避する方法はありますか?

分類Dev

forループからRコードを高速化する良い方法

分類Dev

ループ内でこの MATLAB コードを高速化する方法は?

分類Dev

パンダのデータフレーム検索を高速化する方法を探しています

分類Dev

コードを高速化する簡単な方法を探しています

分類Dev

libclangを使用してC ++コードの解析を高速化する方法は?

分類Dev

OpenH264のデコーダーを高速化する方法

分類Dev

FFMPEG | ビデオをエンコードして高速化する方法

分類Dev

FFMPEG | ビデオをエンコードして高速化する方法

分類Dev

(Python / numpy.whereループ)コードには非常に長い時間がかかります(コードを高速化するのに役立ちます)

分類Dev

コンピュータを高速化する方法は?

分類Dev

Numba を使用して次のコードを高速化する

分類Dev

dictからコードを生成するデータフレームを高速化

分類Dev

Linuxでawkコマンドを高速化する方法は?

分類Dev

配列を使用してコードを高速化するExcelVBA

分類Dev

ノードサービスを高速化する方法

分類Dev

行を非表示にするためのVBAコードを高速化する方法は?

分類Dev

ダフのデバイスはJavaコードを高速化しますか?

Related 関連記事

  1. 1

    現在のrコードは、worldlcimから気候データを抽出するのに長い時間がかかります。これを高速化する方法

  2. 2

    VBAコードを高速化する

  3. 3

    VBAコードを高速化する

  4. 4

    このループコードを高速化する方法は?

  5. 5

    このコードを高速化する方法はありますか?

  6. 6

    このコードを高速化する方法はありますか?

  7. 7

    iOS / MacOSのメタルコードを高速化する方法

  8. 8

    このPythonコードを高速化する方法は?

  9. 9

    コードを高速化する方法は?

  10. 10

    numpyコードを高速化する方法

  11. 11

    「移動する」球内の複数の配列間でデータを検索するコードのランタイムを高速化する方法

  12. 12

    このコードを高速化するためにループを回避する方法はありますか?

  13. 13

    forループからRコードを高速化する良い方法

  14. 14

    ループ内でこの MATLAB コードを高速化する方法は?

  15. 15

    パンダのデータフレーム検索を高速化する方法を探しています

  16. 16

    コードを高速化する簡単な方法を探しています

  17. 17

    libclangを使用してC ++コードの解析を高速化する方法は?

  18. 18

    OpenH264のデコーダーを高速化する方法

  19. 19

    FFMPEG | ビデオをエンコードして高速化する方法

  20. 20

    FFMPEG | ビデオをエンコードして高速化する方法

  21. 21

    (Python / numpy.whereループ)コードには非常に長い時間がかかります(コードを高速化するのに役立ちます)

  22. 22

    コンピュータを高速化する方法は?

  23. 23

    Numba を使用して次のコードを高速化する

  24. 24

    dictからコードを生成するデータフレームを高速化

  25. 25

    Linuxでawkコマンドを高速化する方法は?

  26. 26

    配列を使用してコードを高速化するExcelVBA

  27. 27

    ノードサービスを高速化する方法

  28. 28

    行を非表示にするためのVBAコードを高速化する方法は?

  29. 29

    ダフのデバイスはJavaコードを高速化しますか?

ホットタグ

アーカイブ