データ分析を行うためのプログラムを Python で書くことができました。プログラムは、最初から最後まで小さなmcve データですべてうまく動作します。しかし、大きなデータセットを使用して実行すると、どこかでデータ構造に障害が発生してTypeError. プログラムは大きく、その場でいくつかのデータを作成するため、ビッグデータのどの特定の行でデータ構造が実際にめちゃくちゃになっているのかを追跡することはできません。
問題: データのどの行のデータ構造が間違っているかを知りたい。それを行う簡単な方法。
どの関数から問題が発生したかを知ることができます。しかし、私の問題は関数ではなく、おそらくどこかに微妙な構造上の問題があるデータ構造にあります。問題が発生するまでデータは数回処理されますが、どこにあるのかわかりません。視覚的にトレースできる印刷機能を追加してみました。しかし、データは非常に巨大で、同様のパターンがたくさんあるため、メインのビッグデータまでさかのぼって追跡するのは非常に困難です。
ここにスクリプトを配置する必要があるかどうかはわかりませんが、SE でプログラムを作成せずに受け取ることができる提案はあると思います。
どんな情報でも感謝します。
コードは役に立ちますが、コードがなければ、行番号を追跡してエラーに含めることしか考えられません。お試しください。
line_number = 0
for line in your_file:
line_number += 1
try:
<do your thing>
except(TypeError):
print("Error at line number {}".format(line_number))
編集:これは単に行番号を出力して続行します。処理を停止したい場合は、エラーを発生させることもできます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加