パンダデータフレームをS3に書き込む

Jonas Palachionis

APIをクエリしてデータフレームを作成するAWSLambda関数があります。このファイルをS3バケットに書き込みたいので、次を使用しています。

import pandas as pd
import s3fs

df.to_csv('s3.console.aws.amazon.com/s3/buckets/info/test.csv', index=False)

エラーが発生します:

そのようなファイルまたはディレクトリはありません: 's3.console.aws.amazon.com/s3/buckets/info/test.csv'

しかし、私はそこからファイルを読んでいるので、そのディレクトリは存在します。ここでの問題は何ですか?

私はこのように以前のファイルを読みました:

s3_client = boto3.client('s3')
s3_client.download_file('info', 'secrets.json', '/tmp/secrets.json')

データフレーム全体をS3バケットにアップロードするにはどうすればよいですか?

wowkin2

boto3パッケージは、S3へのデータの保存にも使用できます

from io import StringIO  # python3 (or BytesIO for python2)
import boto3

bucket = 'info'  # already created on S3
csv_buffer = StringIO()
df.to_csv(csv_buffer)

s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, 'df.csv').put(Body=csv_buffer.getvalue())

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

パンダがcsvにデータフレーム列を書き込む

分類Dev

高速パンダデータフレームをpostgresに書き込む

分類Dev

パンダのデータフレームをMySQLに書き込む

分類Dev

大きなパンダのデータフレームをSQLServerデータベースに書き込む

分類Dev

Spark:データフレームをS3に効率的に書き込む方法

分類Dev

_temporaryフォルダーを作成せずにSparkデータフレームを寄木細工としてS3に書き込む

分類Dev

パンダのデータフレームにデータを書き込むための最適な方法

分類Dev

羽のファイルにパンダのデータフレームを書き込む際にエラー

分類Dev

パンダデータフレームの同じ行に辞書のリストを書き込む

分類Dev

Pysparkデータフレームをs3に書き込みます

分類Dev

パンダを使用してExcelシートにデータフレーム行を書き込む

分類Dev

パンダは、データフレームを書き込む前にcsvに詳細を追加する方法

分類Dev

パンダ-1つのExcelシートに複数のデータフレームを書き込む

分類Dev

forループの出力をパンダデータフレームに書き込む

分類Dev

FTPでパンダのデータフレームをcsv / xlsに直接書き込む方法

分類Dev

凍結されたセットの要素をパンダのデータフレームに書き込む

分類Dev

パンダ:データフレームの最初の行を垂直方向に書き込む

分類Dev

差分条件でパンダデータフレームに値(日時)を書き込む

分類Dev

パンダ:データフレームでフィルタリングする条件を書き込む

分類Dev

Kinesis から S3 にデータを書き込む

分類Dev

タイムデルタ付きのパンダデータフレームを寄木細工に書き込む

分類Dev

fwfにデータフレームを書き込む際の右側のパディングスペース

分類Dev

to_sqlを使用してパンダデータフレームをOracleデータベースに書き込む方法は?

分類Dev

データフレームをhdfscsvにランダムな順序で書き込む方法は?

分類Dev

PandasデータフレームをMySQLに書き込む

分類Dev

SparkでTeradataにデータフレームを書き込む

分類Dev

パンダ:最初にデータフレームをエクスポートせずにExcelシートに書き込む方法は?

分類Dev

パンダデータをcsvに書き込む

分類Dev

ランダムな Python データを CSV ファイルに書き込む

Related 関連記事

  1. 1

    パンダがcsvにデータフレーム列を書き込む

  2. 2

    高速パンダデータフレームをpostgresに書き込む

  3. 3

    パンダのデータフレームをMySQLに書き込む

  4. 4

    大きなパンダのデータフレームをSQLServerデータベースに書き込む

  5. 5

    Spark:データフレームをS3に効率的に書き込む方法

  6. 6

    _temporaryフォルダーを作成せずにSparkデータフレームを寄木細工としてS3に書き込む

  7. 7

    パンダのデータフレームにデータを書き込むための最適な方法

  8. 8

    羽のファイルにパンダのデータフレームを書き込む際にエラー

  9. 9

    パンダデータフレームの同じ行に辞書のリストを書き込む

  10. 10

    Pysparkデータフレームをs3に書き込みます

  11. 11

    パンダを使用してExcelシートにデータフレーム行を書き込む

  12. 12

    パンダは、データフレームを書き込む前にcsvに詳細を追加する方法

  13. 13

    パンダ-1つのExcelシートに複数のデータフレームを書き込む

  14. 14

    forループの出力をパンダデータフレームに書き込む

  15. 15

    FTPでパンダのデータフレームをcsv / xlsに直接書き込む方法

  16. 16

    凍結されたセットの要素をパンダのデータフレームに書き込む

  17. 17

    パンダ:データフレームの最初の行を垂直方向に書き込む

  18. 18

    差分条件でパンダデータフレームに値(日時)を書き込む

  19. 19

    パンダ:データフレームでフィルタリングする条件を書き込む

  20. 20

    Kinesis から S3 にデータを書き込む

  21. 21

    タイムデルタ付きのパンダデータフレームを寄木細工に書き込む

  22. 22

    fwfにデータフレームを書き込む際の右側のパディングスペース

  23. 23

    to_sqlを使用してパンダデータフレームをOracleデータベースに書き込む方法は?

  24. 24

    データフレームをhdfscsvにランダムな順序で書き込む方法は?

  25. 25

    PandasデータフレームをMySQLに書き込む

  26. 26

    SparkでTeradataにデータフレームを書き込む

  27. 27

    パンダ:最初にデータフレームをエクスポートせずにExcelシートに書き込む方法は?

  28. 28

    パンダデータをcsvに書き込む

  29. 29

    ランダムな Python データを CSV ファイルに書き込む

ホットタグ

アーカイブ