文字列は有効なUTF8ですが、無効なバイトシーケンス

In0cenT:

Postgresバルクインポーターにtxtを書き込もうとしています。postgresに挿入されるはずの文字列が有効なUTF8ではないため、コードは現在クラッシュします。pq: invalid byte sequence for encoding UTF8: 0x00

私のコードでは、文字列が有効なUTF8かどうかを確認しています。

何が欠けていますか?

コード:

for {
        line, more := <-lineChannel

        splitLine := strings.SplitN(line, ":", 2)

        if len(splitLine) == 2 {
            if utf8.Valid([]byte(splitLine[0])) && utf8.Valid([]byte(splitLine[1])) {
                lineCount++
                _, err = stmt.Exec(splitLine[0], splitLine[1])

                if lineCount%int64(copySize) == 0 {

                    _, err = stmt.Exec()
                    if err != nil {
                        log.Fatal("Failed at stmt.Exec", err)
                    }

                    err = stmt.Close()
                    if err != nil {
                        log.Fatal("Failed at stmt.Close", err)
                    }

                    err = txn.Commit()
                    if err != nil {
                        log.Fatal("failed at txn.Commit", err)
                    }

                    txn, err = db.Begin()
                    if err != nil {
                        log.Fatal("failed at db.Begin", err)
                    }

                    stmt, err = txn.Prepare(pq.CopyIn("pwned", "username", "password"))
                    if err != nil {
                        log.Fatal("failed at txn.Prepare", err)
                    }

                    if lineCount%(int64(copySize)*10) == 0 {
                        log.Printf("Inserted %v lines", lineCount)
                    }
                }

                if err != nil {
                    log.Println("error:", splitLine[0], splitLine[1])
                    log.Fatal(err)
                }
            }

編集:エラーを発生させる行:

バイト[]: [116 109 97 105 108 46 99 111 109 58 104 117 115 104 112 117 112 112 105 101 115 108 111 118 101]

ライン: [email protected]:hushpuppieslove

splitLine [0] + splitLine [1]: [email protected] hushpuppieslove

ジェレミー:

0x00はnull文字であり、postgresは文字列でこれを許可しません。ドキュメントから

テキストデータタイプはそのようなバイトを格納できないため、NULL(0)文字は使用できません。

ヌル文字を取り除く必要があります。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

「UTF8」をエンコードするための無効なバイトシーケンス

分類Dev

バイト配列は、Javaでは有効なUTF8エンコード文字列ですが、Pythonではそうではありません

分類Dev

UTF-8の無効なバイトシーケンス(ArgumentError)

分類Dev

Openshift:UTF-8の無効なバイトシーケンス

分類Dev

無効なUTF-8バイトシーケンスをpostgresテキスト列に格納することは可能ですか?

分類Dev

バイナリ文字列が有効なUTF8かどうかをテストするにはどうすればよいですか?

分類Dev

.dumpファイルからのPostgresの復元:「UTF8」をエンコードするための無効なバイトシーケンス

分類Dev

Ruby 2.2:PG :: CharacterNotInRepertoire:エラー:「UTF8」をエンコードするための無効なバイトシーケンス

分類Dev

ActiveRecord :: StatementInvalid-PG :: CharacterNotInRepertoire:エラー:「UTF8」をエンコードするための無効なバイトシーケンス

分類Dev

SQLエラー:「UTF8」をエンコードするための無効なバイトシーケンス:0x00

分類Dev

Pentaho Data Integratorのエラー-「UTF8」をエンコードするための無効なバイトシーケンス:0x00

分類Dev

22021:「UTF8」をエンコードするための無効なバイトシーケンス:0x00

分類Dev

「UTF8」をエンコードするためのpostgresql無効なバイトシーケンスへのオラクルの移行:0x00

分類Dev

`scan ':UTF-8の無効なバイトシーケンス(ArgumentError)

分類Dev

1バイトUTF-8シーケンスの無効なバイト1を修正する方法

分類Dev

LuaLaTeX-文字列に無効なutf-8シーケンスが含まれています

分類Dev

Eclipse MARS:MercurialEclipseインストールが「1バイトUTF-8シーケンスの無効なバイト1」を報告します

分類Dev

AWS Elastic Beanstalkへのデプロイが、「UTF-8の無効なバイトシーケンス」という例外で失敗する

分類Dev

MySQLのcsvテーブルのインポート時にUTF8文字列が無効です

分類Dev

Railsを使用したUTF-8での無効なバイトシーケンスの繰り返し

分類Dev

PUPPETUTF-8の無効なバイトシーケンス

分類Dev

ArgumentErrorUTF-8の無効なバイトシーケンス

分類Dev

特殊文字を含むフェイスレットページにより、MalformedByteSequenceExceptionが発生します:UTF8Reader.invalidByteの3バイトUTF-8シーケンスの無効なバイト2

分類Dev

JAXBエラーの説明:1バイトUTF-8シーケンスの無効なバイト1

分類Dev

4バイトUTF-8シーケンスのバイト2は無効ですが、JARを実行するときだけですか?

分類Dev

Java STAX:3バイトのUTF-8シーケンスの無効なバイト2

分類Dev

MalformedByteSequenceException:2バイトUTF-8シーケンスの無効なバイト2

分類Dev

Google Cloud 'インポートに失敗しました:エラー: "UTF8"をエンコードするための無効なバイトシーケンス:0xffインポートエラー:終了ステータス3'

分類Dev

Rubyでgemをインストールできない:「UTF-8の無効なバイトシーケンス」

Related 関連記事

  1. 1

    「UTF8」をエンコードするための無効なバイトシーケンス

  2. 2

    バイト配列は、Javaでは有効なUTF8エンコード文字列ですが、Pythonではそうではありません

  3. 3

    UTF-8の無効なバイトシーケンス(ArgumentError)

  4. 4

    Openshift:UTF-8の無効なバイトシーケンス

  5. 5

    無効なUTF-8バイトシーケンスをpostgresテキスト列に格納することは可能ですか?

  6. 6

    バイナリ文字列が有効なUTF8かどうかをテストするにはどうすればよいですか?

  7. 7

    .dumpファイルからのPostgresの復元:「UTF8」をエンコードするための無効なバイトシーケンス

  8. 8

    Ruby 2.2:PG :: CharacterNotInRepertoire:エラー:「UTF8」をエンコードするための無効なバイトシーケンス

  9. 9

    ActiveRecord :: StatementInvalid-PG :: CharacterNotInRepertoire:エラー:「UTF8」をエンコードするための無効なバイトシーケンス

  10. 10

    SQLエラー:「UTF8」をエンコードするための無効なバイトシーケンス:0x00

  11. 11

    Pentaho Data Integratorのエラー-「UTF8」をエンコードするための無効なバイトシーケンス:0x00

  12. 12

    22021:「UTF8」をエンコードするための無効なバイトシーケンス:0x00

  13. 13

    「UTF8」をエンコードするためのpostgresql無効なバイトシーケンスへのオラクルの移行:0x00

  14. 14

    `scan ':UTF-8の無効なバイトシーケンス(ArgumentError)

  15. 15

    1バイトUTF-8シーケンスの無効なバイト1を修正する方法

  16. 16

    LuaLaTeX-文字列に無効なutf-8シーケンスが含まれています

  17. 17

    Eclipse MARS:MercurialEclipseインストールが「1バイトUTF-8シーケンスの無効なバイト1」を報告します

  18. 18

    AWS Elastic Beanstalkへのデプロイが、「UTF-8の無効なバイトシーケンス」という例外で失敗する

  19. 19

    MySQLのcsvテーブルのインポート時にUTF8文字列が無効です

  20. 20

    Railsを使用したUTF-8での無効なバイトシーケンスの繰り返し

  21. 21

    PUPPETUTF-8の無効なバイトシーケンス

  22. 22

    ArgumentErrorUTF-8の無効なバイトシーケンス

  23. 23

    特殊文字を含むフェイスレットページにより、MalformedByteSequenceExceptionが発生します:UTF8Reader.invalidByteの3バイトUTF-8シーケンスの無効なバイト2

  24. 24

    JAXBエラーの説明:1バイトUTF-8シーケンスの無効なバイト1

  25. 25

    4バイトUTF-8シーケンスのバイト2は無効ですが、JARを実行するときだけですか?

  26. 26

    Java STAX:3バイトのUTF-8シーケンスの無効なバイト2

  27. 27

    MalformedByteSequenceException:2バイトUTF-8シーケンスの無効なバイト2

  28. 28

    Google Cloud 'インポートに失敗しました:エラー: "UTF8"をエンコードするための無効なバイトシーケンス:0xffインポートエラー:終了ステータス3'

  29. 29

    Rubyでgemをインストールできない:「UTF-8の無効なバイトシーケンス」

ホットタグ

アーカイブ