Pandas整数の `dtypes`がUnixとWindowsで同じように動作しないのはなぜですか？

あらゆるタイプの整数または浮動小数点数を比較するプラットフォームにとらわれない手段の場合、次を使用できます。

In [10]: [np.issubdtype(dtype, np.integer) for dtype in data.dtypes]
Out[10]: [True, False]

In [11]: [np.issubdtype(dtype, np.float) for dtype in data.dtypes]
Out[11]: [False, True]

Windows / Unixの違いの背後にある主な問題は、UnixとWindowsのintパンダdtypeに相当することです。np.int64np.int32

このコードは、動作の違いを示しています。

import numpy as np
import pandas as pd

print(f'numpy version: {np.__version__}')
print(f'pandas version: {pd.__version__}')

data = pd.DataFrame({
    'col_i': range(5),
    'col_f': np.linspace(0, 1, 5),
})
data['col_i32'] = data.col_i.astype(np.int32)
data['col_i64'] = data.col_i.astype(np.int64)
data['col_f32'] = data.col_i.astype(np.float32)
data['col_f64'] = data.col_i.astype(np.float64)
print(f'\ndata.dtypes: \n{data.dtypes}')
print(f'\ndata.dtypes == int: \n{data.dtypes == int}')
print(f'\ndata.dtypes == float: \n{data.dtypes == float}')

Windowsでの結果は次のとおりです。

numpy version: 1.18.1
pandas version: 1.0.1

data.dtypes:
col_i        int64
col_f      float64
col_i32      int32
col_i64      int64
col_f32    float32
col_f64    float64
dtype: object

data.dtypes == int:
col_i      False
col_f      False
col_i32     True  # the np.int32 column
col_i64    False
col_f32    False
col_f64    False
dtype: bool

data.dtypes == float:
col_i      False
col_f       True
col_i32    False
col_i64    False
col_f32    False
col_f64     True
dtype: bool

Unixでの出力は次のとおりです。

numpy version: 1.18.1
pandas version: 1.0.1

data.dtypes:
col_i        int64
col_f      float64
col_i32      int32
col_i64      int64
col_f32    float32
col_f64    float64
dtype: object

data.dtypes == int:
col_i       True  # a np.int64 column
col_f      False
col_i32    False
col_i64     True  # a np.int64 column
col_f32    False
col_f64    False
dtype: bool

data.dtypes == float:
col_i      False
col_f       True
col_i32    False
col_i64    False
col_f32    False
col_f64     True
dtype: bool

dtypeWindowsで失敗を指定する理由は、タイプのメモリサイズが同じである必要があるためです。パンダドキュメントという状態「のみの単一DTYPEが許可されています。」ただし、次のいずれかがWindowsとUnixで機能するため、これは明らかに当てはまりません。

data = pd.DataFrame({'col_i32': range(5), 'col_f32': np.linspace(0, 1, 5)}, dtype=(np.int32, np.float32))

data = pd.DataFrame({'col_i32': range(5), 'col_f32': np.linspace(0, 1, 5)}, dtype=(np.int64, np.float64))

彼らが実際に意味したのは、「単一の[データサイズ]のみが許可される」ということだと思います。

指定時のエラーのdtype=(int, float)問題は、上記の主要な問題に戻ります。Windowsはintasnp.int32およびfloatasをキャストしますがnp.float64、Unixは代わりにintasnp.int64およびfloatasをキャストしnp.float64ます。Pandasでは、同じメモリサイズが必要です。これは、Unixでは機能しますが、Windowsでは機能しません。