# 環境
今回動作の確認を行った際のバージョンは下記の通り 
python：3.10.9 
pandas：1.5.3 
データセット：scikit-learnのirisを使用(scikit-learnは1.2.2) 

# データセットの準備 
前回と同じirisデータセットを使用して動作を確認していきます。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 print(df.head())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # [5 rows x 5 columns]
``` 
 
 
# replaceを使用した要素の置換
pandas.DataFrame、pandas.Seriesにはreplace()メソッドが用意されており、これを用いることで要素の置換を行うことが可能です。 
[pandas.Series.replace](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.Series.replace.html "pandas.Series.replace") 
[pandas.DataFrame.replace](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.replace.html "pandas.DataFrame.replace")

irisデータセットではtargetに0、1、2が設定されておりこれらはそれぞれsetosa、versicolor、virginicaを表しています。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 print(load_iris(as_frame=True).target_names)
 # ['setosa' 'versicolor' 'virginica']
``` 

今回は0、1、2をsetosa、versicolor、virginicaに変換してみます。 
replace()メソッドは 
replace('元の値', '置換後の値') 
で置換することが可能です。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 最後の5行表示
 print(df.tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # 
 # [5 rows x 5 columns]

 # 花の種類をリストで取得
 target_name = load_iris(as_frame=True).target_names

 # for文を使用して花の種類を順番に置換
 for i, t in enumerate(target_name):
 df = df.replace(i, t)
 # 最後の5行表示
 print(df.tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... virginica virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # 
 # [5 rows x 5 columns]

 # target列をSeriesとして抽出
 s = df['target']
 # for文を使用して花の種類を順番に置換
 for i, t in enumerate(target_name):
 s = s.replace(i, t)
 # 最初の5行表示
 print(s.head())
 # 0 setosa
 # 1 setosa
 # 2 setosa
 # 3 setosa
 # 4 setosa
 # Name: target, dtype: object

 # 最後の5行表示
 print(s.tail())
 # 145 virginica
 # 146 virginica
 # 147 virginica
 # 148 virginica
 # 149 virginica
 # Name: target, dtype: object
``` 

引数に{'元の値':'置換後の値'}の様な辞書型データを渡すことでも同様に置換が可能です。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 最後の5行表示
 print(df.tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # 
 # [5 rows x 5 columns]

 # 花の種類をリストで取得
 target_name = load_iris(as_frame=True).target_names

 print(df.replace({0:target_name[0], 1:target_name[1], 2:target_name[2]}).tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... virginica virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # 
 # [5 rows x 5 columns]
``` 

しかしいずれの場合も上記の様に全列が置換対象となってしまいます。 
{対象の列名:{'元の値':'置換後の値'}}という辞書型データを渡すことで特定の列のみを対象としてい置換することが可能です。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 最後の5行表示
 print(df.tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # 
 # [5 rows x 5 columns]

 # 花の種類をリストで取得
 target_name = load_iris(as_frame=True).target_names

 print(df.replace({'target':{0:target_name[0], 1:target_name[1], 2:target_name[2]}}).tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... 2.0 virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # 
 # [5 rows x 5 columns]
``` 

また、[pandas.Series.replace](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.Series.replace.html "pandas.Series.replace")、[pandas.DataFrame.replace](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.replace.html "pandas.DataFrame.replace")には引数inplaceが用意されており、Trueを設定することで元のDataFrameをそのまま置換することが可能です。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 最後の5行表示
 print(df.tail())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # 
 # [5 rows x 5 columns]

 # 花の種類をリストで取得
 target_name = load_iris(as_frame=True).target_names

 # inplaceがFalse（デフォルト値）の場合
 df.replace({'target': {0: target_name[0], 1: target_name[1], 2: target_name[2]}})
 print(df)
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # [150 rows x 5 columns]

 # inplaceがTrueの場合
 df.replace({'target': {0: target_name[0], 1: target_name[1], 2: target_name[2]}}, inplace=True)
 print(df)
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # [150 rows x 5 columns]

``` 

 
 
# 正規表現を使って置換
[pandas.Series.replace](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.Series.replace.html "pandas.Series.replace") 
[pandas.DataFrame.replace](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.replace.html "pandas.DataFrame.replace")には引数regexが用意されており、Trueを設定することで正規表現を使用した置換が可能となります。 
replaceは完全一致した値しか置換されないため正規表現を使用しない場合、例えば下記の様に置換が行われません。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 花の種類をリストで取得
 target_name = load_iris(as_frame=True).target_names

 df.replace({'target': {0: target_name[0], 1: target_name[1], 2: target_name[2]}}, inplace=True)
 print(df)
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 setosa
 # 1 4.9 3.0 ... 0.2 setosa
 # 2 4.7 3.2 ... 0.2 setosa
 # 3 4.6 3.1 ... 0.2 setosa
 # 4 5.0 3.6 ... 0.2 setosa
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... 2.0 virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # [150 rows x 5 columns]

 print(df.replace({'target':{'set':'SET'}}))
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 setosa
 # 1 4.9 3.0 ... 0.2 setosa
 # 2 4.7 3.2 ... 0.2 setosa
 # 3 4.6 3.1 ... 0.2 setosa
 # 4 5.0 3.6 ... 0.2 setosa
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... 2.0 virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # [150 rows x 5 columns]

``` 

正規表現を使うと部分的な置換も可能です。試しに「t(任意の文字列)s」を「TTT」に変換するという処理を実行してみると下記の様になります。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 花の種類をリストで取得
 target_name = load_iris(as_frame=True).target_names

 df.replace({'target': {0: target_name[0], 1: target_name[1], 2: target_name[2]}}, inplace=True)
 print(df)
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 setosa
 # 1 4.9 3.0 ... 0.2 setosa
 # 2 4.7 3.2 ... 0.2 setosa
 # 3 4.6 3.1 ... 0.2 setosa
 # 4 5.0 3.6 ... 0.2 setosa
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... 2.0 virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # [150 rows x 5 columns]

 print(df.replace('t.s', 'TTT', regex = True).head())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 seTTTa
 # 1 4.9 3.0 ... 0.2 seTTTa
 # 2 4.7 3.2 ... 0.2 seTTTa
 # 3 4.6 3.1 ... 0.2 seTTTa
 # 4 5.0 3.6 ... 0.2 seTTTa
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 virginica
 # 146 6.3 2.5 ... 1.9 virginica
 # 147 6.5 3.0 ... 2.0 virginica
 # 148 6.2 3.4 ... 2.3 virginica
 # 149 5.9 3.0 ... 1.8 virginica
 # [150 rows x 5 columns]

``` 

 
 
# Nanの置換
実データにおいて欠損値が含まれているケースは多々あります。そのような場合はreplace()を使わず[pandas.DataFrame.fillna](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.fillna.html "pandas.DataFrame.fillna")を使用することで簡単に欠損値を変換することが出来ます。 
irisデータセットにはNanが含まれていないため、意図的にデータを変換の上fillnaを実行してみます。 
特定の値をnp.nanへ置換すればOKです。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 3.0をNanへ置換
 df.replace(3.0, np.nan, inplace=True)
 # 0.2をNanへ置換
 df.replace(0.2, np.nan, inplace=True)
 print(df)
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... NaN 0
 # 1 4.9 NaN ... NaN 0
 # 2 4.7 3.2 ... NaN 0
 # 3 4.6 3.1 ... NaN 0
 # 4 5.0 3.6 ... NaN 0
 # .. ... ... ... ... ...
 # 145 6.7 NaN ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 NaN ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 NaN ... 1.8 2
 # [150 rows x 5 columns]

 # Nanを1.0へ置換（穴埋め）
 df.fillna(1.0, inplace=True)
 print(df)
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 1.0 0
 # 1 4.9 1.0 ... 1.0 0
 # 2 4.7 3.2 ... 1.0 0
 # 3 4.6 3.1 ... 1.0 0
 # 4 5.0 3.6 ... 1.0 0
 # .. ... ... ... ... ...
 # 145 6.7 1.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 1.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 1.0 ... 1.8 2
 # [150 rows x 5 columns]

```

pandas

pandas.DataFrame、pandas.Seriesの要素を置換する

# 環境
今回動作の確認を行った際のバージョンは下記の通り 
python：3.10.9 
pandas：1.5.3 
データセット：scikit-learnのirisを使用(scikit-learnは1.2.2) 
 
 

# データセットの準備 
前回までと同じirisデータセットを使用して動作を確認していきます。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 print(df.head())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # [5 rows x 5 columns]
``` 
 
 
# booleanのリストを使用したデータ抽出
pandas.DataFrame、pandas.Seriesは共に[]に[True, False]の様なbooleanのリストを渡すことで特定の行（Trueが指定された行）を抽出することが可能です。 
例えば、下記の様に[True, False, True, False, ・・・]というリストを渡すことで偶数行のデータを抽出することが出来ます。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # sepal length (cm)列をSeriesとして抽出
 s = df['sepal length (cm)']

 # TrueとFalseが交互に存在するリストを作成
 bool_list = [True, False]*int(len(df)/2)

 # データフレームから偶数行のみ抽出
 print(df[bool_list])
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # 6 4.6 3.4 ... 0.3 0
 # 8 4.4 2.9 ... 0.2 0
 # .. ... ... ... ... ...
 # 140 6.7 3.1 ... 2.4 2
 # 142 5.8 2.7 ... 1.9 2
 # 144 6.7 3.3 ... 2.5 2
 # 146 6.3 2.5 ... 1.9 2
 # 148 6.2 3.4 ... 2.3 2
 # 
 # [75 rows x 5 columns]

 # seriesから偶数行のみ抽出
 print(s[bool_list])
 # 0 5.1
 # 2 4.7
 # 4 5.0
 # 6 4.6
 # 8 4.4
 # ... 
 # 140 6.7
 # 142 5.8
 # 144 6.7
 # 146 6.3
 # 148 6.2
 # Name: sepal length (cm), Length: 75, dtype: float64
``` 

また、pandas.DataFrame、pandas.Seriesでは比較演算子を使うことで条件に合致する行のみをTrueとして取得することが可能です。 
これを使って「sepal length (cm)が5より大きいデータ」を抽出してみます。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # sepal length (cm)列をSeriesとして抽出
 s = df['sepal length (cm)']

 # Dataframeからsepal length (cm)が5より大きいデータを選択
 print(df['sepal length (cm)'] > 5)
 # 0 True
 # 1 False
 # 2 False
 # 3 False
 # 4 False
 # ... 
 # 145 True
 # 146 True
 # 147 True
 # 148 True
 # 149 True
 # Name: sepal length (cm), Length: 150, dtype: bool

 # seriesからsepal length (cm)が5より大きいデータを選択
 print(s > 5)
 # 0 True
 # 1 False
 # 2 False
 # 3 False
 # 4 False
 # ... 
 # 145 True
 # 146 True
 # 147 True
 # 148 True
 # 149 True
 # Name: sepal length (cm), Length: 150, dtype: bool

 # 上記のリストを使ってDataframeからsepal length (cm)が5より大きいデータのみ抽出
 print(df[df['sepal length (cm)'] > 5])
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 5 5.4 3.9 ... 0.4 0
 # 10 5.4 3.7 ... 0.2 0
 # 14 5.8 4.0 ... 0.2 0
 # 15 5.7 4.4 ... 0.4 0
 # .. ... ... ... ... ...
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # 
 # [118 rows x 5 columns]

 # 上記のリストを使ってseriesからsepal length (cm)が5より大きいデータのみ抽出
 print(s[s > 5])
 # 0 5.1
 # 5 5.4
 # 10 5.4
 # 14 5.8
 # 15 5.7
 # ... 
 # 145 6.7
 # 146 6.3
 # 147 6.5
 # 148 6.2
 # 149 5.9
 # Name: sepal length (cm), Length: 118, dtype: float64
``` 

下記の様に「&」「|」を使用することで複数条件を指定することも可能です。 
各条件を()で括らないとエラーとなるので注意が必要です。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # Dataframeからsepal length (cm)が5より大きく5.5より小さいデータのみ抽出
 print(df[(df['sepal length (cm)'] > 5) & (df['sepal length (cm)'] < 5.5)])
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 5 5.4 3.9 ... 0.4 0
 # 10 5.4 3.7 ... 0.2 0
 # 16 5.4 3.9 ... 0.4 0
 # 17 5.1 3.5 ... 0.3 0
 # 19 5.1 3.8 ... 0.3 0
 # 20 5.4 3.4 ... 0.2 0
 # 21 5.1 3.7 ... 0.4 0
 # 23 5.1 3.3 ... 0.5 0
 # 27 5.2 3.5 ... 0.2 0
 # 28 5.2 3.4 ... 0.2 0
 # 31 5.4 3.4 ... 0.4 0
 # 32 5.2 4.1 ... 0.1 0
 # 39 5.1 3.4 ... 0.2 0
 # 44 5.1 3.8 ... 0.4 0
 # 46 5.1 3.8 ... 0.2 0
 # 48 5.3 3.7 ... 0.2 0
 # 59 5.2 2.7 ... 1.4 1
 # 84 5.4 3.0 ... 1.5 1
 # 98 5.1 2.5 ... 1.1 1
 # 
 # [20 rows x 5 columns]

``` 
 
 
# queryを使用したデータ抽出
[pandas.DataFrame.query](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.query.html "pandas.DataFrame.query")を使用することでも条件を指定してデータ抽出を行うことが可能です。 
ただしpandas.DataFrame.queryはpandas.DataFrameのみで使用可能です。 
普通はquery('5 < 列名')の様な使い方をしますが、今回は列名に空白が入っているためそのままだとエラーが発生します。 
今回のデータの様に列名に空白が入っている場合はバッククォート「``」で列をくくる必要があります。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # Dataframeからsepal length (cm)が5より大きく5.5より小さいデータのみ抽出
 print(df.query('5 < `sepal length (cm)` < 5.5'))
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 5 5.4 3.9 ... 0.4 0
 # 10 5.4 3.7 ... 0.2 0
 # 16 5.4 3.9 ... 0.4 0
 # 17 5.1 3.5 ... 0.3 0
 # 19 5.1 3.8 ... 0.3 0
 # 20 5.4 3.4 ... 0.2 0
 # 21 5.1 3.7 ... 0.4 0
 # 23 5.1 3.3 ... 0.5 0
 # 27 5.2 3.5 ... 0.2 0
 # 28 5.2 3.4 ... 0.2 0
 # 31 5.4 3.4 ... 0.4 0
 # 32 5.2 4.1 ... 0.1 0
 # 39 5.1 3.4 ... 0.2 0
 # 44 5.1 3.8 ... 0.4 0
 # 46 5.1 3.8 ... 0.2 0
 # 48 5.3 3.7 ... 0.2 0
 # 59 5.2 2.7 ... 1.4 1
 # 84 5.4 3.0 ... 1.5 1
 # 98 5.1 2.5 ... 1.1 1
 # 
 # [20 rows x 5 columns]

``` 

変数を使用する場合は、「@変数」とすることで条件式に使用することが可能です。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # Dataframeからsepal length (cm)が5より大きく5.5より小さいデータのみ抽出
 min = 5
 max = 5.5
 print(df.query('@min < `sepal length (cm)` < @max'))
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 5 5.4 3.9 ... 0.4 0
 # 10 5.4 3.7 ... 0.2 0
 # 16 5.4 3.9 ... 0.4 0
 # 17 5.1 3.5 ... 0.3 0
 # 19 5.1 3.8 ... 0.3 0
 # 20 5.4 3.4 ... 0.2 0
 # 21 5.1 3.7 ... 0.4 0
 # 23 5.1 3.3 ... 0.5 0
 # 27 5.2 3.5 ... 0.2 0
 # 28 5.2 3.4 ... 0.2 0
 # 31 5.4 3.4 ... 0.4 0
 # 32 5.2 4.1 ... 0.1 0
 # 39 5.1 3.4 ... 0.2 0
 # 44 5.1 3.8 ... 0.4 0
 # 46 5.1 3.8 ... 0.2 0
 # 48 5.3 3.7 ... 0.2 0
 # 59 5.2 2.7 ... 1.4 1
 # 84 5.4 3.0 ... 1.5 1
 # 98 5.1 2.5 ... 1.1 1
 # 
 # [20 rows x 5 columns]

``` 

特定の値と一致するデータのみ抽出する場合はリストとinを使って下記の様に記述することもできます。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # Dataframeからsepal length (cm)が5.1、5.2のデータのみ抽出
 print(df.query('`sepal length (cm)` in [5.1, 5.2]'))
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 17 5.1 3.5 ... 0.3 0
 # 19 5.1 3.8 ... 0.3 0
 # 21 5.1 3.7 ... 0.4 0
 # 23 5.1 3.3 ... 0.5 0
 # 27 5.2 3.5 ... 0.2 0
 # 28 5.2 3.4 ... 0.2 0
 # 32 5.2 4.1 ... 0.1 0
 # 39 5.1 3.4 ... 0.2 0
 # 44 5.1 3.8 ... 0.4 0
 # 46 5.1 3.8 ... 0.2 0
 # 59 5.2 2.7 ... 1.4 1
 # 98 5.1 2.5 ... 1.1 1
 # 
 # [13 rows x 5 columns]

```

pandas.DataFrame、pandas.Seriesから特定条件のデータを抽出

# 環境
今回動作の確認を行った際のバージョンは下記の通り 
python：3.10.9 
pandas：1.5.3 
データセット：scikit-learnのirisを使用(scikit-learnは1.2.2) 
 
 

# データセットの準備 
前回と同じirisデータセットを使用して動作を確認していきます。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 print(df.head())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # [5 rows x 5 columns]
``` 
 
 
# 列データ取得
pandas.DataFrameでは列名を指定することで指定列のデータを取得することが出来ます。 
単独の列を指定した場合pandas.Series、複数の列を指定した場合pandas.DataFrame形式でデータを取得することが出来ます。 
今回は「df.columns」を使って列名の一覧を取得し、それを用いて列データを取得します。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 # 列名をindexオブジェクトとして取得
 col_list = df.columns
 print(col_list)
 # Index(['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)',
 # 'petal width (cm)', 'target'],
 # dtype='object')

 # インデックスオブジェクトの先頭（sepal length (cm)）列のデータを取得
 print(df[col_list[0]])
 # 0 5.1
 # 1 4.9
 # 2 4.7
 # 3 4.6
 # 4 5.0
 # ... 
 # 145 6.7
 # 146 6.3
 # 147 6.5
 # 148 6.2
 # 149 5.9
 # Name: sepal length (cm), Length: 150, dtype: float64

 # データ型確認
 print(type(df[col_list[0]]))
 # <class 'pandas.core.series.Series'>

 # インデックスオブジェクトの1、2列目（sepal length (cm)、sepal width (cm)）のデータを取得
 print(df[col_list[0:2]])
 # sepal length (cm) sepal width (cm)
 # 0 5.1 3.5
 # 1 4.9 3.0
 # 2 4.7 3.2
 # 3 4.6 3.1
 # 4 5.0 3.6
 # .. ... ...
 # 145 6.7 3.0
 # 146 6.3 2.5
 # 147 6.5 3.0
 # 148 6.2 3.4
 # 149 5.9 3.0
 # 
 # [150 rows x 2 columns]

 # データ型確認
 print(type(df[col_list[0:2]]))
 # <class 'pandas.core.frame.DataFrame'>
``` 

また、[pandas.DataFrame.loc](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.loc.html "pandas.DataFrame.loc")を使用しても同様にデータを取得することが可能です。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 # 列名をindexオブジェクトとして取得
 col_list = df.columns
 print(col_list)
 # Index(['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)',
 # 'petal width (cm)', 'target'],
 # dtype='object')

 # インデックスオブジェクトの先頭（sepal length (cm)）列のデータを取得
 print(df.loc[:, col_list[0]])
 # 0 5.1
 # 1 4.9
 # 2 4.7
 # 3 4.6
 # 4 5.0
 # ... 
 # 145 6.7
 # 146 6.3
 # 147 6.5
 # 148 6.2
 # 149 5.9
 # Name: sepal length (cm), Length: 150, dtype: float64

 # データ型確認
 print(type(df.loc[:, col_list[0]]))
 # <class 'pandas.core.series.Series'>

 # インデックスオブジェクトの1、2列目（sepal length (cm)、sepal width (cm)）のデータを取得
 print(df.loc[:, col_list[0:2]])
 # sepal length (cm) sepal width (cm)
 # 0 5.1 3.5
 # 1 4.9 3.0
 # 2 4.7 3.2
 # 3 4.6 3.1
 # 4 5.0 3.6
 # .. ... ...
 # 145 6.7 3.0
 # 146 6.3 2.5
 # 147 6.5 3.0
 # 148 6.2 3.4
 # 149 5.9 3.0
 # 
 # [150 rows x 2 columns]

 # データ型確認
 print(type(df.loc[:, col_list[0:2]]))
 # <class 'pandas.core.frame.DataFrame'>
``` 
 
 
# 行データ取得
行番号または行名を指定することで任意の行のデータを取得することが可能です。 
リストと同じようにマイナスの値を指定することで開始行を後ろの行から開始したり、[開始行:終了行:ステップ数]と指定することでデータ取得間隔を指定することが可能です。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 # 先頭5行分のデータ取得
 print(df[0:5])
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # 
 # [5 rows x 5 columns]

 # 最後5行分のデータ取得
 print(df[-5:])
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 145 6.7 3.0 ... 2.3 2
 # 146 6.3 2.5 ... 1.9 2
 # 147 6.5 3.0 ... 2.0 2
 # 148 6.2 3.4 ... 2.3 2
 # 149 5.9 3.0 ... 1.8 2
 # 
 # [5 rows x 5 columns]

 # 最後10行のうち偶数業のデータのみ取得
 print(df[0:10:2])
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # 6 4.6 3.4 ... 0.3 0
 # 8 4.4 2.9 ... 0.2 0
 # 
 # [5 rows x 5 columns]
```

pandas.DataFrameの行・列データを取得

# 環境
今回動作の確認を行った際のバージョンは下記の通り 
python：3.10.9 
pandas：1.5.3 
データセット：scikit-learnのirisを使用(scikit-learnは1.2.2) 
 
 
# pandas.DataFrameのサイズ取得
## データセットの準備 
まずはデータセットの準備を行います。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 print(df.head())
 # sepal length (cm) sepal width (cm) ... petal width (cm) target
 # 0 5.1 3.5 ... 0.2 0
 # 1 4.9 3.0 ... 0.2 0
 # 2 4.7 3.2 ... 0.2 0
 # 3 4.6 3.1 ... 0.2 0
 # 4 5.0 3.6 ... 0.2 0
 # [5 rows x 5 columns]
``` 
 
 
## df.shapeによるサイズ取得
データフレームでは[pandas.DataFrame.shape](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.shape.html "pandas.DataFrame.shape")を使用することで行数と列数のタプル(行数, 列数)を取得することが出来ます。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 行数と列数取得
 print(df.shape)
 # (150, 5)
 size = df.shape
 # 行数取得
 row = size[0]
 print(row)
 # 150
 # 列数取得
 col = size[1]
 print(col)
 # 5
``` 

下記の様にアンパックで取得することも可能です。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 行数と列数取得
 row_2, col_2 = df.shape
 print(row_2)
 # 150
 print(col_2)
 # 5
``` 
 
 
## len()によるサイズ取得
Pythonの組み込み関数[len()](https://docs.python.org/ja/3/library/functions.html?highlight=len#len "len()")を使用することでも行数、列数を取得することが可能です。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 行数取得
 row = len(df)
 print(row)
 # 150

 # 列数取得
 col = len(df.columns)
 print(col)
 # 5
``` 
 
 
## df.info()によるサイズ取得
[pandas.DataFrame.info](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.info.html "pandas.DataFrame.info")を使用することでもサイズやメモリ使用量などデータフレームの情報を取得することが出来ます。 
ただし、df.shapeなどと違い結果は標準出力されるため、変数に値を格納して使用することはできません。
print()を使用しなくても標準出力されます。 

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # データフレームの情報取得
 df.info()
 # <class 'pandas.core.frame.DataFrame'>
 # RangeIndex: 150 entries, 0 to 149
 # Data columns (total 5 columns):
 # # Column Non-Null Count Dtype 
 # --- ------ -------------- ----- 
 # 0 sepal length (cm) 150 non-null float64
 # 1 sepal width (cm) 150 non-null float64
 # 2 petal length (cm) 150 non-null float64
 # 3 petal width (cm) 150 non-null float64
 # 4 target 150 non-null int32 
 # dtypes: float64(4), int32(1)
 # memory usage: 5.4 KB
``` 
 
 
## 全要素数取得
[pandas.DataFrame.size](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.size.html "pandas.DataFrame.size")を使用することで全要素数（＝行数×列数）を取得することが出来ます。
上記で取得した行数と列数をかけた値になっていることがわかります。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame

 # 全要素数取得
 ele = df.size
 print(ele)
 # 750
``` 
 
 
# pandas.Seriesのサイズ取得
pandas.Seriesも基本的にはpandas.DataFrameと同様の方法でサイズを取得することが出来ます。 
ただし、pandas.Seriesなので基本的に列数は1となるため[pandas.DataFrame.shape](https://pandas.pydata.org/pandas-docs/version/1.5/reference/api/pandas.DataFrame.shape.html "pandas.DataFrame.shape")を使用した場合、要素数が1のタプルとなるので注意が必要です。 
上記で使用したデータフレームから「sepal length (cm)」の列を抽出して使用します。

```python
from sklearn.datasets import load_iris

if __name__ == '__main__':
 df = load_iris(as_frame=True).frame
 series = df['sepal length (cm)']

 # 行数取得
 print(series.shape)
 # (150,)
 size = series.shape
 # 行数取得
 row = size[0]
 print(row)
 # 150

 # len()を使って行数取得
 row = len(series)
 print(row)
 # 150

 # sizeを使って全要素数取得
 ele = series.size
 print(ele)
 # 150
```

pandas.DataFrame、pandas.Seriesのサイズ（行数、列数）取得

# pandas.DataFrame→NumPy配列（numpy.ndarray）へ変換
まずはpandas.DataFrameからNumPy配列への変換です。 
pandasが用意してくれている[to_numpy()](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_numpy.html#pandas.DataFrame.to_numpy "to_numpy()")を使用することで変換が可能です。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.DataFrame({"col0": [0, 1, 2, 3, 4], "col1": [5, 6, 7, 8, 9]})
 print(df)
 # 出力結果
 # col0 col1
 # 0 0 5
 # 1 1 6
 # 2 2 7
 # 3 3 8
 # 4 4 9

 arr = df.to_numpy()
 # 型の確認
 print(type(arr))
 # 出力結果
 # <class 'numpy.ndarray'>

 print(arr)
 # 出力結果
 # [[0 5]
 # [1 6]
 # [2 7]
 # [3 8]
 # [4 9]]
``` 

基本的にはこれだけなのですが、公式ドキュメントに記載の通りここで得られる結果はview担っている可能性があります。 
つまり、下のDataFrameと同じメモリを参照しており、「arr」の値を変更すると元のDataFrameも変更されてしまいます。 
一度実行してみましょう。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.DataFrame({"col0": [0, 1, 2, 3, 4], "col1": [5, 6, 7, 8, 9]})
 print(df)
 # 出力結果
 # col0 col1
 # 0 0 5
 # 1 1 6
 # 2 2 7
 # 3 3 8
 # 4 4 9

 arr = df.to_numpy()
 # 型の確認
 print(type(arr))
 # 出力結果
 # <class 'numpy.ndarray'>

 print(arr)
 # 出力結果
 # [[0 5]
 # [1 6]
 # [2 7]
 # [3 8]
 # [4 9]]

 # 配列の(0,0)の要素を10に置き換える
 arr[0,0] = 10

 print(arr)
 # NumPy配列出力結果
 # [[10 5]
 # [ 1 6]
 # [ 2 7]
 # [ 3 8]
 # [ 4 9]]

 print(df)
 # DataFrame出力結果
 # col0 col1
 # 0 10 5
 # 1 1 6
 # 2 2 7
 # 3 3 8
 # 4 4 9
``` 

これを防ぐために、[to_numpy()](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_numpy.html#pandas.DataFrame.to_numpy "to_numpy()")では「copy」という引数が用意されています。 
copy=Trueと指定することで、上記の様な現象を確実に防ぐことが可能です。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.DataFrame({"col0": [0, 1, 2, 3, 4], "col1": [5, 6, 7, 8, 9]})
 print(df)
 # 出力結果
 # col0 col1
 # 0 0 5
 # 1 1 6
 # 2 2 7
 # 3 3 8
 # 4 4 9

 arr = df.to_numpy(copy=True)
 # 型の確認
 print(type(arr))
 # 出力結果
 # <class 'numpy.ndarray'>

 print(arr)
 # 出力結果
 # [[0 5]
 # [1 6]
 # [2 7]
 # [3 8]
 # [4 9]]

 # 配列の(0,0)の要素を10に置き換える
 arr[0,0] = 10

 print(arr)
 # NumPy配列出力結果
 # [[10 5]
 # [ 1 6]
 # [ 2 7]
 # [ 3 8]
 # [ 4 9]]

 print(df)
 # DataFrame出力結果
 # col0 col1
 # 0 0 5
 # 1 1 6
 # 2 2 7
 # 3 3 8
 # 4 4 9
``` 

 
 
# NumPy配列（numpy.ndarray）→pandas.DataFrameへ変換 
以前[【pandas】DataFrame形式のデータ生成/データ取得](https://hachidev.com/posts/python-pandas-dataframe "【pandas】DataFrame形式のデータ生成/データ取得")という記事でも記載した通り、下記の様にすることで変換が可能です。 

```python
import pandas as pd
import numpy as np

if __name__ == '__main__':
 # 1次元のNumPy配列
 input_ndarr_1d = np.arange(5)
 df_ndarr_1d = pd.DataFrame(input_ndarr_1d)
 print(df_ndarr_1d)
 # 出力結果
 # 0
 # 0 0
 # 1 1
 # 2 2
 # 3 3
 # 4 4

 # 2次元のNumPy配列
 input_ndarr_2d = np.arange(10).reshape(2, 5)
 df_ndarr_2d = pd.DataFrame(input_ndarr_2d)
 print(df_ndarr_2d)
 # 出力結果
 # 0 1 2 3 4
 # 0 0 1 2 3 4
 # 1 5 6 7 8 9

```

もちろんDataFrameだけでなくpandas.Seriesにも変換可能です。 

```python
import pandas as pd
import numpy as np

if __name__ == '__main__':
 # 1次元のNumPy配列
 input_ndarr_1d = np.arange(5)
 series = pd.Series(input_ndarr_1d)
 print(type(series))
 # 出力結果
 # <class 'pandas.core.series.Series'>

 print(series)
 # 出力結果
 # 0
 # 0 0
 # 1 1
 # 2 2
 # 3 3
 # 4 4
 # dtype: int32

```

NumPy配列、pandas.DataFrameでは処理速度が違ったり、用意されている関数が違ったりするため必要に応じて相互変換していくのがいいでしょう。

pandas.DataFrameとNumPy配列（numpy.ndarray）の相互変換

# 使用データ 
今回はMySQLとSQL Serverを使って試してみます。 
MySQLは[資産記録アプリ開発②～DB作成～](https://hachidev.com/posts/assets-management-db "資産記録アプリ開発②～DB作成～")で立てたものに新しくDBを作成し、「pandas_test_table」というテーブルを下記の様なデータ構造で作成しました。 
![20230106161600](//images.ctfassets.net/g03afh073hzw/7AQXlLBQx5F8PYGdLwU3Wn/85c0d1b7f1cf04169d7c3619f679e6e5/20230106161600.jpg) 

テスト用データをいくつか追加しておきます。 

| id | datetime | memo |
| ---------- | ---------- | ---------- |
| 1 | 2023-01-01 00:00:00 | 正月 |
| 2 | 2023-01-02 00:00:00 | 帰省 |
| 3 | 2023-01-04 00:00:00 | 大発会 |

SQL Serverは公式サイトからダウンロード可能です。 
今回は「SQL Server 2019 Developer エディション」をインストールして使用しています。 
[SQL Server のダウンロード | Microsoft](https://www.microsoft.com/ja-jp/sql-server/sql-server-downloads "SQL Server のダウンロード | Microsoft") 

インストールは指示に従ってインストールするだけなので、今回手順は省略します。 
また、SQL Serverを使用する際はMicrosoftが[SQL Server Management Studio (SSMS)](https://learn.microsoft.com/ja-jp/sql/ssms/download-sql-server-management-studio-ssms?view=sql-server-ver16 "SQL Server Management Studio (SSMS)")というクライアントツールを用意してくれています。GUIで操作したい場合は、こちらも合わせてインストールしておくと便利です。 
MySQLと同じようにデータベース、テーブルを作成しテスト用データを追加しておきます。 

 
 
# 事前準備 
下記ライブラリをインストールしておきます。 

```bash
pip install SQLAlchemy
 # MySQL用
pip install PyMySQL
 # SQL Server用
pip install pyodbc
``` 

anacondaを使っている場合は下記などでインストール可能です。 
[ANACONDA.ORG](https://anaconda.org/ "ANACONDA.ORG")で検索するといくつかパッケージが見つかります。 

```bash
conda install -c conda-forge sqlalchemy
conda install -c conda-forge pymysql
conda install -c conda-forge pyodbc
``` 

また、SQL Serverを使用する場合はODBC Driverも必要になりますので下記からインストールしておく必要があります。 
必要に応じてダウンロードしてください。 
[ODBC Driver for SQL Server のダウンロード - ODBC Driver for SQL Server | Microsoft Learn](https://learn.microsoft.com/ja-jp/sql/connect/odbc/download-odbc-driver-for-sql-server?view=sql-server-ver16 "ODBC Driver for SQL Server のダウンロード - ODBC Driver for SQL Server | Microsoft Learn")

 
 
# MySQLからデータ取得 
pandasの[read_sql_query()](https://pandas.pydata.org/docs/reference/api/pandas.read_sql_query.html "read_sql_query()")を使って取得します。 
公式ドキュメントの通り、引数で最低限sql、conを指定すると取得することが出来ます。 
今回は用意したテーブルのデータすべてを取得するクエリを実行しています。 
DBへ接続するための設定とクエリは必要に応じて書き換えてください。 

```python
import pandas as pd
import sqlalchemy

if __name__ == '__main__':
 # MySQLへ接続するための設定
 user = 'root'
 password = 'root'
 host = '127.0.0.1'
 port = 3306
 database = 'pandas_test'
 url = f'mysql+pymysql://{user}:{password}@{host}:{port}/{database}'

 con = sqlalchemy.create_engine(url)
 query = 'select * from pandas_test_table'
 df = pd.read_sql_query(query, con)
 print(df)
 # 出力結果
 # id datetime memo
 # 0 1 2023-01-01 正月
 # 1 2 2023-01-02 帰省
 # 2 3 2023-01-04 大発会
``` 

引数index_colを指定することで任意の列をindexとして取得することが可能です。 

```python
import pandas as pd
import sqlalchemy

if __name__ == '__main__':
 # MySQLへ接続するための設定
 user = 'root'
 password = 'root'
 host = '127.0.0.1'
 port = 3306
 database = 'pandas_test'
 conn_str = f'mysql+pymysql://{user}:{password}@{host}:{port}/{database}'

 con = sqlalchemy.create_engine(conn_str)
 query = 'select * from pandas_test_table'
 df = pd.read_sql_query(query, con, index_col='id')
 print(df)
 # 出力結果
 # datetime memo
 # id 
 # 1 2023-01-01 正月
 # 2 2023-01-02 帰省
 # 3 2023-01-04 大発会
``` 

 
 
# SQL Serverからデータ取得 
SQL Serverの場合も基本的にやることは同じですが、接続文字列が変わってきます。 
私はWindows認証で接続しているため、下記の様な接続文字列を使用しました。 
また、[urllib.parse](https://docs.python.org/ja/3/library/urllib.parse.html "urllib.parse")を使ってURLエンコードも行っています。 

```python
import pandas as pd
import sqlalchemy
import urllib

if __name__ == '__main__':
 servername = 'DESKTOP-PGSQEV1'
 database = 'pandas_test'
 driver = 'ODBC Driver 17 for SQL Server'
 conn_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(f'DRIVER={driver};SERVER={servername};DATABASE={database};Trusted_Connection=yes')

 con = sqlalchemy.create_engine(conn_str)
 query = 'select * from pandas_test_table'
 df = pd.read_sql_query(query, con)
 print(df)
 # 出力結果
 # id datetime memo
 # 0 1 2023-01-01 正月
 # 1 2 2023-01-02 帰省
 # 2 3 2023-01-04 大発会
``` 

 
 
# read_sql_table()、read_sql() 
pandasでは他にも[read_sql_table()](https://pandas.pydata.org/docs/reference/api/pandas.read_sql_table.html "read_sql_table()")という関数も用意されており、こちらを使用することでも同様にデータを取得することができます。 
この関数ではqueryの代わりにテーブルを指定することでデータを取得することが出来るため、クエリが書けなくてもデータ取得可能です。 

```python
import pandas as pd
import sqlalchemy
import urllib

if __name__ == '__main__':
 servername = 'DESKTOP-PGSQEV1'
 database = 'pandas_test'
 driver = 'ODBC Driver 17 for SQL Server'
 conn_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(f'DRIVER={driver};SERVER={servername};DATABASE={database};Trusted_Connection=yes')

 con = sqlalchemy.create_engine(conn_str)
 df = pd.read_sql_table('pandas_test_table', con) # 第一引数でテーブル名指定
 print(df)
 # 出力結果
 # id datetime memo
 # 0 1 2023-01-01 正月
 # 1 2 2023-01-02 帰省
 # 2 3 2023-01-04 大発会
``` 

また、[read_sql()](https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html "read_sql()")という関数も用意されていますが、こちらは公式ドキュメントにも記載のある通り[read_sql_table()](https://pandas.pydata.org/docs/reference/api/pandas.read_sql_table.html "read_sql_table()")と[read_sql_query()](https://pandas.pydata.org/docs/reference/api/pandas.read_sql_query.html "read_sql_query()")のラッパー関数となっています。 
第一引数のsqlにクエリまたはテーブル名を指定することでデータを取得することが出来ます。 
例えば、下記の2つは同じ結果を取得することが出来ます。 

```python
import pandas as pd
import sqlalchemy
import urllib

if __name__ == '__main__':
 servername = 'DESKTOP-PGSQEV1'
 database = 'pandas_test'
 driver = 'ODBC Driver 17 for SQL Server'
 conn_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(f'DRIVER={driver};SERVER={servername};DATABASE={database};Trusted_Connection=yes')

 con = sqlalchemy.create_engine(conn_str)
 query = 'select * from pandas_test_table'
 df_query = pd.read_sql(query, con) # 第一引数でクエリ指定
 print(df_query)
 # 出力結果
 # id datetime memo
 # 0 1 2023-01-01 正月
 # 1 2 2023-01-02 帰省
 # 2 3 2023-01-04 大発会

 df_table = pd.read_sql('pandas_test_table', con) # 第一引数でテーブル名指定
 print(df_table)
 # 出力結果
 # id datetime memo
 # 0 1 2023-01-01 正月
 # 1 2 2023-01-02 帰省
 # 2 3 2023-01-04 大発会
```

Python pandasでMySQLとSQL Serverからデータ取得

# 使用データ 
csvの時同様e-Statから適当にデータをとってきて使用させていただきます。 
[国勢調査 / 令和２年国勢調査 / 速報集計 人口速報集計　（男女別人口及び世帯総数）](https://www.e-stat.go.jp/stat-search/files?page=1&layout=datalist&toukei=00200521&tstat=000001136464&cycle=0&tclass1=000001136465&tclass2=000001154388&stat_infid=000032092710&file_type=0&tclass3val=0&metadata=1&data=1 "国勢調査 / 令和２年国勢調査 / 速報集計 人口速報集計　（男女別人口及び世帯総数）")
開くとこの様なデータになっています。 
![20230106104500](//images.ctfassets.net/g03afh073hzw/KIN6vdGcXAc3ad1xe3ZiX/85b145652f957488d15fb3afe488cbfd/20230106104500.jpg)

このデータをpandasの[read_excel()](https://pandas.pydata.org/docs/reference/api/pandas.read_excel.html "read_excel()")を使って読み取ってみます。 

 
 

# 事前準備 
read_excel()は内部ではファイル形式に合わせていくつかのライブラリを使用しています。 

```bash
engine:str, default None
 If io is not a buffer or path, this must be set to identify io. Supported engines: “xlrd”, “openpyxl”, “odf”, “pyxlsb”. Engine compatibility :
 “xlrd” supports old-style Excel files (.xls).
 “openpyxl” supports newer Excel file formats.
 “odf” supports OpenDocument file formats (.odf, .ods, .odt).
 “pyxlsb” supports Binary Excel files.

```
※[公式ドキュメント](https://pandas.pydata.org/docs/reference/api/pandas.read_excel.html "公式ドキュメント")より引用 

大抵の場合.xlsと.xlsxが読み込めればいいと思うので、とりあえずopenpyxlとxlrdをインストールしておけば十分でしょう。 

```bash
pip install openpyxl
pip install xlrd
``` 

anacondaを使っている場合は下記などでインストール可能です。 
[ANACONDA.ORG](https://anaconda.org/ "ANACONDA.ORG")で検索するといくつかパッケージが見つかります。 

```bash
conda install -c conda-forge openpyxl
conda install -c conda-forge xlrd
``` 
 
 
# 基本的な使い方 
基本的には引数のioにExcelファイルのパスを指定するだけで読み取りが可能です。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_excel('a01.xlsx')
 print(df)
``` 

今回の場合、読み取ると下記のようになっています。 
これだと使いにくいので、色々試していきます。 
![20230106113600](//images.ctfassets.net/g03afh073hzw/5mlNhyC5dwvCdsI5RtC41P/2ef2ed5709110cece25f76b551168497/20230106113600.jpg) 

 
 

# ヘッダー行、インデックス行の指定 
引数のheader、index_colに0始まりの行番号、列番号を指定することで、ヘッダー/インデックスとして使用することが出来ます。 
また、この2つはリストで指定することが可能です。今回のファイルは少し複雑な構造になっているのでリストで指定してみます。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_excel('a01.xlsx', header=[8,9,10,11,12], index_col=[0,1,2])
 print(df)
``` 

結果は下記のようになります。 

![20230106134700](//images.ctfassets.net/g03afh073hzw/4nSC5gCjI6IgfQgoWXGdcS/8bbc958ab52639212eda9e9b5ce57bad/20230106134700.jpg) 

 
 
# 独自のヘッダーを指定 
上記の様なデータが扱いにくい場合は、独自のヘッダーを指定することも可能です。 
例えば、D、E列に「人口男女_総数」「人口男女_男」と指定して取得してみます。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_excel('a01.xlsx',
 names=['人口男女_総数', '人口男女_男'],
 usecols=[3,4],
 skiprows=12)
 print(df)
``` 

下記のように取得できます。 
![20230106135700](//images.ctfassets.net/g03afh073hzw/4HAfKwasQR5U7kXITljN7l/314249640f5e9cca0595734944193718/20230106135700.jpg) 

 
 
# シートの指定 
今回のデータはシートが1つしかなかったので指定する必要がありませんでしたが、複数が存在する場合「特定のシートのデータのみ取得」「複数シートのデータを取得」といったことも可能です。 サンプルファイルを用意して試してみます。 
■Sheet1 

| col0_sheet1 | col1_sheet1 |
| ---------- | ---------- |
| 0 | 3 |
| 1 | 4 |
| 2 | 5 |

■Sheet2 

| col0_sheet2 | col1_sheet2 |
| ---------- | ---------- |
| 0 | 3 |
| 1 | 4 |
| 2 | 5 |

```python
import pandas as pd

if __name__ == '__main__':
 # Sheet1データ取得
 df_sheet1 = pd.read_excel('sample.xlsx', sheet_name='Sheet1')
 print(df_sheet1)
 # 出力結果
 # col0_sheet1 col1_sheet1
 # 0 0 3
 # 1 1 4
 # 2 2 5

 # Sheet2データ取得
 df_sheet2 = pd.read_excel('sample.xlsx', sheet_name='Sheet2')
 print(df_sheet2)
 # 出力結果
 # col0_sheet2 col1_sheet2
 # 0 0 3
 # 1 1 4
 # 2 2 5

 # Sheet1,Sheet2データ取得(シート名で指定)
 df_sheetall = pd.read_excel('sample.xlsx', sheet_name=['Sheet1','Sheet2'])
 print(df_sheetall)
 # 出力結果
 # {'Sheet1':
 # col0_sheet1 col1_sheet1
 # 0 0 3
 # 1 1 4
 # 2 2 5, 
 # 'Sheet2':
 # col0_sheet2 col1_sheet2
 # 0 0 3
 # 1 1 4
 # 2 2 5}

 # Sheet1,Sheet2データ取得(番号で指定)
 df_sheetall2 = pd.read_excel('sample.xlsx', sheet_name=[0, 1])
 print(df_sheetall2)
 # 出力結果
 # {'Sheet1':
 # col0_sheet1 col1_sheet1
 # 0 0 3
 # 1 1 4
 # 2 2 5, 
 # 'Sheet2':
 # col0_sheet2 col1_sheet2
 # 0 0 3
 # 1 1 4
 # 2 2 5}
``` 

複数シートのデータを取得した場合、辞書型で取得することが出来るので、下記の様にDataFrameを取得することが可能です。 

```python
import pandas as pd

if __name__ == '__main__':
 # Sheet1,Sheet2データ取得(シート名で指定)
 df_sheetall = pd.read_excel('sample.xlsx', sheet_name=['Sheet1','Sheet2'])
 print(df_sheetall)
 # 出力結果
 # 上記同様

 # DataFrame取得
 df_sheetall_ex = df_sheetall['Sheet1']
 print(df_sheetall_ex)
 # 出力結果
 # col0_sheet1 col1_sheet1
 # 0 0 3
 # 1 1 4
 # 2 2 5

 # Sheet1,Sheet2データ取得(番号で指定)
 df_sheetall2 = pd.read_excel('sample.xlsx', sheet_name=[0, 1])
 print(df_sheetall2)
 # 出力結果
 # 上記同様

 # DataFrame取得
 df_sheetall2_ex = df_sheetall2[0]
 print(df_sheetall2_ex)
 # 出力結果
 # col0_sheet1 col1_sheet1
 # 0 0 3
 # 1 1 4
 # 2 2 5
```

Python pandasでExcelファイル読み込み(DataFrame形式でデータ取得)

# 使用データ 
今回はこちらのデータを使用します。 
[国勢調査 / 令和２年国勢調査 / 小地域集計　（主な内容：基本単位区別，町丁・字別人口など） 13：東京都](https://www.e-stat.go.jp/stat-search/files?page=1&layout=datalist&toukei=00200521&tstat=000001136464&cycle=0&tclass1=000001136472&tclass2=000001159886&stat_infid=000032163273&file_type=1&tclass3val=0&metadata=1&data=1 "国勢調査 / 令和２年国勢調査 / 小地域集計　（主な内容：基本単位区別，町丁・字別人口など） 13：東京都") 

開くとこの様なデータになっています。 
![20230105175700](//images.ctfassets.net/g03afh073hzw/4cQlmuDUjxMdje3jCOyv4A/d83b89277d947727f4a77893e1e7e33c/20230105175700.jpg) 

このデータをpandasの[read_csv()](https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html?highlight=read_csv "read_csv()")を使って読み取ってみます。 

 
 

# 文字コードの指定 
大抵の場合、csvファイルを読み取るだけであれば下記の様にするだけで大丈夫です。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_csv('h01_13.csv')
 print(df)

``` 

しかし、今回は下記の様なエラーが発生します。 

```python
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x97 in position 0: invalid start byte
``` 
公式ドキュメントではデフォルト値＝Noneとなっていますが、utf-8で読み取りが行われる様です。 
サクラエディタでファイルを開いてみるとSJISとなっています。 
![20230105181600](//images.ctfassets.net/g03afh073hzw/gMrUagtjOdtgZHHrft8ap/441a5365b0588a064b219f54968d4948/20230105181600.jpg) 
なので、下記のように文字コードを指定して実行してみます。 
引数のencodingで指定することが可能です。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_csv('h01_13.csv', encoding="shift-jis")
 print(df)

``` 

エラーなく実行することが出来ました。 
![20230105182600](//images.ctfassets.net/g03afh073hzw/7gBX63j45cMYFsGwhS0JUL/d8671fb4bfef3aac4a94921acb909e40/20230105182600.jpg) 

 
 
# 列、開始行を指定 
データ処理を行うには、A列、1～4行目はなくても良さそうなので、B～M列、5行目以降のデータを取得してみます。 
列の指定はusecols、開始行の指定はskiprowsで指定することが可能です。 
usecols：読み込みたい列を指定します。列は0始まりです。 
skiprows：指定した行数分スキップしてデータを読み込みます。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_csv('h01_13.csv', skiprows=4, usecols=[1,2,3,4,5,6,7,8,9,10,11,12], encoding="shift-jis")
 print(df)

``` 

下記のように取得できました。 
![20230105183700](//images.ctfassets.net/g03afh073hzw/46OLVKLpX71UdLLV69exiS/5516ac9321d60a63b7085e26d18662e4/20230105183700.jpg) 

また、usecolの代わりにheaderを使用しても同様の結果を取得することが可能です。 
headerは行名（ヘッダー行）として使用する行を指定する引数です。 
下記のように5行目をヘッダー行を指定することで同様の結果を取得することが出来ます。 
※0始まりのため、5行目を指定する場合はheader=4とする 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_csv('h01_13.csv', header=4, usecols=[1,2,3,4,5,6,7,8,9,10,11,12], encoding="shift-jis")
 print(df)

``` 

 
 
# 欠損値として扱う値の指定 
DataFrameでは[dropna()](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.dropna.html "dropna()")を使用することでnanを含むデータを削除することが出来ます。 
そのため、データ読み込み時からあらかじめnanとしてデータを読み取った方が後々楽な場合があります。 
pandasではna_valuesで値を指定することで、NaNとしてデータを読み込むことが出来ます。 
今回は「-」をnanとして読み込んでみます。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_csv('h01_13.csv', skiprows=4, usecols=[1,2,3,4,5,6,7,8,9,10,11,12], encoding="shift-jis")
 print(df)

``` 

![20230105190600](//images.ctfassets.net/g03afh073hzw/NUAmmZhmA6vKVNkqFMS5D/5ee7aab0f9299c242288db333e335b12/20230105190600.jpg) 

 
 
# 行名（ヘッダー行）の指定 
上記の例では先頭行がヘッダーとして使用されていましたが、引数namesで任意の値を指定することでそれをヘッダーすることが出来ます。 
これまでは5行目をヘッダー行として使用していたため、skiprows=4としていましたが今回の場合5行目は不要なためskiprows=5としています。 

```python
import pandas as pd

if __name__ == '__main__':
 df = pd.read_csv('h01_13.csv',
 skiprows=5,
 usecols=[1,2,3,4,5,6,7,8,9,10,11,12],
 encoding="shift-jis",
 names=['1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12'])
 print(df)

``` 
![20230105192700](//images.ctfassets.net/g03afh073hzw/ykcwa7iFxVZ3pyl11rK9W/b8fcc542adabd8d0c459b212a22b9129/20230105192700.jpg) 

他にも様々な引数がありますが、よく使用するのは上記のものかなと思います。 
その他のものは[公式ドキュメント](https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html?highlight=read_csv "公式ドキュメント")をご参照ください。

Python pandasでcsvファイル読み込み(DataFrame形式でデータ取得)

# DataFrameとは 
Pythonのデータ分析ライブラリの1つであるpandasで使用できるデータ構造であり、2次元の表形式でデータを扱うことが出来ます。 
■Pycharmで見た場合の例： 
![20230105150900](//images.ctfassets.net/g03afh073hzw/6Kcr5NTnlmetos9FD1APfH/41119e3abb2e736a771ea8d26543da4d/20230105150900.jpg) 
※使用データ：[国勢調査 / 令和２年国勢調査 / 小地域集計　（主な内容：基本単位区別，町丁・字別人口など） 13：東京都](https://www.e-stat.go.jp/stat-search/files?page=1&layout=datalist&toukei=00200521&tstat=000001136464&cycle=0&tclass1=000001136472&tclass2=000001159886&stat_infid=000032163273&file_type=1&tclass3val=0&metadata=1&data=1 "国勢調査 / 令和２年国勢調査 / 小地域集計　（主な内容：基本単位区別，町丁・字別人口など） 13：東京都") 

配列を用いた処理などと比較すると処理が遅いというデメリットがありますが、様々な機能が用意されており、データ分析を行いやすいというメリットがあります。 

 
 
# DataFrameの生成 
[公式ドキュメント](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.html#pandas.DataFrame "公式ドキュメント")にある通り、コンストラクタpandas.DataFrameのdataにndarrayやdict、listを指定することでDataFrameを生成することが出来ます。 
また、csvやエクセルファイルから生成することも可能です。 

 

## numpy配列から生成 
1次元、2次元どちらでも可です。 

```python
import pandas as pd
import numpy as np

if __name__ == '__main__':
 # 1次元のnumpy配列
 input_ndarr_1d = np.arange(5)
 df_ndarr_1d = pd.DataFrame(input_ndarr_1d)
 print(df_ndarr_1d)
 # 出力結果
 # 0
 # 0 0
 # 1 1
 # 2 2
 # 3 3
 # 4 4

 # 2次元のnumpy配列
 input_ndarr_2d = np.arange(10).reshape(2, 5)
 df_ndarr_2d = pd.DataFrame(input_ndarr_2d)
 print(df_ndarr_2d)
 # 出力結果
 # 0 1 2 3 4
 # 0 0 1 2 3 4
 # 1 5 6 7 8 9

```

columns、indexに配列を指定することで、列/行名を指定することが出来ます。 

```python
import pandas as pd
import numpy as np

if __name__ == '__main__':
 # 2次元のnumpy配列
 input_ndarr_2d = np.arange(10).reshape(2, 5)
 df_ndarr_2d = pd.DataFrame(input_ndarr_2d,
 columns=['col0', 'col1', 'col2', 'col3', 'col4'],
 index=['index0', 'index1'])
 print(df_ndarr_2d)
 # 出力結果
 # col0 col1 col2 col3 col4
 # index0 0 1 2 3 4
 # index1 5 6 7 8 9

```
 

## リストから生成 
numpy配列同様、1次元、2次元どちらでも可です。 
また、辞書型データのリストでもOKです。 

```python
import pandas as pd

if __name__ == '__main__':
 # 1次元のリスト
 input_list_1d = [0, 1, 2, 3, 4]
 df_list_1d = pd.DataFrame(input_list_1d)
 print(df_list_1d)
 # 出力結果
 # 0
 # 0 0
 # 1 1
 # 2 2
 # 3 3
 # 4 4

 # 2次元のリスト
 input_list_2d = [[0, 1, 2, 3, 4], [5, 6, 7, 8, 9]]
 df_list_2d = pd.DataFrame(input_list_2d)
 print(df_list_2d)
 # 出力結果
 # 0 1 2 3 4
 # 0 0 1 2 3 4
 # 1 5 6 7 8 9

 # リスト(辞書型)
 input_dict = [{'0': 0, '1': 1, '2': 2, '3': 3, '4': 4},
 {'0': 5, '1': 6, '2': 7, '3': 8, '4': 9}]
 df_dict = pd.DataFrame(input_dict)
 print(df_dict)
 # 出力結果
 # 0 1 2 3 4
 # 0 0 1 2 3 4
 # 1 5 6 7 8 9

```
 

## 辞書型データから生成 
columnsを指定することで、特定のデータのみでDataFrameを生成することが出来たり、ネスト構造の辞書型データからDataFrameを生成することが出来ます。 

```python
import pandas as pd

if __name__ == '__main__':
 # 辞書型(リスト)
 input_dict = {'0': [0, 1, 2, 3, 4], '1': [5, 6, 7, 8, 9]}
 df_dict = pd.DataFrame(input_dict)
 print(df_dict)
 # 出力結果
 # 0 1
 # 0 0 5
 # 1 1 6
 # 2 2 7
 # 3 3 8
 # 4 4 9

 # 辞書型(リスト) columns指定
 df_dict_col = pd.DataFrame(input_dict, columns=['0'])
 print(df_dict_col)
 # 出力結果
 # 0
 # 0 0
 # 1 1
 # 2 2
 # 3 3
 # 4 4

 # 辞書型(ネスト)
 input_dict_nest = {'col0': {'index0':0, 'index1':1}, 'col1': {'index0':2, 'index1':3}}
 df_dict_nest = pd.DataFrame(input_dict_nest)
 print(df_dict_nest)
 # 出力結果
 # col0 col1
 # index0 0 2
 # index1 1 3

```
 

# csv、Excelファイルから取得 
pandasのread_csv()やread_excel()などを使用することで、csv、ExcelファイルなどからDataFrameを生成することが出来ます。 
詳細は下記記事を参照してください。 
[Python pandasでcsvファイル読み込み(DataFrame形式でデータ取得)](https://hachidev.com/posts/python-pandas-csv "Python pandasでcsvファイル読み込み(DataFrame形式でデータ取得)") 
[Python pandasでExcelファイル読み込み(DataFrame形式でデータ取得)](https://hachidev.com/posts/python-pandas-excel "Python pandasでExcelファイル読み込み(DataFrame形式でデータ取得)]") 
 
 
# DBから取得 
MySQLやSQL ServerのデータをDataFrameとして取得することも可能です。 
詳細は下記記事を参照してください。 
[Python pandasでMySQLとSQL Serverからデータ取得](https://hachidev.com/posts/python-pandas-db "Python pandasでMySQLとSQL Serverからデータ取得")