3-4. Python 3 エンジニア認定データ分析試験 対策

データ分析の基礎数学

• 平均（Mean）: データの総和を個数で割った値。
• 分散（Variance）: 各データの平均値からの偏りの自乗和を個数で割った値。
• 標準偏差（Standard Deviation）: 分散の平方根（$\sigma$）。
• 正規化（Min-Max Scaling）: データを 0～1 の範囲にスケール変換。
• 標準化（Z-score Scaling）: 平均 0、標準偏差 1 に変換。

NumPy: 多次元配列（ndarray）操作

Python

import numpy as np

# ブロードキャスト機能 (異なる形状の配列同士の演算)
arr = np.array([1, 2, 3])
print(arr * 2)  # [2, 4, 6]

# スライスとファンシーインデックス
arr = np.array([10, 20, 30, 40])
mask = arr > 20
print(arr[mask])  # [30, 40]

pandas: Series と DataFrame

Python

import pandas as pd

# データフレーム作成
df = pd.DataFrame({
    'category': ['A', 'A', 'B'],
    'score': [80, 90, 70]
})

# 欠損値処理
df.dropna()          # 欠損値を含む行を削除
df.fillna(value=0)   # 欠損値を0で補填

# グループ化集計
grouped = df.groupby('category').mean()

Matplotlib / Seaborn 可視化ツール

• 散布図（plt.scatter）: 2変数間の相関関係の把握。
• 折れ線グラフ（plt.plot）: 時系列変化の推移。
• ヒストグラム（plt.hist）: データの度数分布。
• 箱ひげ図（plt.boxplot）: 中央値・四分位数・外れ値の可視化。

scikit-learn: 前処理とモデル評価

Python

from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# StandardScalerによる標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

モデル評価指標の考え方

• 正解率（Accuracy）: 全予測のうち正解した割合。
• 適合率（Precision）: 「陽性」と予測したうち、実際に陽性だった割合（偽陽性を減らしたい時）。
• 再現率（Recall）: 実際の「陽性」のうち、見落とさずに陽性と予測できた割合（病気診断など偽陰性を減らしたい時）。
• F値（F1-score）: 適合率と再現率の調和平均。