ML Lab

ML LAB / ENGINEERING NOTES

技術ガイド

このガイドでは、データの要約・統計・予測で何を計算し、結果をどう解釈するか、どのような限界があるかを説明します。

分析の全体像

分析は、データの状態を確認し、必要な変換を適用してから、統計・可視化・予測で問いを調べる順に進めます。前処理後の行検索を使うと、観察/統計/チャート/予測の対象行が同じ条件で絞られます。

分析段階何を確認/計算するか結果の見方
データ品質欠損、重複、型、ユニーク数、数値の分布とカテゴリ頻度を集計対象行数と欠損数を合わせて確認する
前処理行の抽出/除去、値の置換、型変換、派生列、カテゴリ列の展開操作順と適用前後の件数を確認する
統計Pearson相関、クロス集計、グループ別の件数/数値要約有効件数、欠損除外、手法の前提を確認する
可視化カテゴリ集計、散布図、分布図、主要指標軸、集計方法、色分け、対象行を確認する
予測分類/回帰モデルの学習、独立データでの評価、CSV推論分割条件、指標、予測対象行を合わせて確認する
レポート選択中データセットの分析結果をHTMLに集約し、印刷/PDF保存未実施の分析や一時結果の扱いを確認する

データ品質と前処理

  1. 列の型は値の並びから推測します。数値らしい値が全て数値に変換できる列は数値、日付らしい値は日付、それ以外はカテゴリとして扱います。列名と値形式による推測なので、型を誤る場合があります。
  2. 欠損数と欠損率は空欄のセル数を数えます。カテゴリ度数は値ごとの件数で、高カーディナリティでは上位10件と「その他」にまとめます。
  3. 数値要約は有効な数値を使い、最小/四分位/中央値/平均/最大を計算します。外れ値候補はTukeyの1.5×IQR（四分位範囲）を超える値です。候補は誤入力や異常を断定するものではありません。
  4. 前処理は登録した順に適用します。フィルターや行除去は対象行を変え、数値補完/型変換/派生列/One-hot化は値や列を変えます。適用前にプレビューし、レシピから操作を取り消せます。
  5. 数値補完をデータ全体で先に計算してから予測評価すると、評価対象の情報が学習側へ漏れることがあります。そのため、平均/中央値が全データで既に計算されたレシピを含む場合は学習を止めます。評価漏洩を防ぐには、補完値などの前処理を学習データだけで決める必要があります。

チャートやレポートに示される件数は、現在の前処理と行検索を反映した対象データの件数です。統計結果を読むときは、全行か有効行か、欠損値を含むかを確認してください。

統計分析の方法

Pearson相関

Pearsonの相関係数は、2つの数値列が直線的に一緒に増減する度合いを−1から1で表します。1に近いと同じ方向、−1に近いと逆方向、0に近いと直線的な関係が弱いことを示します。各組み合わせで両列が数値として有効な行だけを使い、有効件数Nを表示します。定数列や有効行が少ない組み合わせでは係数/p値を算出できない場合があります。

p値は「母集団で相関が0」という仮定の下で、観測された係数以上の値が得られる程度の目安です。相関の強さや実務上の重要さそのものではなく、因果関係も示しません。複数の列ペアを同時に調べるときの多重比較補正は行いません。

クロス集計とグループ集計

クロス集計は2つのカテゴリ列の組み合わせごとに件数または数値の集計値を配置します。合計/平均/中央値などの数値集計では、空欄や数値に変換できない値を除外し、有効件数Nを併記します。空欄のカテゴリ自体は「(欠損)」として残ります。

グループ集計は選択した1列以上のカテゴリ列の組み合わせごとに件数、合計、平均、中央値、最大、最小を計算します。有効数値Nは数値集計に使えた行数です。平均や合計はグループ内の分布や交絡要因を取り除いた因果効果ではありません。

可視化と代表値

棒/折れ線はカテゴリごとに件数・合計・平均を比較し、散布図は2数値列の各行を点として表示します。散布図の色分けはカテゴリ別の点を区別します。ヒストグラムは値の範囲ごとの度数、箱ひげ図は中央値・四分位範囲・ひげを要約します。表示前に前処理と行検索が適用されるため、対象件数を確認してください。

予測モデルと評価

分類はカテゴリ/ラベルの予測、回帰は連続する数値の予測です。目的変数を1列選び、説明変数として使う列を指定します。学習行だけを使って数値列の平均/尺度、欠損補完値、カテゴリ辞書を決めてから、検証行と最終評価行へ同じ変換を適用します。これにより評価側の情報が前処理へ漏れることを避けます。

分類モデル

モデル何をするか読み方/注意
ロジスティック回帰説明変数の組み合わせから各クラスの確率を推定します。線形な境界の基準モデルとして比較しやすい一方、複雑な関係を表しにくい場合があります。
決定木条件分岐を順にたどってクラスを予測します。仕組みを追いやすい一方、木が深いと学習データに過度に合うことがあります。
ランダムフォレスト複数の決定木の予測をまとめます。単一の木より安定しやすい一方、結果の説明は複雑になります。
k近傍法特徴が近い学習行のクラスを参考にします。特徴量の尺度やカテゴリ表現に影響されます。近さは因果的な類似を意味しません。
2クラスSVM2クラスを分ける境界を学習します。現行画面は二値分類のみです。スコアは確率とは限りません。
小型ニューラルネットワーク隠れ層で非線形な関係を表現します。初期値や学習条件に影響され、学習データが少ないと過学習することがあります。

回帰モデル

モデル何をするか読み方/注意
多変量線形回帰各説明変数の重み付き合計から数値を予測します。基準モデルとして使いやすい一方、関係が直線的でない場合は合いにくくなります。
カーネルリッジ回帰滑らかな非線形関係も表せるリッジ回帰です。正則化係数とカーネル設定で複雑さが変わります。
k近傍法回帰近い学習行の目的値を平均して予測します。特徴量の尺度や近傍数に影響されます。
線形ε-SVR許容誤差εの範囲を小さく扱う線形サポートベクトル回帰です。現行実装は線形ε-insensitive SGDで、カーネルSVM回帰ではありません。
小型ニューラルネットワーク小さな隠れ層で非線形な関係を学習します。外挿や少量データの性能は保証されません。
決定木/ランダムフォレスト回帰条件分岐または複数の木で数値を予測します。木の深さや本数と、学習/評価データでの誤差を合わせて確認します。

分割と評価指標

既定では学習/検証/最終評価を60/20/20に分割し、比率は変更できます。分類はクラス割合を保って分割します。乱数seedが同じでも、モデルや設定が異なれば結果も変わります。現在、交差検証によるモデル比較は未実装です。最終評価データはモデル選択や調整に使わず、独立した最終確認として扱ってください。

ネットワークとプライバシー

アプリ実行時に外部API、CDN、外部フォントやテレメトリーを呼び出しません。Vite開発サーバー、ビルド成果物の表示、CSV解析はローカルで行います。npm依存の初回取得にはパッケージレジストリへの接続が必要です。

保存した作業状態は同じブラウザープロファイル内に置かれ、ブラウザーデータの消去やプロファイル削除で失われます。共有PCでは他の利用者が保存内容を参照できる場合があります。ローカル保存は暗号化やユーザー認証を意味しません。

Windows x64向け単一EXEはビルド時にアプリ資産を同梱します。配布先にNode.jsは不要です。127.0.0.1:4173のみで待ち受け、外部ネットワーク要求は行わず、ポート競合時は別ポートへ切り替えず起動を中止します。行列演算ライブラリが内部で動的コード生成を使うため、同梱コードに限ってCSPで実行を許可しています。

EXEの起動、資産配信、モデル学習/推論をWindows x64でスモーク確認しました。物理的なネットワーク遮断試験とAuthenticode署名は未実施です。広域配布では組織のコード署名を検討してください。

レポートとデータ保持

分析レポートは選択中データセットの品質要約、適用レシピ、登録済みチャート、保存済みモデル評価、セッション中に作成した最新の統計/推論結果をまとめます。実施していない分析は空欄で区別し、目的変数がない推論に精度指標を付けません。

CSV、前処理レシピ、モデル、評価結果、可視化設定は利用者が保存操作をした場合に同じブラウザープロファイルへ保存されます。統計表/推論の最新結果はタブのメモリだけに保持されるため、タブを閉じたりワークスペースを切り替えたりするとレポートから消えます。生成したHTML/PDFは端末外へ送信されません。