はじめに

StatsModels(Python)で重回帰分析をしたところ以下のようなメッセージ（多重共線性の発生）が表示され困惑したため、そのとき調べたことをまとめてみました。

[2] The smallest eigenvalue is 7.16e-29. This might indicate that there are
strong multicollinearity problems or that the design matrix is singular.

多重共線性(Multicollinearity)とは

重回帰分析などの多変量解析において、説明変数間に高い相関が認められる場合に発生する事象のこと

ダミー変数を使用している場合
例えば、男女をダミー変数として扱う場合、説明変数として男0or1と女0or1という二つの項目を追加してしまうと、その二つの説明変数間で完全に相関するため、多重共線性が発生する

不要な説明変数の削除
先の例でいえば男・女という説明変数のうち片方を説明変数から削除する
その他、説明変数間で高い相関がある場合は、それらの間で原因・結果の関係がないかなど検討したうえで削除する
主成分分析を行う
説明変数の主成分を集約することで説明変数間の相関を事実上無視する