20年以上前に大学院で統計学の初歩を学びましたが、悲しいことにすべて忘れました。そこで、統計学に再入門するために入門書を読み始めましたが、わからない用語がたくさん出てくるので、自分なりにまとめてみました。大学や社会で活躍される読者の皆様にとっては、あまりに初歩的な記事で申し訳ない気持ちでいっぱいですが、ご容赦ください。間違いがあれば、どうかご指摘ください。
まず「回帰分析」という用語ですが、一言で表すなら、「一方のデータ（説明変数）を使って、他方のデータ（目的変数）を予測・説明する手法」です。まず、なぜ「回帰（元に戻る）」と呼ぶのか？、という疑問が湧きますが、これは歴史的な由来によるものです。
19世紀の統計学者フランシス・ゴルトンが「親の身長」と「子の身長」の関係を調べた際、「親の身長が極端に高くても低くても、子の身長は親よりも人類の平均値に近づく傾向がある（平均への回帰）」という現象を発見しました。この研究がベースになったため、データを予測する分析全般を「回帰分析」と呼ぶようになりました。
最もシンプルな回帰分析（単回帰）は、中学校で習う直線の式 y=ax+b と同じです。統計学では以下のように表します。
y=β 0 +β 1 x+ϵ
・y （目的変数）：予測したいデータ（例：子の身長、売上）
・x （説明変数）：予測の手がかりにするデータ（例：親の身長、広告費）
・β 0 ,β 1 (回帰係数）：データから計算する直線の傾きと切片
・ϵ （誤差項）：直線だけでは説明できない、現実のデータのバラつき
回帰分析には、「予測」のほかに、「因果関係の要約」という重要な役割もあります。
・予測：「広告費を100万円にしたら、売上（y）はいくらになるか？」
・要約（因果関係の把握）：「広告費（x）を1単位増やすと、売上（y）にはどれくらい影響を与えるのか？
（傾き β1の大きさはどれくらいか）」
要するに、回帰分析とは、「片方からもう片方を予測する直線（または平面）を当てはめること」なのです。
では、回帰分析における「信頼区間」や「p値」とは何でしょうか。この2つは、一言で言うと「その予測や分析結果が、たまたま（偶然）得られたものではないか？」をチェックするための指標です。手元にあるデータは、全体のほんの一部（標本）に過ぎません。「今回のデータでは右上がりの直線が引けたけれど、それは偶然の偏りではないか？」という疑いに答えてくれます。
まずp値（p-value）から復習します。p値とは、「求めた関係性が、まったくの偶然である確率」です。回帰分析では、例えば「広告費（x）を増やすと、売上（y）が増える」という直線の傾き（係数）を計算します。このとき、p値は次のような問いを投げかけます。「もし、本当は広告費と売上になんの関係もない（傾きが0である）としたら、今回たまたまこれほどハッキリしたデータが得られる確率はどれくらいか？」
・p値が小さい（一般に 0.05 未満など）場合、「本当は無関係なのに、偶然こんなデータになる確率は5%未満だ。ということは、偶然ではなく、本当に意味のある関係（有意である）と判断して良さそうだ」と考えます。
・p値が大きい場合、「偶然でもよくあることだ。したがって、この関係性は信用できない（無関係の可能性がある）」と判断します。
次に「信頼区間（Confidence Interval）」とは何でしょうか。これは「本当の直線の傾き（や予測値）が、何パーセントの確率で収まる推定の幅」です。一般的には「95%信頼区間」がよく使われます。手元のデータから「傾きは 2.5」とピンポイントで計算（点推定）できても、データが変わればこの数値は少しズレます。そこで、幅を持たせて推測します。
・例：傾きの95%信頼区間が「1.2 から 3.8」の場合
入門段階では『真の傾きはおおよそこの範囲にある』と読んで実用上は問題ありません。厳密には『この方法で区間を繰り返し計算すると、95%の確率で真の値を含む区間が得られる』という意味になります。
・幅の広さが意味すること：データの量がたくさんあり、バラつきが少ないと、信頼区間の幅は狭くなります（精度の高い予測）。データが少なく、バラつきが大きいと、幅は広くなります（確信が持てない予測）。
もし、傾きの95%信頼区間が「-0.5 から 2.5」のように、「0」をまたいでいた場合はどうなるでしょうか。
これは「本当の傾きはマイナス（逆効果）かもしれないし、0（無関係）かもしれないし、プラスかもしれない」という意味になり、予測として役に立ちません。このとき、自動的に p値は0.05よりも大きくなります。
次に、「ダミー変数」とは何でしょうか。「ダミー変数」とは、一言で言うと「文字データ（質的データ）を、回帰分析で計算できるように『0』と『1』の数字に置き換えた変数」のことです。
例えば、「部屋の広さ」と「駅からの距離」に加えて、「オートロックの有無（あり／なし）」という条件も家賃の予測に組み込みたいとします。このとき、「あり」「なし」という文字のままでは計算できないので、以下のようにルールを決めます。
・オートロックが「あり」なら 1
・オートロックが「なし」なら 0
これらを組み込んだ回帰分析の式は、イメージとして次のようになります。
家賃=β0+(β1×広さ)+(β2×オートロックダミー)
もし、データから計算した結果、β2（オートロックの係数）が 「1.5」 になったとします。
・オートロック「あり（1）」の部屋の場合：
式の一番後ろは 1.5×1=1.5 となり、家賃の予測値が 1.5万円アップ します。
・オートロック「なし（0）」の部屋の場合：
式の一番後ろは 1.5×0=0 となり、家賃はベースのままです。
つまり、ダミー変数を導入することで、「その条件が当てはまる場合、どれくらい上乗せすることができるか（基準からどれくらいズレるか）」を分析できるようになります。
選択肢が「春・夏・秋・冬」や「東京・大阪・名古屋」のように、選択肢が3つ以上ある場合は少し注意が必要です。
「東京=1、大阪=2、名古屋=3」としてしまうと、統計ソフトは「名古屋は東京の3倍の価値がある」と勘違いして誤った計算をしてしまいます。そのため、選択肢が N 個ある場合は、「N−1 個のダミー変数」を作って表現するのが鉄則です。
東京か大阪か名古屋かを分類したい場合には、「大阪ダミー（1か0）」と「名古屋ダミー（1か0）」の 2つ を作ります。
・大阪なら：大阪=1、名古屋=0
・名古屋なら：大阪=0、名古屋=1
・東京なら：大阪=0、名古屋=0（どちらも0なら自動的に東京とわかるので、東京ダミーは情報として不要（むしろ邪魔）なのです。）すべて（3つとも）のダミー変数を入れてしまうと、数式上の計算が破綻してしまうのです。（「多重共線性」や「ダミー変数の罠」と呼ばれます）
さて、「カイ二乗検定」にしても、「t検定」にしても「一般化線形モデル」であるとはどういうことでしょうか？
従来、教科書では「t検定は平均値の比較」「カイ二乗検定は数の比率の比較」のように、まったく別個の道具として紹介されることが多かったです。しかし現代の統計学では、これらはすべて「一般化線形モデル（GLM：Generalized Linear Model）」という1つの大きな仕組み（数式）のバリエーション（特例）に過ぎないと整理されています。
前回の回帰分析で登場した直線の式を思い出してください。
予測したいもの=β0+(β1 ×手がかり)
このように、いくつかの要素を足し算（線形結合）でつなぎ合わせてデータを説明（予測）しようとする構造を「線形モデル」と呼びます。
実は、t検定はこの式の「手がかり」を少し工夫するだけで、完全に回帰分析と同じ式で表すことができます。
例えば、AグループとBグループのテストの平均点に差があるかを調べる「t検定」を考えます。
ここで、手がかりとして「Bグループなら1、Aグループなら0」というダミー変数を入れます。
点数=β0+(β1×Bグループダミー)
・Aグループ（0）の場合： 点数=β0 （つまり β0はAの平均点）
・Bグループ（1）の場合： 点数=β0+β1 （つまり β1はAとBの平均点の「差」）
この式で回帰分析を行い、「傾き β1が0である（差がない）」という仮説を検証すると、その結果（p値など）はt検定を行った結果と近似的に一致します。つまり、「t検定とは、説明変数をグループのダミー変数にしただけの回帰分析である」と言えます。
では「一般化」線形モデルとは何でしょうか？普通の回帰分析（線形モデル）には、以下の大きな限界があります。
・予測したいデータが「きれいな左右対称の正規分布（山型の分布）」に従うことが前提。
・そのため、「合格／不合格（1か0か）」や「事故の件数（マイナスにならない整数）」のようなデータはうまく扱えない。
そこで、「どんな分布のデータでも扱えるように、線形モデルの仕組みを拡張（一般化）しよう」として生まれたのが一般化線形モデル（GLM）です。GLMは、普通の回帰分析に以下の「2つのカスタマイズ」を加えます。
・分布の変更： 正規分布だけでなく、二項分布（1か0か）やポアソン分布（カウントデータ）なども選べるようにする。
・リンク関数： データの足し算（直線）が、1か0の確率などにうまく収まるよう、数式を変換する「翻訳機」を挟む。
カイ二乗検定（独立性の検定）は、「男性と女性で、支持する政党（A党／B党）の割合に違いがあるか」といった、クロス集計表の偏りを調べるものです。これは「人数（カウントデータ）」や「割合（確率）」を扱っているため、普通の回帰分析（正規分布前提）は使えません。そこで一般化線形モデル(GLM)の出番です。
・予測したいもの： 各政党を支持する「確率（または人数）」
・手がかり： 「性別のダミー変数（男=1, 女=0）」
これに対し、GLMのメニューから「二項分布」（または人数を数えるためのポアソン分布）という分布を選び、確率を直線に変換する翻訳機（ロジスティック回帰などと呼ばれます）を使って分析を行います。
このモデルで「性別の影響（傾き β1）が0である」という検証を行うと、その結果はカイ二乗検定の結果と（本質的に、あるいはサンプルの十分に大きい極限で近似的に）一致します。
すべては「一般化線形モデルである」ということの真意は、「データの種類（分布）に合わせて数式の翻訳機をカチッと切り替えているだけで、やっていることはすべて『一方のデータから他方のデータを予測する直線の足し算（回帰）』という共通の構造で処理している」ということです。