TIMSS2011のTechnical Reportに関するまとめです。量が多いので、要点のみ箇条書きしています。
全文は、Methods and Procedures in TIMSS and PIRLS 2011にありますので、詳細についてはそちらを参照してください。
概要
- TIMSS2011は、これまでのTIMSSのTechnical Reportとは異なり、オンラインドキュメントとして公開されている。そのため、一つにまとまったPDF版は存在しない。
- TIMSS2011の特徴の一つは、TIMSS（1995年から4年おきに実施）とPIRLS（読解に関する国際学力調査。2001年から5年おきに実施）が同時に実施されているという点にある。TIMSS2011（およびPIRLS2011）では、読解・数学・理科の3領域を総合的に評価できるように、調査が設計されている。Technical Reportでは、TIMSS及びPIRLSの設計について述べられている。
- TIMSSの学力調査は、第4学年はそれぞれ約170項目、第8学年はそれぞれ約200項目から構成されている。さらに、生徒質問紙、数学と理科の教員に対する質問紙、校長に対する質問紙、保護者質問紙（日本は不参加）がある。また、参加国の教育システムやカリキュラムに関する情報も提供されている。
標本抽出
- TIMSSの調査対象は、第4学年・第8学年に所属する全生徒である。具体的には、「ISCED（UNESCOのInternational Standard Classification of Education）のレベル1に該当する教育を受けてから4年経過かつ平均年齢が9.5歳に達した生徒」および「8年経過かつ13.5歳に達した生徒」が対象となる。また、当該学年に在籍する生徒は、年齢に関わらず、調査対象となる。各国の対象学年及び平均年齢は、このファイル（pdf）から確認できる。
- TIMSSは2段階の無作為抽出を採用している。第1段階で学校を抽出し、さらに第2段階で1ないし2の学級を抽出している。生徒個人ではなく学級を抽出対象とするのは、通常学級単位で構成される教授・学習環境をTIMSSが重視しているためである。
- アクセス困難な遠隔地にある学校、極端に規模の小さな学校、特別支援学校などは調査対象から除外される。また、知的障害を持つ生徒や、Non-native language speakers（とくに1年未満の教育しか受けていない生徒）は調査対象から除外される。ただし、除外できる割合は、調査対象の5%未満とする（小規模校については2%未満）。
- 参加国は、最低でも150校／4000人の生徒を抽出しなければならない。また、最低でも学校の参加率は85%・学級の参加率は95%・生徒の参加率は85%を達成しなければならない。
- 標本抽出に際して、地理的要因や学校種による、層化（Stratification）を行わなければならない。各国の層化に関するリストは、ここ（pdf）からダウンロードできる。
- 母集団に関する推定の際には、Weightを計算しなければならない。Weightは、本質的には選択確率の逆数であるが、TIMSSのそれは不参加等による影響を除去するための調整が行われている。Weightの計算式は、このファイル（pdf）の最後の方に書かれている。
成績尺度
- TIMSSの尺度は、U.S. National Assessment of Educational Progressによって開発された周辺推定によるIRT（項目反応理論）で計算されている。TIMSSでは、3つのIRTモデルが採択されている。正答／不正答のみの反応モデルでは、多肢選択式には3パラメータモデル、選択肢が2つのみの場合は2パラメータモデルを利用する。多値反応の場合は、部分採点モデル（partial credit model）を利用する。部分採点モデルは、TIMSS2011の児童・生徒の学習環境等に関する変数（Context Questionnaire Scales）の推定・作成に利用されており、その概要はこのファイルにある。作成された変数および国ごとのクロンバックαや説明される分散などの資料は、このリンク先を参照。下段のContext Questionnaire Scales Detailsをクリックし、見たい尺度を選択すればよい。
- TIMSSが採用するマトリクスサンプリングデザイン（matrix-sampling design）は、個々の生徒が解く問題の数が少数で済む上、すべての生徒の反応を合算することで幅広い領域の測定ができる。しかし引き換えに、個人の推定の精度は無視できないほどに失われているため、単純に個々人の回答を合算しただけでは深刻な偏りが発生する可能性がある。推算値法（Plausible Values: PVs）は、こうした問題に対応するための手法である。PVsは、Rubin（1987）の技法（※Multiple Imputation: 多重代入法）により生成される。PVsの目的は、個々人の能力推定ではなく、母集団・部分母集団の推定である。
- TIMSSの得点は、TIMSS1995の全参加国の平均を500、標準偏差を100とした値となっている。過去のTIMSSとの得点は、いわゆる同時調整法（concurrent calibration）による、線形変換で行われている。項目推定は、過去のTIMSSとの共通項目をもとに行われる。
- TIMSS2011で使用されている、以上の技法の詳細については、このファイル（PDF）にある。
