試験開発支援サービス
試験開発支援サービスとは
プロメトリックの試験開発支援サービスでは、試験仕様の設計から、試験問題作成支援・検証、分析、等化(難易度の平準化)まで一貫して支援します。テストデベロッパーとサイコメトリシャンからなる専門家チームが、試験の妥当性・信頼性・公平性を維持・向上させます。
試験立ち上げの方法がわからない、今の試験で大丈夫か不安という方は、プロメトリックにお任せください。
専門家チームが、試験仕様の設計から一貫して伴走します。
こんなお悩みありませんか?
高品質な試験を作成・維持していくための業務負担が、増えていませんか?
プロメトリックの「試験開発支援サービス」で解決できます
プロメトリックの「試験開発支援サービス」の5つのステップ
01.業務分析/試験仕様設計
公平性・妥当性・信頼性を備えた試験開発の出発点は、徹底的かつ網羅的な業務分析です。まず、特定の業務を効果的に遂行するために不可欠な知識・スキル・能力を明確化します。次にテスト定義やブループリントを設計し、試験問題の形式(択一・記述など)や難易度、出題する知識領域や出題数を定めます。これにより、受験者全員を同一基準で一貫して評価できる設計を担保します。成果物は、テスト定義書とブループリントです。
02.試験問題作成支援・検証
正しい作問プロセスとルールの共有で、妥当性・公平性の高い試験問題作成を支援します。ブループリントに基づいて既存アイテムバンクを分析し、継続利用/廃止、領域別追加数を提案。対象分野の専門家(SME)とのワークショップにも対応し、現場知に根ざした、公正で実務に即した試験の構築を支援します。作問方法、必要問題数の作成、品質基準、継続運用の効率化といった課題を解決します。成果物は「試験問題作成ルール」と「試験問題」です。
03.試験フォームの作成
CBTによる柔軟な受験機会の提供と公平性を同時に担保する仕組みを構築します。
試験フォームは、ブループリントとアイテムバンク(試験問題群)を用いて作成します。試験問題の過度な露出を避けると同時に、受験者間に不公平な状況を発生させないために、フォーム方式や LOFT(Linear-on-the-fly Testing)方式※などの出題方法から、最も適切に受験者に問題を提示する仕組みを検討します。
※LOFT方式:受験者ごとに異なる試験問題を出題しながら、統計的に公平な試験を実現するCBT方式です。詳しくは、コラムをご参照ください。
04.合格点の設定および等化
ここでは、サイコメトリシャンが、合格基準の設定を支援します。試験の目的およびデータに沿って、古典的テスト理論(例:修正Angoff法)やIRT(例:Bookmark 法)に基づく手法を用い、科学的に妥当で信頼性の高い合否基準(カットスコア)を設計します。
次に、サイコメトリシャンが、ベストプラクティスに基づいて等化手順を設計・実施し、すべての試験フォームが難易度・採点の観点から同等となるようにすることで、公平性を維持します。
05.試験結果分析
試験の品質を正確に把握するため、最も重要なのがこの結果分析プロセスです。テスト理論および科学的な手法に基づくサイコメトリック分析による試験の妥当性と信頼性を確認し、その結果を試験作成プロセスにフィードバックすることで、継続的な試験の品質維持・向上が可能となります。
当社は、サイコメトリック分析の専門家からなる強力なスタッフを採用しており、彼らの中心的な責務は、試験主催団体の試験が最終的に設計目標や市場要件を満たし、法的にも十分に耐えうる状態となるよう支援することです。
当社では、試験問題および試験ごとに測定の品質を判断するための各種分析を行います。
すべての試験で専門的な業界基準のモデリングを採用しているほか、基準妥当性、シミュレーション研究、カスタムリサーチも行い、業界基準に従った方法論も活用しています。
サービス導入をご検討中の方
料金プラン、ご利用方法、導入プロセスにおいて、専門スタッフが丁寧にご説明します。 ご不明な点がございましたら、まずはお気軽にお問い合わせください。
試験開発支援サービスの詳細
試験開発支援プロセスを一貫してサポート
各プロセスにおける成果物
業務分析/試験仕様設計
- テスト定義書
- ブループリント
試験問題作成支援・検証
- 試験問題作成セミナーの実施
- 試験問題レビューワークショップの実施
- ギャップアナリシスの実施
試験フォーム作成
- 試験フォーム案の作成
- 試験フォームレビューワークショップの実施
合格点の設定
合格点の設定にあたり下記の分析手法を実施
- 修正 Angoff 法
- Bookmark 法
- 古典的テスト理論の等化法
- 項目反応理論(IRT)の尺度得点
試験結果分析
- 品質評価の分析
- 各種分析
豊富な実績
よくあるご質問
- 試験開発支援サービスとはどんなサービスですか?
- 試験仕様の設計から試験問題作成支援・検証、分析、等化(難易度の平準化)まで対応しており、専門家チームが、試験の妥当性・信頼性・公平性を維持・向上させる総合伴走サービスです。
- 試験開発支援サービスを受けるのに、専門的な知識は必要ですか?
- いいえ、専門的な知識は不要です。
当社が伴走型で進めるため、初回のお打合せで試験の目的や対象等を伺い、試験仕様の設計から試験問題作成支援・検証、試験結果の分析までを一貫してご支援します。
- 問題の品質を担保する仕組みはありますか?
- はい、ございます。当社では、サイコメトリクスおよびテスト理論に基づく科学的な分析手法を用いて、試験問題の品質を厳格に管理しています。作問者の主観に頼らない、公平で妥当な試験問題を作成する支援をいたします。
- このサービスでは、どんな成果物が得られますか?
- 試験作成プロセスにより、テスト定義書、ブループリント、試験問題作成ルール、試験問題レビュー結果、試験フォームレビュー結果、試験フォーム、品質評価レポート、各種分析結果レポートなどの成果物をお渡しいたします。
- 合格基準はどのように設定すればよいのでしょうか?
- 試験の性質に応じて、修正Angoff法やBookmark法などの標準設定手法を用いるほか、版間の難易度差を補正するためにスケールスコアや等化手続きを用い、科学的根拠に基づいて合否基準を確立します。
サービス導入をご検討中の方
料金プラン、ご利用方法、導入プロセスにおいて、専門スタッフが丁寧にご説明します。 ご不明な点がございましたら、まずはお気軽にお問い合わせください。