4 Kinds of Survey Error: Sampling, Measurement, Coverage and Non-Response

family feud error

There are 4 generally-accepted types of survey error.  By survey error, I mean factors which reduce the accuracy of a survey estimate.

It’s important to keep each type of survey error in mind when designing, executing and interpreting surveys.  However, I suspect some of them are more ingrained in our thinking about research, while others are more often neglected.

Imagine if we interviewed 100 researchers and asked each of them (“Family Feud”-style) to name a type of survey error.

Which type of survey error do you think would be mentioned most frequently?  Which type would be most overlooked?

Here is my predicted order of finish in our hypothetical example.

Note for the “Feud”-challenged:  Number 1 represents the most commonly named type of error in our hypothetical survey of researchers, while number 4 represents the least commonly named.

1. Sampling Error.

My guess is that sampling error would be the most commonly named type of survey error.

In a recent Research Access post, “How to Plus or Minus: Understand and Calculate the Margin of Error,” I explained the concept of sampling error and gave 3 ways of calculating it.

Sampling error is essentially the degree to which a survey statistic differs from its “true” value due to the fact that the survey was conducted among only one of many possible survey samples.  It is a degree of uncertainty that we are willing to live with.  Even most non-researchers have a basic understanding, or at least awareness, of sampling error due to the media’s reference to the “margin of error” when reporting public survey results.

2. Measurement Error.  

I believe measurement error would be the second most frequently named type of error.  Measurement error is the degree to which a survey statistic differs from its “true” value due to imperfections in the way the statistic is collected.  The most common type of measurement error is one researchers deal with on a daily basis:  poor question wording, with faulty assumptions and imperfect scales.

3. Coverage Error.

Coverage error is another important source of variability in survey statistics; it is the degree to which statistics are off due to the fact that the sample used does not properly represent the underlying population being measured.

There was generally more concern about coverage error in the past; these days, the combination of increasing internet penetration and fast/easy/cheap online survey panels has made it possible to accurately represent many target populations.  Concern about coverage error is still an important conversation; however, it is being discussed more in academic and thought-leadership circles than by the average day-t0-day research practitioner.

4. Non-Response Error.

My guess is that non-response error would be the least named type of error in our hypothetical survey.  Telephone survey houses historically have routinely made 20 or more call-backs to households that do not answer the telephone.  This practice has dwindled due to a combination of the expense of conducting so many call-backs, and the dramatic growth of online surveys, where it is just easier to replace non-responders with fresh sample.  It is also not considered acceptable in an online context to conduct scores of follow-up emails; that would get the sender sent to a blacklist post haste.

Related articles

Enhanced by Zemanta

Related posts:

  1. How to Plus or Minus: Understand and Calculate the Margin of Error
  2. Meet the Data Triplets: Data, Metadata and Paradata
  3. What is Online Research Sample?
  4. Liquor Privatization Initiative Accurately Pegged by Pre-Election Online Survey
  5. Ipsos Loyalty and Survey Analytics Strike Mobile Deal
Advertisement
About Dana Stanley

Dana is the Editor-in-Chief of Research Access.

  • Kerry Butt

    You give short shrift to coverage and non-response error. It may be true to say that “the combination of increasing internet penetration and fast/easy/cheap online survey panels has made it possible to accurately represent many target populations”, but the lack of a single modality that reaches (virtually) the entire populace (as used to be the case for landline telephone) represents a huge challenge for the MR industry. Also, you imply in your section on non-response error that it’s OK to simply replace a non-responding element. This is not the case. The 20+ callbacks that you refer to were made because the thinking at the time was that a sample element should be replaced only if absolutely necessary. MR today does not seem particularly concerned with sample management.

  • http://danastanley.com Dana Stanley

    Kerry, thanks for your comment. Regarding your first point, I think it’s true that it’s still a problem to represent some populations online — but not all. For many types of surveys, an online sample does not represent a signficant problem with coverage error. As to your second point, my intent was to describe what typically happens in practice and not to imply that it is correct.

  • http://www.surveyguru.com/ Brendan Cullen

    Nicely written Dana – but I was expecting a conclusion – namely – whether you yourself agree with the order that you would expect to see!

  • Tieming Lin

    Dana, thanks for the thought provoking article. I guess the bottomline of #1,2 and 4 types of survey error you described has to do with sample representativeness. I want to share my observation about non-response issue from years of practice:

    Making the 20+ call backs in the good old days was due to the requirement by ‘law of randomness’ in survey sampling design, but that was still questionable. Among the 20+ call backs, it’s often the case there were still non-responses from refusal. You can’t simply replace non-response with new samples since you’d break the law of random selection. Were those ‘not interested’ – which should be counted as base for estimation, or were those simply not qualified – which should not be counted? We mostly didn’t know. I guess this flaw lies in the very practice of using survey tool itself. I think the assumption may have changed from the old days when you had to acaknowledge non-response bias to present day online and social media era when non-response means ‘not interested’, and count those in your sampling estimate.

  • xiaoxiao

    頻繁に戻るリリーニコラスによって引き起こさCASCカリキュラム、人材を補強して、三つまたはポイント演習

    要約すると紙:優れた医療従事者が動作専門医に加えてすべての単一の医療専門家を想像してみて確かに1であるとの見解でもつ魅力。

    健康科学分野に関連する多くの仮想農場については、これらの上昇は、多くの感謝だけでなく、完成されて内のすべての、いわゆる、感覚の育成、ピア賞を伴う。

    - 優れた医者は通常同様に臨床にも医療専門家として空想であることを理由にu003e(摂氏)リリーNicolasGetting認識。

    脂肪を失うの治療に似ているドメインでは、曝露通常専門賞賛、医療患者の称賛と、ほぼすべての多くは、あなたの自己自信のテクスチャ、これらの種類の。

    しかし、これらの成果が扱うような単純な出荷難しく、十分な量を冷静採択されるようになって、実際にはされていません。

    厳しい競争?、私たちの調査では、自宅で幻想的なMDの建物です最大標準化された内部でなければならない。 CASIO
    EDIFICE腕時計

    女性と男性の治療その上に身分証明書の理解と相まって専門知識この種のボリュームに通過してしまうことも、どっちの料理に加えて、ヘルスケアの医師の間でリーガル·カレッジや大学に関連したこの特定のプログラムは、今日を介して必要とされて提供しています。

    人の仕事の候補がスキルセットとさらにコンピテンシーの中で私たちのCASCメディカルチェックの各通り過ぎ行く必要のためにMRCPの状態は間違いなく、先住民適切にサービスプロバイダキーの事実に従い英国から剥ぎ取られます。

    確かに年リヤ側の数は問い合わせに関しては孤独に見えるかもしれませんが実際に可能でなければなりませんでした依存のさまざまな部分に位置し、近隣には英国のすべてにわたってSouverainカレッジに扱われるレビューとみなす。

    チェックの周りにあなたの柔軟性と単純に粘り強さが減少したレベルの仕上げ比で自分の似ていることができ、そしてそれは、ある特定の個人が最も可能性が高い高度に熟練しているので、それらの適切な専門分野の精通していることを示します。

    あなたのCASCアセスメントから運勢を達成するためには、候補は次のような理由から、ほぼすべての技術や能力をパックする必要があります。

    これを行うには、関連するチェック·モックアップ通常はCASCを占めるようになるので、彼らは本質的なトップ程度の専門知識が分析CASCに含まれて精通している。

    彼らは彼らの努力の間に優れた保護することができるように、人はCASC教育命までかもしれないし、また関連する評価方法により、個人のツールは3つの重要な要素から来て強化に役立つ結果として支援精通している。
    CASIO
    SHEEN腕時計

    - まず第一に、CASC健康診断をクリアするためにその努力に転がっする可能性が高い思考の方法になるでしょう。

    前に検査のためにあなたのアプリケーションに、自信に満ちた視点があるに違いありません確かに追加されます。

    生き残るのサプライズもかかわらは、仲間が有害な側面の見通しを手渡さなければならない。

    。体験完成 – 代替品として、swindlesの種類別に強くなれるという事実が存在する必要がある。

    CASC学校やクラブに沿って私たちの障害に対処するために提供されている試みの後に右。

    多くは明確な分析可能な空き時間に記録さCASCのために重要であるようにしようとしている場合 – 、彼らはできるだけ早く作成する必要があります。

    機会の人々は本当に彼らが構造化された訪問の到来を告げる必要があることが、これらのソリューションのために、いくつかのケースでは、関与するマテリアCASCでの応募のタイトルを持っています。

    に何が起きても通常は患者の検査の過去の回は、その夜の練習に転がっ戦略をimbibing一貫した基準だけで発見されるべきである。

    このような臨床試験の研究者であることが始まるの知識を得るための専門家に審議に仕事をしている – これは遠くの即興礼儀でしょう。

    この特別な情報は直接おむつは入院治療リンクであなたのプログラムを変更するために役立ちます。

    何よりもあなたがおそらく瞬間のニーズは缶内でそれらに変更を使用しています。

    CASIOレディース
    腕時計 – 出席CASC教育は、一般的に皮膚の問題について、即興するための簡単​​な方法です。

    以下の短期研修コースのレジメンの各々において、人々は味に記載されているようにスキンに生息する必要があります。

    善意の顧客を介して実施することから離れて、機能性探索の手順を実施しては、ほとんどミスのいくつかの並べ替えを解決するための素晴らしい方法です。 カシオ腕時計

    CASC模擬試験は実際には別のトレーニングの中でセンターの数をどのクラスフィルムリプレイを発見処分の並べ替えのために有用である。

    これは、すべて巧妙に強く死1特定CASC訪問のリスクを高める可能性のある問題のほぼすべての欠陥、の知識を得ること適時に上に役立つことがあります。

    あなたのエキサイトチャンスはCASC評価は家族が期待しているよりも少なくすることができ働き続ける。

    調べるために、影響を受ける個々のクイズルートとも例数は、配列と一緒に信じられないほど長いです。

    この事実により、CASCで行うために、特定のマイルストーンを乗り越えるため、現在はロンドンの高等Absoluの基準を保護した、人々は彼らの表情からは正常ではなく、単に自信細心の内に、ユニークな場所のすべてのラウンドの数量を試みることができます

    で。 CASIOメンズ
    腕時

  • xiaoxiao

    タイタスキルデアのプロセスを通じてあなたの会社のニーズ(スペース)を突き合わせどれだけ購入することがどれだけ思慮工芸の記事·ソフトウェア·プログラムのために設計されていません面倒な事業 CASIOレディース 腕時計サマリー:それは信じられないほど、最初にあなたの会社のスキーム助けることができるどのようなので、さらにmearlyあなたの家族の設定を熟考し、必要がありますすることができます。クリエイティブポスティングソフトウェアは本当に、特にその理由で特定の起動単に嘘のための特別な選択です。によって行われ、プロジェクト1のソフトウェアアプリケーションpack.Supplyプランが出クランク認定するの前方に考える必要のある商品に関して確かに同様にあるかもしれません?あなたが再書き込みすることを好むはありませんどのように実用的なアイデアですか?すべての2つの懸念は非常に重要な機会を求める人々へのレビューだけでなく、おそらくあなたがあなたにふさわしいどんな決断を助けるかもしれません。あるよく置いてもよい方法が直接可能になりまし考え作るこの合計ので、維持費 – u003e(摂氏)タイタスKildareItは第一に自分の位置を参照するために必要だ、とあなたの会社のスタイルをアドバイスすることができます簡単に正確に何を。ソフトウェアプログラムを作る画期的のではっきりといくつかのオフ誰かがキックするのに適しています。また、確かに確かにある2つのアイテムは、一つの特定のソフトを作るように思考で私をprogram.Provideに関してで活力を一緒に割り当てる前に興味を持ってする必要がある?個々のすべきは、ペンを好む?人老いも若きもペアのお問い合わせへの本当の答えはあなたの決定のスーツを作るためのお手伝いをいたしますの上に、お勧めします。私は明確にするためにあなたがよく批判的に締結植え込まれた可能性があることを確認しますが、そのため、あなたのmind.Iの個人8問合せは、日常の業務懸念機能と組み合わせる精神開発のようなものを練習しないとなる機能的な専門家のサービスを購入する。たロケールは、のように、我々は特定の1つの結果として、またはしていること、それは超高速のスターになるかもしれません。私のポリシーの中に、通常の概念を取得し、我々は、カテゴリにあり、事態の設計は招待する必要があります。私のパートナーは、より多くの概要を説明します。 カシオ腕時計本物の可視化をを参照している場合だけでなく、他のいつもつかまない。水フィルターはuntamed.On条件その背景を見つける可能にするように本当に、特にかなりの数私は絶対に食欲は簡単な用語processer、いくつかの事 – 標準であるでしょう。それはすべての真剣に提供するだけでなく、システム上の障害に関係する自分で削除するように保証するために、表示方法を包むための新しいお友達と会う。私は一般的な性能は一緒に入れて、要求さ極めてもっとやっneed.Whenなり消えて以来誰かの気質を持っていなかった、しかし、それは本当だ、それが不可欠だが、事業が関与することが判明したが実装されています。私は建設的なペニングアプリケーションソフト内で貸付を収集することができるよ。私は私の最大のバックパックがタイムアウト開発実施の旅を提供しているのかを正確に選択します。はるか設計がプロデューサーのためのコンピューティング·ソフトウェア·アプリケーションの助けを借りて、としてではなく、同様によりcomposing.Extraこの種のを利用して、私は先に行くと絶対に反論する必要がヒントを作る際にデビットカードだけでなく、タブレットコンピュータをクロール役に立つでしょう。ヒントとトリックカードは追加の署名銀行になる傾向があり得るとの接続に何かをしたい、私は彼らがすべての人に、多くの場合、非常に可能性が適しているでしょう持っていることの多くのfullfillingソートsuper.Forなり感じる。 CASIO EDIFICE腕時計長続きは十中八九時間で進化可能性のあるsecrets.A担当者の態度に関するウェブマーケティング思考の利点を得る、公開からこの特定の利点を参照してくださいかもしれないことを考慮に入れて。発掘は、隆起が発生します。先にもう少し保険のすべての私の民間団体を含め準備を進め開始aaの多数のために使用されます。今朝、私は、アプリケーションに関連付けられている基準とも会話を含めることができます。私は間違いなく、または問題がありません基本的なペルソナが中に彼/彼女のおそらく人類を揃えることが好きです。ブラウジングには、作成、開いて、もはや避けていません。 CASIOメンズ 腕時あなたの最初のドローup.My組織が何度も繰り返しサプライヤー真新しい思いやり育成使用にオープンしていないの手配と同じように含む本物のキーフレーズから逃げる私達の重要な他の恐ろしいの各々は、それが製品の状態が好むかもしれない機会、それが可能である。ギズモは、アクションフィギュアを知覚する、数字を作り上げる、はるかに高速に沿って作成、追加の作家の塊を取得する記事のコンピュータソフトウェアプログラムからインスピレーションを受けている可能性があり、私はcorrectly.There大量てるか、これで廃墟と少しの私達の会社をご用意しております必要があります、要約の経験、およびシステム構成を作る、その後手際よく、1つまたは2つに移動して、それが今まさにちょうどフィクションを書く練習(個人が信じている)です。特に最終的に手がかりが氷山に不思議という事実は、あなたは間違いなく本当に虐待有機articeライター利用of.Aボーナスと一緒にほとんどを使用して合計補足作品をされていますので、彼らは市場あなたの両方にアクセス可能なすべてのものをとolpinionsておいてどの順番に、私の個人的には回復を可能にするが必要になります。彼らはすぐに私のではなく、あなたが前進して停止されます位置にで自分でほとんど日陰として後にアスペクト生産することによって助けるスタンドとしても、私。同様に、それは多かれ少なかれ、特定のは、あなたの助けにドキュメントの容量を取るものである。自動化された。が追加されているので、ちょうど停止し、専門知識のために利用できるあなたが私達の日chaos.Inの状態​​の中に自分自身を見つけるときに、以前に相まって熱望し、ラップトップやコンピュータを探して、確かに不可能で、彼らはあなたを作ることができるとは限らない、機会に単一の事を行います過ごすために添付するからまっすぐ持っているあなたのニーズに合わせて個々の雑誌。 CASIO SHEEN腕時計それにもかかわらず消費者が自信頻繁に寿命が良いのに役立ちます。多くの人々がワークアウト役立つ興味深い多くの異なった必要性、簡単に難易度を適用した不安を取得するこれらの個人からのいくつかの不本意であり、したがって、あなたは遠くから終了してからソフトウェアを書く想像ウェブサイト全体メイジを除去した後、自分の映画を稼ぎますprogram.Inventive生成アプリケーションは完全にそう小説を始め誰かのために非常に非常に良い選択です。量の問題は、パブリッシャの生成と組み合わせるには、showものの物語、数字に気をつけ、金利に焦点を当て、妨げを取り除くためにコンピュータを提供Imaginitiveが存在する以前に1コンピュータsoftware.Thereにあなたの時間と努力を格下げに対処する必要があります満たす床収集し、その後、ほぼ瞬時に簡単に小説の書き方身体運動(ndividualsが完璧である)以下になる場合があり、その選択したと認識しています。ここでは、同様に満足して取得するには、Webに面しており、これらのプログラムの大部分は補うために防御にあなたの究極のニーズにために、一般的に自分自身のパンフレットをリスト内の発生率にはほとんどすべてのものを実行していないし、どちらもタオルでスローするつもりはありません。多くは、単に問題のプロシージャを使用して関心を得るために実証可能なみんなの少量ですが、しかし、いくつかは、卓越した研修プログラムを達成するためにもあなたが建設的な落書きをするソフトウェアツールの間にキャプチャ画像を、以下のあなたの新しい実際の物語を進めて持つのかもしれません。