Methodology tutorial - theory-finding research designs

This is part of the methodology tutorial.

Introduction[edit | edit source]

Most often (but not exclusively) theory-finding research designs use a very qualitative approach whereas theory-testing designs are quantitative. But this is just a general observation, not a necessity. You also could design an exploratory quantitative research design or conduct qualitative research that is strongly theory driven.

Design science most often uses a rather qualitative research approach, but since its purpose is different, we will deal with it in another tutorial (Methodology tutorial - design-oriented research designs).

The concept of qualitative methodology[edit | edit source]

What is qualitative research and qualitative methodology ?

• There exist two frequent stereotypes: "Qualitative methodology" is often synonym of "simple description" or "interview analysis". Such a view is held by people who don't understand the difference between a method-as-technique and a method-as-approach.
• In reality, there exists a huge pool of design approaches and methods.
• Qualitative designs are usually more difficult to create than quantitative designs. Since a typical humanities student is afraid of statistics, he/she may think that qualitative research is easier, but it's not ...

Examples of qualitative approaches (there are more !)

The qualitative research process[edit | edit source]

Qualitative research is usually carried out in cycles. Its most common features are the following:

• Research must be anchored in “rich” descriptions
• Each theoretical proposition must be anchored in observations
• The researcher plays a delicate role. He (most) always is visible and even can play an active role, i.e. attempt to transform reality.
• Most modern designs also insist on reliability and validity issues.

Regarding the role of theory there exist two very different doctrines. Each has advantages and drawbacks.

Little theory (no grounding of research questions and analysis grids)		A lot of theory (grounding of research questions)
	openness of mind		linking to other research
			closeness of mind
	allows to tackle new subjects		integration of your results with other knowledge
	tendency to collect too much data		tendency to ignore phenomena
	difficult comparison with other work		easier generalization
	non-explicit preconceptions		explicit preconceptions (therefore controllable

Unless you are a student exposed to ethnography, we strongly suggest that you base your research on a lot of theory. It's safer and simpler...

Data analysis in structured qualitative research[edit | edit source]

In this tutorial, we present a modern, structured view of qualitative data analysis designs

Dey (1993:31) formulate the description - classification - connection principle that you will find in most modern qualitative designs. We are aware that some historical and hermeneutical approaches do not work that way, but for the moment we will not discuss these since they are not very popular in educational technology research.

description : each qualitative analysis relies on “rich” data

Otherwise you can’t interpret the full meaning of an observation !

classification : data structuring and reduction according to coding principles

The mass of data can be staggering !

connection : Identification of relationships between concepts

To make relations (and other structures) appear !

Here is a dynamic vision of the same principle, also from Dey (1993:53)

This figure show the circularity of a qualitative approach: After (or even during) classifying and connecting data you will have to look at data again or even produce new data.

"Modern" qualitative researchers:

• produce a lot of drawings
• use matrices
• use (sometimes) quantitative data exploration techniques

Miles & Huberman (1994:10) illustrate the same principle with a time line and a transition diagram. Their view is slightly different. "Data reduction" is more or less the equivalent of "classify" and "visualization" the equivalent of "connect".

But the fundamental principle is the same: Your principal difficulty is to do something with the huge mass of data in order to find structure. In that respect, most qualitative analysis is no different from quantitative analysis.

A dynamic version of the same schema:

The role of data[edit | edit source]

• Qualitative data are most frequently generated by the researcher (same as in quantitative designs)
• However, qualitative approaches prefer natural data and refer to the concepts of meaning and process (the last focus is shared with systems analysis and some design research).

Here are some elements that show the distinction between typical quantitative and qualitative research:

Examples of qualitative MA thesis[edit | edit source]

• Also consult the module on design-oriented research designs

... need to be translated some day

Master thesis of M-A Thibaut[edit | edit source]

Title: Le cartable électronique®. Un Environnement Numérique de Travail en construction. Pratiques éducatives et mutualisation

Research questions (quotes from the thesis: p. 26)

1. Dans l’utilisation que font les enseignants du cartable électronique®, stabilisent-ils des stratégies pédagogiques ?
   • Recourent-ils à ces outils dans la mesure où cela ne perturbe pas leur habitus d’enseignement ou de gestion de la classe ?
   • Est-ce que l’on voit apparaître la mise en place de scénarios sociopédagogiques, collaboratifs ?
2. Compte tenu de l’impact du sentiment d’utilité dans l’intégration d’une innovation, pouvons-nous attester dans le cadre de ce dispositif de bénéfices retirés par les enseignants ?
3. Quelles sont leurs habiletés actuelles en terme de mutualisation au sein du cartable mais également à l’extérieur ?
   • A travers l’idée qu’ils doivent être les constructeurs des contenus pédagogiques du cartable électronique®, quelle est leur position vis-à-vis de cet investissement ?
   • Quelles sont les stratégies qu’ils mettent en place pour exploiter les ressources qu’ils ont à disposition sur Internet et quelles sont les ressources dont ils ont besoin au sein du cartable ?

Method:

(quotes from the thesis: 27-29)

• Mon travail est une enquête, un regard posé sur les utilisateurs du dispositif. Il est basé sur une étude qualitative et la rencontre de 11 enseignants de différents collèges qui utilisent le cartable électronique® de Savoie. Nous avons préféré questionner plusieurs équipes pour que l’étude soit la plus représentative possible.
• Le type d’entretien s’oriente vers le « Story telling » ou « récit de vie ». Peu directif, parfois une seule question suffit et ne comporte aucune question directe et fermée. Dans ce cadre, il faut insister sur ce qu’ils font concrètement et essayer de modérer les appréciations sur ce qu’ils pensent. Ils doivent raconter par exemple un événement difficile ou au contraire enrichissant.
• Mes entretiens ont duré en moyenne 40 minutes. J’ai construit un canevas reprenant mes points principaux. Dans mes entretiens je me suis tenu à rester au maximum sur les faits, les pratiques et les applications mais certains passages renvoient à leurs représentations, passages que j’ai séparés dans mon analyse. C’est la particularité des récits autobiographiques où l’on retrouve toujours deux types d’information : des indications évènementielles (faits, pratiques...) et des réflexions subjectives (représentations, ressentis, avis...)
• Un questionnaire à la fin de l’entretien leur a été adressé pour connaître leur équipement informatique et leur utilisation à domicile d’Internet. Il se trouve qu’ils sont tous équipés d’une connexion Internet et qu’ils utilisent le web quotidiennement.
• J’ai rencontré progressivement les enseignants et retranscrit parallèlement les entretiens (Annexe D) ce qui m’a permis de réorienter certaines questions. J’ai traité mes données par rapport à mon canevas (Annexe A et B). Le but de l’analyse est de mettre en évidence les constantes des récits, les régularités mais également les cas de particularité.

Master thesis by D. Touvet[edit | edit source]

Title: Vers de nouvelles formes d'organisation de l'enseignement. Analyse d'experiences de mediatisation de cours

Research questions (thesis: 11)

Pour chacun des cas étudiés, nous cherchons à savoir :

1. Comment se déroulent les processus de médiatisation ?
2. Quelles sont ces nouvelles formes d'organisation de l'enseignement ?
3. Quels sont les nouveaux rôles qui apparaissent tout au long d'un processus de médiatisation d'un cours ?

Method (quotations from the thesis: 37-48)

• Nous avons choisi d'effectuer une recherche qualitative selon une approche s'inspirant en grande partie de celle proposée par Huberman et Miles (1991). Ils proposent une méthode de recueil et d'analyse de données qualitatives comprenant les phases de recueil, condensation, présentation et vérification des données.
• Nous avons décidé de constituer un échantillon de trois projets homogènes, c'est-àdire relativement proches dans leurs caractéristiques pour permettre une meilleure focalisation et comparaison. Ils présentent cependant une bonne variété de choix et de situations possibles.
• Deux méthodes ont été retenues pour recueillir les données :
  • 1. Passation d'entretiens auprès du coordinateur de chaque projet.
  • 2. Consultation des sites web de chaque projet (deux des trois projets retenus ont noté toute leur démarche sur le site web du projet) ce qui nous a permis d'obtenir des informations pertinentes complétant celles obtenues par les entretiens. Ces adresses nous ont été fournies par les coordinateurs.
• Le recueil de données s'est effectué à l'aide d'une grille d'entretien dont les différentes rubriques ont été définies en étroite articulation avec la partie théorique de cette recherche. Ainsi, cette grille permet de comprendre de quelle manière se déroulent les processus de médiatisation, quelles sont les nouvelles formes d'organisation de l'enseignement qui se dégagent et quels nouveaux rôles apparaissent tout au long d'un processus de médiatisation d'un cours.
• Des phases successives de condensation des données recueillies (simplification et synthèse) ont ensuite été initiées et ont abouti à un format de présentation permettant une discussion sur les résultats obtenus.

Bibliography[edit | edit source]

• Denzin, Norman K. and Yvonna S. Lincoln (eds) (). The SAGE Handbook of Qualitative Research, Sage Publications. ISBN 0761927573

• Miles, Matthew B. and Michael Huberman. (1994) Qualitative Data Analysis: An Expanded Sourcebook, Sage Publications. ISBN 0803955405

• Dey, I. (1993). Qualitative Data Analysis. Routledge, London. * Marshall, C. & Rossman, G. B. (1995) , Designing Qualitative Research, second edition, Sage, London