Kurzbericht Methodenseminar Orlitzky

Von Hendrik Kalb und Christian Kummer.

Das Ziel dieses Kurzberichts ist eine aktive Auseinandersetzung mit und Reflektion des Methodenseminars von Prof. Orlitzky, indem wir kurz über die Veranstaltung berichten, in einzelne Kernthemen der Seminarserie einführen und einen Syllabus zur Vertiefung bereitstellen.

Veranstaltungsüberblick

Von Mai bis Juli 2009 war Marc Orlitzky Gastprofessor für Betriebliche Umweltökonomie an der Fakultät Wirtschaftswissenschaften der TU Dresden. Prof. Orlitzky ist Associate Professor für Management an der Penn State University in Altoona, PA. Im Rahmen seines Aufenthalts an der TU Dresden bot er ein Seminar an, welches über sechs Veranstaltungen in quantitative Forschungsmethoden der Geistes- und Sozialwissenschaften einführte, deren praktische Anwendung aufzeigte und Herausforderungen benannte. Thematisiert wurden

  1. Validität,
  2. Messfehler und Reliabilität,
  3. explorative und konfirmatorische Faktorenanalyse,
  4. Signifikanztestproblematik und
  5. Metaanalyse.
  6. Das Methodenseminar endete mit einer beratenden Frage-und-Antwort-Sitzung zum Einsatz von multivariaten Verfahren in eigenen Forschungsprojekten.

Dabei stellte Prof. Orlitzky zu jeder Veranstaltung thematisch abgestimmte Readings zur Verfügung, welche als Grundlage und Beispiel für die Themendiskussion dienten. Einen Syllabus stellen wir als thematisch geordneten Einstieg in die quantitative Forschung am Ende dieses Berichts zur Verfügung.

Das Seminar bot den Teilnehmern eine Einführung in Fragen der empirisch-quantitativen Forschung. Diese Art der Forschung findet auch in der Wirtschaftsinformatik und insbesondere in der Schwesterdisziplin Information Systems ihre Anwendung. So ermöglicht sie beispielsweise, Zusammenhänge zur Bereitsstellung und Nutzung von Informationssystemen durch Beobachtung der Realität zu entdecken und angenommene Zusammenhänge über die Nutzung an der Realität zu überprüfen. Zu diesem Zweck werden statistische Verfahren verwendet, um die Wahrscheinlichkeit einer Annahme über die Auswertung einer Vielzahl von Beobachtungen zu begründen. Als eine gute Beispielanwendung empirisch-quantitativer Forschung im Gebiet der Wirtschaftsinformatik sei das Technologieakzeptanzmodell genannt, welches durch eine Vielzahl von Untersuchungen überprüft und erweitert wurde.

Im Folgenden werden zwei Themenbereiche näher erläutert, welche für die Planung und Durchführung eigener Untersuchungen verstanden sein sollten. Zu Beginn gehen wir auf die Kriterien der Validität und Reliabilität näher ein, welche die Beurteilung der Aussagekraft empirischer Untersuchungen ermöglichen. Im zweiten Teil wird auf Unterschiede zwischen explorativer und konfirmatorischer Faktorenanalyse eingegangen. Diesen zu verstehen ist notwendig, um ausgehend von einer neuartigen Forschungsfrage und anhand vorhandener Erkenntnisse abzuschätzen, welche Art von Forschung man durchführen muss oder kann. Ist man sich dessen bewusst, kann man gezielt nach konkreten Forschungsmethoden zur Durchführung suchen.

Valididät und Reliabilität

Validität und Reliabilität sind Kriterien zur Bewertung empirischer Forschung. Zusammenfassend kann man sagen, dass Validität eine Aussage darüber trifft, ob man das Richtige gemessen hat, während Reliabilität bewertet, inwieweit die Messung wiederholbar ist.

Interne Validität bzw. inhaltliche Gültigkeit beschreibt, wie inhaltlich eindeutig ein Untersuchungsergebnis auf die Hypothese bezogen werden kann. Sie sinkt mit der zunehmenden Anzahl an plausiblen Alternativerklärungen für die Untersuchungsergebnisse. Externe Validität bzw. äußere Gültigkeit hingegen beschreibt die Generalisierbarkeit der Untersuchungsergebnisse auf andere Kontexte, Situationen, Personen und/oder Objekte. Sie sinkt mit zunehmender Künstlichkeit der Untersuchungssituation und abnehmender Repräsentativität der erhobenen Stichprobe. Es ist nur selten der Fall, dass beide Kriterien gleichzeitig perfekt erfüllt werden können. Die interne Validität kann um die statistische Validität ergänzt werden. Diese beschreibt, inwieweit zu kleine Stichproben, ungenaue Messinstrumente, Anwendungsfehler bei statistischen Verfahren und Ähnliches zu Gültigkeit einer Untersuchung in Frage stellen. Die Konstruktvalidität ist Bestandteil der externen Validität und wird durch unzureichende Explikation verwendeter Konstrukte oder durch ungenaue Operationalisierungen vermindert (Bortz & Döring, 2006).

Konstruktvalidität beschreibt den Zusammenhang zwischen einem Konstrukt (konzeptuelle Definition einer Variablen) und der Operationalisierungsprozedur, um das Konstrukt zu messen oder zu manipulieren (Schwab, 1980). Es wird somit bewertet, wie gut eine Idee oder Theorie in der Operationalisierung zur Messung der Konstrukte umgesetzt wird (Trochim, 2006).

Subkategorien der Konstruktvalidität sind wiederum die Konvergenzvalidität und die Diskriminanzvalidität. Dabei beschreibt die Konvergenzvalidität inwieweit vermutete Beziehungen mit den beobachteten Ergebnissen übereinstimmen. Die Diskriminanzvalidität hingegen beschreibt, inwieweit nicht vermutete bzw. ungewollte Beziehungen auch nicht als solche gemessen wurden (Trochim, 2006).

Neben den genannten Validitäten existieren noch zahlreiche weitere, wie bspw. die Inhalts-, Kriterien-, Vorhersage-, Übereinsstimmungs- und Anschauungsvalidität . Diese werden an dieser Stelle nicht weiter betrachtet (Gabler Verlag, 2011).

Während mit der Validität eine Aussage über die Gültigkeit der Untersuchung getroffen wird, beschreibt die Reliabilität die Konsistenz oder Wiederholbarkeit der Messung. Dabei wird davon ausgegangen, dass das Ergebnis einer jeden Messung aus dem  wahren Wert und einem Messfehler bzw. Messabweichung besteht. Dieser Messfehler wiederum setzt sich aus einem zufälligen Fehler und einem systematischen Fehler zusammen. Ein Effekt bzw. Beeinflussung, welche sich nur auf einzelne Teilnehmer der Stichprobe auswirkt, führt zu einem zufälligen Fehler. Gibt es hingegen einen Einfluss, welcher sich konsistent auf die gesamte Stichprobe auswirkt, führt dies zu einem systematischen Fehler in der Messung (Trochim, 2006).

Faktorenanalyse

Mit Faktorenanalyse werden eine Gruppe von multi-variaten Analyseverfahren bezeichnet, mithilfe derer im Wesentlichen zwei Ziele verfolgt werden:

  1. Datenreduktion, indem Variablen gemäß ihrer korrelativen Beziehungen in eine deutlich geringere Anzahl von voneinander unabhängige Gruppen zusammengeführt werden, und
  2. Konstruktvalidität von Fragebögen und Tests.

Die Verfahren der Faktorenanalyse werden in zwei Klassen eingeteilt: einerseits die explorative Faktorenanalyse als hypothesengenerierendes Verfahren, andererseits die konfirmatorische Faktorenanalyse als hypothesenprüfendes Verfahren (Bortz, 2005, S. 512; Moosbrugger & Schermelleh-Engel, 2007).

Die explorative Faktorenanalyse (EFA) versucht, die wechselseitigen Zusammenhänge vieler Variablen mithilfe eines einfachen Erklärungsmodells abzubilden. Es liegt dementsprechend keine konkrete Hypothese und keine Theorie über die Anzahl der Faktoren und der zugeordneten beobachtbaren Faktoren vor.

Im Gegensatz dazu werden bei der konfirmatorischen Faktorenanalyse (KFA) die beobachteten Variablen theoriebasiert den einzelnen Faktoren zugeordnet und explizit Hypothesen hinsichtlich der

  • Anzahl der den Variablen zugrunde liegenden Faktoren,
  • der Beziehungen zwischen den Faktoren und
  • der Beziehung zwischen Variablen und Faktoren untereinander formuliert (Bortz, 2005, S. 476ff.; Moosbrugger & Schermelleh-Engel, 2007).

Dabei wird die abhängige Variable nicht nur durch eine direkte Beobachtung (= Variable) gemessen, sondern durch mehrere Beobachtungen um Messfehler zu vermeiden. Die Übereinstimmung in den Beobachtungen stellt den wahren Wert der abhängigen Variable dar, in welchem kein Messfehler mehr enthalten sein sollte. Die abhängige Variable erscheint deswegen besser geeignet zu sein, andere Variablen vorherzusagen.
Die abhängige Variable wird auch als latente Variable bezeichnet. Die Beziehungen zwischen Indikatoren und dazugehöriger latenter Variable werden in einem Messmodell festgelegt (Satow, 2006).

Im Gegensatz zur Regressionsanalyse erlauben Strukturgleichungsmodelle die Modellierung komplexer Zusammenhänge. Die Zusammenhänge zwischen latenten Variablen wird auch als Kausalmodell bezeichnet. Kausal- und Messmodell werden zusammen als Strukturgleichungsmodell bezeichnet. Die KFA ist somit integrativer Bestandteil eines vollständigen Strukturgleichungsmodells (Bortz, 2005, S. 476ff.; Moosbrugger & Schermelleh-Engel, 2007; Satow, 2006). Es existieren zwei Verfahren mit denen eine KFA durchgeführt werden kann, wobei das eine kovarianz- (Verfahren: Linear Structural Relationship; kurz: LISREL; Softwarelösungen: Lisrel, Amos) und das andere varianzbasiert (Verfahren: Partial Least Square, kurz: PLS; Softwarelösung: SmartPLS, PLS Graph) ist.

Zusammenfassung
Das Seminar von Prof. Orlitzky diskutierte interessante wichtige Aspekte der empirisch-quantitativen Forschung und bot die Möglichkeit vertiefende Fragestellungen zu einzelnen Themen zu diskutieren. Zwei Themenbereiche empirischer Forschung wurden hier skizziert. Abhängig von der konkreten Untersuchung und verwendeten Methode müssen diese Themen durch konkrete Aussagen und Werte unterfüttert werden. Unsere Erläuterungen in diesem Beitrag sind daher nur als Anregung und erste Einführung in Grundbegriffe zu verstehen.

Syllabus

Aller Anfang ist schwer. Um diesen zu erleichtern, stellen wir den thematisch geordneten Syllabus zur Verfügung, der auch als Grundlage für das Methodenseminar diente.

Validität

  • Schwab, D. P. (1980). Construct validity in organizational behavior. In B. M. Staw & L. L. Cummings, Research in Organizational Behavior (pp. 3-43). Greenwich, CT: JAI.
  • Edwards, J. R. (2003). Construct validation in organizational behavior research. In J. Greenberg, (2 ed., pp. 327-371). Mahwah, NJ: Lawrence Erlbaum.
  • Sharfman, M. (1996). The construct validity of the Kinder, Lydenberg & Domini social performance ratings data. Journal of Business Ethics, 15(3), 287-296. doi: 10.1007/BF00382954.
  • Chatterji, A. K., Levine, D. I., & Toffel, M. W. (2009). How Well Do Social Ratings Actually Measure Corporate Social Responsibility? Journal of Economics & Management Strategy, 18(1), 125-169. doi: 10.1111/j.1530-9134.2009.00210.x.
  • Howell, R. D., Breivik, E., & Wilcox, J. B. (2007). Is Formative Measurement Really Measurement? Reply to Bollen (2007) and Bagozzi (2007). Psychological Methods, 12(2), 238-245. doi: 10.1037/1082-989X.12.2.238.
  • Howell, R. D., Breivik, E., & Wilcox, J. B. (2007). Reconsidering Formative Measurement. Psychological Methods, 12(2), 205-218. doi: 10.1037/1082-989X.12.2.205.

Messfehler und Reliabilität

  • Schmidt, F. L., & Hunter, J. E. (1996). Measurement error in psychological research: Lessons from 26 research scenarios. Psychological Methods, 1(2), 199-223. doi: 10.1037/1082-989X.1.2.199.
  • Schmidt, F. L., Viswesvaran, C., & Ones, D. S. (2000). Reliability is not validity and validity is not reliability. Personnel Psychology, 53(4), 901-912. doi: 10.1111/j.1744-6570.2000.tb02422.x.
  • Shavelson, R. J., Webb, N. M., & Rowley, G. L. (1989). Generalizability theory. American Psychologist, 44(6), 922-932. doi: 10.1037/0003-066X.44.6.922.
  • Highhouse, S., Broadfoot, A., Yugo, J. E., & Devendorf, S. A. (2009). Examining corporate reputation judgments with generalizability theory. Journal of Applied Psychology, 94(3), 782-789. doi: 10.1037/a0013934. (Beispiel)

Explorative und konfirmatorische Faktorenanalyse

  • Edwards, J. R. (2003). Construct validation in organizational behavior research. In J. Greenberg, (2 ed., pp. 18-45). Mahwah, NJ: Lawrence Erlbaum.
  • Sharma, S. (1996). Applied Multivariate Techniques (ch. 5-6). New York: John Wiley & Sons.
  • Bollen, K. A. (2007). Interpretational Confounding Is Due to Misspecification, Not to Type of Indicator: Comment on Howell, Breivik, and Wilcox (2007). Psychological Methods, 12(2), 219-228. doi: 10.1037/1082-989X.12.2.219.
  • Bagozzi, R. P. (2007). On the Meaning of Formative Measurement and How It Differs from Reflective Measurement: Comment on Howell, Breivik, and Wilcox (2007). Psychological Methods, 12(2), 229-237. doi: 10.1037/1082-989X.12.2.229.
  • Howell, R. D., Breivik, E., & Wilcox, J. B. (2007). Is Formative Measurement Really Measurement? Reply to Bollen (2007) and Bagozzi (2007). Psychological Methods, 12(2), 238-245. doi: 10.1037/1082-989X.12.2.238.
  • Edwards, J. R., & Bagozzi, R. P. (2000). On the nature and direction of relationships between constructs and measures. Psychological Methods, 5(2), 155-174. doi: 10.1037/1082-989X.5.2.155.

Signifikanztest

  • Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49(12), 997-1003. doi: 10.1037/0003-066X.49.12.997.
  • Orlitzky, M. (2009). Institutionalized Dualism: Statistical Significance Testing as Myth and Ceremony. SSRN eLibrary. Retrieved from http://ssrn.com/abstract=1415926.
  • Schmidt, F. L. (1996). Statistical significance testing and cumulative knowledge in psychology: Implications for training and researchers. Psychological Methods, 1(2), 115-129. doi: 10.1037/1082-989X.1.2.115.

Metaanalyse

  • Schmidt, F. L. (1992). What do data really mean? Research findings, meta-analysis, and cumulative knowledge in psychology. American Psychologist, 47(10), 1173-1181. doi: 10.1037/0003-066X.47.10.1173.
  • Rosenthal, R. (1995). Writing meta-analytic reviews. Psychological Bulletin, 118(2), 183-192. doi: 10.1037/0033-2909.118.2.183.
  • Rosenthal, R., & DiMatteo, M. R. (2001). Meta-analysis: Recent developments in quantitative methods for literature reviews. Annual Review of Psychology, 52(1), 59-82.
  • Dalton, D. R., & Dalton, C. M. (2008). Meta-analyses: Some very good steps toward a bit longer journey. Organizational Research Methods, 11(1), 127-147. doi: 10.1177/1094428107304409.
  • Orlitzky, M., Schmidt, F. L., & Rynes, S. L. (2003). Corporate social and financial performance: A meta-analysis. Organization Studies, 24(3), 403-441. doi: 10.1177/0170840603024003910.
  • Orlitzky, M., & Benjamin, J. D. (2001). Corporate social performance and firm risk: A meta-analytic review. Business & Society, 40(4), 369-396. doi: 10.1177/000765030104000402.

Multivariate Verfahren

  • Baron, R. M., & Kenny, D. A. (1986). The moderator-mediator variable distinction in social psychological research: conceptual, strategic, and statistical considerations. Journal of Personality and Social Psychology, 51(6), 1173-82. doi: 10.1037/0022-3514.51.6.1173.
  • MacKinnon, D. P., Lockwood, C. M., Hoffman, J. M., West, S. G., & Sheets, V. (2002). A comparison of methods to test mediation and other intervening variable effects. Psychological methods, 7(1), 83-104. doi: 10.1037/1082-989X.7.1.83.
  • McDonald, R. P., & Ho, M. R. (2002). Principles and practice in reporting structural equation analyses. Psychological Methods, 7(1), 64-82. doi: 10.1037/1082-989X.7.1.64.
  • Shook, C. L., Ketchen Jr., D. J., Hult, G. T., & Kacmar, K. M. (2004). An assessment of the use of structural equation modeling in strategic management research. Strategic Management Journal, 25(4), 397-404. doi: 10.1002/smj.385.

Quellen

  • Bortz, J. (2005). Statistik. Springer-Lehrbuch (6 ed.). Berlin: Springer. doi: 10.1007/b137571.
  • Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Springer, Berlin, 4. Auflage.
  • Gabler Verlag (Herausgeber) (2011). Gabler Wirtschaftslexikon, Stichwort: Validität, online im Internet: http://wirtschaftslexikon.gabler.de/Archiv/978/validitaet-v6.html, Abruf am: 05.01.2011.
  • Moosbrugger, H., & Schermelleh-Engel, K. (2007). Exploratorische (EFA) und Konfirmatorische Faktorenanalyse (CFA). In H. Moosbrugger & A. Kelava, Testtheorie und Fragebogenkonstruktion (pp. 307-324). Berlin: Springer. doi: 10.1007/978-3-540-71635-8_13.
  • Satow, L. (2006). LISREL Einführung. Online im Internet: http://userpage.fu-berlin.de/~satow/lisrel.htm, Abruf am: 19.01.2011.
  • Schwab, D. P. (1980). Construct validity in organizational behavior. In: Staw, B. M. & Cummings, L. L. (Eds.) Research in Organizational Behavior, 2, 3-43. Greenwich, CT: JAI Press.
  • Trochim, William M. (2006). The Research Methods Knowledge Base, 2nd Edition. Internet WWW page, at URL: http://www.socialresearchmethods.net/kb/ (version current as of October 20, 2006).
Advertisements

Antworten

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s