(Auszug aus Melles, T. (2001). Framing-Effekte in der Conjoint-Analyse. Ein Beispiel für Probleme der Merkmalsdefinition (S. 15-19). Aachen: Shaker.)
In der entscheidungstheoretischen Literatur werden zahlreiche Verfahren zur direkten Messung von Nutzenfunktionen diskutiert, durch die sich auf kompositionellem Wege der Nutzen von Optionen bestimmen läßt. Übersichtsarbeiten liegen etwa von Huber (1974) und Farquhar (1984) vor. Darüberhinaus gibt es einige Arbeiten, die diese Ansätze mit indirekten, dekompositionellen Verfahren vergleichen. Bateson, Reibstein und Boulding (1987) sowie Sattler und Hensel-Börner (1999) geben einen Überblick zu mehreren Vergleichsstudien. Eine abschließende Beurteilung dieser Vergleiche ist allerdings schwierig, da die kompositionellen Verfahren eine ebenso methodisch heterogene Gruppe darstellen wie die dekompositionellen Verfahren. Dieser Umstand wird bislang leider zu wenig berücksichtigt. Anhand des kompositionellen Ansatzes von Srinivasan (1988) lassen sich beispielhaft die wesentlichen Merkmale kompositioneller Ansätze sowie deren Gemeinsamkeiten und Unterschiede verdeutlichen:
Allgemein erfolgt die Nutzenmessung beim kompositionellen Verfahren in mehreren (zumeist zwei oder drei) Schritten. Beim Ansatz von Srinivasan (1988) identifizieren die Probanden zunächst „nicht-akzeptable“ Attributstufen. Diese werden gestrichen und im weiteren Interviewverlauf nicht mehr berücksichtigt. In vielen anderen kompositionellen Ansätzen wird darauf verzichtet (z.B. Huber, 1974).
Anschließend wird der Nutzen einzelner Ausprägungen pro Merkmal und die Wichtigkeiten der Merkmale bestimmt. Der Gesamtnutzen einer Option wird durch die additive Verknüpfung der gewichteten Nutzen ihrer Eigenschaften determiniert. Um den Nutzen der einzelnen Ausprägungen zu messen, wird zunächst die beste und die schlechteste Konsequenz pro Merkmal ermittelt. Anschließend werden die übrigen Konsequenzen den Präferenzen entsprechend geordnet. Danach werden den einzelnen Konsequenzen reelle Zahlen zugeordnet. Die beste Konsequenz erhält üblicherweise den Wert 100, die schlechteste den Wert 0, die übrigen Konsequenzen dazwischenliegende Werte. Durch die Verankerung der Skalenendpunkte (0 und 100) werden zum einen Floor- und Ceilingeffekte weitgehend ausgeschlossen, zum anderen wird das Risiko vermindert, daß Probanden bei ihren Einschätzungen die Beurteilung der Ausprägungen und die Wichtigkeiten der Merkmale konfundieren. Geschieht dies, kann es vorkommen, daß die Urteile für wichtige Attribute relativ extremer sind als für unwichtige (vgl. Wilkie & Pessemier, 1973).
Bei der Messung der Merkmalswichtigkeiten wird zunächst das wichtigste Merkmal bestimmt und dient als Ankerpunkt für weitere Einschätzungen. Dieses erhält einen Wert von 100. Ein Wert von 0 bedeutet, daß ein Merkmal unwichtig ist; die übrigen Merkmale werden im Verhältnis dazu eingeschätzt. Die Wichtigkeit definiert Srinivasan als die Wichtigkeit des Unterschiedes zwischen der besten und der schlechtesten Ausprägung eines Attributs, die der Proband zuvor beurteilt hat. Dadurch ist die Wichtigkeitseinschätzung an der tatsächlichen Bandbreite des Attributs orientiert und vermeidet Fehleinschätzungen, die aus begrifflichen und konzeptuellen Mißverständnissen entstehen (vgl. Abschnitt 4.8.2 ). Kompositionelle Verfahren bei denen die Einschätzungen der Wichtigkeiten nicht an der Bandbreite des Attributes orientiert sind, findet man beispielsweise bei Huber (1974) und Green (1984).
Empirische Untersuchungen zeigen, daß die Beurteilungen der Ausprägungen in hohem Maße zuverlässig sind. Green, Krieger und Agarwal (1992) berichten eine Retestreliabilität von r = .9 (N = 51). Dagegen weisen die Attributwichtigkeiten bei der gleichen Stichprobe lediglich einen Koeffizienten von r = .48 auf. Probanden überschätzen bei direkten Einschätzungen häufig die Wichtigkeit weniger relevanter Merkmale (Shepard, 1964). Aufgrund der methodischen Unterschiede zwischen den kompositionellen Verfahren sind allerdings auch große Unterschiede bei der Genauigkeit der Wichtigkeitsmessung zu erwarten. Ungeachtet dieser Unterschiede weist die direkte Nutzenmessung gegenüber der Conjoint-Analyse einige Vorteile auf:
Die kognitive Beanspruchung des Probanden ist geringer.
Die Gefahr vereinfachter Urteilsstrategien, die nicht mit dem angenommenen Präferenzstrukturmodell vereinbar sind, ist deutlich geringer als im Falle der CA.
Die Datenerhebung bei der direkten Nutzenmessung ist einfacher und schneller. Besonders eine verbale Stimulusdarbietung wie etwa im Falle von Telefoninterviews ist im Rahmen der CA schwierig, da die Beurteilungsaufgabe schwieriger zu verstehen ist und sich der Proband die komplexen Stimuli merken muß.
Die kompositionellen Verfahren sind mit geringeren Anforderungen an die Kompetenzen des Forschers verbunden.
Die direkte Nutzenmessung bietet die Möglichkeit, auch eine große Anzahl von Merkmalen und Ausprägungen zu berücksichtigen.
Insbesondere aus der einfachen und schnellen Datenerhebung und -analyse resultieren Kostenvorteile der direkten Nutzenmessung im Vergleich zur CA.
Im Unterschied zum Ansatz der direkten Nutzenmessung ist das Vorgehen bei der Conjoint-Analyse dekompositionell. Der Kerngedanke, globale Gesamturteile in Einzelurteile zu dekomponieren, unterscheidet sich von dem klassischen Erwartungswert-Modell der Entscheidungstheorie, demzufolge sich das Gesamturteil kompositionell aus den Einzelbeurteilungen zusammensetzt. Gemeinsam ist beiden Vorgehensweisen, daß Annahmen über die Verknüpfung der Einzelurteile erforderlich sind.
Bei dekompositionellen Verfahren wird aus holistischen Beurteilungen komplexer, multiattributiver Stimuli auf den Nutzenbeitrag der einzelnen Eigenschaften dieser Stimuli geschlossen. Dieser Dekomposition liegt ein Nutzenkonzept zugrunde, demzufolge sich für die Attribute wie auch für die Konzepte eine gemeinsame Urteilsdimension – nämlich der Nutzen – definieren läßt. Dabei wird zumeist von einer linear-additiven Verknüpfung der Nutzen einzelner Attribute (sog. Teilnutzen) zum Gesamtnutzen eines Konzeptes ausgegangen. Somit lassen sich Nachteile auf einem Attribut durch Vorteile auf einem anderen Attribut ausgleichen bzw. kompensieren. Der Ansatz der Conjoint-Analyse weist im Vergleich zur direkten Nutzenmessung einige Vorzüge auf:
Die holistische Stimulidarbietung ist der realen Entscheidungssituation ähnlich (z.B. Green, Goldberg & Montemayor, 1981). Es muß nicht direkt nach dem Nutzen einzelner Merkmalsausprägungen gefragt werden. Damit kann eine höhere externe Validität einhergehen.
Der dekompositionelle Ansatz ist besser geeignet, die Wichtigkeit von Merkmalen zu messen. Durch die gemeinsame Darbietung der Merkmale ist eine einheitliche Urteilsdimension impliziert. Bei der direkten Frage „Wie wichtig ist Attribut X?“ ist dagegen nicht unbedingt klar, ob die Wichtigkeitseinschätzung dieses Merkmals mit der Einschätzung des Merkmals Y vergleichbar ist, und verschiedene Probanden können diese Frage unterschiedlich interpretieren (Srinivasan, 1988).
Die Gefahr von Verfälschungstendenzen im Sinne der sozialen Erwünschtheit wird durch die holistische Stimulusbeurteilung vermindert (Hensel-Börner & Sattler, 1998; Melles & Laumann, 1999; Montgomery, 1986). Während bei der direkten Einschätzung manche Probanden möglicherweise nicht zugeben (wollen), daß ihnen etwa der Preis eines Produktes wichtiger ist als dessen Qualität - wer will schon als „armer Schlucker“ oder als „Geizhals“ gelten - wird bei den holistischen Einschätzungen die Wichtigkeitsbeurteilung des Preises durch die anderen Merkmale „getarnt“.
Die Messung der Wichtigkeiten ist im Falle der direkten Einschätzungen insensitiv gegenüber Veränderungen der Bandbreite des Merkmals (z.B. Nitzsch & Weber, 1993). Das Problem des Bandbreiteneffektes tritt auch bei der Conjoint-Analyse auf, dürfte jedoch geringer sein, da die Attributwichtigkeiten nur indirekt gemessen werden und das Attribut selbst nicht in gleicher Weise salient ist wie bei der direkten Nutzenmessung (vgl. Abschnitt 4.8.2 ).
Die Conjoint-Analyse ist besser geeignet, nicht-lineare Nutzenfunktionen aufzudecken. Bei direkten Einschätzungen besteht dagegen eine Neigung zur Linearisierung. Wird beispielsweise das Fassungsvermögen eines Gefrierschrankes anhand der Ausprägungen 100, 125 und 150 Liter variiert und die Beurteilung auf einer 10-stufigen Ratingskala für 100 Liter sei 0 und die für 150 Liter sei 10, dann neigen viele Probanden dazu, der mittleren Ausprägung von 125 Litern einen mittleren Wert von 5 zuzuordnen (Green & Srinivasan, 1990).
Conjointanalytische Designs ermöglichen neben der Schätzung von Haupteffekten auch die Identifizierung von ausgewählten Interaktionen und von redundanten Merkmalen. Zudem werden Redundanzen und Interaktionen bei der holistischen Stimuluspräsentation für den Probanden sichtbar, so daß er diese in seinem Urteil berücksichtigen kann (Green & Srinivasan, 1990). Durch das Aufdecken von Redundanzen wird die Gefahr der doppelten Berücksichtigung (double-counting) eines Merkmals bei der Prognose von Objektpräferenzen vermindert.
Die Gefahr von Fehlinterpretationen von Attributen bei der Beurteilung wird durch die holistische Stimuluspräsentation vermindert. Während bei der kompositionellen Methode bei vielen Merkmalen (z.B. Marke eines Produktes) die Gefahr besteht, daß der Bedeutungsbereich überschätzt wird (d.h. eine bestimmte Marke impliziert häufig einen bestimmten Preis) und sich somit die Effekte mehrerer Merkmale überlagern, wird diese durch die gemeinsame Darbietung der Merkmale in der Conjoint-Analyse verringert (McCullough, 1999).
Die Angemessenheit des angenommenen Präferenzstrukturmodells läßt sich zumindest bei vollständigen Designs im Rahmen der CA axiomatisch prüfen. Damit läßt sich eine grundsätzliche Fehlspezifikation vermeiden.
Die Vorteile der Conjoint-Analyse lassen vermuten, daß das Verfahren gegenüber der direkten Nutzenmessung, die überwiegend praktische und erhebungstechnische Vorzüge bietet, zumindest bei einer geringen Anzahl von Merkmalen zu valideren Messungen führt. Inzwischen wurden zahlreiche Studien durchgeführt, die sowohl die Validität als auch die Reliabilität beider Verfahren vergleichen. Sattler und Hensel-Börner (1999) kommen in einer Synopse von 14 Studien, in denen sowohl traditionelle Vollprofil-CAn als auch hybride Verfahren mit der direkten Nutzenmessung verglichen wurden, zu dem Ergebnis, daß es keine empirischen Hinweise für die Überlegenheit des dekompositionellen Ansatzes gibt. Während einige Autoren Diskrepanzen zwischen den Nutzenschätzungen (z.B. Leigh, MacKay & Summers, 1981) und der Validität (z.B. Green, Goldberg & Wiley, 1982) beider Verfahren feststellen konnten, zeigten sich in anderen Studien (z.B. Baalbaki & Malhotra, 1995; Srinivasan & Park, 1997) hohe Zusammenhänge. Die Diskrepanzen zwischen den Befunden dürften zum großen Teil auf die bereits angesprochene Heterogenität kompositioneller und dekompositioneller Ansätze zurückzuführen sein. Eine systematische Überprüfung verschiedener Varianten im Rahmen umfangreicher empirischer Studien oder Metaanalysen fehlt bislang.