Der Einsatz von Maßzahlen der Interkoder-Reliabilität in der Inhaltsanalyse

Abstract

Die Prüfung der Intercoder-Reliabilität bei Codierungen im Rahmen qualitativer Inhaltsanalysen steht vor der Schwierigkeit, daß zwar theoretisch verschiedene Methoden entwickelt, diese aber praktisch schlecht einsetzbar sind, da sie entweder nicht als Computerprogramm verfügbar oder auf die Probleme konkreter Codierpraxis nicht anwendbar sind. In diesem Artikel wird eine Maßzahl für die Intercoder-Reliabilität vorgeschlagen, die auf die meisten Codierungsfälle anwendbar ist. Sie ist eine Verallgemeinerung von Scotts kappa (1955). Die entsprechenden Berechnungen werden hier vorgestellt und können mit einem vom Autor entwickelten Programm durchgeführt werden. An Beispielen aus der Forschungspraxis wird dargestellt, daß der Ertrag der Anwendung dieser Methode nicht nur zur nachträglichen Messung, sondern auch heuristisch bei der Weiterentwicklung eines Kategorienschemas eingesetzt werden kann.

The measurement of intercoder agreement in content-analytic research projects often bears difficulties: there is a variety of methods, but many of them are not implemented in computer programs or cannot be used in cases, which are typical for coding text contents. In this article a coefficient is suggested, which can be used in most common cases of coding verbal materials. It is a generalization of Scotts index (1955). The needed calculations are shown; they can be made with a computer program written by the author. Two examples of use in actual research demonstrate the yield of this method: additionally to ex-post measurement it can help to develop a system of categories.