Benchmarking European labour market performance with efficiency frontier techniques

Abstract

"The issue addressed in this paper is how to obtain a composite measure of several indicators using benchmarking principles. While the exposition is only in two dimensions, and thus can be presented graphically, this is sufficient to capture the essence of the methodology and provide the basis for a critical examination of the assumptions. The data used is labour market statistics for the Member States of the European Union. The proposed approach comes from a technique originally used in production theory, namely efficiency frontiers. Here, however, we benchmark not efficiency but performance. There are two main problems. First, related to composite measures, how does one compare (weigh) indicators that are not obviously comparable? Second, related to benchmarking, how does one benchmark countries that may differ considerably as regards the mix of the various indicators. Both these issues concern weights and require that the weighting system should be parsimonious as regards assumptions and flexible, in that not all countries should necessarily be awarded the same weights. First we show how to construct the benchmark. It is constructed assuming only that the weights are positive, that we cannot discriminate between countries that are best in any single dimension and that a linear combination of these best performers is feasible, and also on the frontier. When benchmarking several indicators we arrive, not at a mark, but a frontier. The performance frontier is a multi-dimensional benchmark. Next we show how to measure the distance of other countries from the performance frontier. This requires the assigning of weights. The weights are determined by the location of a particular country to a particular segment of the frontier. The countries off the frontier are weighted in accordance with the weights of the countries on the frontier that have a similar mix of indicators. The essence of the method is presented by constructing a composite index of the unemployment and employment rates of the member states in 1999. We then present an example in three dimensions using various measures of unemployment. Finally, we extend the cross-sectional approach, i.e. the member states for a single year, to the construction of a pooled cross-sectional time series performance frontier. The pooled frontier is made up of the best performance of the best of countries at the best of times. In the final section we summarise the merits of this approach and comment on some possible criticisms." (author's abstract)

"In der Analyse wird gezeigt, wie ein Gesamtindikator aus Einzelindikatoren konzipiert werden kann, die auf der Basis von Benchmarking-Kriterien entwickelt worden sind. Obwohl sich der Ansatz auf (nur) zwei Parameter beschränkt - und er so graphisch darstellbar wird - ist dies ausreichend, um den Kern des methodischen Ansatzes erfassen und kritisch überprüfen zu können. Die verwendeten Daten sind Arbeitsmarktstatistiken der EU-Mitgliedstaaten. Der vorgeschlagene Ansatz wurde ursprünglich in der Produktionstheorie verwendet, insbesondere zur Ermittlung der 'vordersten Effizienzgrenze' (frontier). In der vorliegenden Analyse wird allerdings nicht die Effizienz, sondern die Leistung (performance) gemessen. Es stellen sich hauptsächlich zwei Probleme. Das erste Problem hängt mit dem Charakter von Gesamtindikatoren zusammen: Wie sollen Indikatoren gewichtet und verglichen werden, die nicht auf den ersten Blick vergleichbar sind? Das zweite Problem bezieht sich auf das Benchmarking: Wie können sehr unterschiedliche Länder durch einen Mix sehr unterschiedlicher Indikatoren vergleichend gemessen werden? Beide Aspekte beziehen sich auf Gewichtungsprobleme und erfordern, in den Gewichtungsprozeß möglichst wenige (normative) Annahmen einfließen zu lassen und das 'Gewichtungssystem' so flexibel zu konzipieren, daß nicht allen Ländern automatisch das gleiche Gewicht zugemessen wird. Im ersten Schritt wird die Konstruktion des Vergleichsmaßstabs dargestellt. Als Annahmen fließen nur ein: 1. die Gewichte haben einen positiven Wert, 2. die Festlegung der 'Bestleistung' der Länder erfolgt unabhängig von der jeweiligen dafür verantwortlichen Leistungskategorie, 3. die leistungsstärksten Länder können in einer linearen Kombination dargestellt werden. Im zweiten Schritt wird gezeigt, wie der Abstand von der Leistungsspitze gemessen werden kann. Dies erfordert eine Zuordnung von Gewichten. Sie werden bestimmt durch die Zuordnung eines jeden Landes zu einem bestimmten Segment an der vordersten Leistungsgrenze. Die davon entfernten Länder werden entsprechend den Gewichten der am weitesten entwickelten Länder, die einen ähnlichen Indikatoren-Mix haben, gewichtet. Die Quintessenz dieser Methode besteht darin, einen Gesamtindex, basierend auf den Arbeitslosigkeits- und Beschäftigungsdaten des Jahres 1999 der Mitgliedstaaten, zu konstruieren. Anschließend wird ein dreidimensionales Beispiel mit unterschiedlichen Kennziffern der Arbeitslosigkeit vorgestellt. Zum Schluß wird der Querschnittsvergleich der Mitgliedstaaten, der sich auf ein bestimmtes Jahr bezieht, dadurch erweitert, daß die 'Spitzenleistung' mittels gepoolter Zeitreihendaten für die Mitgliedsländer ermittelt wird. Der gepoolte 'Verlauf der vordersten Leistungsgrenze' ergibt sich aus der besten Leistung der besten Länder im besten Zeitraum. Im Schlußkapitel werden die Vorteile dieser Methode zusammengefaßt und mögliche Kritiken aufgegriffen." (Autorenreferat)