Mehr Erfolg durch Mailingtests (bsm-Newsletter 1/2001)

„Laß uns doch mal etwas neues ausprobieren!“ Ein ganz selbstver­ständlicher Satz bei der Mailingplanung. Schon ist ein Test geboren. Die Kunst besteht eigentlich nur darin dem Ganzen eine Form zu geben, auf gewisse Spielregeln zu achten, damit der Test möglichst viel aussagt.

Neues zu erproben liegt in der Natur des Menschen. Den dieses Neue bedeutet Wandel und – so es sich bewährt auch Fortschritt. Wer immer nur bei „seinen Leisten“ bleibt wird sich nicht weiter entwickeln – und muß über kurz oder lang mit schlechteren Ergebnissen leben. Es kommt dabei gar nicht auf den großen Wurf an. Im Gegenteil, es gibt einen Ablauf den wir zwar alle kennen, der aber nur selten zum großen Erfolg führt: Erst wird lange Zeit nichts geändert sondern auf das „Bewährte“ vertraut. Wenn dann zu erkennen ist, daß das „Bewährte“ sich eben nicht mehr bewährt wird in einer großen Aktion alles über Bord geworfen und der große Relaunch kann beginnen …

Erfolgversprechender ist der beständige Wandel. Das heißt: Nicht alles wird auf einmal geändert, sondern einzelne Teile werden herausgegriffen und verbessert. Wenn so ein Teil optimiert wurde, kommt der nächste an die Reihe. Zuerst z. B. die Briefhülle (4-farbig?, mit Foto?, mit Logo der Organisation? …) dann vielleicht der Versandtermin (PAL so daß der Brief am Wochenende beim Empfänger ist? Oder doch besser Mitte der Woche?) Sicher werden fast ständig geeignete Give-aways getestet und noch sicherer ist das Ausprobieren von geeigneten Fremdadressen.

In der Sozialwissenschaft heißt diese Vorgehensweise „Piece-work-engineering“ und zeigt sich überlegen gegenüber anderen Vorgehensweisen. Und trotz aller „Modewellen“ in Marketing und Management der letzten Zeit zeigt sich mehr und mehr, daß nichts so beständig sein sollte, wie der Wandel.

TIP 1: Plausibilisieren Sie nicht nur – testen Sie.

Wenn man an ein Mailing herangeht, plant man die verschieden Elemente (Text, Layout, Brief­hülle, Flyer, Give-away etc.) und überlegt Schritt für Schritt: Was macht mein Mailing erfolg­reicher? „Ich denke ein Foto auf der Briefhülle bringt meine Spender dazu den Brief zu öffnen, da sie so direkt wissen worum es geht.“ – Klingt plausibel, oder?

Genau hier beginnt das Problem. Plausibel klingt vieles, oft lassen sich für eine Behauptung und das Gegenteil plausible Argumente finden. Wirklich wissen welcher Schritt sie zum Erfolg führt können Sie nur, wenn Sie systematisch Erfahrungen und Informationen sammeln – eben indem Sie verschiedene Varianten statistisch korrekt testen.

TIP 2: Vertrauen Sie nicht auf allgemeine Erfahrungen – testen Sie aus, was für sie am besten ist.

Erfahrungen sind ein Schlüsselfaktor im Fundraising. Jede Organisation ist anders und hat andere Spender. Was bei dem einen einen Bombenerfolg bringt, kann bei dem anderen ein Flop werden. Es gibt keine Patentlösung. Jede Situation, jede Organisation muß ihre spezielle Vorgehensweise, ihr spezielles Erfolgsrezept selber finden. Das geht mit nichts so gut, wie mit ausprobieren – mit testen eben. Besonders gilt das natürlich, wenn Sie keine Spezial­berater aus dem Fundraisingbereich haben, da gerade die Übertragung vom Marketing auf das Fundraising voller Tücken ist.

TIP 3: Prüfen Sie mit Kontrollgruppen externe Effekte ab um so die Wirkung ihres Testes bes­ser beurteilen zu können.

Ein schwieriger Punkt ist die Definition des Tests. Hier werden oft viele Fehler gemacht und zu schnelle Schlüsse gezogen. Nur weil sie in einem Mailing schlechte Erfahrungen gemacht ha­ben, heißt das noch nicht, daß ihre Idee falsch war. Vielleicht war auch nur der Zeitpunkt falsch und sie hätten zu diesem Zeitpunkt mit keiner Idee Erfolg gehabt, etwa weil das öffentliche Interesse gerade für andere Spendenthemen günstig war und nicht für ihre Organisation.

Entscheidend bei Tests ist die statistisch korrekte Definition der Testgruppen. Wesentlich ist eine Kontrollgruppe anzuschreiben, um die externen Effekte zu kontrollieren. Nur so läßt sich feststellen welche Wirkung man wirklich mit einer konkreten Veränderung erzielt hat und welche von anderen Effekten überdeckt wurde.

TIP 4: Greifen Sie gerade am Anfang auf professionelle Hilfe zurück, oder bilden Sie sich ent­sprechend weiter.

Sie haben jetzt einen Test durchgeführt und die Ergebnisse liegen auf dem Tisch. Die Testgruppe hatte ein Response von 5% und damit 0,5 Prozentpunkte besser als das Standardmailing. Die Durchschnittsspende war gleich. 0,5 Prozentpunkte bei einer Response von 5% sind immerhin 10% Abweichung und bei einer hohen Auflage kommt dann auch einiges mehr zusammen an Spenden. Nur ist der Unterschied so groß, daß man sich darauf verlasen kann?

Zur Klärung dieser Frage stellen Sie sich ein kleines Experiment vor. Teilen sie Ihre Spender in 10 Gruppen ein und schicken sie allen gleichzeitig das exakt selbe Mailing. Natürlich erhalten sie nicht in jeder Gruppe dieselbe Response, dieselben Spenden. Es wird Abweichungen geben. Diese Abweichungen deuten aber nicht auf Unterschiede hin, schließlich haben sie mit allen Gruppen dasselbe gemacht. Die Response liegt in einer gewissen Bandbreite, die sich ganz natürlich, standardmäßig ergibt. Nur was außerhalb dieser Bandbreite liegt weicht tatsächlich, signifikant ab und nur dann können sie sich darauf verlassen, daß es wirklich einen Unterschied gibt.

Natürlich müssen sie nicht jedesmal 10 Gruppen anschreiben um die Bandbreite festzulegen. Es gibt statistische Methoden, sogenannte Signifikanztests, die berechnen ob eine Abweichung nur zufällig ist, also innerhalb der normalen Schwankung ihrer Mailingergebnisse, oder ob es sich um eine tatsächliche, bedeutende Abweichung handelt.

Nutzen sie diese Methoden und verlassen sie sich nicht auf den Augenschein, es gibt massenweise Beispiele, wo der Augenschein getrogen und eine scheinbar große Abweichung in die Irre, also den Mißerfolg, führte.

TIP 5: Nutzen Sie Meinungsforschung nur dort wo sie kein besseres Instrument haben. Oder wo die Fragestellung so komplex ist, daß ein Test nicht mehr in Frage kommt.

Ein beliebtes Mittel um Gestaltungselemente festzulegen ist Meinungsforschung unter den Spendern in Auftrag zu geben. Dies ist aber nur die zweitbeste Lösung. In der allgemeinen Wer­bung hat man kaum eine andere Möglichkeit als Wirkungsforschung mit Meinungsumfragen zu be­treiben. Im Direkt Marketing ist man da besser dran, hier kann man den Erfolg direkt messen: mit der Responsequote, der Spende pro Brief und dem Return on Invest. Der große Nachteil der Meinungsforschung ist, daß sie keine tatsächlichen Handlungen mißt, sondern Einstellungen. Den Unterschied kennt jeder Fundraiser der schon mal aus einer großen Haushaltsbefragung Adressen gekauft, die angegebenen haben für seine Organisation spenden zu wollen … Getan haben es dann relativ wenige.

Ein anderes Beispiel: Es nützt relativ wenig, wenn man weiß, welche Briefhülle den eigenen Spendern am besten gefällt. Man weiß dann immer noch nicht, welche sie am ehesten zum Öffnen des Mailings bewegt und letztendlich zum Spenden – und nur das zählt.

TIP 6: Sie müssen nicht unbedingt mehr über ihre Spender wissen, sondern hauptsächlich darüber wie sie mehr Spenden bekommen.

Oft wird auch versucht über mikrogeographische Verfahren oder ähnliches mehr über die Spender herauszufinden. Sind sie z. B. evangelisch oder katholisch, progressiv oder konservativ, oder … Dies sind sicher sinnvolle Informationen. Nur wofür brauchen Sie sie? Hauptsächlich hofft man mit diesen Informationen die Ansprache verbessern zu können und mehr Spenden zu bekommen.

Hier gibt es nur ein zwei Probleme: 1. Sind diese Informationen in der Praxis meist sehr ungenau und mit großen Streuverlusten behaftet. 2. Ist die Entscheidung wie z. B. jüngere Menschen gegenüber älteren oder konservative im Unterschied zu progressiven angesprochen werden müssen letztlich nur eine Mutmaßung, wenn auch sicher oft eine sehr plausible. Sie kommen so wieder zu ihrem Ausgangsproblem, wenn auch um eine Information reicher. Sie stehen immer noch vor der Aufgabe konkret für Ihre Spender die richtige Ansprache zu finden, um sie zum Spenden zu bewegen. So gut vorbereitet Sie auf diese Frage auch immer sind, im Endeffekt müssen Sie ihre Idee ausprobieren, testen.

Noch ein Tip zum Schluß, bereiten Sie Ihre Tests gut vor. Wenn hier mehrmals Vorüberlegungen und Informationssammlung etwas kritisch beleuchtet wurden, so soll daß nicht heißen, daß Sie kein Wert haben. Es soll auch nicht heißen, daß Sie wild drauf los testen sollen. Im Gegen­teil – je besser ein Test vorbereitet ist, je plausibler, einleuchtender und kreativer seine Be­standteile gewählt wurden, desto besser und aussagekräftiger wird das Ergebnis sein. Im Grunde genommen ist es wie bei einer wissenschaftlichen Untersuchung. Ihr Testgegenstand ist wie ein Theorie, die Sie nun an der Realität überprüfen wollen. Je besser Ihre Theorie ist – desto besser wird das Ergebnis sein.

Nur vor einem muß noch eindringlich gewarnt werden. Versuchen Sie nicht ein perfektes Mai­ling zu verschicken. Der Wille zur Perfektion ist (ab einem gewissen Maß) ein großer Mißerfolgs­faktor im Fundraising. Oft führt er dazu, daß Mailings verschoben werden und so im gesamten Jahr weniger Briefe zur Post gehen. Das sind genau die Briefe auf die Sie am wenigsten Spen­den bekommen. Also: Warten sie nicht bis sie meinen ein perfektes Mailing zu haben, bis sie sich absolut sicher fühlen. Ein Schiff ist im Hafen immer am sichersten – nur ist es dafür nicht gebaut worden. Je mehr Aktionen Sie starten, desto mehr Erfahrungen, Erkenntnisse werden Sie sammeln und desto erfolgreicher werden Sie sein.