In Litigation Superforecasting

Part 1: Miscommunication in legal advice

It’s a scene playing out every day all over the world: A client goes to her lawyer with a legal problem and asks – “Do I have a good claim?  Should I litigate or settle or just forget about it?”.

The lawyer sits back, realising that this piece of advice is going to be expensive – there are multiple complex contracts involved and a long history of correspondence between the parties.  “Let me take this away. My initial view is you’ve got reasonable prospects.

The lawyer spends days reading and mulling things over, and instructs associates to dig out relevant case law.  The client receives the written advice with a hefty invoice, and turns straight to the executive summary to find the conclusions: “on balance, you have a significant likelihood of succeeding on the contractual claim, and good prospects of succeeding on the negligence claim.

But what did the lawyer mean by this?

And what did her client understand?

Results from a recent survey by Balance Legal Capital have confirmed that probabilistic phrases like “good prospects” and “significant likelihood” carry highly variable meanings amongst both givers and users of legal advice.

We argue that if lawyers really want to innovate the way they deliver their advice to benefit their clients, the answer is to reduce reliance on probabilistic phrases and to apply % numbers to their views on prospects.

Litigation Superforecasting Survey

We issued a survey to solicitors, barristers, corporates and other users of legal advice around the world, asking them to put a percentage number against the following ten probabilistic phrases commonly used by lawyers:

  1. “near certainty”
  2. “significant likelihood”
  3. “serious possibility”
  4. “strong prospects”
  5. “good prospects”
  6. “reasonable prospects”
  7. “reasonably arguable”
  8. “more likely than not”
  9. “fair chance”
  10. “on balance”

The phrases were displayed in a random order each time respondents visited the online survey to reduce any biases that might be induced by the order in which the phrases were presented.

Balance recruited the assistance of cognitive neuroscientist Dr. Stephen Fleming of University College London, to help analyse the data from the 250 responses as at 1 August 2018.

Take the survey here. 1

The survey results

A key result from the Litigation Superforecasting Survey was that there is substantial variability in the way that probabilistic phrases are interpreted.

For example, the phrase “significant likelihood” was associated with probabilities ranging from below 25% to near 100%. The phrases “significant likelihood”, “serious possibility” and “reasonably arguable” showed the largest variance between respondents, making them the phrases most likely to lead to confusion in legal advice.

There was however structure in the data: despite variability, on average, respondents rated “strong prospects” as better than “good prospects”, which in turn was better than “reasonably arguable”, for instance.

Table 1: Mean scores for each phrase and variance

Probabilistic phrase Mean Median SD2 Lower Upper
On balance 53.3 51 7.5 45.7 60.8
Fair chance 51.6 51 0.5 41.1 62.1
More likely than not 55.6 55 6.8 48.8 62.4
Reasonably arguable 45.7 45 2.3 33.3 58.0
Reasonable prospects 55.8 58 9.4 46.4 65.1
Good prospects 64.3 65 8.4 55.9 72.7
Strong prospects 71.8 70 8.1 63.7 79.9
Serious possibility 54.3 55 7.6 36.7 71.9
Significant likelihood 66.3 68 3.8 52.6 80.1
Near certainty 87.5 90 7.3 80.2 94.8

Chart 1: “Raincloud” plots showing all scores against each phrase3

Proability Rating

“there is substantial variability in the way that probabilistic phrases are interpreted”


The implications of this data are clear: there is little utility in legal advice as commonly expressed because there is no common understanding in the language used.  If lawyers really want to be clear, they need to use percentage numbers in their prospects advice.  How much money has been spent on legal advice by clients who promptly get the wrong end of the stick?  How many litigation decisions were made under a misapprehension as to what the legal adviser meant?

Take the example given at the start of this article.  The conclusions were “on balance, you have a significant likelihood of succeeding on the contractual claim, and good prospects of succeeding on the negligence claim.”  The survey data shows that the lawyer could mean the contractual claim has prospects as low as 53% but the client could interpret it as 80%.  On the negligence claim, the lawyer might intend to convey “good prospects” at 55% but the client could understand it to mean 73%.

In fact, when the data is split between advisors (solicitors and barristers) on one hand and compared with “advice receivers” (everyone else) on the other, the data shows that advice receivers tend to attach higher probability figures to the verbal labels than “advisors”.

“advice receivers” tend to attach higher probability figures to the verbal labels than “advisors”

Robert Rothkopf, Managing Partner of Balance, argues that clients should insist that their lawyers provide numbers in their legal advice, and that lawyers should be happy to do so in order to reduce confusion:

If you are seeking precision in your communications between lawyer and client or simply within your own team, there is almost no point in using these phrases without also disclosing the percentage number you had in mind when you wrote those words.  Without the number, miscommunication and confusion are guaranteed between the writer and the reader. If lawyers really want to innovate the way they deliver their advice to benefit their clients, it is time to use numbers.

Simon Twigden, Senior Partner of Enyo Law, a disputes-only practice says:

Balance’s findings have thrown down the gauntlet to all litigators by challenging the utility of the stock phrases lawyers like to use. Without a percentage number, those stock phrases that often underpin, justify or caveat legal advice are pointless”.

In addition to reducing the chance for miscommunication, studies have shown that using numbers rather than vague language actually increases the accuracy of a forecast. This is because the forecaster is forced to consider carefully how he or she is thinking – a process called “meta cognition”. In so doing, the brain is more likely to identify and control for cognitive biases, to switch from over-relying on intuitions and instinct (or ego), and to engage more rigorously with the evidence.

Dr. Stephen Fleming, director of the Metacognition Group points out:

Studies into metacognition – the ability to think about thinking. have shown that sharing metacognitive estimates of our confidence with each other can improve how groups and committees work together.

This is also consistent with research by Dr. Adam Harris at UCL, whose studies suggest that numbers are a better communication format than words when dealing with forecasts and uncertainty.4


  1. Balance’s Litigation Superforecasting Survey was inspired by the research of Philip Tetlock (the author of Superforecasting) which, based on studies of behavioural economists and forecasting tournament data, endorses a number of techniques found to improve forecasting accuracy. One of these is the use of numbers rather than phrases when making probabilistic assessments.
  2. SD = Standard Deviation
  3. Raincloud plots are data visualizations which show raw data, probability density, and key summary statistics such as median, mean, and relevant confidence intervals while preserving the ‘inference at a glance’ nature of barplots. For more, see: Allen M, Poggiali D, Whitaker K, Marshall TR, Kievit R. (2018) Raincloud plots: a multi-platform tool for robust data visualization. PeerJ Preprints 6:e27137v1.
  4. Sarah C. Jenkins, Adam J. L. Harris & R. Murray Lark (2018) When unlikely outcomes occur: the role of communication format in maintaining communicator credibility, Journal of Risk Research, DOI: 10.1080/13669877.2018.1440415
  • Robert Rothkopf
    Robert Rothkopf Managing Partner
  • Stephen Fleming
    Stephen Fleming

Robert Rothkopf is Managing Partner of Balance Legal Capital, a litigation funder in London.

Prior to starting Balance, Robert was a litigator at Herbert Smith Freehills.  Robert and his team apply behavioural economic principles to litigation finance investment decisions

Stephen Fleming PhD is director of the Metacognition Group at the Wellcome Centre for Human Neuroimaging. 

Stephen’s research focuses on the mechanisms supporting conscious awareness, metacognition and decision-making in the adult human brain.

Other posts you may be interested in

Wie levitra kaufen?
Neue Tools aus revolutionären Technologien wie der 5G-Technologie, der künstlichen Intelligenz und dem Internet der medizinischen Dinge werden die Transformation des Gesundheitsplans entscheidend ermöglichen. Patienten können online einkaufen und erhalten bei sich zu Hause Treir-Bestellungen. Die persönliche Interaktion mit einem Arzt ist eine bevorzugte Situation für den Kauf von Medikamenten, aber legitime Online-Dienste bieten möglicherweise mehr Komfort. Das Internet hat bereits ganze Branchen auf der ganzen Welt aufgewühlt. Medikamente sind keine Ausnahme, und Internetapotheken haben in den letzten Jahren auf ein digitales Format umgestellt. Nicht alle Internet-Drogerien sind gleich, viele führen gefälschte Produkte oder Produkte, die von Dritten gekauft wurden. Es ist nicht immer einfach, die hoch angesehenen Websites von den “schlechten” zu trennen. Diese Online-Drogerien verkaufen häufig nicht genehmigte oder gefälschte Arzneimittel außerhalb der Sicherheitsvorkehrungen, gefolgt von hoch angesehenen Unternehmen. Die Kosten für Medikamente sind ein entscheidender Faktor für Patienten, da Produkte, die in lizenzierten Drogerien verkauft werden, für viele zu teuer sind. Überall tauchen gefälschte Heilmittel und Medizinprodukte auf. Am stärksten betroffen ist Afrika, insbesondere mit Impfstoffen, aber auch die legitimen Lieferketten in Europa sind gefährdet. Das Problem der illegalen Medikamente in der Lieferkette ist ein großes Problem, das die Industrie Milliarden kostet. Im Falle von Medikamenten wird der Patient betrogen, weil er ignoriert, dass das bestellte Produkt betrügerisch und so gesundheitsschädlich sein kann. Der Importeur oder Verbraucher des Arzneimittels ist nur für alle Risiken verantwortlich, die mit dem Handel mit gefälschten Arzneimitteln verbunden sind. Deshalb sollte eine Person, bevor sie sich für die Nutzung eines Dienstes entscheidet, aufmerksam überlegen, wie sich dies auf ihr Leben auswirkt. In unserem Tutorial erfahren Sie, wie Sie eine bessere Auswahl für Sie und Ihre Kinder treffen können. Bedingungslos levitra kaufen oder andere Medikamente, die von der virtuellen Apotheke angeboten werden, sind äußerst einfach.
Was sind die besten Generika?

Sie können dies ausprobieren
Obwohl einige Mittel auf ähnliche Weise wirken, hat jedes Medikament eine leicht unterschiedliche chemische Zusammensetzung. Ihr Arzt wird viele Faktoren sowie mögliche Wechselwirkungen mit anderen Medikamenten, die Sie einnehmen, berücksichtigen. Viele Arzneimittel mit demselben Wirkstoff sind in unterschiedlichen Stärken erhältlich. Wenn es Gruppen von Rezepten gibt, die alle ähnliche Aufgaben erfüllen, sind sie bei der Behandlung einer bestimmten Krankheit ungefähr so ​​wirksam wie die anderen. Sie können zwar Geld sparen, indem Sie günstigere Produkte nehmen, dies ist jedoch nicht immer eine gute Idee. Die Ärzte sind darin geschult, wie Sie sicher Abhilfe schaffen können. Gegenwärtig gibt es verschiedene Optionen für viagra generika für diejenigen, die an einem solchen Gesundheitsproblem leiden. Verbraucher können nützliche Informationen dazu aus evidenzbasierten Quellen wie dem Internet, den sozialen Netzwerken und sogar der Familie finden. Wissen Sie, was für Sie am besten ist? Dies ist ein Mittel zur Behandlung zahlreicher Infektionen. Was muss noch besprochen werden? Wo finden Sie korrekte Informationen dazu?
Was denkst du ist es? Es ist eine andere Frage, die wir diskutieren sollten. Die Forscher fanden heraus, dass der Missbrauch von verschreibungspflichtigen Medikamenten unerwünschte Nebenwirkungen haben kann. Heilmittel können bei manchen Menschen gefährliche Nebenwirkungen verursachen. Unerwünschte Ereignisse können bei jedem Arzneimittel auftreten. Das Arzneimittel sollte nicht zusammen mit anderen ED-Behandlungen eingenommen werden, da die Sicherheit solcher Kombinationen nicht nachgewiesen wurde. Befolgen Sie unbedingt die Empfehlungen Ihres Arztes, einschließlich der vorgeschriebenen Einnahme der verschriebenen Mittel. Dieser Rat ist üblich, kann jedoch den Unterschied ausmachen, wenn Sie Informationen zu Arzneimitteln benötigen. Wie auch immer, die Umstände, die Ihre Entscheidung vorbestimmen können, können unterschiedlich sein. Dies sind wichtige Möglichkeiten, um sich um Ihren Körper zu kümmern, an die Sie möglicherweise nicht von Natur aus denken. Wenn Sie sich jedoch Ziele setzen, um diese Ideen in Ihrem Leben Wirklichkeit werden zu lassen, werden Sie den Unterschied sofort spüren, aber in den kommenden Monaten auch in mehreren Bereichen Ihres Lebens Ergebnisse sehen.
Lernen Sie dies jetzt hier
{Wie kaufe ich cialis generika?
Medikamente könnten Teil Ihrer täglichen Routine sein, um Ihre Gesundheit gut zu verwalten. Internet-Drogerien kombinieren garantiert niedrige Preise mit schnellem Versand. Wenn es darum geht, privat verschriebene Medikamente zu kaufen, bieten Ihnen Online-Drogerien mehr Auswahl beim Eingang Ihrer Bestellung. Da immer mehr Patienten online gehen, um ihre Gesundheitsprobleme zu verstehen, gehen einige auch online, um generische Mittel zu kaufen. Natürlich sollte jeder von uns Zugang zu wichtigen und kostengünstigen Mitteln haben, die zur Bekämpfung von Infektionen beitragen oder einfach die allgemeine Gesundheit verbessern. Der Online-Kauf von Generika kann eine gute Idee sein, solange Sie dies verantwortungsbewusst tun. Zugegeben, sobald das Generikum verfügbar ist, werden die Kosten sowohl für das ursprüngliche Markenprodukt als auch für das Generikum erheblich gesenkt. Sie haben sie natürlich im Supermarkt gesehen. Generische Versionen von Arzneimitteln sind in vielen ausländischen Märkten, einschließlich Kanada und den meisten Ländern Europas, legal. Generika sind grundsätzlich nur deshalb billiger, weil die Hersteller nicht die Kosten für die Entwicklung eines neuen Arzneimittels hatten. Generika sind im Allgemeinen etwas günstiger und meist genauso wirksam wie Markenmedikamente. Jeder weiß, dass es wichtig ist, darüber Bescheid zu wissen.
Wenn Sie cialis generika kaufen, erkundigen Sie sich bei einem qualifizierten Gesundheitsdienstleister, ob diese unschuldig sind, wenn Sie sie mit Ihren anderen Generika einnehmen.
|Wenn Sie online über Medikamente nachdenken, möchten Sie vielleicht mehr über dieses Problem erfahren. Zweifellos haben Sie bereits etwas darüber gehört, wie man cialis generika kauft. Viele gesundheitsbezogene Websites bieten mehr Inhalte und dies könnte die Patienten zum Thema führen.
Vielleicht wissen Sie bereits etwas über das Problem. Lassen Sie uns nun über verschiedene Medikamente sprechen, die Sie online kaufen können. Es ist wichtig, über sichere Wege zum Kauf von Medikamenten informiert zu bleiben. Wenn Sie über Ihre Behandlungsoption nachdenken, kann es hilfreich sein, einige wichtige Fakten darüber zu kennen, wo Sie cialis generika kaufen können.
Diejenigen, die Rabattmedikamente und Nahrungsergänzungsmittel in Betracht ziehen, werden häufig eine Reihe von Optionen zur Auswahl finden. Es ist verlockend, Medikamente und Kräuterergänzungen online zu kaufen, wenn dieselben Produkte so viel billiger sind. Vieles, was darüber gesagt wurde, gilt auch für natürliche Gesundheits- und Wellnessprodukte und alltägliche wichtige Toilettenartikel. Wenn Sie cialis generika kaufen, sollten Sie einige wesentliche Details kennen.
|Wenn Sie die Anziehungskraft auf einen bestimmten Partner verloren haben, ist es normalerweise unwahrscheinlich, dass Behandlungsoptionen zur Verbesserung der Potenz ihm helfen. Als die Mehrheit der Einzelhändler online ging, stiegen die Erwartungen und eine überwältigende Anzahl von Kunden erwartete, online die Mittel zu finden, die sie benötigen. Illegale Online-Apotheken versuchen möglicherweise, illegale “generische” Versionen dieser Originalmarkenmedikamente zu verkaufen. Fragen Sie Ihren Apotheker nach Informationen, wenn Sie sich über den Online-Kauf von Generika nicht sicher sind. Darüber hinaus machen Generika die überwiegende Mehrheit der landesweit verschriebenen Rezepte aus. Das Medikament ist verschreibungspflichtig und muss unter Aufsicht eines Arztes angewendet werden. Aber ist es wirklich das richtige Feld für Sie, cialis generika zu kaufen? Es gibt verschiedene ernsthafte Fragen zu diesem Thema. Darüber hinaus kann es auch zur Behandlung einiger anderer von Ihrem Arzt festgelegter Erkrankungen verwendet werden. Wenn Sie sicher sind, dass diese gesetzlichen Anforderungen erfüllt werden können und Sie wissen, dass die von Ihnen ausgewählte Apotheke sicher ist, ist es möglicherweise an der Zeit, Ihre verschreibungspflichtigen Medikamente aus einer Online-Apotheke zu beziehen. Während sich alle Symptome bessern können, bevor die Krankheit vollständig behandelt ist, nehmen Sie das Mittel für den gesamten vorgeschriebenen Zeitraum ein. Auf dieser Website finden Sie einige nützliche Informationen zu den Risiken von Arzneimitteln und deren Erforschung.
Was ist ein kostengünstiges Medikament, um Patienten bei der Aufrechterhaltung einer Erektion zu helfen? Der Rat ist unkompliziert, kann aber den Unterschied ausmachen, wenn Sie Informationen zu diesem Thema benötigen. Obwohl der Missbrauch verschreibungspflichtiger Medikamente viele Familien betrifft, können bestimmte Bevölkerungsgruppen wie Jugendliche einem besonderen Risiko ausgesetzt sein. Für die meisten Menschen, die keine Erektion bekommen, die fest genug für Sex ist, funktionieren Arzneimittel gut, verursachen aber manchmal schwerwiegende Nebenwirkungen. Und die Pillen gelten allgemein als sehr sicher. Häufige unerwünschte Effekte können das sogenannte blaue Sehen sein, aber es ist sicherlich häufiger, wenn Sie mehr als die vorgeschriebene Menge einnehmen. Sie können eine Checkliste für Nebenwirkungen verwenden, um den Überblick zu behalten und Informationen schnell mit Ihrem medizinischen Fachpersonal zu teilen. Nehmen Sie dieses Generikum nicht in kleineren Mengen ein. Der Rat ist üblich, kann aber den Unterschied ausmachen, wenn Sie Informationen über Pillen benötigen. Normalerweise erfordert die Behandlung Geduld, um eine erwartbare Wirkung zu erzielen. Verbraucher sollten die online gefundenen Informationen jedoch immer objektiv behandeln. Schließlich können Sie Zeit bei Ihren Rabattmedikamenten und Kräutern sparen, indem Sie sie online bestellen.}
offizielle Quelle
{Wie cialis generika?
Der ideale Zeitpunkt für den Beginn der Behandlung ist, bevor sichtbare Anzeichen auftreten. Die zunehmende Nachfrage nach Informationen im täglichen Leben von Millionen von Menschen hat dazu geführt, dass immer mehr pharmazeutische Gesundheitsdienstleister versuchen, ihre Gesundheitsprodukte vor ihren Konkurrenten zu positionieren. Wie finde ich Medikamente online? Die Verschreibung und Verwendung von Medikamenten ist jedoch Vertrauenssache. Für Kunden wird es immer einfacher, Medikamente online zu bekommen. Es gibt viele Online-Apotheken im Internet, daher sollte es kein Problem sein, eine vertrauenswürdige Drogerie zu finden. Sie bieten Kunden mit eingeschränkter Mobilität und Kunden in abgelegenen Gebieten Zugang. Die reduzierten Transaktionskosten werden in Form weitaus niedrigerer Preise an die Patienten weitergegeben. In beiden Fällen ist es nicht alles. Dieser Leitfaden behandelt alles von der Sicherung Ihres Computers bis zur Überprüfung und Bestellung von Viagra in zuverlässigen Online-Apotheken.
10 Möglichkeiten, gefälschte Medikamente zu erkennen.
|Deshalb interessieren sich viele für dieses Thema. Ist es für Sie aktuell, wie man cialis generika?
Lassen Sie uns Antworten auf Ihre wichtigsten Fragen zu diesem Thema finden. Das Bestellen von Rezepten im Internet kann eine kostengünstige Methode sein, solange Sie dies verantwortungsbewusst tun. Lassen Sie uns darüber sprechen, wie Sie sicher sein können, dass online bestellte Medikamente den Qualitätsstandards entsprechen. Ziemlich cialis generika oder andere Medikamente, die von einer virtuellen Drogerie angeboten werden, sind sehr elementar.
Es gibt viele gültige Internet-Drogerien, die legitime Rabatte anbieten. Wenn Sie Medikamente online kaufen möchten, tun Sie dies in einer legalen Apotheke. Die Lieferanten bieten Tausende von Arzneimitteln an, zu denen sowohl generische als auch bekannte Marken gehören. Es gibt Varianten von renommierten virtuellen Drogerien, in denen Patienten Viagra bestellen können.
|Zu wissen, wonach zu suchen ist, kann eine Herausforderung sein, insbesondere bei allen verfügbaren Optionen. Normalerweise sind viele Medikamente zu berücksichtigen. Können Sie verschreibungspflichtige Medikamente legal online bekommen? Es ist wichtig, die Vorteile verschriebener Medikamente sowie deren mögliche unerwünschte Wirkungen zu kennen und mit Ihrem Apotheker über mögliche Bedenken zu sprechen. Wenn Sie besprechen, wie Sie Viagra bestellen können, ist es viel wahrscheinlicher, dass Sie einen Plan entwickeln, der für Sie gut funktioniert. Wir alle können verlässliche Informationen aus vertrauenswürdigen Quellen wie dem Internet, den Medien und sogar Freunden finden. Dies sind sicherlich nur die Grundregeln. Wenn Sie Arzneimittel bestellen, sollten Sie darüber nachdenken. Seit Jahrzehnten helfen diese Medikamente, viele Störungen zu verhindern. Der ideale Zeitpunkt für den Beginn der Behandlung ist, wenn nur Symptome auftreten. Themen zur Bestellung von Viagra sind im letzten Jahr sehr beliebt. Einige Forscher achten auf solche Angelegenheiten. Haben Sie etwas über Nebenwirkungen gelernt?
Höchstwahrscheinlich hat jeder Mann zumindest etwas davon gehört. Wenn Sie Medikamente in Online-Apotheken bestellen möchten, erhalten Sie normalerweise zuerst ein gültiges Rezept. Es ist wichtig zu verstehen, dass nicht alle Medikamente wirklich nützlich sind. Wie alle Arzneimittel hat das Arzneimittel unterschiedliche unerwünschte Wirkungen. Informieren Sie Ihren Arzt, wenn Sie andere Arzneimittel einnehmen. Ihre Medikamente sind nur für Sie. Geben Sie es niemals an andere Personen weiter, auch wenn ihr Zustand mit Ihrem identisch zu sein scheint. Letztendlich sind diese Faktoren auf der ganzen Welt gleich. Wenn Sie diese Tipps befolgen, sollten Sie bereit sein. Darüber hinaus ist das Internet die geeignete Möglichkeit, um alle Arten von Arzneimitteln zu erwerben, da es das Vergnügen bietet, sich über das Internet zu bewerben.}

litigation superforecasting