Affidabilità Inter-Valutatori: Guida al Calcolo e Interpretazione

Cos'è l'accordo inter-valutatori

L'accordo inter-valutatori (inter-rater agreement) misura la consistenza delle misurazioni tra due o più osservatori ("rater"). Esempio: ricercatori medici usano un gruppo di medici per osservare e categorizzare effetti di un trattamento. Misurare la consistenza è importante per essere sicuri che gli effetti osservati siano dovuti all'esperimento e non a grandi differenze tra osservatori. La statistica principale è il "kappa".

Calcolo passo-passo (esempio: 100 pazienti asma, 2 medici, categorie: controllato sì/no)

1. Calcolare l'accordo percentuale (Pa)

Dividere il numero di osservazioni concordanti per il totale osservazioni.

Esempio:

• Entrambi Sì: 70
• Entrambi No: 15
• Medico 1 Sì / Medico 2 No: 10
• Medico 1 No / Medico 2 Sì: 5
• Totale: 100

Pa = (70+15)/100 = 85%. Usato come numeratore nell'equazione finale.

2. Calcolare l'accordo atteso per caso (Pe)

Parte dell'accordo osservato è fortuna. Calcolare quanto accordo si vedrebbe se osservazioni fossero casuali.

Medico 1: Sì 80/100 (0,80), No 20/100 (0,20)
Medico 2: Sì 75/100 (0,75), No 25/100 (0,25)

Probabilità entrambi Sì (casuale): 0,80 × 0,75 = 0,60 (60%)
Probabilità entrambi No (casuale): 0,20 × 0,25 = 0,04 (4%)
Pe totale = 0,60 + 0,04 = 0,64 (64%). Usato in numeratore e denominatore finale.

3. Calcolare kappa

k = (Pa - Pe) / (1 - Pe)
Esempio: k = (0,85 - 0,64) / (1 - 0,64) = 0,21 / 0,36 = 0,58 (58%)

4. Valutare kappa

Regola pratica: kappa >80% = eccellente; >60% = buono; <60% = meno che ottimale.
Esempio: 58% è al limite della buona affidabilità; interpretare i risultati con cautela.

5. Più di due valutatori

Usare i calcoli di Fleiss' kappa, molto più complessi, da fare al computer.