Inter-rater Reliability IRR: Definizione, Calcolo
Condividi su Design degli esperimenti > Inter-rater Reliability Che cos'è l'Inter-rater Reliability? L'affidabilità inter-rater è il livello di accordo tra i raters o giudici. Se tutti sono d'accordo, l'IRR è 1 (o 100%) e se tutti non sono d'accordo, l'IRR è 0 (0%). Esistono diversi metodi per calcolare l'IRR, dai più semplici (ad esempio la percentuale di accordo) ai più complessi (ad esempio il Kappa di Cohen). Quale scegliete dipende in gran parte dal tipo di dati che avete e da quanti valutatori ci sono nel vostro modello. Metodi di affidabilità tra valutatori Accordo percentuale per due valutatori La misura di base dell'affidabilità tra valutatori è l'accordo percentuale tra i valutatori. In questa competizione, i giudici hanno concordato su 3 punteggi su 5. La percentuale di accordo è 3/5 =…