计算内部一致性系数,需注意下列问题。
一是若用分半法时,以按奇数题和偶数题分为两半为宜。若把整个测验分为前后两半,一方面,前半部分试题与后半部分试题未必等值;另一方面,被试者在完成后半部分试题时,可能因疲劳、厌倦等原因而影响回答质量,以致前后反应不一致,影响信度。
二是速度测验不宜用分半法。因为速度测验的项目难度低,被试得分多少在很大程度上取决于答题数量的多少,分半法易使得分相同,从而会夸大分半法的信度。
(4)评分者信度。评分者信度是估计不同评分者对同一测验评分一致性程度的指标。
一般论文式考试,只能提供列出答案要点的参考答案而无固定的标准答案,因而不同的评分者对同一份试卷往往给分不同,甚至有很大的悬殊。在作文测验、投射测验、品德测验、创造力测验等的评分中,都存在这个问题。评分者之间的评分不一致,说明评分的信度不高,评分者所评的分数越一致,评分的信度越高。
要计算评分者评分的一致性系数,需区分评分者的人次数。若只有两人评N份试卷,或一人先后两次评N份试卷,可用斯皮尔曼(Spearman)等级相关的公式计算;若三个以上的评分者评N份试卷时,则需计算肯德尔和谐系数(Kendall Coefficient of Concordance)。