Как можно измерить эффективность ИПС? Для этого часто используют характеристики: отклик, точность и отсеивание. Для вычисления используют количество релевантных и нерелевантных найденных и ненайденных документов.

 

Отклик= най-рел/(най-рел + не-най-рел)= най-рел/всего-рел.

Точность=най-рел/(най-рел+ най-нерел)=най-рел/всего-най.

Отсеивание = най-нерел/ ( най-нерел + не-най-нерел)=               най-нерел/вс-нерел.

Эффективность системы характеризуют не одним запросом, а усредненной эффективностью по многим запросам или по промежутку времени. Кроме того, отнесение документа к релевантным или нерелевантным зависит от личности оценивающего, т.е. субъективно. Поэтому для объективизации оценки необходимо использовать не одного, а группу экспертов.