Система рецензирования и оценок качества материалов

Синтез и обсуждение формальных критериев системы трансляции, определение границ возможностей и поиск уязвимостей в принципе формализации системы трансляции научных знаний
Belmax
Координатор
Сообщения: 8
Зарегистрирован: 18.04.2017
Репутация: -1
С нами: 3 месяца 29 дней

Система рецензирования и оценок качества материалов

Сообщение #1 Belmax » 19.04.2017, 18:02

Задача:
Необходимо разработать систему оценки качества опубликованных материалов
Существующие решения
В настоящее время данный вопрос напрямую не решен.

Вопрос о допуске статьи к публикации решается посредством рецензирования, что должно обеспечивать определенный порог входа. Однако качество рецензирования серьезно разнится от журнала к журналу, поэтому нет возможности сформировать универсальную оценку. Единственное, можно определить минимальный рейтинг статьи в зависимости от рейтинга журнала, т.е. если статья принята в определенный журнал, значит ее качество отвечает минимальным требованиям журнала. Реальный рейтинг статьи при этом может быть выше.

Для определения рейтинга часто применяют показатели, базирующиеся на количестве цитирований, однако такие показатели не могут использоваться для формирования универсальных оценок. Причин этому две. Во-первых, невозможно определить временные рамки в течении которых данный показатель начнет достоверно отражать ценность данного материала. Во-вторых, что более важно, уровни цитируемости в различных научных сферах существенно различаются, поэтому невозможно произвести сравнение не только между разными областями науки, но, даже между различными направлениями в одной области.
Вариант 1:
Оценка статей производит само научное сообщество посредством так называемых мини-рецензий. Мини-рецензии представляют собой набор формализованных критериев, по каждому из которых пользователь может выставить оценку, например:

Код: Выделить всё

0 1 2 3 4 5 Качество оформления
0 1 2 3 4 5 Качество проработки исходного материала (литературы)
0 1 2 3 4 5 Соблюдение научных принципов
0 1 2 3 4 5 Актуальность исследования
0 1 2 3 4 5 Качество материалов


Оценка формируется на основе гистограммы пользователя, причем по пунктам 2, 4 и 5
влияет рейтинг, связанный с тегами, а 1 и 3 - общий рейтинг, где тэг является коэффициентом. TODO: Расписать механизм сложения рейтинга из гистограмм.
Итоговая оценка также является гистограммой, которая схлопывается в единое значение по весовым коэффициентам формальных критериев. Каждый из критериев выше имеет свой весовой коэффициент. Расписать пример таких коэффициентов.

TODO: учет цитируемости

Связанные темы:
Раздел Наукометрия
Раздел Библиографическое дело

Вернуться в «Разработка формальных моделей»

Кто сейчас на форуме

Сейчас этот раздел просматривают: 1 гость