Замечания по качеству представления статистического материала

Выбор метода представление характеристик выборок
В диссертации соискатель принял наиболее распространенный способ представления характеристик исследуемых выборок при помощи среднего и стандартного отклонения (M±s). Что говорят специалисты по этому поводу.
"…Общее требование к представлению результатов исследований — указание количества наблюдений для каждой исследуемой переменной…",
".…конкретные статистические методы следует упоминать по ходу изложения результатов (в разделе “Результаты”)….
"....когда s превышает среднее значение М, и соответственно запись “M±s” в большинстве случаев (когда переменная принимает только положительные значения) оказывается бессмысленной"
"Распределения, являющиеся приближенно нормальными (и только они), должны описываться средним и СКО (M±s).
Для описания распределений, не являющихся нормальными (а это большинство распределений медико-биологических параметров), рекомендуется применять медиану и интерквартильный размах.
Реброва О.Ю. Описание процедуры и результатов статистического анализа медицинских данных в научных публикациях // Журнал международной медицинской практики 2000 №4.-С.21

Считается, что «если коэффициент вариации<30%, то ряд данных не имеет значительной скошенности», а если V>100%, то это означает, что «данные неоднородны» (Лапач С.Н., и соавт, 2002, с.94).
То есть, статистики считают, что вопрос о неоднородности данных (нарушении нормального распределения) возникает если коэффициент вариации<30%. То есть такие случаи требуют разъяснения причин неоднородности и использования непраметрических методов анализа

Подавляющее большинство средних значений выборок в исследовании характеризуются крайне высокой вариацией признака, о чем сам автор неоднократно заявляет. Но лучше всего эта вариация демонстрируется цифрой. Приведем все данные из автореферата, для тех случаев, когда коэффициет вариации больше 30%.

Условные обозначения в таблице:
M - средяее величина
S - стандартное отклонение;
V- коэффициент вариации
стр. страница в автореферате, на которой отображены данные

M	S	стр.	V	M	S	стр	V	M	S	стр	V
0,227	0,179	8	79	10,09	5,89	13	58	125,7	60,5	20	48
0,131	0,099	8	76	3,36	1,96	13	58	117,8	65,1	20	55
0,153	0,063	9	41	0,26	0,44	13	169	230,3	118,4	21	51
21,39	12,86	9	60	1,11	1,91	13	172	200,9	124,9	21	62
3,48	1,36	9	39	0,34	0,58	13	171	91,5	79,5	21	87
2,24	1,66	9	74	0,32	0,3	13	94	96,9	84,3	21	87
15,3	10,6	9	69	1,71	1,61	13	94	138,8	64,3	22	46
2,36	1,6	9	68	0,29	0,49	13	169	102,7	50,1	22	49
2,03	1,3	9	64	2,48	1,37	13	55	2,89	2,31	22	80
0,227	0,18	9	79	8,68	4,79	13	55	2,01	1,74	22	87
0,752	0,829	9	110	2,98	1,64	13	55	143,4	65,9	22	46
170,6	61,78	10	36	0,13	0,06	13	46	99,4	51,2	22	52
699,6	385,9	10	55	0,16	0,08	13	50	219,1	114,5	22	52
42,41	21,54	10	51	0,13	0,07	13	54	212,1	130,2	22	61
2,47	1,65	10	67	124,9	54,3	14	43	75,7	70,9	22	94
4,67	3,15	10	67	699,6	385,9	14	55	112,7	87,6	22	78
9,97	5,55	10	56	720,8	372,9	14	52	3,2	2,16	22	68
39,8	24,5	11	62	1992,7	1067,8	14	54	1,7	1,69	22	99
44,8	18,8	11	42	1556,2	804,9	14	52	6,15	3,82	23	62
713,1	385,2	11	54	4,72	1,61	14	34	1,96	0,82	24	42
129,6	51,9	11	40	576	1104	15	192	6,56	3,89	25	59
687	399,5	11	58	319	681	15	213	4,05	2,87	24	71
2035,3	1069,9	11	53	337	836	15	248	6,73	3,82	24	57
1952,9	1101,7	11	56	273,1	507,4	18	186	6,35	3,92	24	62
2,7	1,7	11	63	155,1	354,8	18	229	3,28	2,3	26	70
9,92	6	11	60	41,8	25,3	18	61	7,7	3,34	26	43
2,45	0,92	11	38	118	259,7	18	220	7,9	6,93	26	88
2	1,76	12	88	58,2	25,3	18	43	8	5,77	26	72
6,6	5,8	12	88	1,2	1,5	18	125	4,54	3,52	26	78
2,2	1,93	12	88	4,22	4,41	19	105	7,88	3,37	26	43
0,28	0,5	12	179	7,39	5,08	19	69	228,8	134,5	28	59
1,21	2,13	12	176	704	269,2	19	38	206,6	89,6	28	43
0,37	0,65	12	176	677,9	259,9	19	38	114,2	56,8	28	50
0,32	0,35	12	109	494,8	239,3	19	48	114,7	89,4	28	78
1,72	1,87	12	109	224,1	85,8	19	38	132,3	65,2	28	49
0,31	0,55	12	177	163,5	59	19	36	72,3	49,6	28	69
1,31	1,12	12	85	289,8	125,6	20	43	2,85	1,84	28	65
4,73	3,93	12	83	154,3	75,9	20	49	1,61	1,45	28	90
1,62	1,35	12	83	164,2	70,2	20	43
3,06	1,78	13	58	36,4	21,5	20	59

 

Более наглядную информацию даст гистограмма распределения коэффициента вариации

В 19-ти случаях S>M, то есть коэффициент вариации в этих выборках больше 100%, а в четырех случаях V>200%.

КОММЕНТАРИЙ. В данной группе характеристик выборок коэффициент вариации (S/M) всегда больше единицы, что совершенно недопустимо для такого формата описания выборок. По этому поводу автор первого российского учебника по современной эпидемиологии, председатель российского отделения Кокрановского сотрудничества В.В.Власов пишет: "Коэффициент вариации - безразмерная величина, меньше единицы"(с.113) (Власов В.В.. Эпидемиология , ГОЭТАР, 2005). Имеется ввиду, что коэффициент вариации всегда меньше единицы, когда пытаются описывать выборку как нормальнораспределенную, в ином случае описание выборки при помощи M±S если M<S является абсурдом. А что говорить о характеристиках выборок, когда M<2*S (четыре случая) - это "двойной абсурд".
Чтобы продемонстрировать сущность проблемы воспользуемся данными таблицы 5, с.18 смоделируем выборку с заданными параметрами 273,1±507,4 мс2 (min=0,5; max=1835), и покажем гистограмму распределения этой выборки, а слева от графика сам цифровой ряд.

0,5 5,2 5,7 7,0 7,4 9,8 12,6 17,5 21,8 23,2 23,9 24,2 50 62,6 63,2 68,7 70 70,2 830 870 970 1250 1835

Совершенно очевидно, что к такой выборке не могут быть применены параметрические критерии из за грубой асимметрии распределения и результатов тестов проверки на нормальность (см. на графике). Кроме того когда исследователь получил этот материал, он обязан при виде этого распределения дать клиническую оценку выскакивающим значениям. Так например первое значение (0,54) и два последних (1250, 1835 ) являются явно выскакивающими. Автор должен был проанализировать этих пациентов и он наверняка бы обнаружил некие клинические особенности этих трех случаев, которые бы в дальнейшем стали критериями исключения из исследования (см. Обсуждение дизайна исследования").
Все вышеперечисленные цифровые характеристики следовало представлять в виде медианных оценок и при помощи коробочных графиков с медианами и персентилями, как показано ниже

На этом графике видно, что медиана =24,2 мс2, 50% диапазон вокруг медианы включает значения в диапазоне 9,8мс2-70,2 мс2. Также видны цифры максимальных и минимальных значений. Такая форма более предпочтительна, чем та которая использована автором диссертации (рис.2,3,4,6,7,9), так как средние значения в данном исследовании в подавляющем большинстве случаев не дают исчерпывающей характеристики выборок.

Другой важной проблемой, которая не позволяет верно оценить выборку на основе записи M(±S) - это отсутствие информации об объеме выборок (числе наблюдений). По современным правилам следует при представлении выборочных характеристик всегда указывать размер выборки.

ЗАКЛЮЧЕНИЕ. В диссертации, в большинстве случаев используется неверный способ характеристик выборок. Представление данных исследования в виде M(±S) является грубой методической ошибкой вследствие незнания соискателем основ статистики. Сравнительное графическое представление выборочных средних в виде M(±SE*1,96) также неверно методически и не позволяет сделать правильных выводов из за существенной вариации данных в выборках и неопределенного закона их распределения.

Условия применения параметрических критериев и интерпретация величины альфа-ошибки

На с.7 в описании статистических методов говорится, что «непараметрические критерии сравнения использовались для переменных, при оценке которых гипотеза о нормальности распределения отбрасывалась». Но при этом ничего не указывается о втором, более важном условии применения параметрических критериев – проверке равенства дисперсий.
В некоторых случаях нам удалось восстановить необходимые данные для оценки дисперсий изучаемых выборок:
- на с. 26 используется t-критерий Стьюдента, при сравнении таких выборок M(S,n=) 3,28(2,3; n=45) и 7,7(3,44; n=75). Отношение дисперсий в этих выборках равно 2,4 что соответствует вероятности равности дисперсий 0,003. То есть дисперсии не равны и t-критерий Стьюдента в данном случае использовать неуместно.
- на с. 27, третий абзац для пары выборок с характеристиками 7,21(0,09; n=70) и 7,22(0,07; n=57) вероятность равенства дисперсий составляет 0,026, что также, строго говоря, не позволяет использовать t-критерий Стьюдента.КОММЕНТАРИЙ При больших выборках (более 30) нормальность распределения уже не играет такой важной роли как в малых выборках при условии отсутствия мультимодальности распределения, а условие сопоставимости дисперсий остается обязательным. При использовании t-критерия нигде не говорится о равенстве дисперсий изучаемых совокупностей, поэтому эти результаты на которых строятся выводы работы не заслуживают доверия.На с.19 при анализе интерлейкинов IL-10 говорится, что коэффициент Пирсона в группе выживших составил -0,76(p<0,05). Далее автор пишет: «У померлих коефіціент Пірсона також був вірогідним у 0,95% довірчому інтервалі, і дорівнюваів 0,52» (У умерших коэффициент Пирсона был достоверный в 0,95% доверительном интервале, и равнялся 0,52)
КОММЕНТАРИЙ. Исходя из контекста значение коэффициента корреляции имело отрицательный знак (-0,52), то есть это ошибка, которая изменяет смысл сказанного.
Более важен анализ заявления диссертанта о том, что «коэффициент Пирсона был достоверный в 0,95% диапазоне». Понятие «диапазон» о котором упоминает автор должен отражается как минимум двумя значениями, а их здесь нет. Величина статистической значимости (в данном случае 0,05) означает что вероятность того, что вычисленный коэффициент корреляции ошибочно отражает истину составляет 5%. Говоря о высоком доверии неправильно указывать 0,95% (очевидно, что автор имел ввиду 95%). Поэтому значение «0,95%» лишено смысла и отражает неправильное понимание диссертантом основ статистики

На с.28 фраза «Відповідно, пацієнти першої вибірки характеризувалися статистично значуще більш високими значеннями спектральної потужності регуляції у  діапазоні ультрависоких частот. Імовірність безпомилкового судження склала 0,049»
(Соответственно, пациенты первой выборки характеризовались статистически значимо более высокими значениями спектральной мощности регуляции в  диапазоне ультравысоких частот. Вероятность безошибочного суждения составила 0,049)
КОММЕНТАРИЙ. Исходя из текста следует, что говоря о более высоком значении спектральной мощности в одной из групп соискатель тут же заявляет, что доверяет своим суждениям только на 4,9%. Эта ошибка свидетельствует о некомпетентности в базовых вопросах статистики.На с. 26 используется так называемые множественные сравнения с использованием t-критерия Стьюдента (сравниваются средние в 3 и 4 группах, а затем в 3 и 5 группах).
КОММЕНТАРИЙ. Это распространенная ошибка, которая связана с проблемой множественных сравнений. Для этой цели следует использовать либо соответствующую поправку для t-критерия Стьюдента, либо дисперсионный анализ.

На с.26 диссертант доказывает одну из кючевых закономерностей своего исследования сопоставляя лактат крови больных с разным прогнозом. В группе больных, которые выжили лактат составлял 4,54±3,52 (M±S), а тех кто умер – 7,88±3,37.
КОММЕНТАРИЙ. Коэффициенты вариации в этих случаях составили соответственно 77% и 43%, что указывает на неоднородность и высокую вероятность нарушения нормального распределения этих выборок. Автор не только неверно использовал t-критерий Стьюдента для сопоставления средних этих выборок (без проверки нормальности распределения) но использовал для этих явно ассиметричных данных графики ящик с усами в которых параметрами служили средние и 95% доверительный интервал.
В этом случае следовало применять медианные графические оценки и непараметрическую статистику для кычественной оценки клинического материала.

О сравнении парных выборок
В примечаниях к табл.2(с.12) и 3(с.13) говорится о сопоставлении различий до-после. Неизвестно какой статистический тест для этого используется, так как в перечне применяемых статистических тестов не указан тест для парных выборок.
В докладе при характеристике рис.11 соискатель заявил о статистической значимости по данным теста Фридмана.
КОММЕНТАРИЙ. Тест Фридмана. Этот тест представляет собой расширение теста Вилкоксона для случая наличия более чем двух зависимых выборок. Он основывается на ранговых последовательностях, которые строятся для значений всех переменных участвующих в тесте. Для двух связанных выборок более уместно использовать либо t-критерий для связанных выборок, либо тест Вилкоксона. В описании статистических методов ничего не указывается о методах сопоставления связанных выборок.

ЗАКЛЮЧЕНИЕ по разделу КАЧЕСТВО ПРЕДСТАВЛЕНИЯ СТАТИСТИЧЕСКОГО МАТЕРИАЛА
Автореферат обсуждаемой диссертации содержит огромный цифровой материал. Большинство выборок характеризуются гетерогенностью, которая, очевидно, обусловлена неадекватным дизайном исследования, неправильным выбором критериев включения и стратификацией наблюдений по клиническим признакам (см. раздел "Обсуждение дизайна исследования"). Все это обусловило высокую вероятность систематических ошибок в исследовании.
Неверное представление выборочных характеристик, нарушение принципов применения параметрических тестов, неправильные графические методы сопоставления неравномернораспределенных выборок, необъявленные принципы сопоставления парных выборок, неправильная интерпретация ошибок первого типа - все это увеличило вероятность случайных ошибок.
Одним из наиболее серьезных дефектов представления статистических результатов является необъявление (за исключением редких случаев) конкретного статистического метода и размера изучаемых выборок.
Все эти ошибки, в целом, существенно снижают степень доверия к выводам исследования и эффективность выполненной работы.