Сколько ректифицированных карт, при условии однородности выборки, достаточно для выявления астрологической закономерности?
07:35:28 GMT 22.11.2012 — Евгений Кабанов
до 8
0% (0 голосов)
8-16
33% (3 голоса)
16-32
11% (1 голос)
32-64
22% (2 голоса)
больше 64
33% (3 голоса)
Всего голосов: 9
- 2408 просмотров
Комментарии
Нашёл формулу, теперь надо вспомнить значения
N - объём генеральной совокупности, наверное надо принять равным бесконечности?
t-критерий для 95% кажется 1,96?
остальное не помню...
Доверительные уровни в статистике
Существуют разные доверительной уровни в статистике. В частности, в биологии обычно используют доверительный уровень в 95%, а в физике - 99%. Почему биологи и физики применяют разные доверительные уровни? Этому есть объяснение. Ясно, что мечтой всех экспериментаторов является доверительная вероятность 99.9999%, но в эксперименте это недостижимо. Из самого факта падения яблока закон тяготения
F = k*m1*m2/r2
получить невозможно. Для этого понадобится серия экспериментов. И даже сейчас среди современных физиков обсуждается вопрос, что степень при r может быть не целочисленной. Обнаружено, что «Пионеры», запущенные американцами много лет назад, удаляются от Земли с большей скоростью, чем это следует из закона тяготения, открытого Ньютоном. Это факт приводит некоторых учёных к мнению, что гравитация убывает не с квадратом расстояния, а со степенью равной, например, 1.999...98. Тогда факт ускорения «Пионеров» получает объяснение.
Физические системы очень просты, они слабо реагирует на изменения в окружающей среде. Например, определение веса объекта зависит от точности весов. Если нас удовлетворяет вес тела человека с точностью 100 г, то хорошие весы дают удовлетворительный результат при одном взвешивании. Именно поэтому уровень в 99% в физических экспериментах достижим.
Если же вес необходимо знать с большей точностью или же весы не очень точны, могут понадобиться несколько взвешиваний. У многих дома есть напольные весы. Если они не очень точны, то при взвешивании будет важно положение ступней на площадке весов: по центру, чуть левее или чуть правее, немного впереди или чуть сзади, опора в основном на одну ногу или на обе. Каждый вариант взвешивания может дать иной результат. Тогда придётся сделать три взвешивания, чтобы получить удовлетворительный результат.
Совсем иная ситуация в биологии. Живые организмы – очень сложные системы, сложнее физических на несколько порядков. Это создаёт многочисленные внутренние связи, которые учёным известны только частично, и это приводит к наличию неконтролируемых факторов в эксперименте. Кроме того, смысл существования живых организмов состоит в реагировании на изменения в окружающей среде: на температуру, освещённость, давление, химические изменения в окружающей среде, наличие конкурентов и т.д. Поэтому мы не можем добиться той чистоты эксперимента, которой добиваются физики. Всегда есть неустранимое факторы, влияющие на результат опыта. В связи с этим максимум чего могут требовать биологи, это доверительная вероятность 95%.
Например, известно, что расщепление по одному доминантному гену происходит в соотношении 3:1. Но из 100 скрещиваний особей, обладающих обеими аллелями – доминантной и рецессивной, в потомстве расщепление 3:1 получится не во всех вариантах. Причины, нарушившие нормальный ход результатов гибридизации, могут быть разные: температура, питание, освещённость, содержание питательных веществ в почве, мутации и т.д.
В психологии ситуации ещё хуже. Существа, обладающие психикой ещё более чувствительны к изменениям окружающей среды. Поэтому для психологов доверительная вероятность 95% во многих экспериментах является недостижимой мечтой, и они вынуждены удовлетворяться 80%.
В частности, в Википедии в статье «Применение статистики в оценивании» говорится: «Однако для большинства общественных программ уровень в 95% является излишним. Доверительный уровень в интервале 80-90% является достаточным для адекватной оценки программы. Таким образом, можно уменьшить размер репрезентативной группы, тем самым уменьшив и затраты на проведение оценки».
В астрологии доверительная вероятность 95% может быть достижима. Но в астропсихологии, скорее всего, нет. Во-первых, сам человек очень сложная система, и нет двух одинаковых гороскопов. Кроме того, люди со сходными гороскопами имеют разную генетику и воспитываются в разных условиях. Всё это может приводить к сильной вариации видов поведения в одних и тех же условиях.
Но, как показывают исследования Гоклена и других учёных, в том числе мои, достоверный результат, доказывающий существование законов астрологии, может быть получен в статистических исследованиях с доверительной вероятностью 95%.
Об этом не было бы необходимости писать, если бы некоторые участники дискуссии не требовали доверительного уровня в 100%!
Ещё раз о 100%
Если требование 100%-ной достоверности выполнимо, тогда не нужны ни теория вероятности, ни математическая статистика. Зачем же биологи, медики, психологи и физики используют совершенно бесполезное знание при обработке результатов своих исследований? Если вероятность равна 1, зачем что-то обрабатывать?
Андрей, Вы не работали в экспериментальной науке. И Вы должны это признать и не настаивать на своей осведомлённости в этой области. В этом нет ничего унизительного, признать, что мы чего-то не знаем и в чём-то не разбираемся.
Пусть будет так
Выполнимо. Я в этом уверен. Я считаю - подход "невыполнимо" - неверным, априори. Это - пассивность, отказ от поиска адекватных решений. В этом случае человечество и колеса бы не изобрело, не говоря об коллайдере. И многие теоремы не были бы доказаны. Не существует "невыполнимо".
Давайте соблюдать правила форума. Давайте не будем переходить на личности и уважать любое мнение. Я бы не стал любого из наших собеседников обвинять в непонимании законов статистики.
В очередной раз меня обвинили в некомпетентости. И, я опять, не буду продолжать дискуссию в данных условиях обсуждения моих представлений, а не подходов к статистике в астрологии, которая отличается от статстики в других науках.
Я думаю, нам нужна база для исследований
Евгений, тут все зависит от постановки задачи.
Существует совершенно точные определения "сколько карт нужно". Об этом нам говорят законы статистики. В зависимости от задачи, количества рассматриеваемых факторов, и главное - от сформулированных нами (иследователями проблемы) - "нулевых гипотез."
В астрологии нам тоже не надо 100% уверенности, хотя бы 95% но методически правильно.
А вот это - неверно. Пока астрология - персонально ориентирована, нам, увы, нужна 100% уверенность. Что значит Ваше - 95% - методически правильно? Это значит, что для 100 человек клиентов, для 95 из них- ректификация будет правильной, а для 5 человек - нет. Можем ли мы для этих 5 человек из 100 сказать - Извините, но, Вы остались в статистической погрешности ошибок ректификации?
Пример. Ректификация по операциям имеет 100% оправдываемость, к опубликованному мною исследованию добавляются все новые и новые подтверждения. Да, не у всех имеются операции, но и для других ситуаций мы должны СТРЕМИТЬСЯ иметь 100% уверенности, потому как астрология имеет дело не с "падением яблок на голову", а с судьбами людей. А для этого, "наука" астрология должна иметь исследования разных коллизий на основе ректифицированных одним методом карт. Тем же методом, которые исследуются коллизии жизни.
Давайте создадим такой массив данных. Тщательно ректифицированных карт, с событиями. У нас - одна школа, у нас много карт с многими событиями. Что нам мешает создать доступный (эээ... магистрам школы или бакалаврам, да, и, студентам) - базу данных для разнообразных исследований. Есть же на astro.com такой массив (кстати - очень сомнительный), что нам мешает, если мы ставим вопрос о исследованиях однородных массивов, в однородных условиях. И, не будем задавать вопросов о количестве карт, не будем "выпрашивать данные" друг у друга.
100% не бывает
Андрей пишет:
Требование 100% не выполнимо. В любой эмпирической науке существуют факторы, которые не позволяют удовлетворить Ваше требование ни при каких самых жёстких условиях эксперимента. Даже в физике, о чём свидетельствуют последние исследования на адронном коллайдере по обнаружению бозона Хиггса. Не говоря уже о биологии и психологии, где неконтролируемых факторов, оказывающих влияние на результаты эксперимента, на порядок больше. В частности, всегда существует ошибка исходных данных. Это один фактор, не позволяющий добиться 100%-ного результата. Другой фактор, мы не можем быть уверены на 100% в правильности ректификации, так как проверяем время рождения по ограниченному числу событий.
Все эти вещи прекрасно известны тем, кто работает в области эмпирических исследований. Поэтому в статистике НИКТО не требует выполнения 100%. Существуют доверительные уровни. Для биологии и медицины это 95%. Для психологии и того меньше, хотя психология очень "персонально ориентирована". Кстати, медицина тоже.
Давайте, не будем подменять требования статистической науки собственными представлениями об обработке результатов экспериментальных исследований.
Давайте оговорим формат массива данных и я размещу их на сайте
... Давайте создадим такой массив данных. Тщательно ректифицированных карт, с событиями. У нас - одна школа, у нас много карт с многими событиями. Что нам мешает создать доступный (эээ... магистрам школы или бакалаврам, да, и, студентам) - базу данных для разнообразных исследований. Есть же на astro.com такой массив (кстати - очень сомнительный), что нам мешает, если мы ставим вопрос о исследованиях однородных массивов, в однородных условиях. И, не будем задавать вопросов о количестве карт, не будем "выпрашивать данные" друг у друга.
Обсуждение формата данных для публичного доступа проводим здесь.
Подход "чем больше - тем лучше" считаю неприемлимым
Наши ресурсы ограничены, нужно обходится минимально возможным объёмом работы. Интереснен минимальный объём выборки, позволяющий выявить ту или иную астрологическую закономерность.
Этот вопрос непременно встанет при астрологическом исследовании, например:
Вопрос для меня чисто практический. Математикой владею не настолько, что бы самостоятельно (и грамотно!) обосновать нужное количество выборки с учётом всех параметров. Нужна помощь более грамотных в этом деле коллег-астрологов.
Ну и рекомендация для всех нас, сколько случаев брать для этого, сколько для того и т.п.
В некотором роде нужен наш внутренний стандарт, что позволит приблизит астрологию (в нашем исполнении) к социальному признанию в обществе.
Понятно что закономерность, выявленную N-ом количестве случаев никто не будет воспринимать всерьёз с точки зрения неподтверждения статистикой, а начиная с N+1 уже можно доверять.
Евгений, давайте попробуем решить задачу про моржей
Евгений, давайте попробуем решить задачу про моржей (или яхтсменов-парусников и яхтсменов водомоторников), как обычную исследовательскую. Давайте рассуждать. У нас с вами есть предположение, что моржа от «неморжа» можно отличить по гороскопу, так?
Т.е. люди, которые купаются зимой в ледяной воде (могут, любят и делают это) и прекрасно себя при этом чувствуют, имеют какие-то определенные конфигурации в гороскопе.
Т.е налицо предположение о различиях между группами. Мы предполагаем, что у моржей в гороскопе есть определенные конфигурации и их сочетания , а у людей, далеких от моржевания, таких конфигураций нет или они присутствуют частично, да?
Чтобы воспользоваться статистикой, нам нужно формализовать наши данные, т.е. "превратить их в числа".
Мы поделим людей на две группы в зависимости от их реального поведения: морж и «неморж» и сравниваем их гороскопы.
Вот, у нас с вами появилась переменная (величина, которая может принимать разные значения), которую называют группирующей . Назовем ее Х1 (икс один) и у нее два уровня:
Х1=1 (человек -морж) и
Х1=0 (человек не морж и мысль о купании в проруби вызывает у него ужас).
Ориентируясь на это, мы поделим участников нашего исследования на группы, так?
Группа 1 (Х1=1) – моржи,
Группа 2( Х1=0, группа сравнения, «неморжи»)
Полагаю, у вас есть предположение, что формула моржа в радиксе имеет вид:
Условие 1 +Условие 2+Условие 3
Где условие – какие-то астрологические параметры карты (какие - ?).
Мы ожидаем, что эта формула полностью(!) будет присутствовать в гороскопах практически у всех моржей, и будет встречаться очень редко у людей, для которых ледяная вода не является средством оздоровления.
Далее займемся астрологическими параметрами. Введем группу переменных Y – пусть это будут те астрологические условия, которые как раз нас интересуют.
Опишите свою формулу моржа. Нередко бывает, что астрологическая формула носит «составной» характер. Формула часто выглядит как соблюдение условия 1 и одновременно с ним условия 2.
Тогда «формула моржа» это:
Условие 1 …. (что это за переменная, в какие единицах измеряем ее – например, число взаимодействий или наличие троекратной связи между… ) – переменная Y1
и
Условие 2 …. (влияние на дом….) – переменная Y2
и
Условие 3….. (взаимосвязи ….) – переменная Y3….
В этот перечень вы можете включить все астрологические условия, которые на ваш взгляд, могут иметь значение.
Теперь важно определить "неастрологические" дополнительные условия, которые могут повлиять на то, станет обладатель гороскопа моржом или нет.
Пол участников важен ? по неосведомленности, думаю, что нет. Но указать его стоит. Это на случай, если вдруг мужчины склонны к моржеванию больше, чем женщины. Вдруг оно так? Холодовый и болевой порог, эндорфины, различия сосудистой системы женщин и мужчин и т. п.? Это будет переменная X2 -пол ( пусть X2=1 –мужчина, Х2=2 – женщина) . В группах моржей и «неморжей» мужчин и женщин должно быть примерно одинаковое количество.
Что еще? Вот еще одна переменная - возраст X3 (она у нас будет измеряться в годах). Это тоже важно. Желательно, чтобы мы не сравнивали неморжей-младенцев (вдруг холодная вода привлечет их после пенсии?) и моржей-стариков, поэтому распределение по возрасту в группах должен быть одинаковым, пусть и примерно.
Кроме того, важен регион, откуда мы набираем «испытуемых». Если человек живет в Майами, то моржевание для него невозможно в принципе из-за климатических условий. Поэтому представители группы моржей и группы сравнения должны быть из регионов, где есть зима :) .
Другие условия, не связанные с гороскопом, которые могут так же повлиять на нашу переменную X1, тоже стоит учесть. Что же это, по-вашему, может быть?
И тогда каждый обладатель гороскопа, вовлеченный в исследование у вас будет описан рядом параметров:
Х1, Х2, Х3,... Y1,Y2, Y3 …
Например:
Участник 1 - 1, 1, 35, ….
Участник 2 - 0, 1, 40…
Участник 3 - 1, 2, 21
мы приедставили данные в числах. В данном случае у нас простой экспериментальный план с двумя группами и частичным уравновешиванием (возраст, пол, место жительства). После того, как вы все опишете переменные, вы получите обычную исследовательскую таблицу сырых данных и можно пробовать делать статобработку. Можем попробовать, хотите?
Для статистики гипотеза может выглядеть примерно так: в гороскопах одной группы (моржей) указания (формула моржа) встречаются достоверно чаще, чем в другой.
А затем нам остается сравнить группы c X1=1 и X1=0 между собой и выявить различия.
Вполне возможно, нам понадобится вести переменные , связанные с сочетанным присутствием условий. Например Y12 –может выступать как переменная, которая описывает, соблюдаются, например, условия 1 и 2 в карте одновременно (хотя на первом этапе сбора данных можно обойтись без таких переменных и задать их потом, при анализе).
В зависимости от того, как выглядят ваши данные, можно подобрать способ статистической обработки и критерий, чтобы эти различия выявить, если они есть. Если мы их не обнаружим, это означает, что анализируя гороскоп так, как мы сделали, мы не можем отличить моржа от всех остальных граждан...
Сколько народу должно быть в одной и другой группе? Интуитивно понятно, чем ярче различия, тем легче их найти и тем меньше требуется группа. И для нормального «статанализа» в каждой группе должно быть не по три и не по пять человек. Побольше. Иначе никакой критерий даже с поправками на малые группы нам не поможет. Вот и выходит, что астрологическое исследование дело небыстрое и достаточно трудоемкое, и на вопрос «Сколько нужно карт, чтобы...» ответа в виде конкретного числа можно и не найти :)
Если же идеи, как может выглядеть формула, нет, тогда можно применить процедуру «разведки данных» - но это очень и очень трудоемко на стадии ввода данных и весело на этапе интерпретации. Так что вот… наверняка, есть и какие-то другие подходы. Буду рада узнать о них.
Мне и хочется понять объём выборки хотя бы для идеальных условий
Пусть будет исследуемая группа моржей и контрольная группа не моржей той же численности.
И все остальные параметры однородны: пол, возраст, место жительства, может быть прошлый опыт занятия спортом, болезней, доступности проруби и т.п.
Вот в таких идеальных условиях сколько карт нужно?
Понятно, что это минмальное стартовое число для исследования и меньше карт брать уже просто нельзя - выводы будут некорректные даже в идеальных условиях.
В аудите я использовал статистические методы - там из многих тысяч документов или клиентов надо было выбрать разумное количество для проверки, для формирования статистически достоверного мнения установленного уровня надёжности.
В астрологии нам тоже не надо 100% уверенности, хотя бы 95% но методически правильно.
непараметрические критерии
Екатерина Анатольевна права. Характер эмпирического распределения не всегда известен. И кривая распределения может отличаться от нормального и быть асимметричной, не говоря уже о том, что оно может быть и не нормальным, как Вы сами заметили. Поэтому используются разные методы математической статистики для определения достоверности различия. А для малых выборок распределение вообще неизвестно, поэтому используются непараметрические критерии.
Спасибо, Вы помогли мне понять существующий порядок вещей
Спасибо, Екатерина. Вы помогли мне понять существующий порядок вещей. Ваше
просто супер! После этого астрология никогда наукой не будет. А вот после этого
То-то я так смотрю после моих исследований по операциям, по формуле астролога - так много сообщений и проверок гипотез...
Если серьезно... Если мы хотим определить астрологию кака науку, то, Астрология нуждается не просто в "фикции" применения математического аппарата. Меня, например, всегда интересовал вопрос - почему в астрологии применяют "нормальное распределение"? На мой взгл\яд "рулит" Пуассон, а для этого закона распределения - есть свои закономерности, совершенно другие, чем гауссиана.. Но, ведь никто не обсуждает...
Но, Екатерина, Вы пишите
Придумывайте. Я с интересом прочитаю - как.
Важно определиться, что же такое астрологическая закономерность
И как мы поймем, что она прослеживается или не прослеживается? Как вы это понимаете?
Вообще-то количество элементов в выборке (в данном случае -карт) , достаточное для статистического вывода, зависит от того, как мы сформулировали проверяемую гипотезу и от того, как мы описали данные – т.е. от вида переменных (номинативная, интервальная, и т.п.) , от дизайна исследования (сколько у нас переменных, предполагаем ли мы, что они действуют независимо друг от друга, или приводят к какому-то изменению только в сочетании друг с другом), и от мощности статистических критериев, которые мы можем использовать, чтобы выявить закономерности.
Например , нас может интересовать частота, с которой встречаются определенные конфигурации и взаимодействия в картах, или число взаимосвязей между определенными элементами карты… Как вы различаете неоднородную и однородную выборку? Не обязательно, чтобы выборка подчинялась нормальному распределению, пусть она будет «кривая», не страшно, в этом случае можно обойтись другими статистическим критериями.
Понятно, что голосованием это вопрос не решить. Выдвигайте астрологическую гипотезу, придумаем, как ее проверить ...
Смотря что ищем: чем больше данных - тем лучше
Смотря что мы ищем. И, какой уровень оправдываемости мы хотим получить.
Мы с коллегой при поиске формулы астролога проанализировал более 40 карт. Мало, как выяснилось. Мы нашли некоторый агент, на 95% статистически оправдываемый. А остальные 5%?
Вот, скажем. Есть у меня идея - построить среднюю карту Академии. Есть у меня более 40 ректифицированных карт, любезно представленных коллегами. Есть в этом смысл? Думаю - есть.
Строю я среднюю карту и вижу - некорректно. Добавил одну карту в массив - карта совсем изменилась. Значит мне нужно правильно оценить: