Пререквизит для проведения эксперимента:
Хорошо ли сформулирована гипотеза? Она должны хорошо объяснять.
Есть ли оценка априорных шансов? Нам необходимы известные данные по нашему вопросы в домене.
Есть ли свидетельства против нашей гипотезы? Необходимо провести контрфактические суждения, проверить связность модели.
Посчитана ли правдоподобность? Важно численно выразить следствие в нашей модели, убедиться, что это следствие есть именно то, что мы хотим получить когда будем принимать решение по итогу проведения эксперимента.
Если чего-то из этого списка нет в наличии, то высок риск, что проверять гипотезу на эксперименте “в мире” (а не в голове) будет дорого и, вероятно, бессмысленно. То есть, гипотезу надо доформулировать. Достроить модель.
Если чего-то из этого нет, и при этом не получается добыть (элементы модели, данные), то надо создать связанную гипотезу — “соседнюю” / “прокси”-гипотезу. Это часто случается при проверке гипотез, связанных с абстрактными вещами, такими как креативность, мышление, успешность, etc.
Финальная проверка на дешевизну проверки гипотез: - Осталась ли какая-либо неопределенность? - Нужны ли еще элементы модели или уже только данные? Если в ответах на эти вопросы есть хоть одно “да”, то дополняем модель данными. Если среди ответов нет “да”, то переходим к сбору данных.
Данные:
Каких данных минимально достаточно? Нам не нужны лишние данные, чтобы не тратить ресурсы на их поиск, обработку, интерпретацию.
Проверка на опровержение — представляем, что у нас есть идеальные данные. Возможно ли обнаружить еще какие-либо данные, которые опровергнут нашу идеальную модель с подставленными идеальными данными?
По итогу этих двух пунктов решаем, какие еще данные нужны, какие еще элементы модели нужны. То есть, откатываемся на построение ПСС, если необходимо, и снова переходим к сбору данных.
Итерируем эти шаги до максимально стройной и сильной модели.
Основной принцип дешевизны проверки гипотез — не проверять то, что можно проверить в голове (чаще всего на КФ-суждениях). Чаще всего дешевле потратить полдня с блокнотом и ручкой, чем несколько дней на сбор и интерпретацию в в лучшем случае ненужных, а в худшем искажающих данных.
#псс #причинно-следственная-связь #моделирование #эксперимент
Построение причинно-следственной связи + Причинность и данные — ПСС-модель часто строится для проверки экспериментом, но важно проводить эксперимент только при наличии полной недребезжащей модели, иначе высок риск потратить ресурсы на сбор и интерпретацию лишних данных.