Если бы я бухал, то я бы набухался
Вот так можно обобщить результат моего эксперимента с логом на этой неделе.
Окрыленный тем, что у меня получилось получить статистически значимый результат в неконтролируемых условиях конференции[^1], я подумал, что в контролируемых условиях класса воспроизвести результат будет проще простого.
В среду и четверг, два дня подряд, я попробовал научить детей логировать относительно информации, которую они узнали из девятиминутного ролика об иммунной системе.
В отличие от конференции, где у меня сначала было педагогическое вмешательство, а именно лекция, на которой я объяснял технику и то, какие преимущества она несёт, с детьми я поступил немного иначе: у нас нет времени на лекцию, вместо этого я без объяснений техники начал с ними практиковать технику логирования.
У меня были две экспериментальные группы и одна контрольная. План включал 4 этапа.
- Предпросмотр видео:
Логгеры: перед просмотром видео в течение пяти минут делают запись того, что уже знают об иммунной системе.
Нелоггеры: на протяжении пяти минут готовятся, я включаю видео медленнее, оставляя их один на один с собой.
- Просмотр видео:
Логгеры/Нелоггеры, обе группы смотрят, делают записи как хотят и сколько хотят, я наблюдаю за тем, как они выполняют свою работу, кто делает записи, сколько записей, в какой момент они делают записи.
- Постпросмотр видео:
Логгеры: отвечают последовательно на 4 вопроса, 5 минут на каждый ответ
[!question] Вопросы логгеров
“Вопрос 1”. Что вы узнали из видео? Напишите главную мысль — одним-двумя предложениями и свои мысли относительно того, что узнали. Начинайте.»
“Вопрос 2”. Что вас удивило в видео или показалось странным, непонятным? Почему? Расскажите самому себе о своём. Начинайте.»
“Вопрос 3”. Придумайте пример из жизни, где работает тот же принцип, что вы увидели в видео. Пример не должен быть взят из самого видео, что-то новое. Начинайте.»
“Вопрос 4”. Сформулируйте принцип работы иммунной системы одним предложением — так, чтобы он подходил не только к ситуации с порезом пальца из видео. Начинайте.»
Нелоггеры: самостоятельная работа со своими записями, на протяжении 20 минут, в течение которых они могут делать что хотят, подчёркивать, рисовать, дописывать, но не могут друг с другом разговаривать.
- Этап тестирования: у контрольной и экспериментальной групп одинаковый тест, состоящий из трёх групп вопросов
Группа А: память, 8 вопросов множественного выбора.
Группа Б[1]: понимание, 2 вопроса, требующих развёрнутый ответ.
Группа В[2]: перенос в новый контекст, 2 вопроса, в которых нужно было применить логику из видео в новой ситуации.
Гипотеза логгер/нелоггер
Моя гипотеза заключалась в том, что логгеры продемонстрируют более высокие результаты в вопросах на понимание и синтез (Б и В), в своих ответах они будут использовать больше терминов из видео, смогут объяснить логично[3], почему иммунная система работает так, как работает, и всякие другие критерии.
Однако каково было моё удивление, когда логгеры не показали ЗНАЧИМЫХ отличий от контрольной группы.
1. Сравнительная таблица: Все данные (N=42)
Используется для оценки общего объёма и первичного «шумного» сравнения.
Метрика
Логгеры (N=28)
Нелоггеры (N=14)
p-value (MW)
Cliff’s Delta
Память (score_A)
5.36
5.86
0.8686
-0.21
Блок Б (Понимание)
2.89
2.71
0.3929
+0.05
Блок В (Перенос)
4.39
5.00
0.9173
-0.26
Итого (Б+В)
7.29
7.71
0.7496
-0.12
Я подумал, что у меня группы не уравновешены, нужно как-то иначе смотреть, по классам, например, а не смешивать, поэтому я вычистил экспериментальную группу от второго класса.
2. Сравнительная таблица: Класс 1 (Сбалансированная пара) я вычистил второй класс логгеров
Основная группа для пилотного обоснования. N=12 (Log) vs N=14 (Non-log).
Метрика
Логгеры (N=12)
Нелоггеры (N=14)
p-value
Cliff’s Delta
Память (score_A)
5.00
5.86
0.9625
-0.39
Вопрос Б1 (Цепочки)
1.50
1.21
0.2692
+0.14
Вопрос Б2 (Оборона)
1.83
1.50
0.1268
+0.26
Всего Блок Б
3.33
2.71
0.2008
+0.20
Всего Блок В
4.33
5.00
0.9277
-0.32
Тут, конечно, логгеры показали чуть «лучший» результат, но! Всё равно – это шум, судя по p-value.
Дальше я делал много «иных» действий, настраивая «измерительное» оборудование, начиная анализом смысловой архитектуры, проверял, во сколько раз больше логгеры используют академические слова, заканчивая познавательным аудитом: оценкой глубины причинно-следственных связей, концентрации терминов и связи макро-микро уровня^13. В отчаянии, что «всё пропало», я даже дошёл до процедуры двойной очистки – это когда я вычистил гениев и аутсайдеров, но это совсем не честно, таким образом я буквально «взламываю» и подгоняю статистическую значимость.
Я ковырял цифры разными способами[4] в надежде понять, что сработало и в какую сторону дальше «копать», но после 10 часов работы с цифрами, без сил думать о чём-то дальше, пошёл спать, а утром в духе «другой» техники Фейнмана переключился на другой проект.
Другая техника Фейнмана
У Ричарда Фейнмана[5] помимо излюбленной техники «объяснения», назовём её так, была ещё и вторая, которую в книгах о нём вы не найдёте.
Впервые я узнал о «руминации над проблемами» из неизвестной статьи[6] Джан-Карло Роты[7], математика и современника Фейнмана. Статьи, в которой Рота обобщил десять советов всем, кто вовлечён в интеллектуальную деятельность.
[!quote] Ричард Фейнман
Вы должны постоянно держать в уме дюжину своих любимых задач. По большей части они будут оставаться в дремлющем состоянии. Каждый раз, когда вы слышите или читаете о новом приёме или новом результате, проверяйте его на каждой из своих двенадцати задач — не поможет ли он. Время от времени будет случаться попадание, и люди скажут: «Как он это сделал? Он, должно быть, гений!»
– Джан-Карло Рота, Десять уроков, о которых я хотел бы знать (о Ричарде Фейнмане)
Благодаря этому совету я не очень огорчаюсь от того, что у меня ничего не получилось при экспериментировании на этой неделе. Наука – дело «грязное», часто действия не приносят результата[8], но это не повод огорчаться. В моменте можно, но наутро обычно тоска отходит, во-первых, потому что понимаешь, в чём может быть проблема. Например, в случае с моими учениками, возможно – это я выбрал не верную фокус-группу, то есть те, кто попал под тестирование, были достаточно замотивированы и умны, чтобы им 20 минут один на один с конспектом хватило для того, чтобы «дотянуться» до тех, кто ещё 20 минут письменно думал. Поэтому мне следует подобрать учеников с более далёкой зоной ближайшего развития[9], может класс не девятый, а восьмой или седьмой. Может попробовать технику с классом, у которого средний балл по всем предметам не 4,5, а 3,5. Или, может, провести отложенный тест с экспериментальной группой, и тогда дети, которые логировали, покажут лучший результат через две недели.
В общем, много чего «может» произойти, однако суть не в том, что у меня эксперимент провалился, а в том, что у меня, как Фейнман советовал, есть другие проблемы, с которыми я могу поработать.
Например, прям сейчас можно заняться двумя другими экспериментами: заметковедение[10], внимательность/усталость детей[11]. Могу упороться в два других проекта: дописать последнюю главу нового раздела книги о «нечтении» или начать проектировать книгу о заметковедении.
Многие в этот момент мысленно воскликнут: «У нас нет научных проблем», на что я отвечу — и не надо. Точно таким же может быть и «приземлённый» список проблем: составить расписание ребёнка на следующий год, выбрать ему траекторию обучения в школе[12], публичные выступления[13], работа над собственным сайтом, изучение чего-то (хоть логики, хоть техник «нечтения») и так далее. Список может быть любым, но главное — ограничить себя 12 проектами[14].
На текущий момент у меня список вот такой:
-
Написание диссертации (как раз экспериментальная часть, описанная в начале).
-
Разработка курса «Разбираемся в сложных вопросах», который доступен только для выпускников нашей Джедайской академии.
-
Создать игру для детей, оценивающую их внимание, и провести замер в школе в качестве пилота.
-
Продвижение в поисковиках собственного сайта.
-
Написание новой главы книги о «нечтении», в которой я раскрываю природу социального чтения.
-
Планирование (написание синопсиса) книги о заметковедении.
-
Редактирование книги о «развитии сложного навыка».
-
Создание программ корпоративного обучения, проект пока ещё в зародыше.
-
Чтение статей и книг. У меня обычно всегда есть шорт-лист того, с чем работаю.
Часто так случается, что я одновременно работаю над более чем одним из проектов, и так получается, что идеи и работа над одним проектом перекидываются на работу над другим проектом. Происходит взаимное опыление проектами.
Если, работая над одним проектом, устал[15], переключаюсь на другой, проверяю, есть ли связь, и возвращаюсь обратно. Если ничего не получается, как у меня с экспериментом, описанным выше, отпускаю на пару недель и переключаюсь вообще на что-то иное.
Самое, наверное, ценное, что когда возникает «нерешаемая» в моменте проблема – количество проектов помогает «полностью» выключиться из контекста «нерешаемой» работы, погрузившись в новый проект.
За более чем четыре года работы в таком режиме я заметил, что эффект всегда положительный.
Поэтому, если вы занимаетесь работой, требующей интеллектуальную активность, соберите список своих проектов, лучше формализовать письменно, или, если у вас ещё нет, начните свою базу заметок с описания проектов и фиксируйте в заметках прогресс на каждом.
П.С.
У меня есть ещё один проект, десятый, и название у него Resident Evil. Requiem, люблю, знаете, иногда поиграть, и эта игрушка давно привлекла моё внимание.
1]: Я пока нигде в открытых источниках это исследование не публиковал ещё, чтобы антиплагиат не снизил оригинальность. Пока просто поверьте на слово.
Вопрос Б2. Иммунная система работает в две линии обороны. Объясни своими словами, чем они отличаются и почему организму нужны обе — нельзя обойтись только одной. ↩︎
Вопрос В1. Твой друг говорит: «Я переболел ветрянкой в детстве и с тех пор ни разу не заразился снова, хотя несколько раз контактировал с больными детьми. Как это вообще возможно?» ↩︎
Используя «потому что», «для того чтобы». ↩︎
приемлемыми и неприемлемыми ↩︎
Ричард Фейнман (1918–1988) — американский физик-теоретик, лауреат Нобелевской премии по физике 1965 года. Широко известен не только научными работами, но и умением объяснять сложные идеи простым языком. ↩︎
Rota G.-C. Ten Lessons I wish I Had Been Taught под ред. F. Palombi, Boston, MA: Birkhäuser Boston, 1997. C. 195–203. ↩︎
Джан-Карло Рота (1932–1999) — итало-американский математик и философ, профессор MIT. Был лично знаком с Фейнманом. Его эссе «Ten Lessons I Wish I Had Been Taught» стало культовым текстом среди математиков и учёных. ↩︎
Особенно такое, как «педагогическое» вмешательство. ↩︎
Выготский Л. С. История развития высших психических функций / Л. С. Выготский, Москва: Издательство Юрайт, 2025. ↩︎
произвести опрос и сделать кое-какие корреляционные «замеры»/выводы. ↩︎
У меня уже есть исследование о корреляции экранного времени, сна и спорта с академической успеваемостью. Теперь я вот хотел бы сфокусировать своё внимание на усталости-сне-успеваемости. А для этого мне нужно «собрать» страницу с таблицей Шульте и прогнать детей в классе информатики. Пока дизайн описан «на коленке», но он есть. ↩︎
Сейчас у нас с сыном стоит такая задача. Ему нравятся жучки/паучки, но есть ещё ИТ-вертикаль, инженерная, математическая и т. д. Везде он преуспеет, вот и думаем. ↩︎
Я когда-то искал способы, собственно этот сайт, канальчик в телеграм, форум, выступления на конференциях является продуктом этого проекта. ↩︎
Это совет Фейнмана, не мой, откуда у него такая цифра, не знаю. У меня никогда более 10 не было. ↩︎
Не только устал, часто бывает, что столкнулся с проблемой, решить которую не могу. Для меня самым лучшим лекарством бывает «отойти» на какое-то время. ↩︎