Моето сътрудничество с Амос в началото на 70-те години започна с разискване на твърдението, че хората, които нямат тренинг в статистиката, са добри „интуитивни статистици“. Той разказа на семинара ми за изследователите от Мичиганския университет, които били по принцип оптимисти относно интуитивната статистика. Аз имах силно съмнение в истинността на това твърдение, което приемах лично: наскоро бях открил, че не съм добър интуитивен статистик, а не вярвах да съм по-лош от останалите хора. За един психолог-изследовател вариацията при вземането на извадки не е куриоз; тя е неприятност и скъпо струваща пречка, която превръща предприемането на всеки изследователски проект в хазартна игра. Да предположим, че искате да потвърдите хипотезата, че речникът на едно средно шестгодишно момиче е по-голям от речника на едно момче на същата възраст. Хипотезата е вярна; средният речник на момичетата действително е по-голям. Момичетата и момчетата се различават обаче много и случайно можете да изберете извадка, в която разликата е неубедителна, или дори такава, в която момчетата наистина имат по-добри успехи. Ако вие сте изследователят, този резултат ви струва скъпо, защото сте пропилели време и усилие и не сте успели да потвърдите една хипотеза, която е фактически вярна. Използването на достатъчно голяма извадка е единственият начин да намалите риска. Изследователи, които избират прекалено малка извадка, се излагат на произвола на късмета. При всеки определен размер на извадка рискът от грешка може да се оцени с помощта на доста проста процедура. Традиционно обаче психолозите не си служат с изчисления, за да определят размера на извадката. Те си служат със своята преценка, която често пъти е дефектна. Една статия, която бях прочел скоро преди дебата с Амос, демонстрираше грешката, която правеха (и продължават да правят) изследователите, чрез едно ярко наблюдение. Авторът посочваше, че психолозите често избират толкова малки извадки, че се излагат на 50% риск да не успеят128 да потвърдят своите верни хипотези! Никой изследовател със здрав разум не би приел подобен риск. Вероятното обяснение беше, че решенията на психолозите за размера на извадката отразяваха преобладаващите интуитивни погрешни схващания за размера на варирането в извадките. Статията ме шокира, защото обясняваше някои проблеми, които бях имал в собствената си работа. Подобно на повечето психолози-изследователи, и аз рутинно избирах извадки, които бяха прекалено малки, и често получавах резултати, които нямаха смисъл. Сега знаех защо: странните резултати всъщност бяха артефакти129 на изследователския ми метод. Грешката ми беше особено неудобна, защото преподавах статистика и знаех как да изчисля размера на извадката, който би намалил риска от неуспех до приемливо ниво. Обаче никога не избирах размера на извадката чрез изчисляване. И аз като колегите си вярвах на традицията и на интуицията си, когато планирах експериментите си, и никога не мислех сериозно за проблема. Когато Амос посети семинара ми, вече бях стигнал до заключението, че моите интуиции показват недостатъчност, а в хода на семинара бързо постигнахме съгласие, че мичиганските оптимисти грешат. Амос и аз се заехме да проверим дали аз съм единственият глупак, или не съм член от мнозинство глупаци, като тестваме дали изследователи, подбрани за математическа експертиза, няма да направят подобни грешки. Разработихме анкета, която описваше реалистични ситуации на изследвания, включително копия на успешни експерименти. От изследователите се искаше да изберат размери на извадки, да оценят рисковете за неуспех, на които техните решения ги излагаха, и да предложат съвет на хипотетични аспиранти, планиращи свои изследвания. Амос събра отговорите на група опитни участници (включително авторите на два учебника по статистика) на събрание на Обществото по математическа психология. Резултатите бяха недвусмислени: аз не бях единственият глупак. Всяка една от грешките, които бях допуснал аз, се споделяше от голямо мнозинство от нашите респонденти. Очевидно бе, че дори експертите обръщаха недостатъчно внимание на размера на извадката. Амос и аз озаглавихме първата си съвместна статия „Вярата в закона на малките числа“.130 Иронично обяснихме, че „интуициите за случайното вземане на извадки, изглежда, удовлетворяват закона на малките числа, който гласи, че законът на големите числа е еднакво приложим и към малките числа“. Освен това в нея отправихме подчертана препоръка към изследователите: да разглеждат своите „статистически интуиции с необходимото подозрение и да заместват формиралото се впечатление с изчисление винаги, когато това е възможно“.131