Мои впечатления о книге "Золотое сечение" Марио Ливио. Часть VI

См. также
Мои впечатления о книге "Золотое сечение" Марио Ливио. Часть I
Часть II. Алгебраические свойства золотого сечения.
Часть III. Числа Фибоначчи и золоте сечение.
Часть IV. Цепные дроби и золоте сечение.
Часть V. Фрактальная геометрия и золоте сечение.
Часть VI. Закон Бенфорда, или закон первой цифры.
Часть VII. Золотое сечение в природе.


UPDATE-2:
Benford's Law
END OF UPDATE

Закон Бенфорда, или закон первой цифры
Те, кому эта часть неинтересна могут спокойно её пропустить.

Эта тема не связано с золотым сечением. Однако, в книге это тема упомянута, правда, раскрыта из рук вон плохо. Об этом я писал в первой части.

В книге есть отдалённая аналогия Закона Бенфорда, которую я хотел бы здесь привести. Некто Хилл на первой лекции по теории вероятности просить студентов сделать небольшой эксперимент. Если девичье фамилия матери начинаеться на букву от "а" до "о", то нужно подбросить монету 200 раз и записать результат. Остальные студенты, должны выдумать последовательность орлов-решек длиной в 200 символов. На следующий день Хилл собирает результаты и через короткое время с точностью в 95% он может отличить сфабрикованную последовательность от случайной. Каким образом он это делает? В каждой настоящей последовательности в 200 подбросований монеты будет более высокой вероятность нахождения 6 орлов или решок подряд. В противоположность этому, фальсификаторы почти никогда не подумают написать такую последовательность.

Закон Бенфорда, также применяется для выявления фальсфикации и он также основан на контринтуитивных свойствах.

Текст ниже есть по-сути цитата с википедии http://ru.wikipedia.org/wiki/Закон Бенфорда
Ниже есть продолжение.

Закон Бенфорда, или закон первой цифры описывает вероятность появления определённой первой значащей цифры в распределениях величин, взятых из реальной жизни. Закон верен для многих таких распределений, но не для всех.
Распределение Бенфорда. По горизонтали — первые значащие цифры, по вертикали — вероятность их появления

Закон, обнаруженный Бенфордом выглядит так: если у нас основание системы счисления b b > 2, то для цифры d (d ∈ {1, …, b − 1} ) вероятность быть первой значащей цифрой составляет

$P(d)=\log_b(d+1)-\log_b(d)=\log_b (1+\frac{1}{d})$

Это в точности расстояние между d и d+1 на логарифмической шкале.

Для равномерного распределения, если вы имеете цифры 1, 2, 3, 4 ,5 ,6 ,7, 8, 9, 0(=10) то у вас есть 10 отрезков (от 0 до 1,...,от 8 до 9, от 9 до 10). Обратите внимание, все отрезки лежат в отрезке [0, 10]. Для отрезка [d, d+1] равномерное распределение должно быть пропорционально его длине, т.е. длине отрезка [d, d+1], т.е. (d+1)-d, поделённое на длину отрезка [0, 10], которая является 10-0.

$\frac {(d+1)-d}{10-0}= \frac {1}{10} $

Если логарифмы непрерывно распределены, вы должны приложить функцию логарифма на число перед тем, как вы смотрите на отрезки. В этом случае вы будете иметь интервалы от log₁₀0 до log₁₀1,..., от log₁₀8 до log₁₀9, от log₁₀9 до log₁₀10. Все отрезки лежат в интервале [log₁₀1, log₁₀10]=[0, 1]. Длина последнего является 1-0. Итак, отрезок [d, d+1] на ''нормальной'' шкале, в ''логарифмической'' шкале равномерное распределение будет пропорционально его длине, т.е.:

$\frac {\log_{10}(d+1)-\log_{10}(d)}{1-0}= \log_{10}(d+1)-\log_{10}(d)$


Распределение Бенфорда. По горизонтали — первые значащие цифры, по вертикали — вероятность их появления.


В таблице ниже представлены найденные Бенфордом закономерности, верные для десятичной системы счисления.

d	p
1	30,1%
2	17,6%
3	12,5%
4	9,7%
5	7,9%
6	6,7%
7	5,8%
8	5,1%
9	4,6%

При этом распределение зависит только от системы счисления, но не от единицы измерения. Другими словами, если тонны перевести в фунты, а квадратные километры — в акры, распределение серьёзно не изменится.

Впервые проявление этого закона заметил американский астроном Саймон Ньюкомб в 1881 году. Он обнаружил, что книги, содержащие логарифмические таблицы, истрёпаны там, где содержатся логарифмы чисел, начинающихся с единицы, и целы для чисел, начинающихся на 9.

Это явление было повторно обнаружено физиком Фрэнком Бенфордом в 1938 году. Бенфорд проанализировал около 20 таблиц, среди которых были данные о площади бассейна 335 рек, удельной теплоёмкости и молекулярном весе тысяч химических соединений и, в том числе, номера домов первых 342 лиц, указанных в справочнике. Анализ чисел показал, что единица является первой значащей цифрой с вероятностью не $\frac{1}{9}$, как следовало ожидать, а около $\frac{1}{3}$.

Впоследствии закон Бенфорда получил своё объяснение — он применим ко множествам чисел, которые могут расти экспоненциально (другими словами, темп роста величины пропорционален её текущему значению $\dot x \sim x$). Например, в их число входят счета за электричество, остатки товаров на складах, цены на акции, численность населения, смертность, длины рек, площади стран, высоты самых высоких сооружений в мире.

Закон обычно не действует для распределений с заданными минимальными или максимальными значениями (список компаний с доходом от 50000 до 100000 долларов). Также не подходят распределения, охватывающие только один или два порядка величин (IQ взрослых). Закон Бенфорда не применим ко множеству букв. Объём данных должен быть достаточен для применения статистических методов.

Закон Бенфорда может быть объяснён разными путями.

Результат процесса с экспоненциальным ростом. Точная форма Закона Бенфорда может быть объяснена если предположить, что логарифмы числа равномерно распределены; к примеру, вероятность нахождения числа между 100 и 1000 (логарифм между 2 и 3) является такой же как и между 10 000 и 100 000 (логарифм между 4 и 5). Для многих множеств чисел, особенно имеющих экспоненциальный рост, таких как доходы или цены на бирже, это разумное предположение.

К примеру, если количество увеличивается непрерывно и удваивается каждый год, тогда оно будет в два раза больше начального значения через год, в четыре раза больше начального значения через два года, в восемь раз больше начального значения через три года, и т. д. Когда это количество достигает значения 100, оно будет иметь значащую цифру 1 на протяжении года, достигая 200 в конце первого года. В течение следующего года значение возрастёт с 200 до 400; значащая цифра будет 2 (значение будет от 200 до 300) для немногим более семи месяцев (напоминаю, мы имеем дело с экспоненциальным ростом, то есть с 200 до 300 функция растёт «медленнее», чем с 300 до 400) и 3 для оставшихся пяти месяцев. На третий год значащая цифра пройдёт значения 4, 5, 6, и 7 проводя всё меньше времени, чтобы достичь следующей цифры, достигая 800 к концу того года. В начале четвёртого года, значащая цифра пройдёт от 8 до 9. Значащая цифра станет опять 1, когда значение достигнет 1000 и всё начнётся сначала, понадобится год, чтобы удвоить значение от 1000 до 2000. Из этого примера видно, если значения выборку непрерывно случайно распределено в течение тех лет, более вероятно измерять значащую цифру 1 и, соответственно, менее вероятно измерять более высокую значащую цифру.

Этот пример делает вероятным, что таблицы данных, которые включают измерения экспоненциально растущих величин будут согласовываться с законом Бенфорда. Однако этот закон выполняется также для многих случаев, когда экспоненциальный рост не очевиден.

Масштабная инвариантность. Этот закон может быть альтернативно объяснён тем фактом, что если действительно верно, что первая цифра имеет особое распределение, то оно должно не зависеть от величин, в которых оно измеряется. Это значит, что при переводе, к примеру, фута в ярды (умножением на константу), распределение должно остаться неизменным — это масштабная инвариантность, и единственное непрерывное распределение, которое выполняет это требования является то, в которой логарифм равномерно распределён.

К примеру, первая (не нулевая) цифра длины или расстояния объекта должна иметь такое же распределение независимо от того является ли измерение в футах, ярдах или чем-то другим. Но в ярде есть три фута, поэтому вероятность, что первая цифра длины в ярдах будет 1 должно быть такой же как вероятность, что первая цифра длины в футах 3, 4 или 5. Применяя это ко всем возможным шакалам измерений даёт логарифмическое распределение, и учитывая что log10(1) = 0 и log10(10) = 1 даёт закон Бенфорда. Т.е. если есть распределение первой цифры, которое не зависит от единиц измерения, единственным распределением первой цифры может быть то, которое подчиняется закону Бенфорда.

Многократные распределения вероятности. Заметьте, что для чисел взятых с определённого распределения, к примеру значение IQ, высоты человека или других переменных подчиняющих нормальному распределению, закон не выполняется. Однако, если "перемешать" числа с этих распределений, к примеру, взяв числа с газетных статей, закон Бенфорда снова проявится. Это также может быть доказано математически: если неоднократно "случайно" выбирать распределение вероятностей и потом случайно выбрать число согласно этому распределению, получившееся список будет подчинятся закону Бенфорда. Для деталей см. Theodore P. Hill. The first digit phenomenon, Theodore P. Hill. A Statistical Derivation of the Significant-Digit Law.

Примеры.
1) В списке высот 58 высочайших строений мира в своей категории (состоянием на сентябрь 2010) цифра «1» стоит на первой позиции намного чаще, чем цифра «9», независимо от единицы измерения:

Первая цифра	Метры		Фунты
		Количество	%	Количество	%
1	27	47,4 %	13	22,8 %
2	8	14,0 %	8	14,0 %
3	7	12,3 %	8	14,0 %
4	5	8,8 %	3	5,3 %
5	2	3,5 %	14	24,6 %
6	3	5,3 %	5	8,8 %
7	2	3,5 %	3	5,3 %
8	3	5,3 %	1	1,8 %
9	0	0,0 %	2	3,5 %

2)

Распределение первых цифр населения 237 стран мира. Чёрные точки — распределение Бенфорда.

3)
Закон Бенфорда нашёл своё применение в анализе финансовых документов для выявления подлогов. См. I've Got Your Number. How a mathematical phenomenon can help CPAs uncover fraud and other irregulaities. Journal of Accountancy


Текстовое содержимое доступно в соответствии с лицензией Creative Commons Attributions-ShareAlike (CC-BY-SA), http://creativecommons.org/licenses/by-sa/3.0/. Источник: Википедия http://ru.wikipedia.org/wiki/Закон Бенфорда. Автор: http://ru.wikipedia.org/w/index.php?title=Закон Бенфорда&action=history.

Продолжение следует.