R в действии

Краткое оглавление Оглавление Предисловие от издательства Отзывы и пожелания Список опечаток Нарушение авторских прав Предисловие Благодарности Об этой книге Что нового в третьем издании Кому адресована эта книга Структура книги Совет специалистам по интеллектуальному анализу данных Примеры Принятые обозначения Живое обсуждение книги Об авторе Об иллюстрации на обложке Часть I. Начало работы 1. Знакомство с R 1.1. Зачем использовать R? 1.2. Получение и установка R 1.3. Работа в R 1.3.1. Начало работы 1.3.2. Использование RStudio Окно сценария Окно консоли Окна окружения и истории Окно диаграммы 1.3.3. Как получить помощь 1.3.4. Рабочее пространство 1.3.5. Проекты 1.4. Пакеты 1.4.1. Что такое пакеты? 1.4.2. Установка пакета 1.4.3. Загрузка пакета 1.4.4. Получение информации о пакете Распространенные ошибки в программировании на R 1.5. Передача вывода на ввод: повторное использование результатов 1.6. Работа с большими массивами данных 1.7. Учимся на примере Итоги 2. Создание набора данных 2.1. Что такое набор данных? 2.2. Структуры данных 2.2.1. Векторы 2.2.2. Матрицы 2.2.3. Массивы 2.2.4. Таблицы данных Функция with Названия строк 2.2.5. Факторы 2.2.6. Списки 2.2.7. Усовершенствованные таблицы данных Информация для программистов 2.3. Ввод данных 2.3.1. Ввод данных с клавиатуры 2.3.2. Импорт данных из текстового файла с разделителями Параметр stringsAsFactors Импорт данных через соединения 2.3.3. Импорт данных из Excel 2.3.4. Импорт данных из JSON-файлов 2.3.5. Извлечение данных из веб-страниц 2.3.6. Импорт данных из SPSS 2.3.7. Импорт данных из SAS 2.3.8. Импорт данных из Stata 2.3.9. Импорт данных из баз данных Интерфейс ODBC Пакеты, связанные с DBI 2.3.10. Импорт данных при помощи Stat/Transfer 2.4. Аннотирование наборов данных 2.4.1. Подписи для переменных 2.4.2. Подписи для значений переменных 2.5. Полезные функции для работы с объектами Итоги 3. Основы управления данными 3.1. Рабочий пример 3.2. Создание новых переменных 3.3. Перекодирование переменных 3.4. Переименование переменных 3.5. Пропущенные значения 3.5.1. Перекодирование значений в отсутствующие 3.5.2. Исключение пропущенных значений из анализа 3.6. Календарные даты 3.6.1. Преобразование дат в текстовые переменные 3.6.2. Получение дополнительной информации 3.7. Преобразования данных из одного типа в другой 3.8. Сортировка данных 3.9. Объединение наборов данных 3.9.1. Добавление столбцов Объединение по горизонтали с помощью cbind() 3.9.2. Добавление строк 3.10. Разделение наборов данных на составляющие 3.10.1. Выбор переменных 3.10.2. Исключение переменных из выборки 3.10.3. Выборка наблюдений 3.10.4. Функция subset() 3.10.5. Выборка случайных наблюдений 3.11. Использование dplyr для работы с таблицами данных 3.11.1. Основные функции из пакета dplyr 3.11.2. Объединение инструкций с помощью оператора конвейера 3.12. Использование инструкций SQL для работы с таблицами данных Итоги 4. Начало работы с диаграммами 4.1. Создание диаграмм с помощью пакета ggplot2 4.1.1. ggplot 4.1.2. Геометрические объекты 4.1.3. Группировка Упрощение диаграмм 4.1.4. Масштабирование 4.1.5. Категоризованные диаграммы 4.1.6. Метки 4.1.7. Темы 4.2. Особенности пакета ggplot2 4.2.1. Параметры с данными и настройками визуального представления 4.2.2. Диаграммы как объекты 4.2.3. Сохранение диаграмм 4.2.4. Типичные ошибки Итоги 5. Дополнительные приемы управления данными 5.1. Задача по управлению данными 5.2. Числовые и текстовые функции 5.2.1. Математические функции 5.2.2. Статистические функции Стандартизация данных 5.2.3. Функции распределения вероятности Выбор начального значения для генератора случайных чисел Генерирование многомерных данных с нормальным распределением 5.2.4. Текстовые функции 5.2.5. Другие полезные функции 5.2.6. Применение функций к матрицам и таблицам данных 5.2.7.Решение задачи по управлению данными 5.3. Управление потоком выполнения 5.3.1. Циклы for while 5.3.2. Выполнение по условию if-else ifelse switch 5.4. Пользовательские функции 5.5. Агрегирование и реструктуризация данных 5.5.1. Транспонирование 5.5.2. Преобразование широкого набора данных в длинный и обратно 5.6. Агрегирование данных Итоги Часть II. Базовые методы 6. Базовые диаграммы 6.1. Столбиковые диаграммы 6.1.1. Простые столбиковые диаграммы 6.1.2. Столбиковые диаграммы: составные, с группировкой и спинограммы 6.1.3. Столбиковые диаграммы средних значений 6.1.4. Настройка столбиковых диаграмм Цвета Параметры fill и color Подписи 6.2. Круговые диаграммы 6.3. Диаграммы «плоское дерево» 6.4. Гистограммы 6.5. Диаграммы ядерной оценки функции плотности Вывод в черно-белом виде 6.6. Коробчатые диаграммы 6.6.1. Использование коробчатых диаграмм для сравнения групп 6.6.2. Скрипичные диаграммы 6.7. Точечные диаграммы Итоги 7. Основные методы статистической обработки данных 7.1. Описательные статистики 7.1.1. Калейдоскоп методов 7.1.2. Дополнительные возможности 7.1.3. Вычисление описательных статистик для групп данных 7.1.4. Получение описательных статистик в интерактивном режиме с помощью dplyr 7.1.5. Визуализация результатов 7.2. Таблицы частот и таблицы сопряженности 7.2.1. Создание таблиц частот Таблицы для одной переменной Таблицы для двух переменных Многомерные таблицы 7.2.2. Критерии независимости Хи-квадрат Точный критерий Фишера Критерий Кохрана–Мантеля–Хензеля 7.2.3. Меры тесноты связи 7.2.4. Визуализация результатов 7.3. Корреляция 7.3.1. Типы корреляций Коэффициенты Пирсона, Спирмена и Кенделла Частные корреляции Другие виды корреляций 7.3.2. Проверка статистической значимости корреляций Другие критерии статистической значимости 7.3.3. Визуализация корреляций 7.4. Критерий Стьюдента 7.4.1. Критерий Стьюдента для независимых выборок 7.4.2. Критерий Стьюдента для зависимых выборок 7.4.3. Когда имеется больше двух групп 7.5. Непараметрические критерии межгрупповых различий 7.5.1. Сравнение двух групп 7.5.2. Сравнение более двух групп 7.6. Визуализация групповых различий Итоги Часть III. Методы средней сложности 8. Регрессия 8.1. Многоликая регрессия 8.1.1. Когда используется МНК-регрессия 8.1.2. Что нужно знать 8.2. МНК-регрессия 8.2.1. Подгонка регрессионных моделей при помощи lm() 8.2.2. Простая линейная регрессия 8.2.3. Полиномиальная регрессия Линейные и нелинейные модели 8.2.4. Множественная линейная регрессия 8.2.5. Множественная линейная регрессия с учетом взаимосвязей 8.3. Диагностика регрессионных моделей 8.3.1. Стандартный подход 8.3.2. Усовершенствованный подход Нормальность Независимость остатков Линейность Гомоскедастичность 8.3.3. Мультиколлинеарность 8.4. Необычные наблюдения 8.4.1. Выбросы 8.4.2. Точки высокой напряженности 8.4.3. Влиятельные наблюдения 8.5. Способы корректировки 8.5.1. Удаление наблюдений 8.5.2. Преобразование переменных Интерпретация лог-трансформации Предостережение, касающееся преобразований 8.5.3. Добавление или удаление переменных 8.5.4. Применение другого подхода 8.6. Выбор «лучшей» регрессионной модели 8.6.1. Сравнение моделей 8.6.2. Выбор переменных Пошаговая регрессия Регрессия по всем подмножествам 8.7. Продолжение анализа 8.7.1. Перекрестная проверка 8.7.2. Относительная важность Итоги 9. Дисперсионный анализ 9.1. Краткий обзор терминологии 9.2. Подгонка ANOVA-моделей 9.2.1. Функция aov() 9.2.2. Порядок членов в формуле Упорядочите вычисления! 9.3. Однофакторный дисперсионный анализ 9.3.1. Множественное сравнение 9.3.2. Проверка справедливости предположений 9.4. Однофакторный ковариационный анализ 9.4.1. Проверка справедливости предположений 9.4.2. Визуализация результатов 9.5. Двухфакторный дисперсионный анализ 9.6. Дисперсионный анализ повторных измерений Многообразие подходов к анализу экспериментов со смешанными эффектами 9.7. Многомерный дисперсионный анализ 9.7.1. Проверка справедливости предположений Немного теории 9.7.2. Устойчивый многомерный дисперсионный анализ 9.8. Дисперсионный анализ как регрессия Итоги 10. Анализ мощности 10.1. Краткий обзор проверки значимости гипотез Полемика вокруг проверки значимости нулевой гипотезы 10.2. Проведение анализа мощности при помощи пакета pwr 10.2.1. Критерий Стьюдента 10.2.2. Дисперсионный анализ 10.2.3. Корреляции 10.2.4. Линейные модели 10.2.5. Сравнение пропорций 10.2.6. Критерий хи-квадрат 10.2.7. Выбор размера эффекта в незнакомых ситуациях 10.3. Графический анализ мощности 10.4. Другие пакеты Итоги 11. Диаграммы средней сложности 11.1. Диаграммы рассеяния 11.1.1. Матрицы диаграмм рассеяния 11.1.2. Диаграммы рассеяния высокой плотности 11.1.3. Трехмерные диаграммы рассеяния 11.1.4. Вращение трехмерных диаграмм рассеяния 11.1.5. Пузырьковые диаграммы 11.2. Линейные графики 11.3. Кореллограммы Почему диаграммы рассеяния выглядят такими странными? 11.4. Мозаичные диаграммы Итоги 12. Статистика повторных выборок и бутстреп­-анализ 12.1. Критерии перестановок Настройка начального значения для генератора псевдослучайных чисел 12.2. Критерии перестановок в пакете coin 12.2.1. Проверка независимости двух и k выборок 12.2.2. Независимость в таблицах сопряженности 12.2.3. Независимость между числовыми переменными 12.2.4. Критерии перестановок для двух и k зависимых выборок 12.2.5. Дополнительная информация 12.3. Критерии перестановок в пакете lmPerm 12.3.1. Простая и полиномиальная регрессия 12.3.2. Множественная регрессия 12.3.3. Однофакторные дисперсионный и ковариационный анализы 12.3.4. Двухфакторный дисперсионный анализ 12.4. Дополнительные замечания о критериях перестановок 12.5. Бутстреп-анализ 12.6. Проведение бутстреп-анализа при помощи пакета boot 12.6.1. Бутстреп-анализ для одной статистики 12.6.2. Бутстреп-анализ для нескольких статистик Итоги Часть IV. Методы повышенной сложности 13. Обобщенные линейные модели 13.1. Обобщенные линейные модели и функция glm() 13.1.1. Функция glm() 13.1.2. Вспомогательные функции 13.1.3. Соответствие модели фактическим данным и регрессионная диагностика 13.2. Логистическая регрессия 13.2.1. Интерпретация параметров модели 13.2.2. Оценка влияния независимых переменных на вероятность исхода 13.2.3. Избыточная дисперсия 13.2.4. Дополнительные методы 13.3. Пуассоновская регрессия 13.3.1. Интерпретация параметров модели 13.3.2. Избыточная дисперсия 13.3.3. Дополнительные методы Пуассоновская регрессия с варьирующими временными периодами Пуассоновская регрессия для данных с избыточным числом нулей Устойчивая пуассоновская регрессия Дополнительные сведения Итоги 14. Метод главных компонент и факторный анализ 14.1. Поддержка метода главных компонент и факторного анализа в R 14.2. Главные компоненты 14.2.1. Выбор числа главных компонент 14.2.2. Выделение главных компонент 14.2.3. Вращение главных компонент 14.2.4. Вычисление оценок главных компонент «Маленькое мгновение» завоевывает мир 14.3. Разведочный факторный анализ 14.3.1. Определение числа извлекаемых факторов 14.3.2. Выделение общих факторов 14.3.3. Вращение факторов 14.3.4. Оценки факторов 14.3.5. Другие пакеты для проведения факторного анализа 14.4. Другие модели скрытых переменных Итоги 15. Временные ряды 15.1. Создание объекта временного ряда Объекты временных рядов в R 15.2. Сглаживание и сезонная декомпозиция 15.2.1 Сглаживание с помощью простых скользящих средних 15.2.2. Сезонная декомпозиция 15.3. Экспоненциальные модели прогнозирования 15.3.1. Простое экспоненциальное сглаживание 15.3.2. Экспоненциальное сглаживание Холта и Холта–Уинтерса 15.3.3. Функция ets() и автоматизация прогнозирования 15.4. Модели прогнозирования ARIMA 15.4.1. Основные понятия 15.4.2. Модели ARMA и ARIMA Проверка стационарности временного ряда Определение одной или нескольких разумных моделей Подгонка модели Оценка адекватности модели Прогнозирование Будьте осторожны с прогнозированием 15.5. Дополнительная информация Итоги 16. Кластерный анализ 16.1. Общие этапы кластерного анализа 16.2. Вычисление расстояний Кластерный анализ со смешанными типами данных 16.3. Иерархический кластерный анализ 16.4. Разделяющие методы кластерного анализа 16.4.1. Кластеризация методом k-средних 16.4.2. Разделение вокруг медоидов 16.5. Исключение несуществующих кластеров 16.6. Дополнительная информация Итоги 17. Классификация 17.1. Подготовка данных 17.2. Логистическая регрессия 17.3. Деревья решений 17.3.1 Классические деревья решений 17.3.2. Деревья условного вывода 17.4. Случайные леса 17.5. Машины опорных векторов 17.5.1. Настройка модели SVM 17.6. Выбор лучшего прогностического решения 17.7. Интерпретация прогнозов черного ящика 17.7.1. Графики разбивки 17.7.2. График значений Шепли 17.8. Дополнительная информация Итоги 18. Продвинутые методы работы с пропущенными данными 18.1. Этапы работы с пропущенными данными Классификация типов пропущенных данных 18.2. Идентификация пропущенных значений 18.3. Исследование структуры пропущенных данных 18.3.1. Представление пропущенных значений в виде таблицы 18.3.2. Использование корреляции для исследования пропущенных значений 18.4. Определение причин отсутствия данных и их влияния 18.5. Рациональный подход к обработке отсутствующих данных 18.6. Удаление пропущенных данных 18.6.1. Анализ полных строк (построчное удаление) 18.6.2. Анализ доступных наблюдений (попарное удаление) 18.7. Одиночное восстановление пропущенных данных 18.7.1. Простое восстановление 18.7.2. Восстановление методом k-ближайших соседей 18.7.3. missForest 18.8. Множественное восстановление пропущенных данных Как функция mice() замещает пропущенные значения? 18.9. Другие подходы обработки пропущенных данных Итоги Часть V. Расширение возможностей 19. Продвинутые методы работы с диаграммами 19.1. Управление отображением осей 19.1.1. Настройка осей Настройка осей для непрерывных переменных Настройка осей для категориальных переменных 19.1.2. Настройка цветов Непрерывные цветовые схемы Качественные цветовые схемы 19.2. Изменение темы оформления 19.2.1. Предопределенные темы оформления 19.2.2. Настройка шрифтов 19.2.3. Настройка легенды 19.2.4. Настройка оформления области диаграммы 19.3. Добавление аннотаций Добавление подписей к точкам Подписи в столбиковых диаграммах Выделение деталей 19.4. Объединение диаграмм 19.5. Создание интерактивных диаграмм Итоги 20. Продвинутые приемы программирования 20.1. Обзор языка 20.1.1. Типы данных Атомарные векторы Обобщенные векторы, или списки Индексирование 20.1.2. Структуры управления потоком выполнения Циклы for if() и else ifelse() 20.1.3. Создание функций Синтаксис определения функций Область видимости объекта 20.2. Работа с окружениями 20.3. Нестандартная оценка 20.4. Объектно-ориентированное программирование 20.4.1. Обобщенные функции 20.4.2. Ограничения модели S3 20.5. Разработка эффективного кода 20.5.1. Эффективный ввод данных 20.5.2. Векторизация 20.5.3. Правильный размер объектов 20.5.4. Распараллеливание Обнаружение узких мест 20.6. Отладка 20.6.1. Распространенные источники ошибок 20.6.2. Инструменты отладки 20.6.3. Параметры сеанса для поддержки отладки 20.6.4. Визуальный отладчик RStudio 20.7. Дополнительная информация Итоги 21. Создание динамических отчетов 21.1. Шаблонный подход к отчетам 21.2. Создание отчета с помощью R и R Markdown Создание и обработка документов R Markdown в RStudio 21.3. Создание отчетов на R и LaTeX 21.3.1. Создание параметризованного отчета 21.4. Преодоление типичных проблем с R Markdown 21.5. Дополнительная информация Итоги 22. Создание пакетов 22.1. Пакет edatools 22.2. Создание пакета 22.2.1. Установка средств разработки 22.2.2. Создание проекта пакета 22.2.3. Написание функций для пакета Сбор информации о наборе данных Функции вывода информации в текстовом и графическом виде 22.2.4. Добавление документации с описанием функций 22.2.5. Добавление общего файла справки (необязательно) 22.2.6. Добавление демонстрационных данных в пакет (необязательно) 22.2.7. Добавление виньетки (необязательно) 22.2.8. Редактирование файла DESCRIPTION 22.2.9. Сборка и установка пакета Где моя виньетка? 22.3. Распространение пакета 22.3.1. Распространение исходного файла пакета 22.3.2. Отправка в CRAN 22.3.3. Размещение на GitHub 22.3.4. Создание веб-сайта пакета 22.4. Дополнительная информация Итоги 23. Продвинутая графика с использованием пакета lattice 23.1. Пакет lattice 23.2. Условные переменные 23.3. Функции для изменения формата ячеек 23.4. Группировка переменных 23.5. Графические параметры 23.6. Настройка планок на диаграммах 23.7. Размещение диаграмм на странице 23.8. Дополнительная информация Послесловие. В погоне за кроликом Приложение A. Графические пользовательские интерфейсы Приложение B. Начальная настройка окружения Приложение C. Экспорт данных из R C.1. Текстовый файл CSV C.2. Электронная таблица Excel C.3. Другие статистические приложения Приложение D. Матричная алгебра в R Приложение E. Пакеты, использованные в этой книге Приложение F. Работа с большими наборами данных F.1. Эффективное программирование F.2. Хранение данных вне оперативной памяти F.3. Аналитические пакеты для больших объемов данных F.4. Комплексные решения для работы с огромными наборами данных Приложение G. Обновление версии R G.1. Автоматизированное обновление R (только для Windows) G.2. Обновление R вручную (для Windows и macOS) G.3. Обновление R в Linux Список литературы Предметный указатель R is the most powerful tool you can use for statistical analysis. This definitive guide smooths R's steep learning curve with practical solutions and real-world applications for commercial environments.In R in Action, Third Edition you will learn how to: Set up and install R and RStudio Clean, manage, and analyze data with R Use the ggplot2 package for graphs and visualizations Solve data management problems using R functions Fit and interpret regression models Test hypotheses and estimate confidence Simplify complex multivariate data with principal components and exploratory factor analysis Make predictions using time series forecasting Create dynamic reports and stunning visualizations Techniques for debugging programs and creating packages R in Action, Third Edition makes learning R quick and easy. That's why thousands of data scientists have chosen this guide to help them master the powerful language. Far from being a dry academic tome, every example you'll encounter in this book is relevant to scientific and business developers, and helps you solve common data challenges. R expert Rob Kabacoff takes you on a crash course in statistics, from dealing with messy and incomplete data to creating stunning visualizations. This revised and expanded third edition contains fresh coverage of the new tidyverse approach to data analysis and R's state-of-the-art graphing capabilities with the ggplot2 package. About the technology Used daily by data scientists, researchers, and quants of all types, R is the gold standard for statistical data analysis. This free and open source language includes packages for everything from advanced data visualization to deep learning. Instantly comfortable for mathematically minded users, R easily handles practical problems without forcing you to think like a software engineer. About the book R in Action, Third Edition teaches you how to do statistical analysis and data visualization using R and its popular tidyverse packages. In it, you'll investigate real-world data challenges, including forecasting, data mining, and dynamic report writing. This revised third edition adds new coverage for graphing with ggplot2, along with examples for machine learning topics like clustering, classification, and time series analysis. What's inside Clean, manage, and analyze data Use the ggplot2 package for graphs and visualizations Techniques for debugging programs and creating packages A complete learning resource for R and tidyverse About the reader Requires basic math and statistics. No prior experience with R needed. About the author Dr. Robert I Kabacoff is a professor of quantitative analytics at Wesleyan University and a seasoned data scientist with more than 20 years of experience. Table of Contents PART 1 GETTING STARTED 1 Introduction to R 2 Creating a dataset 3 Basic data management 4 Getting started with graphs 5 Advanced data management PART 2 BASIC METHODS 6 Basic graphs 7 Basic statistics PART 3 INTERMEDIATE METHODS 8 Regression 9 Analysis of variance 10 Power analysis 11 Intermediate graphs 12 Resampling statistics and bootstrapping PART 4 ADVANCED METHODS 13 Generalized linear models 14 Principal components and factor analysis 15 Time series 16 Cluster analysis 17 Classification 18 Advanced methods for missing data PART 5 EXPANDING YOUR SKILLS 19 Advanced graphs 20 Advanced programming 21 Creating dynamic reports 22 Creating a package 'R in Action' presents both the R system and the use cases that make it such a compelling package for business developers. The book begins by introducing the R language, and then moves on to various examples illustrating R's features.