Основи на анализа на големи данни с Python - част 1

Настоящият учебник има за цел да въведе читателя в света на анализа на големи данни с помощта на програмирането и използването на статистически методи. Представени са основите на програмирането с езика Python, както и понятията, методологията, методите и моделирането на явленията и процесите чрез статистиката и иконометрията. Текстът е подходящ както за абсолютно начинаещи, така и за тези, които имат основни познания и опит в програмирането и анализа на данни. Може да бъде полезен и за всички, които искат да започнат да използват Python в изследванията и бизнеса си, прилагайки статистически и иконометрични техники за анализа на данни с негова помощ.

Първите две глави са посветени на същността на данните, понятията и процеса на анализ на големите данни. Следващите три глави са свързани основно с работата с данни, оператори, цикли, функции и структури от данни. Примерите, които са използвани в тези раздели, са разбираеми и ясни, за да се усвои по-лесно представеният материал. В отделни глави са изложени основните библиотеки, необходими за анализа на големи данни: NumPy, Pandas, Matplotlip. Специално място е отредено на библиотеките, свързани с методите за научен, статистически и иконометричен анализ като SciPy, SciKit-Learn и StatsModels. Последните четири глави са структурирани така, че да се даде на читателя теоретична рамка на използваните статистически и иконометрични методи и с разбираеми примери да се покаже как се използват отделните методи при описателния, диагностичния, прогностичния и предписващия анализ. Данните, използвани в примерите, са генерирани от публично достъпни интернет източници. Поради постоянната им достъпност те могат да бъдат изтегляни и прилагани към различни методологични подходи по всяко време, което осигурява възможност за проверка и повторение на представените методи. Всички фигури и таблици в книгата са разработени от автора с изключение на изрично посочените.

За по-ефективно усвояване на представения материал от читателите, които са в самото начало и нямат предварителна подготовка, е препоръчително обучението да започне с разделите, посветени на основни понятия като: работа с данни, оператори, цикли, функции и структури от данни. За по-напредналите читатели, които се стремят към по-успешно приложение на статистическите и иконометричните техники и модели, е важно да не бъдат пропускани разделите, свързани с използването на библиотеките в Python. Настоящата книга може да бъде полезна както за студенти, докторанти и изследователи в академичната сфера, така и за практици в бизнеса, които прилагат съвременни методи за моделиране и прогнозиране.

Включеният материал е съобразен с програмата по дисциплината „Големи данни с Python“, изучавана в магистърската програма на специалност „Анализ на данни със специализиран софтуер“ към катедра „Статистика и иконометрия“ на Университета за национално и световно стопанство.

Настоящата книга представлява първа стъпка от поредица, посветена на анализа на големи данни с Python. Тя има въвеждащ характер и поставя основите, върху които ще се надгражда в следващи издания, фокусирани върху по-специфични методи, алгоритми и практически приложения. По този начин текстът изпълнява ролята на отправна точка, осигуряваща необходимата теоретична подготовка и практически умения, които ще подпомогнат читателя при по-задълбочено изучаване на техники за обработка, моделиране и интерпретация на големи масиви от данни.

УНСС
София 1700
жк Студентски град Христо Ботев, ул. 8-ми декември 19
v.mitev@unwe.bg

Предговор
Въведение в анализа на данни

• Същност на данните
• Видове данни
• Според структурата на данните
• Според естеството на данните
• Според времевото измерение
• Същност на анализа на данни
• Процесът на анализ на данни

Въведение в теорията за големите данни

• Същност на големите данни
• Характеристики на големите данни
• Видове данни в контекста на анализа на големи данни
• Според предназначението/приложението на данните
• Според източника на данните
• Според достъпността и контрола
• Според времевата стойност
• Според честотата на обработване
• Според типа на данните
• Според формата на представяне
• Големи данни: концепции и процеси в управлението
• Деидентификация и повторна идентификация
• Метаданни, семантика и тройки
• Класификации и онтологии
• Процеси в управлението на големи данни
• Процесът на анализ на големи данни

Език за програмиране - Python

• Езикът Python
• Основни характеристики на Python
• Инсталиране на Python
• Среди за програмиране на Python
• PyCharm
• Spyder
• Jupyter Notebook и JupyterLab
• Библиотеки в Python

Въведение в Python

• Променливи и прости типове данни
• Оператори
• Условни оператори
• Цикли
• Цикъл for
• Цикъл while
• Математически функции
• Текстови низове
• Функции
• Вградени функции (Built-in functions)
• Потребителски функции (User-defined functions)
• Анонимни функции (Lambda functions)
• Вложени функции (Nested functions)
• Модули в Python

Структури на данни: множества, списъци, кортежи и речници в Python

• Множество
• Списъци
• Операции със списъци
• Кортежи
• Речници
• Операции с речници
• Вложени речници в Python

Библиотеката NumPy при обработка и анализ на данни

• Същност и значение на библиотеката NumPy
• Импортиране на библиотеката NumPy
• Основен обект в библиотеката NumPy
• Създаване на масив array
• Основни операции с масиви в NumPy
• Индексиране и действия с индекси при масивите
• Обработка на масиви
• Начин на управление на формата на масивите
• Обединяване на масиви
• Разделяне на масивите
• Четене и запис на масиви от данни във файлове

Библиотеката Pandas при обработка и анализ на данни

• Същност и значение на библиотеката Pandas
• Импортиране на библиотеката Pandas
• Основни обекти в библиотеката Pandas
• Създаване на серии (Series) и операции с тях
• Създаване на серии
• Операции със серии
• Създаване на DataFrame и операции с тях
• Създаване на DataFrame
• Операции с DataFrame

Работа с файлове от данни в библиотеката Pandas

• Управление на данните
• Подготовка на данни
• Трансформация на данни
• Агрегиране и групиране на данни
• Четене и запис на файлове на данните

Графичен метод за анализ и визуализиране на данни. Библиотеката Matplotlib

• Обща характеристика на графичния метод
• Библиотеката Matplotlib
• Импортиране на библиотеката Matplotlib
• Особености на библиотеката Matplotlib
• Процес на създаване на визуализации с Matplotlib
• Видове графични изображения
• В зависимост от формата на графичния образ
• Според функционалното предназначение на графичния образ
• В зависимост от пространственото разположение на графичния образ

Библиотеките SCIPY, SCIKIT-LEARN и STATSMODELS при анализ и моделиране на данни

• Обща характеристика на библиотеката SCIPY
• Обща характеристика на библиотеката SCIKIT-LEARN
• Обща характеристика на библиотеката STATSMODELS

Описателен анализ на данни

• Същност на описателния анализ
• Измерители на централната тенденция
• Алгебрична средна величина
• Неалгебрична средна величина
• Характеристики на разсейването (вариацията)
• Размах на разсейването (Range)
• Средно квадратично (стандартно) отклонение и дисперсия
• Интерквартилен размах
• Показатели, характеризиращи формата на разпределението на единиците в съвкупността
• Графични изображения (визуализации) при емпирични разпределения
• Приложение на метода .describe() в Python за извеждане на обобщени описателни статистически измерители

Анализ на зависимости чрез използване на регресионен и корелационен анализ

• Познавателна същност на корелационния и регресионния анализ
• Същност и измерители при корелационния анализ
• Обща характеристика на регресионния анализ
• Единична линейна регресия
• Проверка за верификация на еднофакторен регресионен модел
• Проверка на хипотеза за адекватност на еднофакторен линеен модел
• Проверка на хипотеза за значимост на параметрите на еднофакторен линеен модел
• Проверка на статистически хипотези за диагностика на остатъците в еднофакторен регресионен модел
• Проверка за нормално разпределение на остатъците
• Проверка за хомоскедастичност на остатъците
• Проверка за автокорелацията в остатъците
• Реализация на единичен линеен регресионен модел в Python

Прогностичен анализ на базата на трендови модели и експоненциално изглаждане на времеви данни

• Обща характеристика на статистическите редове с времеви данни
• Видове времеви редове
• Компоненти на времевите редове
• Моделиране и прогнозиране на основата на тенденцията на развитие при времевите редове
• Моделиране и прогнозиране на база на експоненциално изглаждане на времеви редове

Прогностичен анализ на основата на ARIMA модели

• Класическите и съвременните методи за прогнозиране на времеви редове
• Стационарност и нестационарност при времевите редове
• Същност на ARIMA и SARIMA моделите
• Проверка за интегрираност на времевите редове
• Методи за оценка и критерии за избор на ARIMA модел
• Моделиране и прогнозиране на база на ARIMA модели

Използвана литература
Приложение