1. Основные тезисы

1. Данные — «новая нефть»: Успех ML-модели зависит от трех компонентов: Вычислительных мощностей (Computing Power), Алгоритмов и Данных. Данные являются топливом.
2. Жизненный цикл данных (Data Lifecycle): Это не линейный, а циклический процесс: Сбор → Хранение → Анализ → Визуализация → Принятие решений.
3. Разнообразие источников: Данные поступают из файлов, баз данных, веб-скрейпинга, API и потоковых систем (Streaming).
4. Доминирование неструктурированных данных: Около 80% всех мировых данных — неструктурированные (видео, текст, аудио), и лишь 20% — структурированные таблицы.
5. Эволюция форматов: Индустрия переходит от текстовых строковых форматов (CSV) к бинарным колоночным (Parquet) для обработки больших данных.
6. Превосходство колоночного хранения: Parquet позволяет читать только нужные столбцы, что критически важно для аналитики, в то время как CSV требует чтения файла целиком.

2. Определения и термины

Data Lifecycle

Полный цикл существования данных в организации, включающий этапы: Collection (сбор), Storage (хранение), Analysis (анализ), Visualization (визуализация) и Decision-Making (принятие решений).

Structured Data

Данные с четко определенной схемой, организованные в таблицы (строки и столбцы). Пример: реляционные базы данных (SQL).

Unstructured Data

Информация, не имеющая предопределенной модели данных. Самый массивный тип данных. Пример: изображения, видео, PDF-документы.

Semi-structured Data

Данные, не имеющие жесткой табличной структуры, но содержащие теги или маркеры для разделения элементов. Пример: JSON, XML, логи.

Parquet

Современный бинарный колоночный формат хранения данных. Поддерживает сжатие и хранение схемы. Является стандартом для Big Data.

Web Scraping

Метод автоматического сбора информации с веб-страниц путем программного разбора HTML-кода.

Streaming

Технология непрерывной передачи и обработки данных в реальном времени (например, через Apache Kafka) по мере их возникновения.

3. Структурные схемы

3.1 Компоненты ML

3.2 Пайплайн данных в продакшене

3.3 Визуализация: CSV (Строки) vs Parquet (Колонки)

Задача: Найти только яблоки (красные круги).

4. Сферы применения

• Data Engineering: Создание ETL-процессов, оптимизация Data Lakes, конвертация сырых логов (JSON) в Parquet для удешевления хранения.
• Data Science & ML: Сбор датасетов (scraping), очистка данных, подготовка признаков (feature engineering) для обучения моделей.
• Business Intelligence (BI): Построение отчетности на основе структурированных данных (SQL), визуализация KPI компании.
• Real-time Analytics: Мониторинг систем, обнаружение мошенничества (фрода) в банковских транзакциях, персонализация рекламы «на лету» (Streaming).

5. Практический пример

Демонстрация различий форматов и работы с JSON на Python (pandas).

import pandas as pd
import json
import os

# --- 1. Работа с CSV (Традиционный) ---
# Создаем данные
data = {
    'ID': range(1, 10001),
    'Name': ['User'] * 10000,
    'Age': [25] * 10000
}
df = pd.DataFrame(data)

# Сохраняем в CSV
df.to_csv('data.csv', index=False)
csv_size = os.path.getsize('data.csv')
print(f"CSV Size: {csv_size/1024:.2f} KB")

# --- 2. Работа с Parquet (Современный) ---
# Конвертируем в Parquet (требует pyarrow/fastparquet)
df.to_parquet('data.parquet')
pq_size = os.path.getsize('data.parquet')
print(f"Parquet Size: {pq_size/1024:.2f} KB")
# Результат: Parquet будет весить меньше благодаря сжатию

# --- 3. Parsing JSON (Semi-structured) ---
json_str = '{"users": [{"id": 1, "role": "admin"}, {"id": 2, "role": "guest"}]}'
parsed = json.loads(json_str)

# Доступ по ключам
admin_role = parsed['users'][0]['role']
print(f"First user role: {admin_role}")

6. Вопросы для самопроверки

Топик 1: Введение и Жизненный цикл

Топик 2: Типы и Источники данных

Топик 3: Форматы данных (CSV vs Parquet)

1. Тезисы лекции

1. Проблема Python: Несмотря на популярность в AI/ML (читаемость, экосистема), чистый Python медленный для тяжелых вычислений из-за динамической типизации и накладных расходов памяти.
2. Решение — NumPy: Библиотека написана на C, что обеспечивает высокую производительность. Она является стандартом для численных вычислений в Python.
3. Основа NumPy (ndarray): Массивы NumPy хранятся в непрерывных блоках памяти (contiguous memory) и имеют фиксированный тип данных, что делает их компактными и эффективными.
4. Векторизация: NumPy позволяет выполнять математические операции над целыми массивами без явных циклов (например, умножение массива на число), что значительно быстрее списков Python.
5. Устройство памяти: В отличие от списков Python (массив указателей на разбросанные объекты), массив NumPy — это единый блок данных + метаданные (размерность, stride).
6. Slicing (Срезы) как View: При создании среза массива NumPy (slicing) данные не копируются. Создается новый объект-обертка ("view"), который ссылается на тот же буфер памяти.

2. Ключевые определения

3. Структура и Визуализация

3.1. Почему NumPy быстрее списков? (Memory Layout)

Сравнение хранения данных в памяти:

3.2. Архитектура массива (Internals)

3.3. View vs Copy (Slicing)

Пример слайсинга c = a[0:2, :]. Разные заголовки, один буфер данных.

4. Примеры и Код

Векторизация vs Списки

Задача: Умножить каждый элемент на 2.

import numpy as np

# Python List (поведение по умолчанию - дублирование списка)
lst = [1, 2, 3]
print(lst * 2) 
# Результат: [1, 2, 3, 1, 2, 3] (Concatenation)

# NumPy Array (векторизованная математика)
arr = np.array([1, 2, 3])
print(arr * 2)
# Результат: [2 4 6] (Multiplication)

Проверка общей памяти (View)

a = np.array([1, 2, 3, 4])
b = a[0:2]  # Срез - это view

b[0] = 99   # Меняем элемент в срезе
print(a)    
# Результат: [99, 2, 3, 4] -> Исходный массив изменился!

5. Сферы применения

• Data Science: Очистка данных, манипуляции с таблицами (основа для Pandas).
• Machine Learning: Операции с матрицами, весами нейросетей (основа для TensorFlow/PyTorch).
• Обработка изображений: Изображение представляется как 3D массив пикселей (высота, ширина, RGB).
• Инженерия и физика: Решение систем уравнений, моделирование сигналов.

6. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

1. Ключевые тезисы

1. Фундамент для анализа: Pandas — библиотека Python, ставшая де-факто стандартом для анализа и манипуляции данными. Создана Уэсом МакКинни (Wes McKinney) в 2008 году.
2. Основа — NumPy: Pandas построен поверх NumPy. Он сохраняет скорость и эффективность вычислений NumPy, добавляя удобство работы с метками, разнородными данными и пропусками.
3. Две главные структуры:
   • Series: Одномерный именованный массив (аналог столбца в Excel).
   • DataFrame: Двумерная табличная структура (аналог листа Excel или таблицы SQL).
4. Реальные данные: В отличие от NumPy, Pandas отлично справляется с «грязными» данными реального мира: разными типами в одной таблице (числа, строки, даты), пропущенными значениями и выравниванием по индексам.
5. Аналогия: Pandas можно представить как «программируемый Excel на стероидах», который сочетает табличный формат Excel с мощью SQL-запросов.

2. Глоссарий терминов

3. Структура и Сравнение

3.1. Иерархия Pandas

Как Pandas расширяет возможности NumPy:

3.2. NumPy vs Pandas

4. Примеры и Код

4.1. Создание Series из NumPy

Pandas построен на NumPy, поэтому легко конвертирует массивы.

import numpy as np
import pandas as pd

# 1. Создаем NumPy массив
np_array = np.array([1, 2, 3, 4, 5])

# 2. Создаем Series
p_series = pd.Series(np_array)

print(p_series.values)
# Вывод: [1 2 3 4 5]

# Примечание: изменение исходного массива может повлиять на Series
# (в зависимости от copy=True/False)
np_array[0] = 9
print(p_series.values) # Часто: [9 2 3 4 5]

4.2. Создание DataFrame

Использование конструктора pd.DataFrame(data, index, ...).

# Данные: словарь списков (наиболее частый способ)
data = {
    'Walmart': [485873, 13643.0, 'USA'],
    'State Grid': [315199, 9571.3, 'China']
}

# Создание DataFrame с кастомным индексом
df = pd.DataFrame(data, index=['Revenues', 'Profits', 'Country'])

# Транспонирование (строки -> столбцы)
df = df.T 
print(df)
#             Revenues  Profits Country
# Walmart       485873  13643.0     USA
# State Grid    315199   9571.3   China

5. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

6. Сферы применения

• Финансы (FinTech): Анализ временных рядов, котировок акций, риск-менеджмент.
• Академические исследования: Обработка экспериментальных данных, статистика.
• Бизнес-аналитика (BI): Подготовка отчетов, расчет KPI, анализ продаж (как автоматизация Excel).
• Machine Learning: Очистка данных (Data Cleaning) и подготовка признаков (Feature Engineering) перед подачей в модели (Scikit-learn, TensorFlow).

1. Ключевые тезисы

1. Split-Apply-Combine: Основная парадигма группировки данных (GroupBy): разделение данных на группы (Split), применение функции к каждой группе (Apply) и объединение результатов (Combine).
2. Гибкость агрегации: Pandas предлагает три основных метода для работы с группами: .agg() (сводка/редукция), .transform() (сохранение размерности) и .apply() (гибкая кастомная логика).
3. Объединение таблиц: Для слияния данных используются merge() (SQL-style joins по ключам), join() (слияние по индексам) и concat() (склеивание по осям).
4. Изменение формы (Reshaping): Преобразование данных из "длинного" формата в "широкий" (через pivot) и наоборот (через melt) критически важно для анализа и визуализации.
5. Работа со сложными данными: Использование MultiIndex для иерархических данных и метода explode() для разбиения списков внутри ячеек на отдельные строки.

2. Глоссарий терминов

3. Структура и Сравнение

3.1. Парадигма GroupBy

3.2. Сравнение методов агрегации

3.3. Объединение DataFrame

4. Примеры и Код

4.1. Transform (Центрирование данных)

Вычитание среднего значения по группе из каждого элемента этой группы.

# Центрирование данных по регионам
# Результат сохраняет размерность исходного DataFrame
df.groupby("region")["sales"].transform(lambda x: x - x.mean())

4.2. Melt (Wide -> Long)

Преобразование широкой таблицы в длинную для анализа.

# id_vars: колонки-идентификаторы (остаются как есть)
# value_vars: колонки, которые станут строками
pd.melt(df, 
        id_vars=["id"], 
        value_vars=["math", "english"])

4.3. Explode (Работа со списками)

Разбиение списков в ячейках на отдельные строки.

df = pd.DataFrame({
    "id": [1, 2],
    "tags": ["book,stationery", "electronics,home"]
})

# 1. Превращаем строку в список
df["tags"] = df["tags"].str.split(",") 

# 2. "Взрываем" список в строки
df_exploded = df.explode("tags")

5. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

6. Сферы применения

• Feature Engineering: Создание новых признаков через нормализацию данных внутри групп (используя transform).
• Подготовка к визуализации: Использование melt для приведения данных в формат "Tidy Data", необходимый для библиотек типа Seaborn или Altair.
• Маркетинговый анализ: Когортный анализ и сводные отчеты продаж с помощью pivot_table.
• Обработка текстов (NLP): Очистка тегов и категорий с помощью строковых методов (.str) и explode.

1. Ключевые тезисы

1. Цели визуализации: Визуализация необходима для трех ключевых процессов: EDA (разведочный анализ), Data Storytelling (передача инсайтов стейкхолдерам) и принятия решений (Decision-Making).
2. Таблицы vs Графики: Таблицы хороши для точных значений и детального просмотра, тогда как графики (charts) обеспечивают быстрое понимание трендов, паттернов и общей картины.
3. Экосистема Python:
   • Matplotlib: Фундаментальная, низкоуровневая библиотека, обеспечивающая полный контроль над каждым элементом графика.
   • Seaborn: Высокоуровневая библиотека, построенная поверх Matplotlib. Она интегрирована с Pandas и отлично подходит для статистического анализа.
4. Принципы хорошего дизайна: Качественная визуализация должна быть честной, ясной и содержательной. Необходимо избегать избыточных цветов, вводящих в заблуждение осей и нагромождения элементов.
5. Обязательные элементы: Любой график должен иметь заголовок (title), подписи осей (labels) и легенду (legend), если это необходимо для понимания данных.

2. Глоссарий терминов

3. Структура и Сравнение

3.1. Зачем нужна визуализация?

3.2. Matplotlib vs Seaborn

4. Примеры и Код

4.1. Matplotlib (Scatter Plot)

Требует явного указания всех меток и осей.

import matplotlib.pyplot as plt

# Базовый подход
plt.scatter(tips['total_bill'], tips['tip']) 
plt.xlabel("Total Bill") 
plt.ylabel("Tip") 
plt.title("Scatter Plot with Matplotlib") 
plt.show()

4.2. Seaborn (Scatter Plot)

Интеграция с DataFrame и автоматическая легенда (hue).

import seaborn as sns

# Высокоуровневый подход
# hue="day" автоматически раскрашивает точки по дням и добавляет легенду
sns.scatterplot(
    x="total_bill", 
    y="tip", 
    data=tips, 
    hue="day"
)

4.3. Плохой vs Хороший график

5. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

6. Сферы применения

• Business Intelligence (BI): Создание дашбордов для отслеживания KPI и метрик компании.
• Data Science Pipeline: Этап EDA для понимания данных перед обучением ML-моделей (поиск выбросов, анализ распределений).
• Научные публикации: Создание точных и наглядных графиков для иллюстрации результатов исследований (обычно с помощью Matplotlib).
• Презентации: Data Storytelling для обоснования бизнес-решений перед руководством.

1. Ключевые тезисы

1. Роль API в сборе данных: API (Application Programming Interface) является мостом между различными программными компонентами, позволяя бесшовно собирать данные, получать доступ к информации в реальном времени и интегрировать ML/AI решения.
2. Доминирование REST: REST является наиболее распространенным архитектурным стилем для веб-API, использующим стандартные HTTP-методы (GET, POST, PUT, DELETE) и JSON для передачи данных.
3. Разнообразие архитектур: Помимо REST, существуют SOAP (строгий XML-протокол для энтерпрайза) и GraphQL (гибкий язык запросов от Facebook, предотвращающий избыточную выборку данных).
4. Жизненный цикл запроса: Работа с API строится на модели «Клиент-Сервер»: Клиент отправляет Request (запрос) → Сервер обрабатывает его → Сервер возвращает Response (ответ).
5. Важность ограничений и безопасности: При работе с API критически важно учитывать аутентификацию (API Keys, OAuth) и лимиты запросов (Rate Limits) для стабильной работы приложений.

2. Глоссарий терминов

3. Структура и Сравнение

3.1. Аналогия "Ресторан"

Простая ментальная модель работы API:

3.2. Сравнение архитектурных стилей

3.3. HTTP Методы (CRUD)

4. Примеры и Код

4.1. Работа с REST API (Python)

Использование библиотеки requests для получения данных (например, ВВП Казахстана от World Bank API).

import requests

# 1. Определение URL (Endpoint)
# Пример API Всемирного банка
url = "http://api.worldbank.org/v2/country/kz/indicator/NY.GDP.MKTP.CD"

# 2. Параметры запроса (Query Parameters)
params = {
    "format": "json",
    "date": "2020:2022"
}

# 3. Выполнение GET запроса
response = requests.get(url, params=params)

# 4. Проверка статуса (200 = OK)
if response.status_code == 200:
    data = response.json() # Парсинг JSON
    # Вывод данных (структура зависит от API)
    for entry in data[1]:
        print(f"Year: {entry['date']}, GDP: ${entry['value']}")
else:
    print(f"Error: {response.status_code}")

4.2. Пример GraphQL запроса

Клиент запрашивает только название, столицу и население для страны с кодом "KZ".

{
  country(code: "KZ") {
    name
    capital
    population
  }
}

5. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

6. Сферы применения

• Сбор данных (Data Collection): Автоматизированный сбор статистики с порталов открытых данных (gov.kz, Open Data Inception) для аналитики.
• Интеграция сервисов: Подключение платежных систем, карт, погодных сервисов в мобильные и веб-приложения.
• Machine Learning: Получение датасетов для обучения моделей и деплой моделей как API-сервисов для предсказаний.
• Мобильная разработка: Обмен данными между сервером и приложением (часто через GraphQL для экономии трафика).

1. Ключевые тезисы

1. Актуальность скрейпинга: Современные данные редко доступны в удобных CSV-файлах. Веб-скрейпинг позволяет собирать, анализировать и автоматизировать получение ценной информации с веб-сайтов для исследований, бизнеса и журналистики.
2. Структура веба (HTML): Понимание HTML критично. Страницы состоят из тегов, атрибутов и вложенных элементов. Браузерные "Developer Tools" (F12) — главный инструмент для исследования этой структуры.
3. Инструментарий Python: Стандартный стек для статических страниц включает библиотеку requests для загрузки HTML и BeautifulSoup для парсинга (разбора) и навигации по дереву тегов.
4. Этика и законность: Скрейпинг должен быть этичным. Необходимо соблюдать правила robots.txt, не перегружать серверы запросами, идентифицировать своего бота (User-Agent) и не нарушать авторские права.

2. Глоссарий терминов

3. Структура и Логика

3.1. Структура HTML элемента

Пример: <p class="text">Hello World</p>

3.2. Основные HTML теги для скрейпинга

4. Примеры и Код

4.1. Шаг 1: Получение страницы (Requests)

import requests

url = "https://quotes.toscrape.com/"
# Важно: используйте User-Agent, чтобы выглядеть как браузер
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    html_content = response.text
    print("Page downloaded successfully!")
else:
    print(f"Failed to retrieve page: {response.status_code}")

4.2. Шаг 2: Парсинг (BeautifulSoup)

from bs4 import BeautifulSoup

# Создаем объект супа
soup = BeautifulSoup(html_content, "html.parser")

# Пример 1: Поиск одного элемента
title = soup.find("h1").get_text(strip=True)

# Пример 2: Поиск всех элементов определенного класса
quotes = soup.find_all("span", class_="text")

for quote in quotes:
    print(quote.get_text())

4.3. Реальный пример: Извлечение данных о товаре

Допустим, HTML выглядит так: <div class="product"><h2>Phone X</h2><span class="price">$999</span></div>

# Логика извлечения
product_block = soup.find("div", class_="product")

data = {
    "name": product_block.find("h2").get_text(),
    "price": product_block.find("span", class_="price").get_text()
}
print(data) 
# Output: {'name': 'Phone X', 'price': '$999'}

5. Ответственный скрейпинг

• ✅ Проверяйте robots.txt: Всегда заходите на domain.com/robots.txt перед началом работы, чтобы узнать правила.
• ✅ Не спешите: Используйте задержки (time.sleep(1)) между запросами, чтобы не "уронить" чужой сервер (DoS-атака).
• ✅ Представьтесь: Указывайте контактные данные или честный User-Agent в заголовках.
• ❌ Не воруйте: Не скрейпите персональные данные или контент, защищенный авторским правом, для перепродажи.
• ???? Ищите API: Если у сайта есть официальный API, всегда используйте его вместо скрейпинга.

6. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

1. Ключевые тезисы

1. Ограничения статического скрейпинга: Библиотеки типа requests скачивают только исходный HTML. На современных сайтах (React, Vue) данные загружаются через JavaScript/AJAX уже после загрузки страницы, поэтому статический подход возвращает пустые блоки.
2. Браузерная автоматизация: Для динамических страниц необходимы инструменты (Selenium, Playwright), которые запускают реальный браузер, выполняют JavaScript и позволяют извлечь "Final DOM" (итоговую структуру страницы).
3. Selenium: Классический инструмент, изначально созданный для тестирования. Работает через WebDriver, поддерживает множество языков и браузеров, но требует настройки драйверов и ручного управления ожиданиями.
4. Playwright: Современный фреймворк от Microsoft (2020). Быстрее и надежнее Selenium, имеет встроенные драйверы, поддерживает "headless" режим по умолчанию и автоматические ожидания (Auto-waiting), что снижает количество ошибок.
5. Оптимизация: Для ускорения скрейпинга следует использовать Headless-режим (без графического интерфейса), блокировать загрузку картинок/ресурсов, использовать явные ожидания (Explicit Waits) вместо time.sleep().

2. Глоссарий терминов

3. Структура и Сравнение

3.1. Workflow динамического скрейпинга

3.2. Selenium vs Playwright

4. Примеры и Код

4.1. Selenium: Основы и Ожидания

Инициализация драйвера и использование WebDriverWait для надежности.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Инициализация Chrome
driver = webdriver.Chrome()

# Загрузка страницы
driver.get("https://quotes.toscrape.com/js/")

# Явное ожидание загрузки элемента (вместо time.sleep)
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, "quote"))
)

# Извлечение данных
quotes = driver.find_elements(By.CLASS_NAME, "quote")
for q in quotes:
    print(q.text)

driver.quit()

4.2. Playwright: Современный подход

Использование синхронного API. Браузер запускается в headless-режиме по умолчанию.

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # Запуск браузера (Chromium)
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    
    # Переход на страницу (авто-ожидание загрузки)
    page.goto("https://quotes.toscrape.com/js/")
    
    # Локатор элементов
    quotes = page.locator(".quote")
    
    # Получение текста первого элемента
    print(quotes.nth(0).inner_text())
    
    browser.close()

4.3. Оптимизация: Headless Mode (Selenium)

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
# Запуск без графического интерфейса
chrome_options.add_argument('--headless') 

driver = webdriver.Chrome(options=chrome_options)

5. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

6. Советы по оптимизации

• Используйте Headless: Всегда включайте для продакшна.
• Блокируйте ресурсы: Отключайте загрузку изображений, CSS и шрифтов в настройках браузера, чтобы экономить трафик и память.
• Закрывайте сессии: Всегда вызывайте driver.quit() или browser.close(), чтобы не забить оперативную память "зомби-процессами".
• Кэширование: Если возможно, сохраняйте загруженные страницы, чтобы не загружать их повторно при отладке.

1. Ключевые тезисы

1. Важность очистки данных: Принцип "Garbage In, Garbage Out". Очистка обеспечивает точность анализа, предотвращает смещение (bias) и экономит время на этапе моделирования.
2. Инструментарий: Полный цикл работы с качеством данных включает: pandas (очистка), re (Regex для строк), pandera (валидация схем) и ydata-profiling (автоматические отчеты).
3. Работа с пропусками: Пропуски (NaN) возникают из-за ошибок ввода или сбоев сенсоров. Их можно удалять (если данных много) или заполнять (средним, медианой, forward/backward fill) в зависимости от контекста.
4. Типы данных и дубликаты: Корректные типы данных (особенно datetime и category) критичны для производительности и корректной сортировки. Дубликаты следует удалять с осторожностью, проверяя, не являются ли они частью временных рядов или транзакций.
5. Валидация и Профилирование: Использование Pandera позволяет задать жесткие правила (схемы) для данных и ломать пайплайны при их нарушении. Data Profiling — это финальный этап автоматического исследования данных перед моделированием.

2. Глоссарий терминов

3. Структура и Сравнение

3.1. Workflow качества данных

3.2. Методы заполнения пропусков

4. Примеры и Код

4.1. Очистка строк с Regex

Удаление всего, кроме цифр, и валидация email.

# Оставить только цифры в телефоне (\D+ удаляет не-цифры)
df["phone"] = df["phone"].str.replace(r"\D+", "", regex=True)

# Извлечение домена из email
df["domain"] = df["email"].str.extract(r"@([A-Za-z0-9.-]+)")

4.2. Безопасное преобразование типов

Использование errors='coerce' для превращения ошибок в NaN.

# Если "123a" не число -> превратится в NaN
df["price"] = pd.to_numeric(df["price"], errors="coerce")

# Конвертация в даты
df["date"] = pd.to_datetime(df["date"], errors="coerce")

4.3. Валидация с Pandera

import pandera as pa
from pandera import Column, Check, DataFrameSchema

schema = DataFrameSchema({
    # Проверка: возраст от 0 до 120
    "age": Column(pa.Int, Check.in_range(0, 120)),
    
    # Проверка: зарплата больше 0
    "salary": Column(pa.Float, Check.greater_than(0)),
    
    # Проверка email по regex
    "email": Column(pa.String, Check.str_matches(r".+@.+\..+"))
})

# Валидация (вызовет ошибку, если данные плохие)
validated_df = schema.validate(df)

5. Вопросы для самопроверки

Нажмите на вопрос, чтобы увидеть ответ.

6. Сферы применения

• ETL Pipelines: Валидация промежуточных таблиц перед загрузкой в хранилище данных (Data Warehouse).
• Machine Learning: Подготовка данных для обучения моделей (заполнение пропусков, кодирование категорий, удаление выбросов).
• Финансовый аудит: Поиск логических ошибок (например, дата начала контракта позже даты окончания) с помощью кросс-колоночных проверок Pandera.
• Маркетинг: Очистка базы email-адресов и телефонов клиентов с помощью Regex для рассылок.

1. Key Theses

1. Data Reality: Real business data is stored in databases, not just CSVs. Direct database access is crucial for efficiency and real-time analysis.
2. Efficiency of SQL: Unlike downloading entire files, SQL allows extracting only the required data (filtering, aggregating) before it reaches your Python environment.
3. Relational Power: The ability to combine data from multiple sources (JOINs) is the foundation of relational data modeling.
4. Advanced Analytics: Modern SQL capabilities like Window Functions (running totals, rankings) and CTEs (Common Table Expressions) allow for complex logic directly in the database.
5. Python Integration: Libraries like SQLAlchemy and Pandas provide a seamless bridge to automate data extraction (ETL pipelines).
6. Pipeline Strategy: A robust data pipeline involves scraping/fetching data -> storing in a temporary DB (like SQLite) -> processing with SQL -> exporting to the final destination.

2. Glossary

3. Visual Structures

3.1. Data Pipeline Schema

The flow of data from the web to a data warehouse.

3.2. Visualizing JOIN Types

4. Practical Examples

4.1. Advanced SQL: Window Functions & CTE

Calculating a running total using a CTE for cleaner code.

-- Common Table Expression (CTE)
WITH high_value_orders AS (
    SELECT order_id, customer_id, total_amount
    FROM orders
    WHERE total_amount > 500
)

-- Window Function: Running Total
SELECT 
    order_id, 
    customer_id,
    total_amount,
    SUM(total_amount) OVER (
        PARTITION BY customer_id 
        ORDER BY order_date
    ) AS running_total
FROM high_value_orders;

4.2. Python Integration (SQLAlchemy + Pandas)

Connecting to a database and reading/writing data.

import pandas as pd
from sqlalchemy import create_engine

# 1. Create Connection Engine (SQLite example)
engine = create_engine('sqlite:///data.db')

# 2. Writing Data: Pandas -> Database
# Saves dataframe to 'jobs' table
df.to_sql('jobs', engine, index=False, if_exists='replace')

# 3. Reading Data: Database -> Pandas
# Executes SQL query and returns DataFrame
query = "SELECT * FROM jobs WHERE salary > 100000"
df_result = pd.read_sql(query, engine)

print(df_result.head())

5. Self-Check Questions

Tap to reveal answers.

6. Real-World Applications

• ETL Pipelines: Extracting raw data from APIs, storing in a staging DB (SQLite/Postgres), transforming with SQL, and loading into a Data Warehouse.
• Financial Analytics: Using Window Functions to calculate running balances, moving averages of stock prices, or year-to-date revenue.
• Customer Segmentation: Using complex JOINs to combine user profiles, purchase history, and website activity logs for marketing analysis.
• Data Caching: Using a local database to store scraped web data to avoid re-scraping and risking IP bans.

1. Key Theses

1. Data Reality: Real business data is stored in databases, not just CSVs. Direct database access is crucial for efficiency and real-time analysis.
2. Efficiency of SQL: Unlike downloading entire files, SQL allows extracting only the required data (filtering, aggregating) before it reaches your Python environment.
3. Relational Power: The ability to combine data from multiple sources (JOINs) is the foundation of relational data modeling.
4. Advanced Analytics: Modern SQL capabilities like Window Functions (running totals, rankings) and CTEs (Common Table Expressions) allow for complex logic directly in the database.
5. Python Integration: Libraries like SQLAlchemy and Pandas provide a seamless bridge to automate data extraction (ETL pipelines).
6. Pipeline Strategy: A robust data pipeline involves scraping/fetching data -> storing in a temporary DB (like SQLite) -> processing with SQL -> exporting to the final destination.

2. Glossary

3. Visual Structures

3.1. Data Pipeline Schema

The flow of data from the web to a data warehouse.

3.2. Visualizing JOIN Types

4. Practical Examples

4.1. Advanced SQL: Window Functions & CTE

Calculating a running total using a CTE for cleaner code.

-- Common Table Expression (CTE)
WITH high_value_orders AS (
    SELECT order_id, customer_id, total_amount
    FROM orders
    WHERE total_amount > 500
)

-- Window Function: Running Total
SELECT 
    order_id, 
    customer_id,
    total_amount,
    SUM(total_amount) OVER (
        PARTITION BY customer_id 
        ORDER BY order_date
    ) AS running_total
FROM high_value_orders;

4.2. Python Integration (SQLAlchemy + Pandas)

Connecting to a database and reading/writing data.

import pandas as pd
from sqlalchemy import create_engine

# 1. Create Connection Engine (SQLite example)
engine = create_engine('sqlite:///data.db')

# 2. Writing Data: Pandas -> Database
# Saves dataframe to 'jobs' table
df.to_sql('jobs', engine, index=False, if_exists='replace')

# 3. Reading Data: Database -> Pandas
# Executes SQL query and returns DataFrame
query = "SELECT * FROM jobs WHERE salary > 100000"
df_result = pd.read_sql(query, engine)

print(df_result.head())

5. Self-Check Questions

Tap to reveal answers.

6. Real-World Applications

• ETL Pipelines: Extracting raw data from APIs, storing in a staging DB (SQLite/Postgres), transforming with SQL, and loading into a Data Warehouse.
• Financial Analytics: Using Window Functions to calculate running balances, moving averages of stock prices, or year-to-date revenue.
• Customer Segmentation: Using complex JOINs to combine user profiles, purchase history, and website activity logs for marketing analysis.
• Data Caching: Using a local database to store scraped web data to avoid re-scraping and risking IP bans.

1. Key Theses

1. Data Pipeline Definition: An automated process that moves, transforms, and stores data between systems (Source -> Ingestion -> Transformation -> Storage -> Serving).
2. Why Automation Matters: Pipelines replace manual data collection, ensuring scalability, reliability, reproducibility, and enabling real-time dashboards.
3. ETL vs. ELT: Modern systems prefer ELT (Extract-Load-Transform) over ETL, pushing raw data into the warehouse first and transforming it there using the database engine's power.
4. Scheduling is Critical: Automation tools (schedulers) are needed to run jobs daily/hourly, manage dependencies, and handle retries/failures automatically.
5. Cron vs. Airflow: Cron is simple and built-in but lacks monitoring. Apache Airflow is a full orchestrator with a UI, dependency management, and scalability for complex workflows.
6. DAGs in Airflow: Workflows in Airflow are defined as Directed Acyclic Graphs (DAGs) in Python code, consisting of tasks (operators) and their dependencies.

2. Glossary

3. Visual Structures

3.1. Data Pipeline Stages

3.2. Cron vs. Airflow

3.3. Airflow Architecture

4. Practical Examples

4.1. Cron Job Syntax

Running a python script every day at 6:00 AM.

# Minute Hour Day Month Weekday Command
0 6 * * * /usr/bin/python3 /home/user/pipeline.py >> /home/user/pipeline.log 2>&1

4.2. Simple Airflow DAG

A basic pipeline defined in Python.

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def my_task():
    print("Pipeline running!")

with DAG(
    dag_id="simple_pipeline",
    start_date=datetime(2024, 1, 1),
    schedule_interval="@daily",
    catchup=False
) as dag:
    
    run_etl = PythonOperator(
        task_id="run_etl",
        python_callable=my_task
    )

5. Self-Check Questions

Tap to reveal answers.

6. Real-World Applications

• Daily Reporting: Automating the generation of daily revenue reports by pulling data from payment APIs and DBs.
• Machine Learning: Creating training datasets by joining user logs with profile data and retraining models weekly.
• Data Warehousing: Orchestrating the loading of raw data from S3 into Snowflake or BigQuery using ELT patterns.
• Alerting: Monitoring data quality and sending Slack/Email alerts if a pipeline fails or data is missing.

1. Key Theses

1. Batch vs. Streaming: Data processing is shifting from periodic batch jobs (high latency, historical analysis) to continuous stream processing (low latency, real-time reactions) for use cases like fraud detection and live dashboards.
2. Apache Kafka: A distributed event streaming platform acting as a "central nervous system". It is durable, horizontally scalable, and decouples data producers from consumers.
3. The Log Concept: At its core, Kafka is an append-only, immutable commit log. Data is stored sequentially on disk, enabling replayability and fault tolerance.
4. Kafka Architecture: The ecosystem consists of Producers (push data), Brokers (store data), and Consumers (pull data).
5. Data Organization: Data is organized into Topics (logical streams), which are split into Partitions (for scalability) and stored as Segments (rolling files).
6. WebSockets: For real-time communication between a server and a web client (browser), WebSockets are preferred over REST because they provide a persistent, bidirectional connection with low overhead.

2. Glossary

3. Visual Structures

3.1. Batch vs. Streaming

3.2. Kafka Architecture Flow

3.3. REST vs WebSocket

4. Practical Examples

4.1. WebSocket Client (Python)

Connecting to a live crypto stream (Binance) using Python.

import websocket
import json

def on_message(ws, message):
    # Parse the incoming JSON message
    data = json.loads(message)
    # Print the live price
    print("Trade Price:", data["p"], "USD")

# Connect to Binance WebSocket for Bitcoin/USDT trades
ws = websocket.WebSocketApp(
    "wss://stream.binance.com:9443/ws/btcusdt@trade",
    on_message=on_message
)

# Keep the connection open forever
ws.run_forever()

5. Self-Check Questions

Tap to reveal answers.

6. Real-World Applications

• Financial Trading: Real-time stock and crypto price feeds using WebSockets.
• Fraud Detection: Analyzing credit card transactions instantly to block suspicious activity.
• Log Aggregation: Collecting logs from hundreds of servers into a central system for monitoring.
• Activity Tracking: Tracking user clicks and navigation on a website (like LinkedIn or Netflix) to personalize recommendations.
• IoT: Processing telemetry data from millions of connected sensors/vehicles.