Что такое Database Sharding по сравнению с Horizontal Partitioning? В чем разница в управлении метаданными?

Database Sharding и Horizontal Partitioning — два связанных, но принципиально разных подхода к масштабированию баз данных. Понимание их различий критически важно при проектировании высоконагруженных систем.

**Horizontal Partitioning (горизонтальное секционирование)**

Горизонтальное секционирование — это техника разделения одной таблицы на несколько частей (партиций) по строкам. Все партиции при этом находятся в рамках одного экземпляра базы данных или одного сервера. Например, таблица пользователей может быть разделена на партиции по диапазону ID: 1–1 000 000, 1 000 001–2 000 000 и т.д. Логически это всё ещё одна таблица, и СУБД сама управляет маршрутизацией запросов к нужной партиции.

Метаданные в случае горизонтального секционирования хранятся централизованно — в системном каталоге самой СУБД (например, pg_partitions в PostgreSQL или системные таблицы в Oracle). Приложение не знает о физическом разделении данных: оно работает с единой логической таблицей, а СУБД прозрачно обрабатывает маршрутизацию.

**Database Sharding (шардирование)**

Шардирование — это расширение концепции горизонтального секционирования на несколько физически независимых узлов (серверов или кластеров). Каждый шард — это полноценная независимая база данных, содержащая подмножество данных. Шарды могут располагаться на разных машинах, в разных дата-центрах или даже в разных облачных регионах.

Ключевое отличие: шардирование — это архитектурный паттерн распределённых систем, тогда как горизонтальное секционирование — это функция конкретной СУБД.

**Разница в управлении метаданными**

Здесь различия наиболее существенны:

1. **Horizontal Partitioning**: метаданные (схема разделения, границы партиций, расположение данных) хранятся внутри СУБД и управляются автоматически. Разработчик не занимается маршрутизацией вручную.

2. **Sharding**: метаданные о шардах (какой шард содержит какие данные, адреса узлов, схема шардирования) необходимо хранить и поддерживать отдельно — в специальном реестре шардов (shard map). Это может быть:
— Отдельная служба конфигурации (например, ZooKeeper, etcd)
— Специализированный роутер (mongos в MongoDB)
— Логика на стороне приложения

При шардировании приложение или промежуточный слой (middleware) должны знать, к какому шарду обращаться для конкретного запроса. Это создаёт дополнительную сложность: нужно обрабатывать перебалансировку шардов, репликацию метаданных, согласованность при добавлении новых узлов.

**Итог**

Горизонтальное секционирование — более простой подход с прозрачным управлением метаданными на уровне СУБД. Шардирование даёт горизонтальную масштабируемость за счёт распределения по узлам, но требует явного управления метаданными и усложняет архитектуру системы.