Распределённые системы: принципы, CAP-теорема и практические паттерны

Что такое распределённые системы?

Распределённая система — это совокупность независимых вычислительных узлов, которые взаимодействуют через сеть и представляются пользователям как единая согласованная система. Ключевое свойство: компоненты системы расположены на разных машинах, но работают совместно для достижения общей цели.

Распределённые системы решают несколько фундаментальных проблем: они позволяют обрабатывать нагрузку, превышающую возможности одного сервера (горизонтальное масштабирование), обеспечивают высокую доступность за счёт избыточности, и позволяют размещать данные ближе к пользователям для снижения задержки.

Однако распределённые системы вносят принципиально новые сложности. Сеть ненадёжна: пакеты теряются, задержки варьируются, узлы выходят из строя. Это требует особых подходов к проектированию, которые не нужны в монолитных системах.

CAP-теорема: фундаментальный компромисс

CAP-теорема, сформулированная Эриком Брюером в 2000 году, утверждает, что распределённая система не может одновременно гарантировать все три свойства: Consistency (согласованность), Availability (доступность) и Partition tolerance (устойчивость к разделению).

Поскольку сетевые разделения (partitions) неизбежны в реальных распределённых системах, практический выбор всегда стоит между CP (согласованность + устойчивость к разделению) и AP (доступность + устойчивость к разделению).

CP-системы (например, HBase, Zookeeper) при сетевом разделении отказывают в обслуживании запросов, но гарантируют согласованность данных. AP-системы (например, Cassandra, CouchDB) продолжают обслуживать запросы, но могут возвращать устаревшие данные.

Модели консистентности

Реальные системы предлагают спектр моделей консистентности между строгой (strong) и слабой (eventual) консистентностью. Понимание этого спектра критически важно для правильного выбора технологий.

Строгая консистентность (Strong Consistency) гарантирует, что после успешной записи все последующие чтения вернут записанное значение. Это наиболее интуитивная модель, но она требует координации между узлами, что снижает производительность.

Итоговая консистентность (Eventual Consistency) гарантирует, что при отсутствии новых записей все реплики в конечном счёте достигнут одинакового состояния. Это позволяет строить высокодоступные системы, но требует особого подхода к обработке конфликтов.

Линеаризуемость (Linearizability) — наиболее строгая форма консистентности для конкурентных систем. Она гарантирует, что операции выглядят как выполненные атомарно в некоторый момент между их началом и завершением.

Паттерны проектирования распределённых систем

Saga Pattern — паттерн для управления распределёнными транзакциями. Вместо одной большой транзакции, охватывающей несколько сервисов, используется последовательность локальных транзакций с компенсирующими операциями для отката.

Circuit Breaker — паттерн для предотвращения каскадных отказов. Когда сервис начинает отвечать с ошибками, circuit breaker «размыкает цепь» и возвращает заранее определённый ответ вместо ожидания таймаута.

Event Sourcing — паттерн, при котором состояние системы хранится как последовательность событий, а не как текущее состояние. Это обеспечивает полную историю изменений и возможность воспроизведения состояния на любой момент времени.

CQRS (Command Query Responsibility Segregation) — разделение операций чтения и записи на разные модели. Это позволяет оптимизировать каждую сторону независимо и масштабировать их по-разному.

Консенсусные алгоритмы

Консенсус — способность распределённой системы достичь согласия по какому-либо значению. Это фундаментальная задача, лежащая в основе многих распределённых протоколов.

Raft — алгоритм консенсуса, разработанный как более понятная альтернатива Paxos. Он разделяет проблему консенсуса на три относительно независимые подзадачи: выбор лидера, репликация лога и безопасность. Raft используется в etcd, Consul и многих других системах.

Paxos — классический алгоритм консенсуса, предложенный Лесли Лэмпортом. Несмотря на сложность реализации, он лежит в основе многих production-систем, включая Google Chubby и Apache Zookeeper.

Распределённые базы данных

Выбор базы данных для распределённой системы — одно из ключевых архитектурных решений. Разные базы данных предлагают разные компромиссы в рамках CAP-теоремы.

Apache Cassandra — AP-система с итоговой консистентностью. Оптимальна для высоконагруженных систем с большим объёмом записей, где допустима небольшая задержка в распространении данных.

Google Spanner — уникальная система, предлагающая глобально согласованные транзакции за счёт использования атомарных часов (TrueTime API). Фактически нарушает традиционное понимание CAP-теоремы.

CockroachDB — распределённая SQL-база данных с сильной консистентностью, вдохновлённая Google Spanner. Предлагает привычный SQL-интерфейс с горизонтальным масштабированием.