Оптимизация работы с большими данными и высоконагруженными системами

Оптимизация конфигурации системы

Настройка параметров ядра

Оптимизация параметров ядра может существенно улучшить производительность системы. Для настройки параметров ядра используйте /etc/sysctl.conf.

Пример конфигурации sysctl для повышения производительности

sudo nano /etc/sysctl.conf

Добавьте следующие строки:

# Увеличение размера очереди TCP
net.core.somaxconn = 1024

# Увеличение предела памяти для пакетов
net.core.optmem_max = 25165824

# Увеличение размера буфера сокета
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

# Увеличение буфера сокета для TCP
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

# Уменьшение времени ожидания соединения
net.ipv4.tcp_fin_timeout = 15

# Увеличение размера очереди SYN
net.ipv4.tcp_max_syn_backlog = 4096

# Включение повторного использования TIME-WAIT сокетов для новых соединений
net.ipv4.tcp_tw_reuse = 1

# Включение быстрой свертки TCP соединений в TIME-WAIT
net.ipv4.tcp_tw_recycle = 1

Примените изменения командой:

sudo sysctl -p

Настройка параметров файловой системы

Для улучшения производительности работы с файловой системой можно настроить параметры монтирования и использовать современные файловые системы.

Использование параметров монтирования

sudo nano /etc/fstab

Добавьте параметры noatime и nodiratime для отключения обновления времени доступа к файлам:

/dev/sda1 / ext4 defaults,noatime,nodiratime 0 1

Оптимизация работы с базами данных

Настройка MySQL/MariaDB

Оптимизация конфигурации базы данных MySQL или MariaDB может существенно повысить производительность.

Пример конфигурации MySQL/MariaDB

sudo nano /etc/my.cnf

Добавьте следующие строки в секцию [mysqld]:

[mysqld]
# Увеличение размера буфера сортировки
sort_buffer_size = 4M

# Увеличение размера буфера соединений
join_buffer_size = 4M

# Увеличение размера буфера кеша
query_cache_size = 64M

# Увеличение размера буфера для чтения
read_buffer_size = 2M

# Увеличение размера буфера записи
write_buffer_size = 2M

# Увеличение размера буфера инноба
innodb_buffer_pool_size = 1G

# Увеличение количества потоков записи
innodb_write_io_threads = 8
innodb_read_io_threads = 8

# Увеличение размера буфера лога инноба
innodb_log_buffer_size = 256M

# Увеличение размера файла лога
innodb_log_file_size = 512M

Перезапустите службу MySQL/MariaDB для применения изменений:

sudo systemctl restart mysqld

Настройка PostgreSQL

Оптимизация конфигурации базы данных PostgreSQL также важна для повышения производительности.

Пример конфигурации PostgreSQL

sudo nano /etc/postgresql/12/main/postgresql.conf

Добавьте или измените следующие строки:

# Увеличение размера буфера совместного доступа
shared_buffers = 1GB

# Увеличение размера кеша рабочего процесса
work_mem = 4MB

# Увеличение размера буфера мейн лога
wal_buffers = 16MB

# Увеличение размера контрольного буфера
checkpoint_completion_target = 0.9

# Включение сжатия векторов
effective_cache_size = 3GB

# Увеличение количества фоновых писателей
max_worker_processes = 8
max_parallel_workers_per_gather = 4

Перезапустите службу PostgreSQL для применения изменений:

sudo systemctl restart postgresql

Использование кэширования

Кэширование данных позволяет снизить нагрузку на сервер и ускорить доступ к часто используемым данным.

Настройка Memcached

Memcached — это популярная система кэширования в памяти, используемая для ускорения работы веб-приложений.

Установка и настройка Memcached

sudo tdnf install memcached

Измените параметры конфигурации в /etc/sysconfig/memcached:

sudo nano /etc/sysconfig/memcached

Добавьте или измените следующие строки:

PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="2048"
OPTIONS="-l 127.0.0.1"

Перезапустите службу Memcached:

sudo systemctl restart memcached

Настройка Redis

Redis — это еще одна мощная система кэширования в памяти, которая может использоваться для кэширования данных и сессий.

Установка и настройка Redis

sudo tdnf install redis

Измените параметры конфигурации в /etc/redis/redis.conf:

sudo nano /etc/redis/redis.conf

Добавьте или измените следующие строки:

maxmemory 2GB
maxmemory-policy allkeys-lru

Перезапустите службу Redis:

sudo systemctl restart redis

Оптимизация сетевой производительности

Настройка параметров сети

Оптимизация сетевых параметров может улучшить производительность и стабильность работы с большими объемами данных.

Пример конфигурации сетевых параметров

sudo nano /etc/sysctl.conf

Добавьте следующие строки:

# Увеличение размера очереди пакетов
net.core.netdev_max_backlog = 5000

# Увеличение буфера для входящих данных
net.core.rmem_default = 262144
net.core.rmem_max = 16777216

# Увеличение буфера для исходящих данных
net.core.wmem_default = 262144
net.core.wmem_max = 16777216

# Увеличение размера буфера TCP
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

Примените изменения командой:

sudo sysctl -p

Использование балансировки нагрузки

Настройка Nginx для балансировки нагрузки

Nginx может использоваться для распределения нагрузки между несколькими серверами приложений, что улучшает масштабируемость и отказоустойчивость.

Пример конфигурации Nginx для балансировки нагрузки

sudo nano /etc/nginx/nginx.conf

Добавьте следующие строки в секцию http:

http {
    upstream backend {
        server backend1.example.com;
        server backend2.example.com;
    }

    server {
        listen 80;

        location / {
            proxy_pass http://backend;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
}

Перезапустите Nginx для применения изменений:

sudo systemctl restart nginx