it-roy-ru.com

502 ошибки шлюза при высокой нагрузке (nginx/php-fpm)

Я работаю на довольно загруженном интернет-сайте, который часто получает очень большие всплески трафика. Во время этих пиков запрашиваются сотни страниц в секунду, и это приводит к случайным 502 ошибкам шлюза.

Теперь мы запускаем Nginx (1.0.10) и PHP-FPM на машине с 4x SAS 15k накопителями (raid10) с 16-ядерным процессором и 24 ГБ оперативной памяти DDR3. Также мы используем последнюю версию Xcache. БД находится на другой машине, но загрузка этой машины очень низкая и не имеет проблем.

При нормальной нагрузке все работает отлично, загрузка системы ниже 1, а отчет о состоянии PHP-FPM никогда не показывает более 10 активных процессов одновременно. Всегда доступно около 10 ГБ оперативной памяти. При нормальной нагрузке машина обрабатывает около 100 просмотров страниц в секунду.

Проблема возникает, когда приходят огромные всплески трафика и с компьютера запрашивается сотни просмотров страниц в секунду. Я заметил, что в отчете о состоянии FPM отображается до 50 активных процессов, но он все еще намного ниже 300 максимальных подключений, которые мы настроили. Во время этих пиков Nginx сообщает о состоянии до 5000 активных соединений вместо обычного среднего значения 1000.

Информация об ОС: CentOS выпуск 5.7 (финальный)

Процессор: Intel (R) Xeon (R) CPU E5620 @ 2.40GH (16 ядер)

php-fpm.conf

daemonize = yes
listen = /tmp/fpm.sock
pm = static
pm.max_children = 300
pm.max_requests = 1000

Я не настроил rlimit_files, потому что, насколько я знаю, он должен использовать систему по умолчанию, если вы этого не сделаете.

fastcgi_params (только добавленные значения в стандартный файл)

fastcgi_connect_timeout 60;
fastcgi_send_timeout 180;
fastcgi_read_timeout 180;
fastcgi_buffer_size 128k;
fastcgi_buffers 4 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;

fastcgi_pass            unix:/tmp/fpm.sock;

nginx.conf

worker_processes        8;
worker_connections      16384;
sendfile                on;
tcp_nopush              on;
keepalive_timeout       4;

Nginx подключается к FPM через Unix Socket.

sysctl.conf

net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 1
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.tcp_max_syn_backlog = 2048
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.all.log_martians = 1
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.conf.all.rp_filter=1
net.ipv4.conf.default.rp_filter=1
net.ipv4.conf.eth0.rp_filter=1
net.ipv4.conf.lo.rp_filter=1
net.ipv4.ip_conntrack_max = 100000

limit.conf

* soft nofile 65536
* hard nofile 65536

Это результаты для следующих команд:

ulimit -n
65536

ulimit -Sn
65536

ulimit -Hn
65536

cat /proc/sys/fs/file-max
2390143

Вопрос: Если в PHP-FPM не заканчиваются соединения, нагрузка все еще низкая, и имеется достаточно RAM, какое узкое место может вызывать эти случайные ошибки шлюза 502 во время большого трафика?

Примечание: по умолчанию ulimit этой машины были 1024, так как я изменил его на 65536, я не полностью перезагрузил машину, так как это производственная машина, и это будет означать слишком большое время простоя.

43
Mr.Boon

Это должно исправить это ...

У вас есть: fastcgi_buffers 4 256k;

Измените его на: fastcgi_buffers 256 16k; // всего 4096k

Также установите fastcgi_max_temp_file_size 0 , что отключит буферизацию на диск, если ответы начнут превышать ваши буферы fastcgi.

24
Timothy Perez

Unix сокет принимает 128 соединений по умолчанию. Хорошо поместить эту строку в /etc/sysctl.conf

net.core.somaxconn = 4096
21
kait

Если это не помогает в некоторых случаях - используйте обычную привязку порта вместо сокета, потому что сокет на 300+ может блокировать новые запросы, заставляя nginx показывать 502.

1
Misiek

@Мистер. благодеяние

У меня 8 основных 14 ГБ оперативной памяти. Но система очень часто дает шлюзу тайм-аут.
Реализация нижеприведенного исправления также не решила проблему. Все еще в поисках лучших исправлений.

У вас есть: fastcgi_buffers 4 256k;

Измените это на: 

fastcgi_buffers 256 16k; // всего 4096к

Также установите fastcgi_max_temp_file_size 0, , что отключит буферизацию на диск, если ответы начнут превышать ваши fastcgi буферы.

Благодарю.

0
Bhavin Visariya