Вечно заканчивающаяся ОЗУ

Ответить
Аватара пользователя
Степан Смирнов
Новичок
Сообщения: 6
Зарегистрирован: 18 окт 2018 06:43
Контактная информация:

Вечно заканчивающаяся ОЗУ

Сообщение Степан Смирнов » 30 ноя 2018 08:19

Поиск не помог :?
В течении дня полностью забиваются 4 Гб оперативной памяти, каждые 12 часов приходится очищать (* 8,20 * * * /usr/sbin/squid squid -k rotate), а данный процесс занимает некоторое количество времени в которое интернет не работает ( предприятие должно работать 24/7).
________________________
Squid Cache: Version 3.5.23
Service Name: squid
Debian linux
Вложение htop.JPG больше недоступно
Куски конфига сквида

Код: Выделить всё

###################################################
#                 Аутентификация                  #
###################################################
auth_param ntlm program /usr/bin/ntlm_auth
auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 150 startup=30 idle=30
auth_param ntlm keep_alive on
external_acl_type nt_group %LOGIN /usr/lib/squid/ext_wbinfo_group_acl
authenticate_ttl 20 minutes

# Авторизация требуется ОБЯЗАТЕЛЬНО, без нее никого не пускать
acl nt_group proxy_auth REQUIRED

Код: Выделить всё

###################################################
#                   Кэш и Ко                      #
###################################################
# Директория с кэшем
cache_dir ufs /var/cache/squid 10249 16 256
# Параметры кэширования
refresh_pattern -i \.(ico|jpg|jpeg|png|bmp|tif|tiff|svg|png|gif|psd|eps)$ 4320 98% 5200
refresh_pattern -i \.(htm|html|js|css|txt)$ 4320 98% 5200
refresh_pattern -i \.(avi|ogg|mpg|mp4|mpeg|vob|mov|wmv|mp3|mid|rm|wma|asf|wav|swf|flv|x-flv)$ 4320 98% 5200
refresh_pattern -i \.(doc|docx|xls|xlsx|pdf)$ 4320 98% 5200
refresh_pattern -i \.(zip|7z|gz|bz|bz2|rar|tar|gzip)$ 4320 98% 5200
refresh_pattern -i \.(deb|rpm|exe|msi|bin)$ 4800 98% 10080
#refresh_pattern -i (/cgi-bin/|\?) 0 0%  0
refresh_pattern .       0   20% 4320

# Сколько выделить памяти
cache_mem 192 MB
cache_swap_low 70
cache_swap_high 75
maximum_object_size 71680 KB
maximum_object_size_in_memory 256 KB
minimum_object_size 4 KB
Подскажите куда копать?
Вложения
htop.JPG
htop.JPG (179.33 КБ) 68 просмотров

Аватара пользователя
Алексей Максимов
Администратор сайта
Сообщения: 521
Зарегистрирован: 14 сен 2012 06:50
Откуда: г.Сыктывкар
Контактная информация:

Re: Вечно заканчивающаяся ОЗУ

Сообщение Алексей Максимов » 30 ноя 2018 09:20

А память выжирается именно процессами squid?
Если так, то предварительно можно предположить пару вариантов:
- память потребляется неверно настроенным механизмом кеширования в памяти
- память потребляется хелперами аутентификации squid , что может быть связано с их некорректной работой или настройкой

Нужно бы посмотреть дерево процессов в тот момент, когда память исчерпана.
Посмотреть какие при этом процессы потребляют больше всего памяти. Возможно не будет видно ярко выраженные потребителей памяти, но будет множество однотипных процессов, потребляющих много памяти в общей сложности (это относится к хелперам)

Аватара пользователя
Степан Смирнов
Новичок
Сообщения: 6
Зарегистрирован: 18 окт 2018 06:43
Контактная информация:

Re: Вечно заканчивающаяся ОЗУ

Сообщение Степан Смирнов » 30 ноя 2018 09:29

Есть ощущение что да, именно хэлперы пожирают, их тут оооочень много.

Могу скинуть ещё конфиги если Вы скажете какие именно нужны?

Аватара пользователя
Алексей Максимов
Администратор сайта
Сообщения: 521
Зарегистрирован: 14 сен 2012 06:50
Откуда: г.Сыктывкар
Контактная информация:

Re: Вечно заканчивающаяся ОЗУ

Сообщение Алексей Максимов » 30 ноя 2018 10:06

Базовая информация есть в исходном сообщении.
auth_param ntlm children 150 startup=30 idle=30
Допускается запуск до 150 дочерних процессов хелпера NTLM аутентификации. 30 из них поднимаются сразу при запуске squid, ещё 30 процессов запускаются как холостые (для более оперативной обработки при пиковых наплывах пользователей).
Считайте процессы, смотрите сколько они потребляют.

Сейчас о работе хелпера squid-2.5-ntlmssp с практической точки зрения говорить уже приходится по памяти, так как мы давно отказались от использования NTLM-аутентификации на Squid в пользу Kerberos.

Аватара пользователя
Степан Смирнов
Новичок
Сообщения: 6
Зарегистрирован: 18 окт 2018 06:43
Контактная информация:

Re: Вечно заканчивающаяся ОЗУ

Сообщение Степан Смирнов » 03 дек 2018 07:17

К сожалению нет доступа к контроллеру домена для получения кейтаба, да и общая политика организации работает через одно место...

Скинул "детей" до 80 + 18 + 9 (так было некогда раньше), проблема не решилась, память по прежнему забивается с той-же скоростью.
Вы писали про "неверно настроенный механизм кэширования" - , что там можно попробовать поменять?
Забыл добавить, данная машинка является виртуальной и живёт на Hyper-V - могут ли быть проблемы из за этого?

Аватара пользователя
Алексей Максимов
Администратор сайта
Сообщения: 521
Зарегистрирован: 14 сен 2012 06:50
Откуда: г.Сыктывкар
Контактная информация:

Re: Вечно заканчивающаяся ОЗУ

Сообщение Алексей Максимов » 03 дек 2018 10:14

данная машинка является виртуальной и живёт на Hyper-V - могут ли быть проблемы из за этого?
Могут. Проверяйте наличие на ВМ актуальных компонент интеграции Hyper-V. Они должны быть не просто установлены, но и работоспособны. Попробуйте отключить использование Dynamic Memory, если это настроено в свойствах ВМ.

Аватара пользователя
Степан Смирнов
Новичок
Сообщения: 6
Зарегистрирован: 18 окт 2018 06:43
Контактная информация:

Re: Вечно заканчивающаяся ОЗУ

Сообщение Степан Смирнов » 04 дек 2018 06:50

Динамическая память отключена, 4 ГБ выдано. Компоненты интеграции включил, может это самовнушение но всё начало работать быстрее (на будущее буду знать спасибо).
Всё равно растёт потребление ОЗУ, правда теперь памяти стало хватать часов на 15-20...

Ответить

Вернуться в «Прокси-сервер Squid»