Reduza a pressão de memória do PostgreSQL no Matrix Synapse

Se o PostgreSQL estiver consumindo mais memória do que o esperado para o Matrix Synapse, primeiro determine se a memória está sendo usada por buffers compartilhados, consultas ativas, autovacuum ou um grande número de conexões. Em seguida, ajuste uma fonte de cada vez e meça novamente. Os próprios workers Python do Synapse também usam uma quantidade considerável de memória, portanto, confirme se os processos do PostgreSQL ou o contêiner do banco de dados são a fonte do problema antes de alterar as configurações do banco de dados.

Entenda o que significa “memória elevada”.

O PostgreSQL utiliza memória compartilhada para seu cache, memória privada para cada conexão e consulta do servidor, além do cache de páginas do sistema operacional. No Linux, a memória exibida como "usada" pode incluir o cache recuperável do sistema de arquivos; esse número por si só não comprova que o banco de dados esteja sob pressão. Observe se há baixa disponibilidade de memória constante, atividade de swap, eventos de falta de memória ou um contêiner se aproximando do seu limite de memória. Compare esses sinais com as métricas de processo do Synapse e do PostgreSQL.

Um backend PostgreSQL é um processo de servidor que gerencia uma conexão de cliente. O pool de conexões de banco de dados do Synapse pode abrir vários backends por processo, e cada worker do Synapse possui seu próprio pool. Portanto, aumentar o número de workers ou o tamanho do pool pode aumentar o trabalho simultâneo no banco de dados e a demanda de memória. Ação: verifique os processos do Synapse, o número de workers, as configurações do pool, as conexões PostgreSQL e o limite de memória do host ou contêiner antes de ajustar o PostgreSQL.

Localize a fonte principal antes de sintonizar.

Conecte-se ao banco de dados Synapse como administrador e verifique as configurações que controlam a memória e as conexões:

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersé o cache compartilhado do PostgreSQL e é alocado quando o servidor é iniciado. work_memé um orçamento por operação de consulta para classificações e tabelas hash, não um limite por servidor; uma consulta pode usar várias dessas operações e muitas conexões podem executá-las simultaneamente. A memória de manutenção e autovacuum também pode multiplicar quando vários processos de manutenção são executados. Ação: compare os valores configurados com a RAM disponível, a concorrência e o número de conexões Synapse, em vez de presumir que a configuração maior é a melhor.

Use esta consulta para ver quantas sessões de clientes estão conectadas e se elas estão ativas ou ociosas:

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

Quando suportado pela sua implementação, inspecione o limite de memória do contêiner PostgreSQL e use suas métricas ou as métricas de processo e cgroup do host. A soma da memória residente em todos os processos do PostgreSQL pode superestimar o uso de páginas compartilhadas. Ação: use a contabilização total de memória do contêiner ou do host para verificar a pressão e, em seguida, use as estatísticas de conexão e consulta para identificar um possível fator contribuinte.

Escolha as alterações com base nas evidências.

Se houver picos de memória de consulta durante períodos de alta atividade

Analise work_memprimeiro. Um valor alto pode consumir muita memória quando consultas simultâneas executam várias classificações ou operações de hash. Reduza-o com cautela se as medições mostrarem que a concorrência de consultas está multiplicando o uso de memória; a desvantagem é que operações grandes podem ser executadas em arquivos temporários e, consequentemente, mais lentamente. Evite copiar valores genéricos de um servidor diferente, pois a carga de trabalho do Synapse e a versão do PostgreSQL são importantes.

A documentação do PostgreSQL descreve shared_bufferso cache compartilhado principal e indica cerca de 25% da RAM como um ponto de partida razoável apenas para um servidor de banco de dados dedicado com pelo menos 1 GB de RAM. Também observa que alocar mais de 40% provavelmente não ajudará a maioria das cargas de trabalho, pois o PostgreSQL também depende do cache do sistema operacional. Ação: use esses valores como contexto, não como meta para um host Synapse compartilhado; se os buffers compartilhados já estiverem consumindo uma grande parte da memória total, considere um valor menor durante uma reinicialização planejada.

Se o número de conexões for a principal pressão

Analise os valores de `maxConnectionPool` database.args.cp_mine `maxConnectionPool` nos arquivos de configuração do worker do Synapse. O guia do Synapse para PostgreSQL mostra essas configurações como o tamanho mínimo e máximo do pool de conexões. Quando há muitos workers, cada um com seu próprio pool, o total de conexões possíveis pode ser muito maior do que o valor definido em um único arquivo. Reduzir esse valor pode limitar o número de backends de banco de dados simultâneos e seu consumo de memória, mas um pool muito pequeno pode fazer com que as requisições esperem por uma conexão.cp_maxhomeserver.yamlcp_max

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

Os valores acima são meramente ilustrativos; não constituem uma recomendação universal. Considere os pools de memória utilizados no processo principal e em cada worker, e reserve espaço para administração, migrações, monitoramento e outros clientes. O PostgreSQL aloca alguns recursos com base em um max_connectionslimite predefinido, portanto, aumentá-lo "por precaução" pode elevar a pressão sobre a memória. Ação: limite os pools do Synapse ao nível necessário para atender às suas necessidades de concorrência e assegure-se de que o limite de conexões do PostgreSQL seja suficiente para todos os serviços, além do acesso administrativo.

Se a manutenção ou o autoaspirador coincidirem com picos de atividade

O PostgreSQL pode alocar memória de manutenção para operações de VACUUM e indexação. A memória do autovacuum pode ser alocada por processo worker, portanto, uma configuração grande combinada com vários workers pode aumentar o pico de uso. Não desabilite o autovacuum para reduzir o consumo de memória: ele realiza a manutenção necessária das tabelas. Ação: inspecione os logs e a atividade durante o pico de uso e ajuste maintenance_work_mema memória autovacuum_work_memsomente se as operações em questão forem confirmadas como as responsáveis.

Aplique as alterações e verifique o resultado.

Faça backup das configurações do PostgreSQL e do Synapse primeiro. Altere uma variável ou limite de pool por vez, preserve as credenciais existentes com segurança e use o caminho de configuração apropriado para seu pacote ou contêiner. Alguns parâmetros do PostgreSQL, incluindo `--reload` shared_bufferse ` max_connections--reload`, exigem a reinicialização do servidor; configurações recarregáveis ​​podem ser aplicadas com o mecanismo de recarregamento suportado pelo PostgreSQL. Verifique o contexto da configuração antes de presumir que uma recarregamento a aplicou.

Após a alteração, monitore o pico de memória, eventos de swap e falta de memória, conexões ativas, latência de consultas, atividade de arquivos temporários e atrasos de requisições do Synapse durante um período de alta demanda representativo. A alteração é útil se reduzir a pressão sobre a memória sem causar esperas prolongadas por conexão, consultas mais lentas ou um acúmulo crescente de requisições. Se o Synapse for o processo que consome RAM em vez do PostgreSQL, ajuste o comportamento do cache do Synapse e a quantidade de workers separadamente; as configurações do PostgreSQL não corrigem a memória utilizada pelos workers do Python.

Não defina o valor work_memigual à RAM total do servidor, não aumente o valor max_connectionssem calcular o total do pool e não desative o autovacuum como solução geral. Se o consumo de memória permanecer alto, colete métricas durante o pico e revise as consultas em execução e as fontes de conexão antes de adicionar hardware ou fazer alterações de configuração abrangentes.

Referências oficiais

Deixar um comentário

Reduza a pressão de memória do PostgreSQL no Matrix Synapse

Descubra se a memória usada pelo PostgreSQL provém de consultas, buffers compartilhados, conexões ou manutenção e, em seguida, faça alterações direcionadas e seguras para o Synapse.

Por que as conexões entre salas do Matrix Synapse estão lentas — e o que verificar

Por que as conexões entre salas do Matrix Synapse estão lentas — e o que verificar

Antes de alterar as configurações do Synapse, verifique se a lentidão na entrada de salas Matrix em um servidor remoto, o recuo da federação, a carga do banco de dados local ou a fila de remetentes de saída estão sendo afetados.

Encerrar cadastros na Matrix ou exigir tokens de convite no Synapse

Impeça a criação de contas abertas em um servidor Synapse auto-hospedado ou mantenha os cadastros apenas por convite com tokens de registro de uso limitado.

Aviso de identidade da sessão do Element: verifique seu login com segurança.

Elimine o aviso de sessão não verificada do Element usando um dispositivo confiável ou uma chave de recuperação, com verificações que protegem seu histórico de bate-papo criptografado.

Elimine os timeouts de bloqueio de arquivos do ownCloud com o backend correto.

Diferencie a disputa de bloqueio de banco de dados dos bloqueios WebDAV expirados e, em seguida, escolha e configure a correção adequada para o ownCloud 10.

O que verificar quando o site ownCloud abre em uma página em branco

O que verificar quando o site ownCloud abre em uma página em branco

Rastreie uma tela em branco do ownCloud Web até a causa, como cache do navegador, recursos da web ausentes, erros de serviço ou configurações de URL de proxy reverso, com verificações direcionadas.

Limpar o aviso de memória PHP do ownCloud no ambiente de execução correto

Defina o limite de memória PHP da web do ownCloud, reinicie o serviço correspondente e verifique o valor ativo sem confundi-lo com as configurações da CLI ou os limites de upload.

Solução de problemas de falhas de conexão MySQL no ownCloud 10

Descubra se o MySQL, o PHP, as configurações de socket ou as permissões do banco de dados estão bloqueando o ownCloud 10 e, em seguida, verifique se há uma solução segura.

Defina um prazo de expiração fixo para os links públicos do ownCloud.

Defina um prazo de expiração fixo para os links públicos do ownCloud.

Torne obrigatória a expiração de links públicos no ownCloud Classic, defina um tempo de vida máximo e verifique os compartilhamentos existentes que podem precisar de limpeza separada.

Adicione autenticação de dois fatores TOTP ao ownCloud escale infinitamente com o Keycloak.

Adicione autenticação de dois fatores TOTP ao ownCloud escale infinitamente com o Keycloak.

Habilite o TOTP por meio do Keycloak, inscreva usuários com segurança e entenda quando as configurações de MFA em nível de rota do Infinite Scale se aplicam.