Como funciona o resfriamento líquido em data centers de IA?

Os servidores de IA estão mudando a forma como os data centers pensam sobre o calor.

À medida que os sistemas de GPU e acelerador se tornam mais poderosos, mais calor se concentra dentro da mesma pegada de rack. O resfriamento de ar tradicional ainda pode lidar com muitas cargas de trabalho, mas a infraestrutura de IA de alta densidade requer cada vez mais uma maneira mais direta de mover o calor para longe da eletrônica.

Refrigeração líquida resolve este problema usando um refrigerante circulante para coletar calor perto da fonte e transportá-lo através de um laço de resfriamento dedicado.

A um nível básico, o processo é simples:

O desafio da engenharia consiste em fazer com que cada parte desse laço funcione em conjunto de forma confiável.

Para a parte flexível da conexão do sistema, a mangueira de refrigeração líquida é um pequeno componente com um trabalho muito importante. Deve transportar refrigerante enquanto lida com pressão, mudanças de temperatura, roteamento apertado, vibração e manutenção repetida.

1. O que é resfriamento líquido em um Data Center IA?

Refrigeração líquida é um método de gerenciamento térmico que usa um líquido de refrigeração para transportar calor longe de equipamentos eletrônicos.

Em um servidor de IA, as fontes de calor primárias são muitas vezes GPUs, CPUs ou outros aceleradores de alto desempenho.

Em vez de transferir a maior parte desse calor para o ar circundante, um sistema de arrefecimento líquido coloca uma interface de arrefecimento perto do componente gerador de calor.

No resfriamento direto ao chip, esta interface é tipicamente uma placa fria.

O refrigerante flui através da placa fria, absorve o calor e, em seguida, deixa o servidor através do lado de retorno do circuito de resfriamento.

2. Por que o resfriamento líquido é importante para os servidores de IA?

A principal razão é a densidade de calor.

Sistemas de computação de IA podem colocar capacidade de processamento substancial em um espaço físico relativamente pequeno. Isso cria um problema térmico que é diferente de simplesmente esfriar um servidor convencional.

À medida que a potência do rack aumenta, o sistema de refrigeração tem de remover mais calor sem permitir que as temperaturas dos componentes se movam para fora da gama de operação pretendida.

O líquido é atraente porque os refrigerantes à base de água podem transportar consideravelmente mais calor por volume unitário do que o ar.

Isso significa que o sistema de resfriamento pode mover uma grande quantidade de energia térmica através de vias de fluido relativamente compactas.

3. O circuito básico de refrigeração direto ao chip

Um sistema de arrefecimento líquido simplificado direto para chip pode ser representado da seguinte forma:

A arquitetura exata varia de um data center para outro, mas o princípio permanece o mesmo: o refrigerante circula pelo caminho térmico e carrega calor longe do hardware de computação.

4. O que o CDU faz?

CDU significa Unidade de Distribuição de Refrigerantes.

O CDU é uma interface importante entre a infraestrutura de refrigeração da instalação e o circuito de resfriamento da tecnologia.

Dependendo da arquitetura do sistema, o CDU pode fornecer funções como:

• Circulação do refrigerante
• Gestão da temperatura
• Gestão da pressão
• Distribuição do fluxo
• Troca de calor
• Monitorização do sistema

Em algumas instalações, a água da instalação e o refrigerante do lado TI são mantidos em circuitos separados. O CDU fornece a interface térmica entre esses circuitos.

Este arranjo dá ao circuito de refrigeração de TI um ambiente controlado adequado aos requisitos dos servidores.

5. O que uma placa fria faz?

A placa fria é posicionada diretamente ou muito perto do componente gerador de calor.

Para o resfriamento da GPU, a placa fria é projetada para receber energia térmica da GPU e transferi-la para o refrigerante que flui através de seus canais internos.

A placa fria representa, portanto, o ponto em que o calor entra no ciclo de arrefecimento líquido.

Seu desempenho depende de seu design interno, fluxo de refrigerante, interface térmica e condições operacionais.

6. Onde se encaixa a mangueira de resfriamento líquido?

A mangueira liga as diferentes partes do circuito de refrigeração.

Dependendo da arquitetura, podem ser utilizadas mangueiras entre:

• CDU e variedade
• Manifold e servidor
• Servidor e placa fria
• Placa fria e coletor de retorno

Isso torna a mangueira uma ligação flexível entre componentes rígidos.

Em um rack de IA denso, essa flexibilidade pode ser valiosa porque o espaço de roteamento disponível é limitado.

7. Por que questões de roteamento flexíveis

Dentro de um rack de servidor de IA, componentes de refrigeração compartilham espaço com infraestrutura elétrica e mecânica.

Pode ser necessário deslocar uma mangueira em torno:

• Bandejas GPU
• Chapas frias
• Manifolds
• Estruturas de raquetes
• Componentes de potência
• Cabos eléctricos
• Outras linhas de arrefecimento

Por conseguinte, uma mangueira tem de ser suficientemente flexível para ser instalada, mantendo-se dentro do seu raio de curvatura mínimo especificado.

Bom roteamento não é simplesmente sobre fazer a mangueira dobrar.

Trata-se de manter o caminho de fluxo pretendido sem criar estresse mecânico desnecessário.

8. O que acontece dentro de uma mangueira de resfriamento líquido?

Uma mangueira de refrigeração líquida reforçada pode conter várias camadas funcionais.

O tubo interno contacta o líquido de refrigeração.

A armadura fornece suporte mecânico e pode aumentar a capacidade de pressão.

A camada exterior protege a mangueira do ambiente circundante.

A construção real depende do projeto da mangueira e da aplicação pretendida.

9. Por que o material da mangueira importa?

O material da mangueira interna está em contato direto com o refrigerante por longos períodos.

A seleção do material deve, portanto, considerar a formulação real do refrigerante em vez de se basear apenas em uma descrição geral, como "refrigerante à base de água".

As mangueiras flexíveis comuns consideradas para refrigeração de líquidos incluem:

• EPDM
• Silicone
• PTFE e outros fluoropolímeros
• Outros elastómeros específicos para aplicações

EPDM pode ser uma opção prática para muitas aplicações de refrigeração à base de água, onde a flexibilidade e durabilidade mecânica são importantes.

O silicone pode ser considerado quando a flexibilidade e a capacidade de temperatura são requisitos fundamentais.

As mangueiras de fluorpolímeros podem ser consideradas quando a compatibilidade química ou os requisitos específicos de limpeza são mais exigentes.

10. Como o refrigerante carrega calor?

O princípio é simples: o refrigerante entra na placa fria, absorve calor e folhas a uma temperatura mais elevada.

A relação pode ser descrita utilizando a equação básica de transferência de calor:

Q = □ × Cp × ΔT

em que:

• Q = calor removido
• ṁ = caudal mássico do líquido de arrefecimento
• Cp = capacidade térmica específica do líquido de arrefecimento
• ΔT = aumento da temperatura do líquido de arrefecimento

É por isso que o fluxo e as propriedades do líquido de refrigeração são fundamentais para o projeto de resfriamento líquido.

O cálculo real do sistema deve utilizar as propriedades do refrigerante selecionado e os requisitos térmicos do equipamento.

11. Por que o fluxo de refrigerante é importante?

Fluxo insuficiente pode limitar a quantidade de calor que o refrigerante pode transportar para um determinado aumento de temperatura.

No entanto, o fluxo crescente não é livre.

Maior fluxo pode aumentar a resistência hidráulica e os requisitos da bomba.

Por conseguinte, o sistema de arrefecimento necessita de um equilíbrio adequado entre:

• Remoção de calor
• Aumento da temperatura do refrigerante
• Taxa de fluxo
• Queda de pressão
• Potência de bombeamento

Esta é uma das razões pelas quais a seleção da mangueira de refrigeração líquida precisa ser considerada como parte do sistema hidráulico completo.

12. Como o diâmetro da mangueira afeta o laço de resfriamento?

O diâmetro interno da mangueira afeta diretamente a passagem de fluxo.

Para uma dada vazão, reduzir o diâmetro interno geralmente aumenta a velocidade do fluido e resistência hidráulica.

Escolher uma mangueira não é, portanto, simplesmente uma questão de combinar o diâmetro externo com um encaixe disponível.

O diâmetro interno deve ser considerado a partir dos requisitos hidráulicos do sistema.

13. O que é queda de pressão?

A queda de pressão é a pressão perdida à medida que o refrigerante se move através de um componente.

Em um ciclo de resfriamento líquido, a perda de pressão pode vir de:

• Mangueiras
• Adaptações
• UQDs
• Manifolds
• Chapas frias
• Válvulas e outras restrições

A bomba precisa fornecer pressão suficiente para manter o fluxo necessário através do circuito completo.

Por esta razão, os dados da pressão-gota da mangueira são mais úteis quando são fornecidos juntamente com um caudal definido e condição de ensaio.

14. O que é um UQD em refrigeração líquida?

UQD refere-se a a Desconexão Rápida Universal utilizado para simplificar a ligação e desconexão das linhas de arrefecimento líquido.

UQDs podem ser úteis quando servidores, placas frias ou outros componentes de refrigeração precisam ser atendidos ou substituídos.

Uma conexão típica pode ser representada como:

O UQD é, portanto, tanto uma conexão mecânica e parte do caminho de fluxo de refrigerante.

15. Um UQD afeta o desempenho de resfriamento líquido?

Sim.

A geometria interna de um UQD pode criar resistência hidráulica.

Ao selecionar um UQD, os engenheiros podem precisar considerar:

• Capacidade de fluxo
• Queda de pressão
• Pressão de trabalho
• Intervalo de temperatura
• Compatibilidade do refrigerante
• Desempenho do vazamento
• Ciclos de ligação
• Espaço de instalação disponível

Uma UQD deve, portanto, ser considerada como parte do projeto hidráulico em vez de simplesmente como um conector que se encaixa na mangueira.

16. Fornecimento lado e retorno lado

Um sistema de refrigeração líquida normalmente contém um caminho de alimentação e um caminho de retorno.

O lado de abastecimento fornece refrigerante relativamente mais frio em direção à fonte de calor.

O lado de retorno carrega refrigerante mais quente longe da placa fria.

Ambos os lados são importantes para o desempenho do sistema.

A mangueira de retorno não deve ser tratada como um componente secundário simplesmente porque o refrigerante já está carregando calor.

17. Por que a extensão da mangueira importa?

Mangueiras mais longas geralmente criam mais resistência ao atrito.

No entanto, fazer uma mangueira desnecessariamente curta pode criar estresse de instalação.

O comprimento prático da mangueira deve proporcionar uma margem suficiente para:

• Raio de curvatura necessário
• Movimento do equipamento
• Tolerância de instalação
• Acesso à manutenção
• Alinhamento da ligação

O objetivo não é a mangueira mais curta possível.

O objetivo é uma mangueira devidamente roteada com um comprimento adequado.

18. Por que o raio mínimo é importante?

A flexão excessiva pode deformar a mangueira e potencialmente restringir o fluxo de refrigerante.

Também pode colocar tensão mecânica adicional perto da montagem ou UQD.

Em um rack de IA denso, o raio de curva mínimo deve, portanto, ser tratado como um parâmetro de instalação real em vez de um valor que existe apenas na planilha de dados.

Durante o projeto do sistema, os engenheiros devem considerar o roteamento tridimensional real da mangueira.

19. E quanto às mudanças de temperatura?

Os sistemas de arrefecimento líquido não funcionam necessariamente a uma temperatura fixa.

A temperatura pode mudar com:

• Carga de trabalho de TI
• Fluxo de arrefecimento
• Condições de instalação
• Iniciar e desligar o sistema
• Ciclos de manutenção

O material da mangueira, reforços, acessórios e vedações devem ser adequados para o intervalo de temperatura de funcionamento esperado.

Para aplicações de longo prazo, a ciclagem de temperatura também pode ser relevante.

20. Controle de vazamento é um requisito do sistema

Uma das diferenças óbvias entre o arrefecimento do ar e o arrefecimento líquido é a presença de um fluido circulante dentro da infra-estrutura do equipamento.

O objetivo é simples:

Mantenha o líquido de refrigeração dentro do canal de fluxo projetado.

Os pontos de fuga potenciais incluem:

• Corpo da mangueira
• Conexão embutida
• Adaptação
• Interface UQD
• Conexão de placa fria
• Conexão do Manifold

É por isso que o conjunto completo da mangueira deve ser considerado durante a validação.

21. Por que a construção da mangueira importa?

Duas mangueiras feitas de materiais de base semelhantes podem se comportar de forma diferente porque suas construções são diferentes.

A construção pode influenciar:

• Pressão de trabalho
• Flexibilidade
• Raio de inclinação
• Duração mecânica
• Estabilidade dimensional
• Desempenho da temperatura

Para sistemas de refrigeração de líquidos pressurizados, o reforço pode ser particularmente importante.

A construção correta depende da aplicação e não simplesmente do nome do elastómero.

22. Por que a instalação do espaço importa?

Os racks de servidores de IA são ambientes altamente restritos.

Uma mangueira pode satisfazer as suas especificações de pressão e temperatura e ainda ser difícil de instalar se o seu diâmetro exterior, comprimento de montagem ou raio de curvatura não for adequado.

Os engenheiros devem verificar:

• Diâmetro exterior da mangueira
• Raio de curvatura mínimo
• Dimensões de ajuste
• Dimensões UQD
• Orientação da ligação
• Apuramento
• Acesso à manutenção

Em um rack densamente embalado, a geometria de instalação pode ser tão importante quanto as especificações nominais da mangueira.

23. Como a manutenção afeta o projeto da mangueira?

Os servidores de IA não são componentes permanentemente inacessíveis.

Servidores, GPUs e componentes de refrigeração podem precisar ser atendidos ou substituídos.

Durante a manutenção, a mangueira pode sentir movimento que não ocorre durante o funcionamento normal.

Isto torna importantes os seguintes factores:

• Flexibilidade
• Raio de inclinação
• Confiabilidade da ligação
• Ciclos de ligação UQD
• Comprimento da mangueira
• Protecção mecânica

Por conseguinte, deve avaliar-se uma mangueira de arrefecimento não só para funcionamento em estado estacionário, mas também para as condições de manutenção que se espera que sofram.

24. Refrigeração líquida é um sistema, não um único componente

O desempenho de resfriamento de um servidor de IA depende da interação entre múltiplos componentes.

Otimizar um componente sem considerar os outros pode produzir uma solução incompleta.

25. O que acontece quando a mangueira é subdimensionada?

Uma mangueira de tamanho inferior pode aumentar a velocidade do refrigerante e perda de pressão.

Dependendo do sistema, isso pode aumentar os requisitos da bomba ou reduzir o fluxo disponível para a placa fria.

Na escala rack, estes efeitos podem tornar-se mais importantes porque múltiplos ramos de resfriamento podem operar simultaneamente.

O ID da mangueira deve, portanto, ser selecionado a partir do fluxo necessário e do orçamento de queda de pressão do sistema.

26. O que acontece quando a mangueira é superdimensionada?

Maior não é automaticamente melhor.

Uma mangueira desnecessariamente grande pode aumentar:

• Espaço de instalação
• Peso da mangueira
• Raio de inclinação
• Consumo de materiais
• Dimensões da conexão
• Custo global do sistema

O tamanho adequado da mangueira é aquele que atende aos requisitos hidráulicos e mecânicos sem criar problemas de instalação desnecessários.

27. Como uma mangueira de refrigeração líquida deve ser validada?

Para aplicações exigentes, a validação deve considerar o conjunto de mangueiras acabado.

Dependendo do projeto, os testes relevantes podem incluir:

• Ensaio de pressão – Verificar a integridade da pressão.
• Ensaio de fugas – Verificar o desempenho de vedação.
• Ensaio de fluxo – Confirme o desempenho hidráulico.
• Ensaio de gota de pressão – Medir a resistência hidráulica em condições de escoamento definidas.
• Ensaio de temperatura – Avaliar o desempenho em toda a gama operacional.
• Ensaio de flexibilidade – Confirmar a adequação para o roteamento necessário.
• Ensaio de ciclo – Avalie a ligação ou movimento repetidos quando necessário.

O programa de teste requerido deve ser definido de acordo com a aplicação real.

28. Uma arquitetura típica de resfriamento líquido de IA

Esta arquitetura ilustra por que a mangueira se torna uma parte importante da infraestrutura global à medida que o número de ramos de resfriamento aumenta.

29. Por que a confiabilidade da mangueira importa na escala Rack

Um único ciclo de arrefecimento pode conter vários conjuntos de mangueiras.

Um rack pode conter muitos servidores.

Um data center pode conter muitos racks.

O resultado é um grande número de pontos individuais de mangueira e conexão.

Por conseguinte, a coerência é importante.

Uma solução de mangueira de refrigeração líquida prática deve ser adequada para fabricação, instalação e manutenção repetitivas.

30. Onde CJAN se encaixa no sistema de resfriamento líquido?

CJAN se concentra na parte flexível da mangueira dos sistemas de refrigeração líquida.

A carteira de refrigeração líquida atual inclui:

• LCH
• LCH- SD
• LCH-SDS

Estes produtos podem ser avaliados para diferentes aplicações de refrigeração líquida de acordo com os requisitos reais do sistema.

A seleção adequada deve considerar:

• Refrigerante
• Taxa de fluxo
• Pressão de trabalho
• Temperatura
• Identificação da mangueira
• Raio de inclinação
• Configuração da ligação
• Ambiente de instalação

O portfólio de mangueiras de refrigeração líquidas da CJAN é, portanto, melhor compreendido como parte de uma solução de engenharia de nível de sistema do que como um grupo de produtos de mangueiras autônomas.

31. LCH, LCH-SD e LCH-SDS em aplicações de refrigeração líquida

A seleção final do produto deve ser sempre confirmada em relação às mais recentes especificações do produto CJAN e às condições reais de operação do cliente.

32. O que um engenheiro deve fornecer ao selecionar uma mangueira?

Um inquérito útil à mangueira de arrefecimento líquido deve incluir as seguintes informações:

O fornecimento desses parâmetros permite que o fornecedor de mangueiras faça uma recomendação técnica mais significativa.

33. A sequência prática do projeto de resfriamento líquido

Uma sequência de engenharia útil é:

Este processo liga os requisitos térmicos aos requisitos mecânicos da mangueira.

34. A mangueira é pequena, mas o requisito não é

Uma mangueira de arrefecimento líquido pode parecer ser um componente relativamente simples em comparação com uma GPU, uma placa fria ou CDU.

Mas opera na intersecção de vários requisitos de engenharia.

Deve transportar o líquido de refrigeração de forma fiável, adaptando-se a um ambiente mecânico fortemente limitado.

Ele também tem que trabalhar com os acessórios, UQDs, variedades e placas frias em torno dele.

Isso torna a seleção de mangueiras uma decisão de engenharia de sistema em vez de simplesmente uma decisão de compra.

35. Key Takeaway

O resfriamento líquido do data center de IA funciona criando um caminho controlado para o refrigerante coletar calor de componentes de computação de alta potência e transportar esse calor para longe do servidor.

O processo básico é:

Dentro deste laço, a mangueira de refrigeração líquida proporciona a conexão flexível entre os componentes do sistema.

Seu desempenho depende mais do que o material da mangueira sozinho.

Taxa de fluxo, diâmetro interno, queda de pressão, temperatura, compatibilidade com o líquido de refrigeração, raio de dobra, reforço, acessórios e UQDs todos precisam ser considerados juntos.

O projeto de refrigeração líquida mais confiável não é construído em torno de um "melhor" componente. É construído em torno da compatibilidade entre todo o ciclo de resfriamento.

Para data centers de IA, essa abordagem de nível de sistema fornece uma base prática para projetar infraestrutura confiável de refrigeração líquida.

Conclusão

Refrigeração líquida está se tornando cada vez mais relevante à medida que a computação de IA empurra requisitos térmicos de nível rack mais elevados.

O conceito básico é simples: mover o calor para um líquido e transportá-lo para longe.

A implementação é mais detalhada.

Os CDUs gerenciam o ciclo de resfriamento. Placas frias coletam calor dos processadores. Manifolds distribuem refrigerante. UQDs fornecem conexões úteis. Mangueiras de refrigeração líquidas conectam esses componentes e permitem que o sistema se encaixe nas restrições físicas do rack do servidor.

Por esta razão, o projeto da mangueira de refrigeração líquida deve ser considerado tanto sob a perspectiva hidráulica quanto mecânica.

As famílias de mangueiras de refrigeração líquidas LCH, LCH-SD e LCH-SDS da CJAN podem ser avaliadas de acordo com os requisitos de refrigeração, fluxo, pressão, temperatura, roteamento e conexão da aplicação.

Para a refrigeração do data center de IA, a mangueira certa não é simplesmente a que se encaixa. É a que se encaixa no sistema de refrigeração.