Câmeras e LED walls: uma relação desafiadora

As LED walls tornaram-se uma parte essencial do design de cenários em diversas aplicações de mídia e entretenimento. Além disso, sua utilização está crescendo nas aplicações de cenários virtuais e afins. No entanto, há vários desafios associados, especialmente quando combinadas com câmeras, o que frequentemente dificulta a obtenção de resultados ideais.

Um problema fundamental reside no fato de que tanto os painéis de LED quanto os sensores de imagem das câmeras utilizam estruturas de pixels discretas. Em alguns casos, isso pode resultar em interferências entre essas duas estruturas. Assim, dependendo da aplicação, é necessário evitar certas posições da câmera e configurações de imagem. Infelizmente, essa precaução pode levar a limitações indesejadas na composição da imagem. Embora haja algumas maneiras limitadas de minimizar essa interferência com um determinado painel de LED, na câmera, é possível obter o melhor resultado por meio de pré-filtragem óptica otimizada.

No entanto, a gravidade do problema varia consideravelmente dependendo da tecnologia da câmera utilizada. Câmeras que possuem a mesma resolução para todas as três cores oferecem mais possibilidades para realizar uma pré-filtragem óptica eficiente, adaptando-se às circunstâncias.

Além disso, novas aplicações, especialmente em Realidade Virtual (VR) e Realidade Aumentada (AR), onde os painéis de LED operam com taxas de quadros mais elevadas, apresentam desafios completamente novos para a tecnologia de captura de imagens. Nestes casos, é crucial que os sensores de imagem da câmera possuam um obturador global, permitindo a exposição e leitura simultâneas de todos os elementos da imagem com um tempo de exposição curto. Além disso, existem oportunidades, especialmente no contexto da câmera, para a criação de uma integração mais suave e fácil no ambiente de produção. Isso pode ser alcançado, por exemplo, através da implementação de funcionalidades como um circuito de atraso entre os sensores de imagem e o processamento de sinais, alterando o momento de exposição.

Câmera em frente a um painel de LED durante um workshop da EBU na Leyard Europe

Introdução
Ao longo dos anos, diversos tipos de telas têm desempenhado papéis essenciais no design de cenários para produções televisivas. Inicialmente, os tubos de raios catódicos (CRT) foram amplamente empregados, posteriormente substituídos por telas de plasma, LCD e projeções baseadas em LCD. Durante o período de uso das telas CRT, surgiram desafios notáveis para a tecnologia de câmeras, especialmente relacionados à sincronicidade dos sinais entre o monitor e as câmeras. Artefatos eram comuns, especialmente ao capturar vários monitores com fontes não sincronizadas ou monitores operando em taxas de quadros diferentes das câmeras.

Os monitores de plasma, por exemplo, adotavam uma taxa de quadros independente da fonte do sinal, resultando em padrões de interferência semelhantes aos observados nos monitores CRT com taxas de quadros discrepantes em relação às câmeras. No contexto das telas LCD, a captura geralmente apresentava menos problemas, evidenciando uma reprodução de imagem mais fiel.

Contudo, no cenário atual, as telas de LED (Fig. 1) emergem como a escolha quase exclusiva quando se necessita de um fundo virtual em uma cena. Essa transição para as telas de LED traz consigo uma série de desafios, especialmente em conjunto com as câmeras, frequentemente complicando a busca por resultados ideais.

Painéis de LED
Um problema fundamental é que tanto os painéis de LED (Fig. 2) quanto os sensores de imagem das câmeras (Fig. 3) usam estruturas de pixels discretas, o que em certos casos pode causar interferências entre essas duas estruturas, de modo que, dependendo da aplicação, é necessário evitar determinadas posições da câmera e configurações de
imagem, o que por sua vez pode levar a limitações indesejadas na composição da imagem.

Existem diversas opções de painéis de LED projetadas para atender a uma ampla gama de necessidades, e idealmente, uma ou mais versões deveriam proporcionar resultados ideais para a maioria das aplicações. Em princípio, os painéis de LED com menor “pixel pitch” (distância entre os pixels) são sempre preferíveis, considerando que o fator de preenchimento (Fig. 4) também desempenha um papel crucial, pois um fator maior geralmente resulta em melhores resultados.

É importante notar que uma distância de pixel menor, mantendo o mesmo tamanho de painel, implica em uma maior resolução, o que, por sua vez, demanda mais poder de processamento. Dessa forma, nem sempre é possível escolher um painel de LED sem restrições, seja devido à disponibilidade do tamanho desejado ou, de maneira mais trivial, por questões de custo.

Independentemente do painel de LED escolhido, há limitações em minimizar interferências potenciais. Entretanto, ao nível da câmera, existem opções que permitem obter o melhor resultado possível por meio de pré-filtragem óptica otimizada. A extensão do problema de interferência está intrinsecamente ligada à tecnologia da câmera utilizada. Câmeras que possuem a mesma resolução para todas as três cores oferecem consideravelmente mais opções para permitir a melhor pré-filtragem óptica possível em diversas situações, quando comparadas a câmeras que possuem um único sensor de imagem com uma matriz de filtros de cores.

Sensores de imagem da câmera
Atualmente, as câmeras profissionais adotam exclusivamente sensores de imagem CMOS. Nas versões anteriores, era comum encontrar um obturador “rolling shutter”, mas a maioria dos sensores modernos agora utiliza um obturador “global shutter”. Com o obturador global, todos os pixels são lidos e resetados simultaneamente em todos os modos de operação, ao passo que, com o “rolling shutter”, cada pixel tem um momento de exposição diferente no tempo.

Em muitas aplicações, incluindo a captura de painéis de LED, a diferença entre as duas versões de obturador não é substancial. No entanto, é crucial notar que existem aplicações específicas que requerem um obturador global. Isso é especialmente relevante em situações em que o painel de LED opera com uma taxa de quadros elevada, e a câmera utiliza um tempo de exposição curto para capturar uma imagem precisa do painel em um momento específico.

O aumento no número de pixels nos sensores de câmera, devido aos novos formatos de vídeo, contribui para uma maior resolução da imagem, mas também intensifica as situações em que as estruturas de pixels dos sensores da câmera e das paredes de LED podem interferir entre si. No entanto, há considerações importantes que influenciam esses problemas, incluindo medidas específicas relacionadas à câmera para minimizar a interferência, bem como aspectos que afetam a qualidade da imagem decorrentes de condições físicas.

Resolução/Nitidez
Em um sistema de câmera, diversos parâmetros desempenham um papel crucial na nitidez da imagem [1], incluindo o número de pixels, o desempenho MTF (Modulation Transfer Function) da lente e a filtragem óptica passa-baixa (Fig. 5).

O número de pixels é determinado pelo formato do vídeo, e o desempenho MTF da lente possui limites práticos. Assim, a única variável que pode ser influenciada no desenvolvimento da câmera é a filtragem óptica passa-baixa.

Conforme o teorema de Nyquist, para uma amostragem livre de interferências, nenhum sinal deve estar presente acima da metade da frequência de amostragem. Portanto, a filtragem óptica passa-baixa ideal deveria cortar o sinal da imagem com uma borda nítida logo abaixo da metade da frequência de amostragem.

Contudo, é importante destacar que um filtro óptico “brickwall” (linha pontilhada verde na Fig. 6) ideal não existe na prática. Em vez disso, emprega-se um filtro óptico passa-baixa com uma resposta cosseno, apresentando uma atenuação suave na frequência de amostragem (linha pontilhada azul na Fig. 6). Essa abordagem de filtragem oferece um equilíbrio eficiente entre a nitidez da imagem e o comportamento de aliasing da câmera.

Filtragem otimizada para situações críticas de alias
Como mencionado anteriormente, a sobreposição das estruturas de pixels dos painéis de LED e dos sensores da câmera pode resultar em interferências perceptíveis na forma de aliasing na imagem. Essas perturbações, que se manifestam como frequências de dobramento de baixa frequência, não podem ser corrigidas posteriormente; portanto, a prevenção torna-se crucial.

Uma abordagem para evitar essas interferências é o uso de filtros ópticos passa-baixa adicionais na câmera, geralmente com uma fenda na metade da frequência de amostragem. Embora essa prática reduza significativamente o aliasing, ela também compromete a resolução da imagem.

No entanto, a percepção da nitidez da imagem não depende tanto da reprodução das frequências mais altas, mas sim da profundidade de modulação das frequências médias, como a frequência onde a MTF atinge 50% do valor máximo, bem como a área sob a curva MTF [2]. Esses parâmetros não sofrem alterações significativas devido à filtragem adicional, tornando as perdas aceitáveis para a maioria das aplicações.

A perda de resolução é a razão pela qual essa filtragem óptica passa-baixa adicional não é adotada como padrão, sendo utilizada apenas como uma opção quando necessária. Além disso, filtros com características de atenuação simples ou dupla podem ser empregados, onde a relação entre a redução de aliasing e a perda de nitidez pode variar em uma direção ou outra.

A Figura 7 exibe as características de vários filtros ópticos passa-baixa opcionais, destacando a redução na MTF (Modulation Transfer Function), que é claramente observável.

Na Figura 8, apresenta-se a MTF total resultante de um sistema de câmera. Nota-se que as perdas são significativamente menores do que seria esperado ao considerar apenas os efeitos dos filtros. Essa observação destaca a eficácia do sistema em manter uma boa qualidade de imagem, mesmo após a aplicação dos filtros ópticos passa-baixa. Esses resultados indicam que, apesar das modificações na MTF devido aos filtros, a qualidade geral da imagem ainda permanece aceitável para a maioria das aplicações.

Sensores de imagem único versus 3
Na maioria das câmeras de transmissão, são empregados três sensores de imagem, utilizando um divisor de cores de prisma para separar a luz da cena em três cores distintas (Fig. 9). Essas componentes de cores separadas são, então, capturadas por três sensores de imagem idênticos, abrangendo a largura de banda total. A frequência de varredura é, portanto, uniforme para todas as três cores, e a filtragem óptica ideal que deve ocorrer na frente dos sensores é idêntica para todas as cores.

Isso difere de uma câmera com sensor de imagem único que utiliza um filtro de mosaico de cores aplicado ao sensor, geralmente seguindo o princípio do padrão Bayer. Nesse padrão, cada segundo pixel possui um filtro verde, e cada quarto pixel tem um filtro azul ou vermelho (Fig. 10).

Como resultado desse arranjo, as diferentes cores têm uma frequência de amostragem distinta, tornando impossível a aplicação de uma filtragem óptica passa-baixa ideal simultaneamente para todas as cores. Na prática, o sinal verde é filtrado de maneira ideal, enquanto as outras duas cores passam por uma filtragem mais fraca, refletindo-se claramente nas perturbações correspondentes na imagem (Fig. 11).

Novas aplicações

Realidade Virtual (VR)/Realidade Aumentada (AR)
Nas áreas de VR e AR, em particular, surgem aplicações em que o painel de LED opera com uma taxa de quadros mais elevada, apresentando desafios inteiramente novos para a tecnologia de câmeras. A câmera opera com um curto tempo de exposição, sincronizado com o tempo de exposição de uma única imagem reproduzida pelo painel de LED.

Nessas aplicações, é de importância crucial que os sensores de imagem da câmera possuam um obturador global. Somente assim todos os elementos da imagem podem ser expostos e lidos simultaneamente em um curto tempo de exposição. Além disso, existem possibilidades, especialmente no contexto da câmera, para criar uma integração mais suave e fácil das câmeras no ambiente de produção. Isso demanda uma solução que permita a mudança contínua do tempo de exposição, proporcionando flexibilidade para se adaptar às exigências específicas dessas aplicações dinâmicas.

Obturador Eletrônico
Um obturador eletrônico é empregado para diminuir o tempo de exposição de uma câmera. Em um instante específico, o obturador eletrônico apaga a carga acumulada nos fotodiodos, iniciando assim uma nova exposição. Dessa maneira, apenas a quantidade de carga acumulada entre o momento da eliminação e o momento da leitura é utilizada (Fig. 12). Essa abordagem contribui para a captura eficiente de imagens com tempos de exposição mais curtos, proporcionando maior flexibilidade em ambientes dinâmicos ou em situações que exigem uma resposta rápida da câmera.

Seleção do Momento de Exposição
Entretanto, o momento da exposição não pode ser livremente escolhido, ao contrário da sincronização de estúdio, mas é sempre o período imediatamente anterior ao tempo de leitura do sensor da câmera.

Embora seja possível alterar o sinal de sincronização da câmera de modo a ocorrer exatamente no momento desejado de exposição, isso implicaria a necessidade de um sinal de sincronização diferente para cada câmera que requer um momento de exposição distinto. Além disso, o sinal de saída da câmera não estaria mais sincronizado com o tempo do estúdio, exigindo um atraso adicional até que esteja alinhado com o restante dos sinais.

No entanto, se cada câmera integrar um circuito que permita a definição de um atraso livremente selecionável de até um quadro entre a saída do sensor e o processamento do sinal, conforme ilustrado no circuito chamado V-shift na Figura 13, então o momento de exposição de cada câmera pode ser escolhido sem dificuldades. Essa solução proporciona flexibilidade na seleção do momento de exposição, sem a necessidade de sinalizações de sincronização complexas e personalizadas para cada câmera.

A Figura 14 apresenta um exemplo de uma situação em que o painel de LED opera com uma frequência quatro vezes maior que a taxa de quadros da imagem, e a câmera deve capturar apenas a terceira imagem. Para isso, o obturador eletrônico é ajustado para menor ou igual a 1/200 segundos (a 50 Hz) ou a 1/240 segundos (a 59,94 Hz). Em seguida, a configuração V-Shift é alterada até que o momento de exposição dos sensores da câmera esteja exatamente sincronizado com a imagem desejada no painel de LED. Em comparação com a alteração dos sinais de sincronização da câmera, essa solução é mais fácil de usar, mais flexível e economiza tempo.

Captura de Várias Imagens
Além da necessidade de capturar apenas uma única imagem de um painel de LED operado com uma taxa de quadros mais alta, também existem aplicações em que todas as imagens são necessárias. Para isso, a câmera deve operar com a mesma taxa de quadros que o painel de LED, e o momento de exposição ainda deve ser alterado.

Para reduzir a diafonia entre duas imagens, pode ser útil diminuir um pouco o tempo de exposição com a ajuda do obturador eletrônico. A sensibilidade dos sensores da câmera diminui proporcionalmente ao tempo de exposição, e devido ao tempo de exposição significativamente reduzido nessas aplicações, os requisitos para a sensibilidade à luz dos sensores de imagem são muito altos.

No entanto, ainda mais problemática é a solução frequentemente utilizada com câmeras UHD em operação de alta velocidade para ler apenas uma pequena parte dos pixels UHD. Nesse caso, somente cada segundo pixel no plano horizontal e cada segunda linha são lidos (Fig. 15). Dos 3840×2160 pixels dos sensores UHD, apenas 1920×1080 pixels ou Full HD são lidos. No entanto, isso gera grandes áreas insensíveis à luz entre os pixels lidos, o que por sua vez não oferece resultados aceitáveis em aplicações com painéis de LED, especialmente devido à interferência de aliasing.

Entretanto, a possibilidade de ler todos os elementos de imagem ativos dos sensores de imagem na taxa de repetição de quadros necessária, como 3x (150/180) ou 6x (300/360), oferecerá a melhor solução possível. Mesmo com essas soluções, somente as câmeras com três sensores de imagem fornecerão os melhores resultados possíveis.

A última geração de sensores CMOS UHD de 2/3” já permite a operação com até 6 vezes a taxa de quadros, mesmo em conexão com o obturador global [4/5]. No entanto, os desafios para os sensores de imagem e o subsequente processamento do sinal são muito elevados: o requisito de largura de banda aumenta na mesma medida que a taxa de atualização (ou seja, a 6 vezes a velocidade). É necessária uma largura de banda 6 vezes maior, e com três sensores UHD de 16 bits, há sinais com mais de 300 Gbps para processar.

3x (4224 x 2248 pixels) x 16 bits x 359,64 quadros x amostragem de 2 vezes (para CDS) = 327,84 Gbps

A conversão de sinais UHD nativos dos sensores em sinais 1080p para processamento de sinal oferece qualidade de imagem ideal em 6x 1080p por meio de sobreamostragem pelos sensores e, portanto, representa uma solução ideal para muitas aplicações.

Conclusão
Como indica o título do artigo, “Câmeras e LED walls: uma relação desafiadora”, o uso de câmeras em conjunto com painéis de LED traz consigo alguns desafios especiais. No entanto, como frequentemente ocorre, existem soluções para alcançar o melhor resultado possível, apesar dos desafios.

Essas soluções englobam a implementação de filtros ópticos passa-baixa adicionais na câmera, otimizados para aplicações de LED, a introdução de circuitos de atraso adicionais no processamento de sinal da câmera para permitir a livre determinação do tempo de exposição, e a adoção de câmeras de alta velocidade com três sensores de imagem de 2/3″, capazes de operar nativamente com varredura de pixels UHD na taxa de quadros necessária. Estas estratégias contribuem para superar os desafios e garantir a obtenção do melhor resultado possível.

Este artigo foi apresentado pela primeira vez no SMPTE 2023 Media Technology Summit.

Site relacionado: https://www.grassvalley.com/

Acompanhe a Panorama Audiovisual no Facebook e YouTube