Redes Neurais Artificiais Feedforward

Material produzido para disciplina de Redes Neurais Artificiais do curso de Engenharia de Computação e Software da Universidade Federal Rural do Semi-Árido (UFERSA). Professora: Rosana C. Rego.

As Redes Neurais Artificiais (RNAs) são modelos computacionais inspirados na estrutura e no funcionamento do cérebro humano. Elas têm sido amplamente utilizadas em tarefas de aprendizado supervisionado e não supervisionado, como classificação, regressão, reconhecimento de padrões e previsão de séries temporais. Seu poder vem da capacidade de aproximar funções não lineares complexas por meio de um conjunto de unidades computacionais interconectadas chamadas neurônios artificiais.

Neste capítulo, será apresentada a fundamentação teórica das RNAs, com foco nas redes do tipo feedforward, conhecidas como perceptrons e perceptrons multicamadas (MLPs). Inicialmente, abordamos o modelo matemático do neurônio artificial, seguido pela construção da rede perceptron e suas limitações. Em seguida, é discutido o clássico problema XOR, que evidencia a necessidade de arquiteturas mais profundas. Na sequência, são introduzidas as redes multicamadas, o método do gradiente para otimização de pesos, e o algoritmo de retropropagação (backpropagation), que permite a atualização eficiente dos parâmetros. Também são exploradas as principais funções de ativação e exemplos práticos de classificação e regressão utilizando RNAs.

Modelo matemático do neurônio

O cérebro humano é constituído por uma vasta e complexa rede neural formada por bilhões de neurônios interconectados. Essas células especializadas são responsáveis pela recepção, processamento e transmissão de sinais elétricos e químicos, possibilitando a comunicação entre diferentes regiões cerebrais. Cada neurônio funciona como uma unidade básica do sistema nervoso, capaz de transmitir impulsos nervosos que sustentam funções cognitivas, sensoriais e motoras.

O neurônio biológico é responsável por receber, processar e transmitir informações por meio de sinais elétricos e químicos. Os sinais recebidos pelos dendritos são somados no corpo celular. Se essa soma ultrapassa um certo limite (limiar), o neurônio dispara um potencial de ação que é propagado pelo axônio para os neurônios seguintes. Conforme mostrado na Figura 1, os dendritos recebem os sinais elétricos (estímulos) de outros neurônios. O corpo celular (soma) integra os sinais recebidos e decide se um impulso será enviado adiante. Já o axônio transmite o impulso elétrico para outros neurônios ou células. E por fim, os terminais axônicos fazem a conexão com outros neurônios por meio de sinapses.

Figura 1. Representação do modelo biológico do neurônio.

O neurônio artificial é inspirado no neurônio biológico, ele realiza uma operação matemática simples: recebe múltiplas entradas que representam os dendritos, aplica um peso a cada uma delas, soma os resultados e então aplica uma função de ativação à soma ponderada, como mostrado na Figura 2. Os pesos aplicadas a cada uma das entradas simulam a força ou influência de cada sinal recebido, já a soma ponderada representa a soma no corpo celular. O limiar de disparo é representado pelo viés e pela função de ativação, e o potencial de ação (impulso elétrico) é análogo à saída da função de ativação.

Matematicamente, o funcionamento de um neurônio pode ser descrito pela seguinte equação:

em que $x_i$ representa a entrada $i$-ésima do neurônio, $w_i$ é o peso sináptico associado à entrada $x_i$, $b$ é o viés (bias), um termo adicionado à soma ponderada para ajustar o resultado da função de ativação, $\phi(\cdot)$ é a função de ativação, responsável por introduzir não linearidades no modelo e $y$ é a saída do neurônio. Este modelo foi proposto por McCulloch e Pitts em 1943.

Como base no modelo (2), em 1958, Rosemblat apresentou uma rede neural constituída por um único neurônio chamada Rede Perceptron.

Rede Perceptron

O Perceptron, ilustrado na Figura 3, é a forma mais simples de rede neural artificial, proposta por Frank Rosenblatt em 1958. Ele foi projetado para realizar classificação binária de padrões lineares. Considere um vetor de entradas $\mathbf{x} = [x_1, x_2, ..., x_n]^T$ e um vetor de pesos $\mathbf{w} = [w_1, w_2, ..., w_n]^T$, o Perceptron calcula uma soma ponderada:

A saída do perceptron é então dada por uma função de ativação, tipicamente a função degrau de Heaviside:

Hiperplano de Decisão

Matematicamente, a equação (3) representa uma função afim que define um hiperplano no espaço $\mathbb{R}^n$. No contexto das redes neurais, especialmente no modelo do perceptron, essa expressão é utilizada para calcular a combinação linear dos valores de entrada ponderados por seus respectivos pesos, acrescida de um termo de viés. O hiperplano definido por essa equação, mais precisamente, pela condição $\mathbf{w}^T \mathbf{x} + b = 0$, funciona como uma superfície de decisão que separa o espaço de entrada em duas regiões distintas.

Conforme mostrado na Figura 4, cada lado do hiperplano corresponde a uma classe diferente: se o resultado da equação for maior ou igual a zero, isto é, classe $C_1$, o perceptron ativa (saída igual a 1); caso contrário, permanece inativo (saída igual a 0), classe $C_2$. O vetor de pesos $\mathbf{w}$ determina a orientação do hiperplano, atuando como vetor normal, enquanto o viés $b$ ajusta sua posição no espaço. Dessa forma, o perceptron realiza uma classificação linear, e a equação que o rege tem papel central na definição das fronteiras de decisão no espaço de atributos.

Exemplo: Operação OR

Vamos exemplificar o Perceptron para a função lógica OR. Isto é, desejamos que o perceptron aprenda a função OR, que tem duas entradas binárias ($x_1$ e $x_2$) e uma saída binária ($y$). A função OR retorna 1 se pelo menos uma das entradas for 1, caso contrário retorna 0. A tabela verdade da função OR é dada por:

O perceptron calcula uma combinação linear das entradas e passa por uma função de ativação degrau:

Para a função OR, uma escolha simples de pesos e bias é:

Vamos calcular o valor de $u = w_1 x_1 + w_2 x_2 + b$ e a saída do perceptron $y = f(u)$ para cada linha da tabela verdade:

Observamos que o perceptron classifica corretamente todas as entradas da função OR. Graficamente, temos o seguinte hiperplano que separa as classes:

O perceptron é capaz de aprender apenas funções que podem ser separadas por uma linha (ou hiperplano em dimensões maiores). Isso significa que ele só funciona para problemas em que é possível traçar uma fronteira linear que separe as classes. Funções que exigem decisões mais complexas, como XOR, ou dados com classes que se misturam de forma não linear, não podem ser corretamente classificadas pelo perceptron simples.

Problema XOR

Um dos principais problemas que demonstra as limitações do perceptron simples é o problema XOR (ou exclusivo). A função XOR é definida por uma tabela verdade onde a saída é 1 apenas quando as entradas são diferentes:

Conforme mostrado na Figura 5, a função XOR não é linearmente separável, ou seja, não existe uma linha (no caso bidimensional), um hiperplano (em dimensões maiores), que possa separar perfeitamente as classes da saída com base nas entradas. Isso significa que um perceptron simples não é capaz de resolver o problema de classificação da função XOR.

Essa limitação foi demonstrada no final da década de 1960 por Minsky e Papert, o que levou a um período de estagnação nas pesquisas com redes neurais. No entanto, a introdução das redes multicamadas (Multi-Layer Perceptrons - MLP) e o desenvolvimento do algoritmo de retropropagação (backpropagation) permitiram que redes com pelo menos uma camada oculta fossem capazes de aprender funções não linearmente separáveis, como o XOR.

Com uma arquitetura de rede composta por uma camada oculta com neurônios não lineares e uma camada de saída, é possível representar corretamente a função XOR. Isso evidenciou o poder das redes neurais multicamadas em aproximar funções arbitrárias, contribuindo para a consolidação das RNAs como uma poderosa ferramenta de aprendizado de máquina.

A Figura 5 ilustra visualmente o problema XOR no espaço bidimensional, mostrando como os pontos estão distribuídos de forma que nenhuma linha reta pode separá-los corretamente:

Redes Perceptron de Múltiplas Camadas

As redes Perceptron de Múltiplas Camadas, conhecidas como Multi-Layer Perceptrons (MLPs), são um tipo de rede neural artificial composta por, no mínimo, três camadas de neurônios: uma camada de entrada, uma ou mais camadas ocultas e uma camada de saída, conforme mostra a Figura 6. Ao contrário dos perceptrons simples, que são limitados a problemas linearmente separáveis, as MLPs são capazes de modelar relações não lineares complexas entre as entradas e as saídas.

Cada neurônio nas camadas ocultas aplica uma transformação não linear à combinação ponderada das entradas que recebe, por meio de funções de ativação como ReLU, sigmoide ou tangente hiperbólica. A presença dessas funções de ativação não lineares nas camadas ocultas permite que a rede como um todo aprenda representações complexas dos dados, aproximando funções arbitrárias com precisão suficiente. Essa propriedade é formalizada no Teorema da Aproximação Universal, que afirma que uma MLP com ao menos uma camada oculta contendo um número suficiente de neurônios pode aproximar qualquer função contínua definida em um subconjunto compacto de $\mathbb{R}^n$.

Formulação Matemática

Seja a entrada da rede dada por:

em que $n_0$ é o número de neurônios da camada de entrada. Para cada camada $l = 1, 2, \ldots, L$ e para cada neurônio $i = 1, 2, \ldots, n_l$, calculamos:

onde $w_{ij}^{(l)}$ é o peso da conexão entre o neurônio $j$ da camada $(l-1)$ e o neurônio $i$ da camada $l$, $b_i^{(l)}$ é o bias do neurônio $i$ na camada $l$, $\varphi^{(l)}$ é a função de ativação da camada $l$, e $a_i^{(l)}$ é a ativação do neurônio $i$ na camada $l$. A saída da rede é dada por:

Solução do problema XOR

Conforme discutido, o problema XOR não pode ser resolvido com um único perceptron, pois não é linearmente separável. No entanto, uma rede neural com uma única camada oculta é capaz de resolver este problema. A arquitetura mínima necessária para resolver o XOR é apresentada na Figura 7.

A rede possui uma camada de entrada com dois neurônios, correspondentes às variáveis $x_1$ e $x_2$. Uma camada oculta com dois neurônios, com função de ativação não linear, e uma camada de saída com um único neurônio, também com função de ativação não linear. A ideia principal é que os neurônios da camada oculta aprendem a representar combinações intermediárias das entradas, criando regiões no espaço que tornam o problema separável. Em seguida, o neurônio da camada de saída combina essas regiões para produzir a saída correta.

Essa estrutura transforma o problema XOR em um conjunto de duas separações lineares intermediárias, que são posteriormente combinadas de forma não linear para representar a saída desejada, conforme é mostrado na Figura 8.

Cálculo Matemático da Solução XOR

Considerando a rede com duas entradas $x_1, x_2$, dois neurônios na camada oculta ($h_1, h_2$) e um neurônio de saída $y$, utilizamos a função de ativação degrau:

As camadas ocultas são dadas pelas expressões:

E a camada de saída:

Considere os pesos da primeira camada:

E os pesos para a camada de saída:

Portanto, a tabela de cálculos para cada entrada é:

Você pode estar se perguntando: como encontrar os melhores pesos? Os pesos de uma rede neural são calculados automaticamente durante o processo de treinamento. No processo de treinamento das MLPs o algoritmo de retropropagação (backpropagation) ajusta os pesos e vieses da rede utilizando técnicas de otimização como o gradiente descendente. Durante o treinamento, o erro entre a saída da rede e o valor desejado é propagado de volta pelas camadas, atualizando os parâmetros de forma a minimizar a função de custo.

Um exemplo clássico da capacidade das MLPs é a resolução do problema XOR. Como demonstrado anteriormente, esse problema não pode ser resolvido por um perceptron simples devido à sua natureza não linearmente separável. No entanto, ao adicionar uma camada oculta com pelo menos dois neurônios e aplicar funções de ativação não lineares, a MLP é capaz de particionar o espaço de entrada em regiões lineares separáveis, solucionando corretamente o problema.

Método do Gradiente

Para que a rede neural aprenda os pesos que produzem a saída desejada, é necessário calcular a diferença entre a saída prevista pela rede, $\hat{y}$, e a saída correta, $y$, que representa o erro do modelo. Esse erro é então utilizado para ajustar os pesos da rede, de forma que a próxima previsão seja mais próxima do valor esperado. O processo de atualização dos pesos geralmente ocorre por meio do método do gradiente descendente, onde o erro é retropropagado pelas camadas da rede para calcular o impacto de cada peso no resultado final. Assim, os pesos são modificados gradualmente, minimizando a função de custo e melhorando a precisão da rede ao longo do treinamento.

O objetivo do treinamento é minimizar a função custo $E(\mathbf{w})$, que pode ser o erro quadrático médio:

em que $P$ é o número de amostras, $y_k^{(p)}$ é a saída desejada e $\hat{y}_k^{(p)}$ é a saída da rede. Para isso, utiliza-se o gradiente da função custo em relação a cada peso.

Para atualizar os pesos da rede MLP usando o método do gradiente descendente, é necessário calcular o gradiente da função custo em relação a cada peso $w_{ij}^{(l)}$. Esse cálculo é feito usando a regra da cadeia, de acordo com o algoritmo de retropropagação.

Seja $a_j^{(l-1)}$ a ativação do neurônio $j$ na camada anterior $l-1$, $z_i^{(l)} = \sum_k w_{ik}^{(l)} a_k^{(l-1)} + b_i^{(l)}$ a entrada do neurônio $i$ na camada $l$, $a_i^{(l)} = \phi(z_i^{(l)})$ a saída do neurônio $i$ após a função de ativação. Queremos calcular:

Pela regra da cadeia:

Sabemos que:

Definimos o erro local no neurônio $i$ da camada $l$ como:

então o gradiente se torna:

e atualiza-se os pesos pela regra do gradiente descendente:

onde $\eta$ é a taxa de aprendizado.

A figura abaixo ilustra o conceito de descida do gradiente. No gráfico, a curva azul representa a função de erro $E(w)$, que depende do peso $w$. O ponto preto em $w$ mostra o valor atual do peso e o correspondente valor do erro. A seta verde indica o gradiente do erro $\nabla E(w)$ naquele ponto, apontando na direção de maior crescimento da função. Como o objetivo do treinamento é minimizar o erro, a atualização do peso ocorre na direção oposta ao gradiente, indicada pela seta vermelha $-\eta \nabla E(w)$, onde $\eta$ é a taxa de aprendizado. Essa movimentação leva o peso na direção do mínimo da função de erro, mostrado no ponto $w = 1.5$, onde o erro é mínimo e o gradiente é zero.

Implementação da Descida do Gradiente

Abaixo está uma implementação simples em Python do algoritmo de gradiente descendente:

import numpy as np
import matplotlib.pyplot as plt

# Função objetivo
def f(x):
    return (x - 3)**2

# Derivada (gradiente)
def grad_f(x):
    return 2 * (x - 3)

# Gradiente descendente
x0 = -2           # ponto inicial
eta = 0.1         # taxa de aprendizado
num_iter = 20    

# Listas para registrar a trajetória
x_vals = [x0]
f_vals = [f(x0)]

x = x0
for i in range(num_iter):
    x = x - eta * grad_f(x)
    x_vals.append(x)
    f_vals.append(f(x))

# Plot
x_range = np.linspace(-2, 5, 100)
plt.plot(x_range, f(x_range), label='f(x) = (x - 3)^2')
plt.plot(x_vals, f_vals, 'ro--')
plt.xlabel('x')
plt.ylabel('f(x)')
plt.title('Gradiente Descendente')
plt.legend()
plt.grid(True)
plt.show()

Funções de ativação

As funções de ativação são componentes cruciais das redes neurais, pois introduzem não linearidades que permitem à rede aprender padrões complexos. Sem funções de ativação não lineares, uma rede neural multicamadas seria equivalente a uma única camada linear.

Função Sigmoide (Logística)

A função sigmoide é uma das funções de ativação mais clássicas, definida por:

Propriedades:

• Saída no intervalo $(0, 1)$
• Diferenciável em todos os pontos
• Monotônica crescente
• Suave e contínua

Derivada:

Função Tangente Hiperbólica

A função tangente hiperbólica é definida por:

Propriedades:

• Saída no intervalo $(-1, 1)$
• Zero-centrada (média das saídas próxima de zero)
• Gradientes maiores que a sigmoide

Derivada:

Função ReLU (Rectified Linear Unit)

A função ReLU é atualmente uma das mais populares, definida por:

Vantagens:

• Computacionalmente eficiente
• Não sofre com gradiente desvanecente para valores positivos
• Promove esparsidade na rede
• Converge mais rapidamente que sigmoide/tanh

Derivada:

Função Softmax

A função softmax é usada principalmente na camada de saída para problemas de classificação multiclasse:

onde $K$ é o número total de classes.

Propriedades:

• Saídas no intervalo $(0, 1)$
• Soma das saídas igual a 1
• Pode ser interpretada como distribuição de probabilidade
• Enfatiza a classe com maior valor de entrada

Métricas de avaliação

A avaliação adequada do desempenho de modelos de redes neurais é fundamental para determinar sua eficácia. As métricas variam dependendo do tipo de problema: classificação ou regressão.

Problemas de classificação

Matriz de Confusão

A matriz de confusão é uma ferramenta fundamental para avaliar modelos de classificação. Para classificação binária, ela é uma matriz 2×2 que compara as predições com os valores reais:

Acurácia

A acurácia mede a proporção de predições corretas em relação ao total de predições:

A acurácia é uma métrica intuitiva, mas pode ser enganosa em datasets desbalanceados, onde uma classe é muito mais frequente que a outra.

Precisão

A precisão (ou valor preditivo positivo) mede a proporção de verdadeiros positivos entre todas as predições positivas:

Esta métrica responde à pergunta: "Das instâncias que o modelo classificou como positivas, quantas realmente são positivas?"

Sensibilidade

A sensibilidade (ou recall, ou taxa de verdadeiros positivos) mede a proporção de verdadeiros positivos que foram corretamente identificados:

Esta métrica responde à pergunta: "Das instâncias que realmente são positivas, quantas o modelo conseguiu identificar?"

Problemas de regressão

Para problemas de regressão, onde o objetivo é prever valores contínuos, utilizamos métricas diferentes:

Erro Absoluto Médio (MAE)

Erro Quadrático Médio (MSE)

Raiz do Erro Quadrático Médio (RMSE)

Coeficiente de Determinação (R²)

onde $\bar{y}$ representa a média dos valores reais. Valores de $R^2$ próximos de 1 indicam que o modelo explica bem os dados.

💡 Exercícios de Fixação

Teste seus conhecimentos sobre Redes Neurais Artificiais com estes exercícios interativos. Clique nas respostas para verificar se estão corretas!

🏆 Pioneiros das Redes Neurais

O desenvolvimento das redes neurais artificiais é resultado de décadas de pesquisa e contribuições de cientistas visionários. Esta seção homenageia os principais pesquisadores cujas descobertas fundamentaram os conceitos que estudamos neste capítulo.