Gerar números aleatórios é uma tarefa comum em muitas áreas da ciência de dados e a biblioteca NumPy oferece uma variedade de funções para criar números aleatórios de diferentes distribuições. Neste tutorial, vamos explorar como gerar números aleatórios usando NumPy.

Antes disso, faço uma introdução básica aos números aleatórios.

O que é um número aleatório?

Um número aleatório (random number) é um valor que é selecionado de forma imprevisível e sem padrão aparente. Esses números são usados em muitos campos, como em jogos de azar, modelagem de sistemas complexos, simulações, criptografia e outras aplicações em ciência de dados e engenharia.

Em computação, é possível gerar números aleatórios usando algoritmos que simulam o comportamento de um processo natural aleatório, como a movimentação de partículas em um gás ou o decaimento radioativo de um átomo.

Esses números gerados computacionalmente são conhecidos como números pseudoaleatórios, pois são determinísticos e repetíveis, mas parecem ser aleatórios o suficiente para muitas aplicações.

Os números aleatórios são importantes para muitas áreas da ciência e da tecnologia e podem ser usados para modelar o comportamento de sistemas complexos ou simular o resultado de eventos incertos.

Números aleatórios encontram muitas aplicações em programação, como no desenvolvimento de jogos.

O que é um número pseudoaleatório?

Um número pseudoaleatório é um valor gerado por um algoritmo determinístico que parece ser aleatório. Diferentemente dos números verdadeiramente aleatórios, que são produzidos por processos físicos imprevisíveis, os números pseudoaleatórios são gerados por computadores usando um algoritmo matemático.

Embora os números pseudoaleatórios sejam gerados por um processo determinístico, eles são projetados para ter propriedades estatísticas semelhantes às dos números verdadeiramente aleatórios, como uniformidade e independência.

Além disso, os algoritmos de geração de números pseudoaleatórios geralmente usam uma semente inicial como entrada, que pode ser usada para reproduzir a mesma sequência de números aleatórios em diferentes momentos.

Os números pseudoaleatórios são amplamente utilizados em aplicações de simulação, jogos, criptografia e outras áreas em que a aleatoriedade é necessária, mas a geração de números verdadeiramente aleatórios é difícil ou impraticável.

No entanto, é importante lembrar que os números pseudoaleatórios não são verdadeiramente aleatórios e podem ser previsíveis em certas circunstâncias.

O que é uma semente?

Semente é um valor inicial que é usado como entrada para um algoritmo de geração de números aleatórios, seja ele pseudoaleatório ou verdadeiramente aleatório. A semente é usada para inicializar o gerador de números aleatórios, determinando a sequência de números aleatórios que será gerada.

Quando uma semente é fornecida para um gerador de números aleatórios, a mesma sequência de números aleatórios será gerada toda vez que o algoritmo for executado com a mesma semente. Isso é útil em muitos casos em que a repetibilidade é desejada, como em testes de software, simulações e experimentos científicos.

A escolha da semente pode afetar a qualidade dos números aleatórios gerados, especialmente no caso de algoritmos pseudoaleatórios, que são determinísticos e produzem sequências que podem ser previsíveis.

Para evitar previsibilidade, é recomendável escolher sementes que sejam difíceis de adivinhar ou baseá-las em eventos aleatórios, como a hora atual do relógio do sistema ou a posição do cursor do mouse.

Em resumo, uma semente é um valor inicial que é usado para determinar a sequência de números aleatórios gerados por um algoritmo de geração de números aleatórios. A escolha da semente é importante para garantir a qualidade e a aleatoriedade dos números gerados.

Vejamos agora como gerar números aleatórios em Python, neste tutorial usando a biblioteca NumPy.

Números aleatórios em Python com NumPy

Antes de começar, é importante notar que a biblioteca NumPy usa um gerador de números pseudoaleatórios, que gera números aparentemente aleatórios, mas que são determinísticos e podem ser reproduzidos se o estado do gerador for conhecido. Para controlar o estado do gerador, você pode usar a função numpy.random.seed() para definir uma semente aleatória.

Vamos aos passos para gerar números aleatórios com NumPy:

Passo 1: Importar o módulo NumPy

Para começar, precisamos importar o módulo NumPy usando o comando import numpy. É uma boa prática usar um alias para o módulo, como import numpy as np, para tornar o código mais legível.

import numpy as np

Passo 2: Definir uma semente aleatória (opcional)

Se quisermos gerar números aleatórios determinísticos, podemos definir uma semente aleatória usando a função numpy.random.seed(). Lembre-se que a semente é um número inteiro que define o estado inicial do gerador de números pseudoaleatórios.

np.random.seed(42) # Define a semente aleatória como o valor 42

Passo 3: Gerar números aleatórios de uma distribuição

Agora podemos gerar números aleatórios usando uma das funções de distribuição de NumPy. Algumas delas incluem:

• numpy.random.rand() – gera uma matriz de números aleatórios uniformemente distribuídos no intervalo [0, 1).
• numpy.random.randn() – gera uma matriz de números aleatórios normalmente distribuídos com média 0 e desvio padrão 1.
• numpy.random.randint(low, high=None, size=None, dtype=’l’) – gera uma matriz de inteiros aleatórios entre low e high, excluindo high.
• numpy.random.random_sample(size=None) – gera uma matriz de números aleatórios uniformemente distribuídos no intervalo [0, 1).
• numpy.random.choice(a, size=None, replace=True, p=None) – gera uma matriz de amostras aleatórias a partir de uma matriz a com ou sem substituição.

Exemplos:

# Gera uma matriz de 3 números aleatórios uniformemente distribuídos no intervalo [0, 1).
np.random.rand(3)

# Gera uma matriz de 3 números aleatórios normalmente distribuídos com média 0 e desvio padrão 1.
np.random.randn(3)

# Gera uma matriz de 3 inteiros aleatórios entre 0 e 9.
np.random.randint(0, 10, 3)

# Gera uma matriz de 3 números aleatórios uniformemente distribuídos no intervalo [0, 1).
np.random.random_sample(3)

# Gera uma matriz de 3 amostras aleatórias com substituição a partir de uma matriz de números [0, 1, 2, 3, 4, 5].
np.random.choice([0, 1, 2, 3, 4, 5], 3, replace=True)

Passo 4: Salvar ou imprimir os números aleatórios

Aqui, podemos mostrar na saída os números gerados com a função print(), armazená-los em uma estrutura de dados, como uma lista, em um arquivo, ou alimentar outros processos dentro do programa com os valores gerados.

Passo 5: Gerenciar o formato e o tipo de dados dos números aleatórios

As funções de distribuição de NumPy geralmente retornam matrizes de números aleatórios com um formato e tipo de dados padrão, que podem ser diferentes do que precisamos em nosso projeto. Porém, podemos usar as funções NumPy para gerenciar o formato e o tipo de dados dos números aleatórios gerados.

# Gera uma matriz de 3 números aleatórios uniformemente distribuídos no intervalo [0, 10).
# Retorna um array de float64 por padrão.
random_array = np.random.rand(3) * 10

# Converte o array para o tipo de dados int32.
int_array = random_array.astype(np.int32)

# Imprime as matrizes geradas
print(random_array)
print(int_array)

Passo 6: Usar uma semente aleatória para reproduzir resultados

Como mencionado anteriormente, é possível definir uma semente aleatória para gerar números pseudoaleatórios determinísticos. Isso é útil em muitas situações, como testes de unidade ou experimentos científicos que precisam ser reproduzíveis.

# Define a semente aleatória como 42
np.random.seed(42)

# Gera uma matriz de 3 números aleatórios uniformemente distribuídos no intervalo [0, 1).
random_array = np.random.rand(3)
print(random_array)

# Define a semente aleatória como 42 novamente
np.random.seed(42)

# Gera a mesma matriz de 3 números aleatórios uniformemente distribuídos no intervalo [0, 1).
random_array_reproduzido = np.random.rand(3)
print(random_array_reproduzido)

Saída:

Agora que sabemos como gerar números aleatórios usando NumPy, podemos usá-los em nossos projetos de ciência de dados ou experimentos científicos. Devemos nos lembrar de que a escolha da distribuição de probabilidade e dos parâmetros da função de distribuição depende do problema em questão.

Extra: Algoritmos empregados para criar números aleatórios ou pseudoaleatórios

Existem diversos algoritmos utilizados para gerar números aleatórios ou pseudoaleatórios. Alguns exemplos incluem:

• Algoritmos Congruenciais Lineares (LCGs): são algoritmos simples que geram números pseudoaleatórios através de uma função matemática linear que utiliza o valor anterior gerado como entrada. A fórmula básica é Xn+1 = (aXn + c) mod m, onde a, c e m são constantes e Xn é o número gerado na n-ésima iteração.
• Algoritmos Mersenne Twister: são algoritmos mais avançados que geram números pseudoaleatórios com melhor qualidade estatística e período mais longo do que os LCGs. Eles usam um registro interno grande para armazenar o estado atual do gerador e aplicam uma série de operações matemáticas para produzir os números.
• Algoritmos criptográficos: são algoritmos projetados para garantir a segurança e a aleatoriedade dos números gerados, sendo frequentemente utilizados em aplicações como a geração de chaves criptográficas e a autenticação de dados. Alguns exemplos incluem o algoritmo Fortuna e o algoritmo de gerador de números aleatórios (RNG) baseado em hardware.
• Algoritmos baseados em física: são algoritmos que geram números aleatórios com base em processos físicos aleatórios, como a decaimento radioativo de um átomo ou o ruído térmico em um circuito eletrônico. Esses algoritmos podem produzir números verdadeiramente aleatórios, mas geralmente são mais lentos e difíceis de implementar do que os algoritmos pseudoaleatórios.

Esses são alguns exemplos de algoritmos usados para gerar números aleatórios ou pseudoaleatórios, e cada um tem suas vantagens e desvantagens dependendo do contexto de uso.

O post Como gerar números aleatórios com NumPy em Python apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Em Estatística, a mediana é um valor que divide um conjunto de dados ordenados em duas partes iguais. É o valor que está exatamente no meio de um conjunto de dados ordenados, onde metade dos valores está acima dele e a outra metade está abaixo.

A mediana é uma medida de tendência central alternativa à média, que é a soma de todos os valores dividida pelo número total de valores.

A mediana é particularmente útil quando os dados apresentam valores extremos ou outliers, que podem afetar significativamente a média e torná-la menos representativa do conjunto de dados como um todo.

Por exemplo, suponha que temos o seguinte conjunto de dados: 1, 3, 5, 7, 9. A mediana deste conjunto de dados é 5, já que é o valor que está exatamente no meio da lista, dividindo-a em duas partes iguais: 1, 3 e 5 abaixo dele e 7 e 9 acima dele.

Já a média deste conjunto de dados é (1+3+5+7+9)/5 = 5, o que também representa uma medida de tendência central, mas que é mais sensível a valores extremos.

Fórmulas para cálculo de mediana

O modo de calcular a mediana é diferente para conjuntos com quantidade par ou ímpar de observações. Sendo assim, podemos empregar as seguintes fórmulas para calcular a mediana de um conjunto de valores já ordenados:

Número ímpar de observações

Se o número total de observações (valores) for ímpar, então a fórmula usada para calcular a mediana será a seguinte:

Onde n é o número de observações.

Por exemplo, no conjunto de sete dados ordenados (1, 4, 5, 7, 8, 9, 12) a mediana será (7 + 1) / 2 = 4º elemento, ou seja, o valor 7, que é claramente o valor central

Número par de observações

Se o número total de observações (valores) for par, então a fórmula usada para calcular a mediana será a seguinte:

Onde n é o número de observações, e a mediana é portanto a média dos dois valores centrais.

Por exemplo, no conjunto de oito dados ordenados (1, 3, 4, 5, 7, 8, 9, 12) a mediana será:
{8 / 2 +  [(8 / 2) + 1]} / 2  = 4º elemento + 5º elemento) / 2 = (5 + 7) / 2 = 6

Ou seja, o valor 6. Note que este valor não pertence à lista, mas é a mediana dos valores fornecidos.

Calcular a mediana usando Python, sem usar módulos adicionais

Podemos calcular a mediana de uma lista em Python seguindo os seguintes passos:

1. Ordenar a lista de valores em ordem crescente.
2. Verificar se a lista tem um número ímpar de elementos ou um número par de elementos.
3. Se a lista tiver um número ímpar de elementos, a mediana é o valor do meio. Se a lista tiver um número par de elementos, a mediana é a média dos dois valores do meio.

Abaixo temos um exemplo de uma função codificada em Python que implementa esses passos:

def calcularMediana(lista):
    n = len(lista)
    sorted_lista = sorted(lista)

    if n % 2 == 0:
        # Número par de elementos: média dos dois valores do meio.
        metade_direita = n//2
        metade_esquerda = metade_direita - 1
        mediana = (sorted_lista[metade_esquerda] + sorted_lista[metade_direita])/2
    else:
        # Número ímpar de elementos: mediana é o valor do meio.
        metade = n//2
        mediana = sorted_lista[metade]

    return mediana

Neste exemplo, a função calcularMediana() recebe uma lista de valores como argumento e retorna a mediana da lista. A função primeiro calcula o número de elementos na lista, em seguida, ordena a lista em ordem crescente usando a função sorted(). Em seguida, a função verifica se a lista tem um número ímpar ou par de elementos e calcula a mediana de acordo.

Por fim, a função retorna a mediana.

Chamamos essa função passando uma lista de valores como argumento. Por exemplo:

if __name__=='__main__':
    minha_lista = [1, 5, 2, 7, 3, 9, 8, 4, 6, 5, 3, 12, 11, 18, 15, 8, 7, 2, 9]
    mediana = calcularMediana(minha_lista)
    print("A mediana da lista é:", mediana)

Resultado:

A mediana da lista é: 7

É isso aí! Nesta lição mostrei como criar uma função em Python que calcula a mediana de uma lista de valores passados em uma lista, se o emprego de bibliotecas especializadas como o numpy.

O post Como calcular a mediana de uma lista de valores em Python sem usar bibliotecas apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Neste tutorial vou mostrar com criar um gráfico do tipo “boxplot” em Python, usando a biblioteca matplotlib.

O que é um boxplot?

Um boxplot (ou diagrama de caixa) é um tipo de gráfico estatístico utilizado para representar a distribuição de dados quantitativos de forma visual e resumida.

Ele é composto por uma caixa, que representa o intervalo interquartil (IIQ), e dois “whiskers” (ou hastes) que se estendem a partir da caixa, representando o mínimo e o máximo dos dados (ou ainda um valor específico definido pelo usuário).

A linha central da caixa é a mediana, enquanto a borda inferior da caixa é o primeiro quartil (Q1) e a borda superior da caixa é o terceiro quartil (Q3). Os pontos fora das hastes são considerados outliers ou discrepantes.

Elementos de um boxplot.
Imagem: Wikipedia

O boxplot é uma ferramenta útil para identificar valores extremos e assimetrias nos dados, além de permitir a comparação de diferentes conjuntos de dados. Ele é amplamente utilizado em áreas como estatística, ciência de dados e análise financeira para explorar e visualizar a distribuição de dados quantitativos.

Como criar o gráfico

Para criar um gráfico de boxplot completo usando a biblioteca Matplotlib em Python, vamos seguir as etapas abaixo:

1. Importamos as bibliotecas necessárias – matplotlib e numpy:

import matplotlib.pyplot as plt
import numpy as np

2. Criamos um conjunto de dados de exemplo. Neste exemplo, criaremos três conjuntos de dados diferentes, contendo números gerados de forma aleatória com o uso de random:

dados_1 = np.random.normal(0, 2, 100)
dados_2 = np.random.normal(5, 3, 100)
dados_3 = np.random.normal(-5, 5, 100)
dados = [dados_1, dados_2, dados_3]

3. Por fim, criamos o gráfico de boxplot usando o método boxplot() da biblioteca Matplotlib:

fig, ax = plt.subplots()
ax.boxplot(dados)
plt.show()

4. O código completo para criar o gráfico de boxplot completo fica assim:

import matplotlib.pyplot as plt
import numpy as np

# Gerar os dados de exemplo
dados_1 = np.random.normal(0, 2, 100)
dados_2 = np.random.normal(5, 3, 100)
dados_3 = np.random.normal(-5, 5, 100)
dados = [dados_1, dados_2, dados_3]

# Criar o gráfico de boxplot
fig, ax = plt.subplots()
ax.boxplot(dados)

# Mostrar o gráfico
plt.show()

Isso cria o gráfico de boxplot abaixo, com três caixas correspondentes aos três conjuntos de dados de exemplo.

Gráfico de boxplot simples usando matplotlib em Python

Podemos também personalizar o gráfico de boxplot adicionando títulos, rótulos de eixo e cores distintas. Vejamos um exemplo, personalizando o gráfico criado anteriormente:

import matplotlib.pyplot as plt
import numpy as np

# Gerar dados de exemplo
dados_1 = np.random.normal(0, 2, 100)
dados_2 = np.random.normal(5, 3, 100)
dados_3 = np.random.normal(-5, 5, 100)
dados = [dados_1, dados_2, dados_3]

# Criar o gráfico de boxplot
fig, ax = plt.subplots()

# Personalizar as cores das caixas
boxprops = dict(linestyle='--', linewidth=1.5, color='red') # estilo de linha da caixa
flierprops = dict(marker='o', markerfacecolor='purple', markersize=5, alpha=0.5)
medianprops = dict(linestyle='-.', linewidth=1.5, color='blue')
whiskerprops = dict(linestyle='-', linewidth=1.5, color='green')
ax.boxplot(dados, boxprops=boxprops, flierprops=flierprops, medianprops=medianprops, whiskerprops=whiskerprops)

# Personalizar os títulos e os rótulos dos eixos
ax.set_title('Gráfico de Boxplot Personalizado')
ax.set_xlabel('Conjunto de Dados')
ax.set_ylabel('Valores')

# Personalizar o eixo x
xticks = ['Dados 1', 'Dados 2', 'Dados 3']
ax.set_xticklabels(xticks)

# Mostrar o gráfico pronto
plt.show()

Nesse exemplo, personalizamos as cores das caixas, bem como as propriedades dos whiskers, medianas, outliers e caixas. Também adicionamos títulos e rótulos aos eixos e personalizamos o eixo x com rótulos personalizados. Veja o resultado abaixo:

Gráfico personalizado de boxplot com módulo matplotlib

As opções boxprops, flierprops, medianprops e whiskerprops são parâmetros opcionais no método boxplot() da biblioteca Matplotlib em Python.

Esses parâmetros permitem personalizar as propriedades visuais de diferentes partes do gráfico de boxplot, incluindo as caixas, os outliers, as medianas e os whiskers (ou hastes) que se estendem a partir das caixas:

• boxprops: um dicionário de propriedades da caixa que define as propriedades visuais das caixas no gráfico de boxplot. Essas propriedades incluem a cor da borda, a espessura da borda, o estilo da borda, a cor do preenchimento, entre outras.
• flierprops: um dicionário de propriedades do outlier que define as propriedades visuais dos outliers no gráfico de boxplot. Essas propriedades incluem o marcador usado para representar os outliers, a cor do marcador, o tamanho do marcador, a opacidade do marcador, entre outras.
• medianprops: um dicionário de propriedades da mediana que define as propriedades visuais da linha mediana no gráfico de boxplot. Essas propriedades incluem a cor da linha, a espessura da linha, o estilo da linha, entre outras.
• whiskerprops: um dicionário de propriedades do whisker que define as propriedades visuais dos whiskers (ou hastes) no gráfico de boxplot. Essas propriedades incluem a cor da linha, a espessura da linha, o estilo da linha, entre outras.

É isso aí! Neste tutorial vimos como criar um gráfico de boxplot simples em Python.

O post Como criar um gráfico de Boxplot em Python com matplotlib apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Problema: 

Escreva um programa em Python que calcule a média aritmética, mediana, variância e desvio-padrão para um conjunto de dados de salários de funcionários de uma empresa (ou seja, script para estatística descritiva em Python).

Os salários devem estar armazenados em um arquivo CSV de nome salarios.csv.

Logo após, plotar um histograma com a distribuição de frequência dos salários, usando a biblioteca matplotlib.

Código:

Para este script, vamos empregar, além do pacote matplotlib para plotar um gráfico, também as bibliotecas NumPy e Pandas para a realização dos cálculos necessários.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Carregar os dados do arquivo CSV
data = pd.read_csv('salarios.csv')

# Calcular a média aritmétia, mediana, variância e desvio-padrão
mediana = np.median(data)
media = np.mean(data)
desv_pad = np.std(data)
variancia = np.var(data)

# Mostrar os resultados
print('Mediana: ', mediana)
print('Média: ', media)
print('Desvio Padrão: ', desv_pad)
print('Variância: ', variancia)

# Plotar Histograma
plt.hist(data, bins=5)
plt.xlabel('Salários')
plt.ylabel('Frequência')
plt.title('Distribuição Salarial')
plt.show()

Resultado:

Mediana:  5000.0
Média:  6300    5261.578947
Desvio Padrão:  6300    1795.650485
Variância:  6300    3.224361e+06

Funcionamento

Este programa primeiro carrega os dados do arquivo “salarios.csv” usando a biblioteca pandas. Em seguida, calcula a mediana, a média aritmética, o desvio padrão e a variância usando o módulo numpy. Por fim, plota um histograma dos dados usando a biblioteca matplotlib.

Observe que especifiquei 5 compartimentos para o histograma passando o parâmetro bins para a função plt.hist(). É possível ajustar o número de compartimentos conforme necessário para visualizar melhor os dados.

O arquivo de dados para testar o código pode ser baixado no GitHub da Bóson Treinamentos: salarios.csv.

O post Estatística Descritiva em Python – Média, Mediana, Variância e Desvio-Padrão apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Neste tutorial vamos mostrar como criar um script que permite calcular Médias Móveis em Python, sem o emprego da biblioteca de manipulação e análise de dados Pandas (o que faremos em outro tutorial).

Após calcular as médias móveis para um conjunto de valores (fornecido em uma lista), vamos plotar um gráfico usando a biblioteca Matplotlib para visualização dos resultados obtidos.

As Médias Móveis

As médias móveis são uma ferramenta muito utilizadas por comerciantes, investidores e traders como ferramenta de auxílio na análise de tendências de preços e em análise técnica.

Mas o que é uma média móvel?

Uma média móvel é um indicador que mostra o valor médio do preço de um ativo em um período de tempo determinado (série de dados). Conforme o preço do ativo muda ao longo do tempo, seu preço médio aumenta ou diminui, compondo um movimento de valores médios.

Na prática, existem diversos tipos de médias móveis, sendo as cinco mais comuns as seguintes:

• Média Móvel Simples (ou Aritmética)
• Média Móvel Exponencial
• Média Móvel Triangular
• Média Móvel Variável
• Média Móvel Ponderada

Neste tutorial vamos mostrar como criar um script em Python que receba uma série de dados como entrada, e calcule a média móvel simples desse conjunto de valores. As médias móveis simples atribuem peso igual aos valores (preços).

A média móvel mais comum (de longo prazo) leva em consideração um período de 200 dias de dados (39 semanas); para os propósitos deste artigo vamos trabalhar com um conjunto menor de dados, mas o algoritmos pode receber qualquer quantidade de dados como entrada, sem que haja necessidade de alterações no código.

Como calcular a média móvel simples

O cálculo da média móvel simples é exatamente o que se espera de m cálculo de médias: somamos os valores de cada dia, e dividimos o resultado da soma pelo número de dias (média aritmética). O valor é então plotado em um gráfico.

Na sequência, avançamos um dia e somamos o próximo intervalo de valores, calculando a média e plotando no gráfico, e assim sucessivamente, construindo o gráfico das médias móveis.

Por exemplo, para calcular as médias móveis usando intervalos de 50 dias, calculamos a média aritmética dos primeiros 50 dias, avançamos um dia, calculamos a média aritmética dos próximos 50 dias, e assim até atingirmos o intervalo mais recente possível.

Script para determinar médias móveis em Python

Vejamos um exemplo de script que permite calcular as médias móveis para um conjunto de valores fornecido. No caso, vamos passar valores usando uma lista comum em Python, mas os dados podem ser provenientes de qualquer outra fonte, como arquivos .csv, do Excel, de páginas Web, etc.

Vamos usar como intervalo para cálculo das médias o valor de 5 dias (médias de 5 valores), valor armazenado em uma variável que chamaremos de tam_grupo.

"""
Created on Thu Dec 3 12:05:44 2020
@author: Fábio dos Reis
"""
import matplotlib.pyplot as plt

valores = [21.95,21.84,21.9,21.98,21.65,22.11,22.50,22.75,23.21,23.1,23.20,22.78,22.30,23.17,23.24,23.26,23.23,23.13,23.27,23.38,23.42,23.68,23.20,22.84,23.01,23.00,23.11,23.24,23.46,23.27,23.02,22.82,23.31] # cotações diárias

tam_grupo = 5 # deslocamento (uma semana útil)
i = 0
medias_moveis=[]

# Calcular as médias móveis e armazená-las em uma lista:
while i < len(valores) - tam_grupo + 1:
    grupo = valores[i : i + tam_grupo]
    media_grupo = sum(grupo) / tam_grupo
    medias_moveis.append(media_grupo)
    i +=1

# Exibir a lista de médias móveis
for valor in medias_moveis:
    print(round(valor,2))

# Gerar lista com dias do mês
dia_mes = []
for dia in range(1,len(medias_moveis)+1):
    dia_mes.append(dia)

# Visualizar gráfico de médias móveis
plt.style.use('seaborn')
plt.xlabel('Dia')
plt.ylabel('Preço')
plt.title('Médias Móveis')
plt.axis(ymin=21,ymax=24,xmin=0,xmax=30)
plt.plot(dia_mes,medias_moveis,marker='o')
plt.show()

A figura a seguir mostra o gráfico plotado com as médias móveis calculadas a partir dos dados fornecidos na lista de valores:

Gráfico de Médias Móveis em Python

Conclusão

Neste tutorial mostramos como criar um script simples em Python para o cálculo de médias móveis simples. Usamos técnicas de programação como listas, laços de repetição while e for, funções como round() e len(), além da biblioteca para plotagem de gráficos matplotlib / pyplot / seaborn.

Nos próximos tutoriais vamos mostrar como calcular ouros tipos de médias móveis em Python, como a média móvel exponencial e a média móvel ponderada, como adicionar uma linha de tendência ao gráfico de médias móveis, e também como determinar e plotar Bandas de Bollinger.

E também vamos mostrar como usar a biblioteca Pandas para realizar esses tipos de cálculos, de forma ainda mais simplificada.

Até!

O post Calcular Médias Móveis em Python (sem usar Pandas) apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

A linguagem Python possui uma série de bibliotecas para cálculo estatístico que encontram inúmeras aplicações nas áreas de Inteligência Artificial, Ciência de Dados, Machine Learning (Aprendizado de Máquina), Big Data e muitas outras, sendo muito empregadas por quem trabalha nos ramos financeiro, médico, de engenharia e outros.

Estatística Descritiva

Chamamos de Estatística Descritiva ao ramo da matemática que nos permite descrever e sumarizar dados numericamente. Além disso, também é possível ilustrar os dados por meio do emprego de gráficos, histogramas e plotagens diversas.

Tipos de Medidas Estatísticas

Existem vários tipos de medidas estatísticas, sendo que as mais comuns são:

• Medidas de Tendência Central
• Medidas de Dispersão (Variabilidade)
• Medidas de Correlação

Neste tutorial você aprenderá a usar funções para cálculos de medidas de tendência central em Python.

População

Em Estatística, chamamos de População ao conjunto de todos os elementos que nos interessam em uma análise. Porém, é muito comum que as populações sejam conjuntos de dados muito grandes, tornado-se difícil trabalhar com a coleta e análise desses dados.

Por conta disso, é muito comum trabalhar com um subconjunto representativo de uma população, que chamamos de Amostra, a qual preserva as características estatísticas da população de modo a poder representá-la, com uma quantidade menor de dados.

Medidas de Tendência Central

As Medidas de Tendência Central em Estatística mostram os valores centrais de um conjunto de dados (população). Vamos trabalhar com as seguintes medidas de tendência central em Python nesta lição:

• Média Aritmética
• Média Harmônica
• Mediana
• Moda

Bibliotecas Estatísticas em Python

Em Python temos diversas bibliotecas para cálculo estatístico, e faremos uso neste tutorial das seguintes, que são as mais empregadas atualmente:

• statistics – Biblioteca embutida (built-in) usada para estatística descritiva.
• NumPy – Biblioteca de terceiros usada para computação numérica, altamente otimizada para o trabalho com arrays de uma ou múltiplas dimensões. Possui várias funções para análise estatística.
• SciPy – Outra biblioteca de terceiros, usada em Computação Científica, baseada na biblioteca NumPy. Acrescenta funcionalidade ao NumPy, incluindo funções estatísticas de análise.
• Matplotlib – Biblioteca de terceiros usada para visualização de dados. Pode trabalhar em conjunto com as biblitecas estatísticas citadas.

Importante: Você precisa ter as bibliotecas Scipy e Numpy instaladas para poder executar diversos métodos apresentados aqui. Caso não as tenha, abra um prompt de comandos (no Windows) e execute os comandos a seguir:

python -m pip install
pip3 install scipy

Estes comandos devem instalar as duas bibliotecas necessárias. Se estiver usando Linux (Debian, Ubuntu, etc.), rode:

sudo apt install python3-pip
sudo pip3 install scipy

Imports

Vamos precisar importar os módulos Scipy e Numpy para podermos executar algumas das funções estatísticas, além do módulo Math para efetuar alguns cálculos matemáticos (fórmulas). Também trabalharemos com o módulo padrão statistics. Para importar os módulos necessários, use as seguintes declarações:

import statistics
import math
from scipy import stats
import numpy
from collections import Counter

Lista de valores

Vamos trabalhar com listas de valores numéricos e de strings para estudar as funções estatísticas. Essas listas serão nossas amostras. Para criar as listas, usaremos as instruções a seguir:

lista = [2,5,7,4,1,9,5,9,2,6,7,9,4,3,5,7]
listaFrutas = ['banana','laranja','maçã','abacate','laranja','melão']

Assim criamos duas listas: uma de números e outra com nomes de frutas (string).

Média Aritmética em Python

Média aritmética, ou simplesmente Média, é simplesmente a soma de todos os valores em uma amostra, dividida pela quantidade de itens somados. Por exemplo, a média aritmética dos valores do conjunto {10, 20, 30, 20} é igual a (10 + 20 + 30 + 20) / 4 = 80 / 4 = 20.

Em Python, podemos usar a função statistics.mean(lista) para calcular a média aritmética dos valores presentes em uma lista. Vejamos um exemplo:

media = statistics.mean(lista)
print("Média aritmética: ", media)

Resultado:

Média aritmética: 5.3125

Média Harmônica em Python

A Média Harmônica é um tipo especial de média, usada sempre que a série de dados apresentar uma relação inversa entre os dados, por exemplo quando precisamos calcular a velocidade média, pois conforme a velocidade aumenta, o tempo relacionado diminui.

Equivale ao inverso da média aritmética, porém com os dados invertidos. A fórmula a seguir pode ser usada para calcular a média harmônica H matematicamente:

Em Python, podemos usar a função statistics.harmonic_mean(lista) para calcular a média harmônica dos valores presentes em uma lista. Vejamos um exemplo:

mediaHarmonica = statistics.harmonic_mean(lista)
print("Média harmônica: ", mediaHarmonica)

Resultado:

Média harmônica: 3.66812227074235

Mediana em Python

Em Python, podemos usar a função statistics.median(lista) para calcular a mediana dos valores presentes em uma lista. Vejamos um exemplo:

mediana = statistics.median(lista)
print("Mediana: ", mediana)

Resultado:

Mediana: 5.0

Moda em Python

Suponha a seguinte lista de items:

listaItens = ["SP", "RJ","MG","SP","TO","RS","SC","SP","SC"]

Qual valor aparece mais vezes na lista? Podemos descobri-lo determinando a moda do conjunto de valores, como segue:

moda = statistics.mode(listaItens)
print(moda)

Resultado

SP

Também podemos descobrir a moda do conjunto de valores com a função stats.mode(), do módulo Scipy, como segue:

moda = stats.mode(listaItens)
print(moda)

Resultado:

ModeResult(mode=array(['SP'], dtype='<U2'), count=array([3]))

Este exemplo retornou uma distribuição monomodal. O que acontece se nosso conjunto de valores possuir mais de uma moda? Vamos testar com nossa lista original:

lista = [2,5,7,4,1,9,5,9,2,6,7,9,4,3,5,7]
moda = statistics.mode(lista)
print(moda)

Resultado:

5

Note que apenas um valor foi retornado, porém em nosso conjunto de valores existem 3 números que aparecem com mais frequência: 5, 7 e 9, todos aparecendo três vezes. Assim,  a função statistics.mode() retornou apenas o primeiro valor do conjunto multimodal. Para que seja possível retornar todos os valores de moda, devemos usar a função statistics.multimode(), com segue:

lista = [2,5,7,4,1,9,5,9,2,6,7,9,4,3,5,7]
moda = statistics.multimode(lista)
print(moda)

Resultado

[5, 7, 9]

A função retornou uma lista de valores com as modas obtidas. Note que a função statistics.multimode somente está disponível no Python a partir de sua versão 3.8.

Contar Ocorrências de Valores em uma Lista

Podemos contar o número de ocorrências de cada valor em uma lista usando a função Counter(lista):

print(Counter(lista)) #contar ocorrências de valores em uma lista

Resultado:

Counter({5: 3, 7: 3, 9: 3, 2: 2, 4: 2, 1: 1, 6: 1, 3: 1})

Note que não se trata da contagem de quantos itens uma lista possui, mas sim a quantidade de cada item armazenado na lista. O cálculo de ocorrências é útil para a criação de algoritmos que, por exemplo, calculem a moda de uma população, sem a necessidade de empregar funções pré-existentes – às vezes, não é possível importar determinadas bibliotecas e, quando isso ocorre, é necessário escrever um algoritmo próprio. Veremos como fazer isso em outra lição.

No próximo tutorial continuaremos a estudar Estatística Descritiva com Python, abordando as medidas de dispersão, que incluem o cálculo de Variância e Desvio-Padrão.

O post Medidas de Tendência Central: Média, Moda e Mediana em Python apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Dispersão

Usamos o termo dispersão para indicar o grau de afastamento de um grupo de valores em relação à sua média aritmética (do conjunto).

Amplitude

Definimos a amplitude como sendo a diferença entre o maior e o menor valor em um intervalo de valores. Por exemplo, se tivermos um conjunto de valores ordenados, no qual o menor valor é 15 e o maior valor é 45, teremos uma amplitude de 45 – 15 = 30.

Essa amplitude nos dá uma noção do quão afastados estão o maior e o menor valores, porém não nos traz informações sobre os demais elementos do conjunto de dados.

Intervalo Interquartil

A amplitude geralmente é afetada quando existem valores muito grandes ou muito pequenos presentes no intervalo. Podemos diminuir o impacto desse problema usando o intervalo interquartil, que se obtém ignorando-se os quartis superior e inferior dos dados. Um quartil equivale a 1/4 dos valores, ou 25%.

Podemos calcular o intervalo interquartil usando o método a seguir:

1. Primeiramente, coloque os dados em ordem (crescente).
2. Determine o valor onde 1/4 dos demais valores estejam abaixo dele – chamamos esse valor de primeiro quartil (ou ainda, 25º percentil).
3. Encontre o valor onde 3/4 dos demais valores estejam abaixo dele – chamamos a esse valor de terceiro quartil (ou ainda, 75º percentil).
4. Agora calcule a diferença entre esses valores.

Exemplo: Seja o conjunto de valores a seguir (já ordenados):

1 3 4 6 7 8 10 15 16 17 18 20 21 22 25 28

Dividimos o intervalo em quatro partes:

Temos então que o primeiro quartil é o número 7, e o terceiro quartil é o número 21. O intervalo interquartil é a amplitude entre esses dois valores, portanto é igual a 21 – 7 = 14.

Desvio Médio Absoluto

É uma medida de dispersão que leva em consideração todos os valores de dados considerados. Basicamente, o desvio médio absoluto nos diz o quão afastado da média cada valor está.

Calculamos o desvio médio absoluto com a fórmula a seguir:

ou seja, subtraímos a média de cada valor individual, usando o valor absoluto de cada diferença, somando-os e dividindo o resultado pelo número de valores utilizados.

Exemplo: Calcular o desvio médio absoluto do conjunto de dados a seguir:

22 23 20 24 26 24 29

Vamos ordenar os sete valores e calcular a distância de cada um em relação à média do conjunto, que é 24:

Aplicando a fórmula do desvio médio absoluto temos:

Variância

Geralmente elevamos ao quadrado cada valor de desvio e calculamos o valor médio desses quadrados, em vez de usar simplesmente o desvio médio absoluto como medida de dispersão. Damos a essa medida o nome de variância.

Simbolizamos a variância como σ² (sigma ao quadrado), e a fórmula para o cálculo da variância é a seguinte:

Essa fórmula é bem parecida com a fórmula do desvio médio absoluto, mas usando os quadrados dos números em vez de seus valores absolutos.

Exemplo: Vamos calcular a variância do exemplo utilizado anteriormente, no tópico sobre desvio médio absoluto:

Calculando a variância:

Desvio-Padrão

No geral, usamos uma medida de dispersão chamada de Desvio-Padrão, que dá uma idéia mais clara do tamanho da dispersão dos dados. O desvio-padrão nada mais é do que a raiz quadrada da variância. Assim:

O símbolo do desvio-padrão é a letra grega sigma (σ).

Exemplo: Aplicando o cálculo do desvio-padrão ao nosso exemplo anterior, teremos:

que é um valor de dispersão mais claro que a variância e mais preciso que o desvio médio absoluto.

Coeficiente de variação

Podemos verificar se a dispersão é muito grande em relação à média, calculando o Coeficiente de Variação, que é a razão entre o desvio-padrão e a média:

Aplicando-se essa fórmula ao exemplo usado no artigo:

Portanto o coeficiente de variação do conjunto de dados apresentado é de 11,12%.

O post Tópicos em Matemática – Variância e Desvio-Padrão – Estatística apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Estatística Descritiva – Medidas de Tendência Central

As médias são valores representativos de um conjunto de dados. Esses valores possuem a tendência de se localizarem em um ponto central, dentro do conjunto de dados, e por isso as médias são chamadas de Medidas de Tendência Central.

Existem vários tipos de médias que podem ser calculadas, sendo as mais comuns a média aritmética (ou somente média), a mediana, a moda, a média geométrica e a média harmônica. Cada uma delas tem suas aplicações específicas, vantagens e desvantagens de uso. Nesta lição trataremos dos três primeiros tipos: Média (aritmética), Moda e Mediana.

Média (ou Média Aritmética)

Indicada por  (“x barra”), pode ser calculada como:

Onde x₁, x₂, etc, são os números para os quais queremos calcular a média. Podemos também usar a notação de somatório para representar o valor médio:

O que significa “a média é igual ao somatório dos números sobre n”. Já o somatório de x é dado por:

O que significa “somatório dos números de x₁ até x_n“.

Exemplo: Dado o conjunto de notas a seguir, calcule a média da disciplina para um aluno do curso de Matemática:

A média das quatro notas será dada por:

Média = (8 + 7,4 + 6,2 + 8,8) / 4 = 30,4 / 4 = 7,6

Mediana

Trata-se do ponto (ou elemento) a meio caminho na escala de dados, ou seja, metade dos valores está acima da mediana e a outra metade está abaixo.

Para calcular a mediana, devemos primeiramente ordenar a lista de números considerados (rol). Por exemplo, seja a lista de valores numéricos a seguir:

20 35 19 24 55 18 17 20 23

Ordenando essa lista, teremos:

17 18 19 20 20 23 24 35 55

A mediana desse conjunto de valores é 20, pois há quatro números abaixo e quatro números acime desse valor que, portanto, é o ponto central.

Se tivermos um número par de valores, poderemos descobrir a mediana calculando a média entre os dois números centrais. Por exemplo, no conjunto de valores a seguir:

17 19 20 22 27 29

os dois números centrais são 20 e 22. A mediana será então (20 +22) / 2 = 21.

Quando uma relação de valores contém um número muito afastado dos outros da lista, a média não é uma medida muito representativa. Veja o exemplo a seguir, onde temos listados os valores dos salários dos funcionários de uma empresa, de acordo com o cargo:

O valor médio dos salários dessa empresa será 19800 / 5 = R$ 3960,00. Porém, note que todos os funcionários, à exceção do presidente, recebem bem menos do que isso – cerca da metade do valor médio. Portanto, a média aritmética não mostra com clareza o que ocorre nesse caso.

Para termos uma idéia melhor dos salários pagos pela empresa, podemos usar então a mediana. Vamos ordenar a lista de salários e descobrir sua mediana:

1900 2000 2100 2300 11500

A mediana (valor central) é R$ 2100,00, sendo essa uma medida de tendência central bem melhor, nesse caso.

A mediana é, em essência, a média aritmética dos valores centrais do rol considerado.

Moda

A moda é o valor que ocorre com maior frequência em um conjunto de valores (valor mais comum). Se houver mais de um valor nessa condição, chamamos a todos eles de modas. Uma distribuição com duas modas é chamada de bimodal. Já a distribuição que possui apenas uma única moda é denominada unimodal.

Exemplo: Dado o conjunto de valores a seguir, descubra sua moda:

17 18 19 20 20 23 24 35 55

A moda nesse exemplo é o número 20, pois esse valor aparece duas vezes no conjunto.

Quando nenhum valor ocorre mais de uma vez, não existe a moda para o conjunto considerado.

É isso aí! Vimos nesse artigo algumas medidas de tendência central, e na próxima lição estudaremos as medidas de dispersão, como o Desvio Padrão. Até mais!

O post Tópicos em Matemática – Média, Mediana e Moda – Estatística apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Uma distribuição de frequências basicamente compreende uma tabela de resumo que mostra a frequência de cada valor em um intervalo. No Excel podemos criar distribuições de frequência de várias formas, como:

• Criando sua própria fórmula
• Usando uma tabela dinâmica
• Usando a função FREQUÊNCIA

A função FREQUÊNCIA permite calcular a frequência com que os valores ocorrem num intervalo de valores e devolve uma matriz vertical de números. Podemos criar distribuições de frequência baseadas em intervalos de valores usando esta função. Como esta função devolve uma matriz, tem de ser introduzida como uma fórmula de matriz.

Sintaxe:

FREQUÊNCIA(matriz_dados; matriz_bin)

Argumentos da função:

• Matriz_dados    Obrigatório. Uma matriz de ou uma referência a um conjunto de valores, cujas frequências pretende contar. Se matriz_dados não contiver valores, FREQUÊNCIA devolve uma matriz de zeros.
• Matriz_bin    Obrigatório. Uma matriz de ou uma referência a intervalos, nos quais pretende agrupar os valores contidos em matriz_dados. Se matriz_bin não contiver valores, FREQUÊNCIA devolve o número de elementos em matriz_dados.

Exemplo: A planilha a seguir mostra uma série de valores de idades coletadas em uma pesquisa com 24 pessoas. Queremos criar uma distribuição de frequência para determinarmos quantas pessoas se encaixam em cada faixa etária. Vamos usar as seguintes faixas e idade:

• de 0 a 10 anos
• de 11 a 20 anos
• de 21 a 30 anos
• de 31 a 40 anos
• de 41 a 50 anos
• 50 anos e acima

Vamos criar as classes para a distribuição de frequências digitando o valor superior de cada uma em uma célula, na coluna E:

A faixa acima de 50 nós não declaramos, mas ela será calculada da mesma forma, automaticamente. Selecione agora o intervalo de F2 a F7, pressione a tecla “F2” no teclado, e insira a fórmula a seguir (não pressione enter ainda!):

=FREQUÊNCIA(A2:C9;E2:E6)

Note que ao selecionarmos o intervalo incluímos uma célula a mais (F7) do que as cinco células usadas na coluna E. Nessa célula teremos o valor de frequência das idades acima de 50 anos.

Para finalizar o cálculo, pressione as teclas CTRL + SHIFT + Enter, pois esta é uma fórmula de matriz (array), e para que ela devolva os dados requisitados precisamos usar essa combinação de teclas, em vez de simplesmente digitar Enter. Note também que serão incluídos automaticamente na fórmula as chaves ({=FREQUÊNCIA(A2:C9;E2:E6)}), indicando que se trata de uma fórmula de matriz:

Os dados das frequências serão calculados e inseridos automaticamente nas células correspondentes. Lembrando que os valores digitados na coluna E correspondem aos valores superiores de cada classe (por exemplo, o valor 10 significa de 0 a 10 anos).

É isso aí! Há outras maneiras de se criar uma distribuição de frequências no Excel, incluindo o uso de tabelas dinâmicas e ferramentas adicionais, as quais estudaremos em uma próxima lição. Até!

O post Microsoft Excel – Função FREQUÊNCIA – Criando uma distribuição de frequências apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.