Anteriormente falamos sobre o objeto Series do Pandas, e neste artigo vamos explorar algumas funções de um outro tipo de objeto muito comum também fornecido pelo módulo Pandas, o DataFrame.

Os DataFrames do Pandas são uma estrutura de dados bastante versátil e poderosa que pode ser usada em análise, manipulação e processamento de dados em Python. Eles são empregados em uma ampla gama de aplicações de várias áreas, incluindo análise de dados, ciência de dados, engenharia, finanças, pesquisa e muito mais.

Algumas das principais aplicações dos DataFrames do Pandas incluem:

• Pré-processamento de Dados: Limpeza, formatação, dados duplicados, valores ausentes, transformação nos dados
• Análise e Exploração de Dados: Importação de dados, Cálculos de Estatística Descritiva (média, mediana, desvio-padrão, etc.).
• Manipulação de Dados: Filtro, seleção e ordenação para extrair informações específicas dos dados; funções de agregação, colunas calculadas
• Análise de Séries Temporais: Manipulação e análise de dados temporais, como séries temporais de preços de ações, dados climáticos, etc.; reamostragem
• Modelagem Estatística e Machine Learning: Criação de conjuntos de treinamento e teste em aprendizado de máquina, divisão de dados para validação cruzada, etc.

entre muitas outras.

Além disso, os DataFrames podem ser integrados com outras bibliotecas, como por exemplo as bibliotecas NumPy, SciPy, Matplotlib e inúmeras outras, permitindo executar diversas tarefas adicionais, como visualização de dados e cálculos complexos sobre os datasets, por exemplo.

O que é um DataFrame?

Um objeto do tipo DataFrame representa uma tabela de dados retangular bidimensional semelhante a uma tabela de banco de dados ou uma planilha do Excel, contendo uma coleção ordenada de colunas, em que cada uma pode ter um tipo de valor diferente (numérico, string, booleano etc.).

O DataFrame possui índices tanto para linha quanto para coluna; pode ser imaginado como um array de objetos Series, todos compartilhando o mesmo índice.

Há várias formas de construir um DataFrame, embora as mais comuns sejam a partir de dados armazenados em bancos de dados, arquivos CSV, arquivos de planilhas como o Excel, dicionários com listas de mesmo tamanho ou ainda a partir de arrays NumPy, entre outras.

Neste tutorial vamos criar DataFrames a partir de dicionários para explorar algumas de suas funcionalidades. Nos próximos tutoriais, vamos trabalhar também com importação de dados de planilhas do Excel, arquivos CSV e tabelas de bancos de dados relacionais, entre outras tarefas.

Criar um DataFrame a partir de um Dicionário

Vamos começar criando um DataFrame de exemplo a partir de um dicionário de dados. Antes disso, precisamos importar o módulo em nosso script:

import pandas as pd

Vamos criar agora um DataFrame a partir de um dicionário que contém nomes de países, quantidade de títulos mundiais da FIFA, e ano em que o país ganhou seu primeiro título.

dicionario={'País':['Brasil','Uruguai','Inglaterra','Espanha','Holanda','Itália','Argentina','Alemanha','França'],
'Ano':[1958,1930,1966,2010,None,1934,1978,1954,1998],
'Titulos':[5,2,1,1,0,4,3,4,2]
}
dados = pd.DataFrame(dicionario)
print(dados)

Saída:

  País       Ano    Titulos
0 Brasil     1958.0       5
1 Uruguai    1930.0       2
2 Inglaterra 1966.0       1
3 Espanha    2010.0       1
4 Holanda    NaN          0
5 Itália     1934.0       4
6 Argentina  1978.0       3
7 Alemanha   1954.0       4
8 França     1998.0       2

Note que na linha correspondente à Holanda a coluna Ano traz o valor NaN, que significa “Not a Number” (Não é um Número), indicando que este dado está ausente (a Holanda ainda não ganhou nenhuma copa, por isso um valor para a coluna de ano não existe!)

Mostrar início ou fim do dataset

Se o conjunto de dados for grande e não quisermos exibi-lo inteiro na tela, podemos imprimir apenas as cinco primeiras ou as cinco últimas linhas com os métodos head() e tail(), respectivamente:

# 5 primeiras linhas
print(dados.head())

# 5 últimas linhas
print(dados.tail())

Por padrão, o Pandas limita o número de linhas exibidas na tela a 60 linhas e o número de colunas a 20 colunas, para evitar saída de grandes volumes de dados.

Manipulação de colunas

Podemos alterar a ordem das colunas passando como parâmetro ao método .DataFrame() uma lista de valores a serem usados como cabeçalho:

dados = pd.DataFrame(dados, columns=['Titulos','País','Ano'])
print(dados)

Para ver apenas os nomes das colunas constituintes do df:

print(dados.columns)

Para imprimir colunas individuais (em vez do DataFrame completo) podemos passar o nome da coluna desejada como valor de índice (entre colchetes), ou então chamar a coluna pelo seu nome como uma propriedade (precedida de um ponto):

print('Países:')
print(dados['País'])
print('\nAnos:')
print(dados.Ano)

Adicionamos uma nova coluna ao DF simplesmente passando seu nome entre colchetes, e atribuindo valores a partir de uma sequência, como uma lista. Podemos inicializar a coluna com um único valor também (mesmo valor em todas as linhas), como por exemplo o valor 0:

# Acrescentar uma coluna ao DataFrame:
dados['Participações'] = 0
print(dados)

# Preencher a coluna com valores de uma lista:
part = [22,14,16,16,11,18,18,20,16]
dados['Participações'] = part
print(dados)

Para excluir uma coluna do DataFrame empregamos a função del:

# Excluir coluna "Participações"
del dados['Participações']
print(dados)

Manipulação de linhas

É possível excluir uma linha usando o método .drop(), passando o número da linha a excluir como um valor de índice. No exemplo a seguir vamos criar um novo DataFrame a partir do atual, excluindo nele a linha 4:

# Excluir a linha 4 (Holanda)
dados2 = dados.drop([4])
print(dados2)

Para excluir várias linhas de uma vez, basta passar uma lista com seus números de índice:

# Excluir as linhas 3, 4 e 5 de uma vez
dados2 = dados.drop([4, 3, 5])
print(dados2)

Para excluir uma linha no DataFrame em si, sem precisar criar uma cópia dele, usamos o parâmetro inplace=True:

# Excluir linhas in loco
dados.drop(4, inplace=True)
print(dados)

Slicing em DataFrames

Podemos retornar um conjunto de linhas passando seus índices, inclusive usando fatiamento (slicing):

# Retornar linhas de 1 a 5:
print(dados[1:5])

Também é possível realizar essa operação usando rótulos em vez de números de índice:

# Fatiamento com rótulos

dicionario={'País':['Brasil','Uruguai','Inglaterra','Espanha','Holanda','Itália','Argentina'],
'Ano':[1958,1930,1966,2010,None,1934,1978],
'Titulos':[5,2,1,1,0,4,3]
}

dados = pd.DataFrame(dicionario, index=['a','b','c','d','e','f','g'])
# Mostra df completo
print(dados, '\n')

# Mostra apenas linhas de rótulos b até e:
print(dados['b':'e'])

Indexação: loc() e iloc()

Podemos realizar indexação com método .loc(), retornando linhas e colunas específicas apenas por meio de seus rótulos:

# Indexação com loc
# Linha b, colunas de País e Títulos
print(dados.loc['b',['País', 'Titulos']])
# Linhas de a a d, coluna de Ano:
print(dados.loc[:'d','Ano'])

Ou ainda indexar com método .iloc(), que retorna as linhas e colunas específicas de acordo com números de índices:

# Indexação com iloc
print(dados.iloc[1,[0, 2]])

Ordenação em Dataframes

Podemos exibir os dados ordenados por índice tanto em ordem crescente quando decrescente com o método sort_index():

# Ordenação por índice
print(dados.sort_index())

# Ordenação por índice em ordem inversa
print(dados.sort_index(ascending=False))

Para ordenar os dados pelos valores de uma coluna específica usamos o método sort_values(), passando os nomes das colunas na ordem em que desejamos a ordenação:
 Ordenação por colunas: ordem alfabética de país
print(dados.sort_values(by='País'))

# Ordem alfabética inversa:
print(dados.sort_values(by='País', ascending=False))

# Ordenação por várias colunas: ordem crescente de títulos e alfabética de países
print(dados.sort_values(by=['Titulos','País']))

# Ou ainda ordem decrescente de títulos e alfabética de países
# Ordenação por várias colunas
print(dados.sort_values(by=['Titulos','País'],
ascending = [False, True]))

Renomear colunas

É possível renomear uma ou mais colunas de um DF usando o método rename(). Para tal, passamos um mapeamento de dicionário para o parâmetro “columns” contendo pares chave:valor nos quais a chave é o nome da coluna a renomear, e o valor é o novo nome que será usado.

Por exemplo, vamos renomear a coluna “Titulos” para “Campeonatos”:

# Renomear uma coluna 
dados2=dados.rename(columns = {'Titulos':'Campeonatos'})
print(dados2.columns)

Uma alternativa é usar o parâmetro axis=’columns’ ou axis=’1′:

# Renomear a coluna de volta
dados2=dados.rename({'Campeonatos':'Titulos'}, axis='columns')
print(dados2.columns)

Para alterar o nome da coluna in loco (sem criar outro df), usamos novamente o parâmetro inplace:

# Renomear coluna no DataFrame atual (inplace).
dados2.rename({'Titulos':'Campeonatos'}, axis='columns', inplace=True)
print(dados2.columns)

Para renomear múltiplas colunas o processo é o mesmo, bastando passá-las como um mapeamento de dicionário.
Por exemplo, vamos renomear as colunas “Campeonatos” e “Ano” para “Titulos” e “Primeiro_Titulo” respectivamente no df dados2:

# Renomear várias colunas de uma vez no DataFrame atual.
dados2.rename({'Campeonatos':'Titulos', 'Ano':'Primeiro_Titulo'}, axis='columns', inplace=True)
print(dados2.columns)

Também podemos renomear todas as colunas de um dataframe de uma vez, passando para isso uma lista com os novos nomes a usar. O comprimento da lista deve ser igual ao número de colunas existentes no df, e as colunas serão renomeadas na ordem em que aparecem.

Note que neste caso renomeamos as colunas SEM usar o método rename().

Por exemplo:

# Renomear colunas com lista
nomes = ['Nação','Ano_Ganhou','Qtde_Titulos']
dados2.columns = nomes
print(dados2.columns)

Renomear colunas adicionando sufixos ou prefixos

Às vezes precisamos renomear colunas adicionando sufixos ou prefixos na forma de uma sequência de caracteres. Podemos fazer isso usando os métodos add_prefix() ou add_suffix(). Por exemplo, vamos adicionar o prefixo “copa_” a todas as colunas do dataframe dados2:

# Renomear todas as colunas adicionando um prefixo
dados2 = dados2.add_prefix('copa_')
print(dados2.columns)

Leia mais aqui: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.add_prefix.html

Para remover um prefixo ou sufixo, podemos usar (entre outros) o método str.replace(), que substitui todas as ocorrências de uma determinada string por outra string (ou nenhuma string, que é o caso). Vamos remover o prefixo “copa_” adicionado anteriormente para testar:

# Remover prefixo com método str.replace
dados2.columns = dados.columns.str.replace('copa_', '')
dados2

Cuidado ao usar esse método para remover prefixos e sufixos, pois se houverem outras sequências de caracteres nos nomes das colunas iguais às que se deseja remover, estas também serão removidas, alterando de forma indesejada os nomes.

No próximo artigo estudaremos algumas técnicas de limpeza e tratamento de dados ausentes ou duplicados em um dataframe.

Colabore com a Bóson Treinamentos

Ajude o canal adquirindo meus cursos na Udemy:

• Bancos de Dados com MySQL Básico: https://bit.ly/35QdWE4
• Lógica de Programação com Português Estruturado: https://bit.ly/3QKPn22
• Programação em Python do Zero: https://bit.ly/python-boson

Adquira também livros e outros itens na loja da Bóson Treinamentos na Amazon e ajude o canal a se manter e crescer: https://www.amazon.com.br/shop/bosontreinamentos

O post Como usar o objeto DataFrame da biblioteca Pandas em Python apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

O módulo Pandas é uma biblioteca de código aberto em Python que fornece estruturas de dados e ferramentas para análise de dados eficientes e bastante flexíveis. Essa biblioteca é amplamente empregada em tarefas de manipulação, limpeza, análise e transformação de dados em projetos diversos de ciência de dados, análise de dados e engenharia de software em geral.

O Pandas possui duas estruturas de dados principais: os objetos Series e DataFrame. Neste tutorial vamos trabalhar com o objeto Series, e na próxima lição, abordaremos o objeto DataFrame.

Objeto Series

Um Series (“Série”) é um objeto do tipo array unidimensional contendo uma sequência de valores (semelhante a uma lista ou um array do NumPy) e um array associado de rótulos (labels) de dados, chamado de índice.

Ou seja, trata-se de uma estrutura de dados simples cujos valores são armazenados na forma de uma coluna de dados, porém contendo uma coluna de valores de índice associados.

Outra forma de pensar em um Series é como um dicionário ordenado de tamanho fixo, como se fosse um mapeamento entre valores de índices e valores de dados. Ele pode inclusive ser utilizada em alguns contextos em que um dicionário seria empregado.

No geral, usamos Series para guardar dados sobre um atributo em particular no dataset, sendo possível extrair uma coluna de um DataFrame na forma de um objeto Series, ou ainda adicionar uma coluna a um DataFrame a partir de um Series.

Como importar a biblioteca Pandas

Para que possamos criar e usar um objeto Series, primeiramente devemos importar o módulo Pandas (que deve estar instalado):

import pandas as pd

Caso o módulo Pandas não esteja instalado, use um gerenciador de pacotes como o pip ou conda para realizar sua instalação, como segue:

pip install pandas

ou (se estiver usando o Anaconda / Miniconda)

conda install pandas

Como criar um objeto Series

Podemos criar um objeto Series de várias maneiras, incluindo a partir de listas, dicionários, arrays NumPy e até mesmo criar Series vazias. Vejamos cada uma dessas formas com um exemplo.

Criar objeto Series vazio invocando o método Series()

# Objeto Series vazio
serie = pd.Series()
print(serie)

Criar Series a partir de uma lista comum

Uma forma mais comum é criar um objeto Series passando algum tipo de array de dados, como uma lista de valores:

# Series com lista do Python
dados = pd.Series([12, 34, 21, -9, 0, 7])
print(dados)

Saída:

0    12
1    34
2    21
3    -9
4     0
5     7
dtype: int64

Criar objeto Series a partir de um array NumPy

Podemos ainda passar um array NumPy para criar um Series (a biblioteca NumPy deve estar instalada para que o exemplo a seguir funcione):

# Series com array NumPy
import numpy as np

array_numpy = np.array([10, 20, 30, 40, 50, 60])
dados = pd.Series(array_numpy)
print(dados)

Saída:

0    10
1    20
2    30
3    40
4    50
5    60
dtype: int32

Criar Series preenchida com valores repetidos

Além disso, podemos criar um Series preenchido com um dado repetido para todos os índices:

# Series com repetição de itens
serie = pd.Series(33, index = ["num1", "num2", "num3", "num4", "num5"])
print(serie)

Saída:

num1    33
num2    33
num3    33
num4    33
num5    33
dtype: int64

Criar Series a partir de um dicionário

Finalmente, podemos criar um objeto Series passando um dicionário como parâmetro. Neste caso, as chaves serão usadas como índices e os valores serão os itens:

# Series com dicionário
dicionario = {
    'Ano' :1950,
    'Item' : 'TV',
    'Valor' : 250.60
}

serie = pd.Series(dicionario)
print(serie)

Saída:

Ano       1950
Item        TV
Valor    250.6
dtype: object

Outro exemplo de dicionário

dicionario = {'Brasil': 5, 'EUA': 0, 'Inglaterra': 1, 'Argentina': 3}
dados = pd.Series(dicionario)
print(dados)

Saída:

Brasil        5
EUA           0
Inglaterra    1
Argentina     3
dtype: int64

Valores e índices

A representação em string de uma Series exibida interativamente mostra o índice à esquerda e os valores à direita. Como não especificamos um índice para os dados, um índice default constituído dos inteiros de 0 a n-1 (em que n é o tamanho dos dados) é criado.

Podemos obter a representação do array e o objeto de índice de Series por meio de seus atributos de valores (values) e de índice (index), respectivamente:

print('Dados: ', dados.values)
print('Índices: ', dados.index)

Saída:

Dados:  [5 0 1 3]
Índices:  Index(['Brasil', 'EUA', 'Inglaterra', 'Argentina'], dtype='object')

Criar índices personalizados

Com frequência, precisamos criar um Series com um índice que identifique cada ponto de dado com um rótulo. Neste caso passamos o parâmetro index=[] contendo uma lista de valores que serão usados como índices:

dados = pd.Series([12, 34, 21, -9, 0, 7], index=['a','b','c','d','e','f'])
print(dados)

Saída:

a    12
b    34
c    21
d    -9
e     0
f     7
dtype: int64

Podemos usar rótulos no índice quando selecionamos valores únicos ou um conjunto de valores:

print('Dado no índice c: ', dados['c'])
print('\nÍndices b e e:')
print(dados[['b','e']])

Saída:

Dado no índice c:  21

Índices b e e:
b    34
e     0
dtype: int64

Operações Gerais em objetos Series

Agora que sabemos como criar e acessar objetos Series do Pandas, vamos conhecer algumas operações básicas que podemos realizar sobre os índices e dados armazenados na estrutura.

1. Acessar um item

Podemos acessar itens (valores) usando número de posição de índice ou nome de índice (se aplicado):

serie = pd.Series([10, 20, 30, 40, 50], index = ["num1", "num2","num3", "num4", "num5"])
print('Item na posição 0: ', serie[0])
print('Item de índice num3: ', serie['num3'])

Saída:

Item na posição 0:  10
Item de índice num3:  30

2. Descobrir valores máximo e mínimo

Podemos retornar os valores máximo e mínimo de um objeto Series com o emprego dos métodos .max() e .min():

serie = pd.Series([5, 7, 12, 2, 1, 6, 7, 0, -3, 22])
print(f'Menor valor: {serie.min()}')
print(f'Valor mais alto: {serie.max()}')

Saída:

Menor valor: -3
Valor mais alto: 22

Para obter o índice associado ao maior valor usamos o método .idxmax() e o índice do menor valor com .idxmin():

serie = pd.Series([5, 7, 12, 2, 1, 6, 7, 0, -3, 22])
print(f'Valor mais alto: {serie.max()}')
print(f'Índice do maior valor: {serie.idxmax()}')
print(f'Índice do menor valor: {serie.idxmin()}')

Saída:

Valor mais alto: 22
Índice do maior valor: 9
Índice do menor valor: 8

3. Funções de Estatística Descritiva

Diversas funções de estatística descritiva estão disponíveis em objetos Series, na forma de métodos associados, como Média Aritmética Simples, Mediana e Somatório, entre outras.

A média aritmética pode ser obtida com o método .mean():

print(f'Média aritmética: {serie.mean()}')

Saída:

Média aritmética: 5.9

A mediana com .median():

print(f'Mediana dos valores: {serie.median()}')

Saída:

Mediana dos valores: 5.5

E o somatório dos valores com .sum():

print(f'Somatório dos valores: {serie.sum()}')

Saída:

Somatório dos valores: 59

4. Converter objeto Series em lista comum do Python

Podemos converter um objeto Series em uma lista comum do Python com o método .tolist():

serie = pd.Series([5, 7, 12, 2, 1, 6, 7, 0, -3, 22])

# Ver objeto Series
print(serie)

# Criar lista a partir de Series
lista = serie.tolist()

# Ver lista criada
print('Lista: ', lista)

Saída:

0     5
1     7
2    12
3     2
4     1
5     6
6     7
7     0
8    -3
9    22
dtype: int64
Lista:  [5, 7, 12, 2, 1, 6, 7, 0, -3, 22]

5. Mostrar apenas os primeiros e últimos itens da Series

Se a quantidade de itens no objeto Series for grande, talvez você queira ver apenas os primeiros valores para ter uma ideia da natureza dos dados. Neste caso, pode usar o método head(), que retorna os cinco primeiros itens da série.

print(serie.head())

Saída:

0     5
1     7
2    12
3     2
4     1
dtype: int64

Da mesma forma, para mostrar os cinco últimos elementos, usamos o método .tail()

Dependendo da quantidade de itens, o Pandas retorna automaticamente apenas os cinco primeiros e os cinco últimos, sem a necessidade de usar o método .head().

No exemplo a seguir geramos 1000 números aleatórios usando a biblioteca NumPy, e criamos um Series do Pandas com esses valores. Na sequência, imprimimos os valores na tela – somente os cinco primeiros e cinco últimos devem aparecer neste caso, mesmo sem usar os métodos head() e tail():

import pandas as pd
from numpy import random

lista = []
for i in range(1000):
    lista.append(random.randint(250))
dados = pd.Series(lista)
print(dados)

Saída:

0        0
1       39
2      161
3      125
4      147
      ... 
995     24
996     95
997    165
998    144
999     45
Length: 1000, dtype: int64

6. Mostrar os elementos ordenados por valores de índice: método .sort_index()

dicionario = {'Brasil': 5, 'EUA': 0, 'Inglaterra': 1, 'Argentina': 3}
dados = pd.Series(dicionario)
print(dados.sort_index())

Saída:

Argentina     3
Brasil        5
EUA           0
Inglaterra    1
dtype: int64

7. Mostrar os elementos ordenados por valores dos itens: método .sort_values()

dicionario = {'Brasil': 5, 'EUA': 0, 'Inglaterra': 1, 'Argentina': 3}
dados = pd.Series(dicionario)
print(dados.sort_values())

Saída:

EUA           0
Inglaterra    1
Argentina     3
Brasil        5
dtype: int64

Vamos praticar um pouco agora.

Dataset para exercícios

Escreva um código que gere um objeto Series do Pandas, contendo uma lista com todos os países da União Europeia e suas respectivas populações, com os nomes dos países sendo usados como índices.

# Dicionário contendo os países da União Europeia e suas populações
dados = {
'Austria': 9006398,
'Alemanha': 83289318,
'Bélgica': 11589623,
'Bulgária': 7000039,
'Chipre': 1207361,
'Croácia': 4076246,
'Dinamarca': 5806015,
'Eslováquia': 5459642,
'Eslovênia': 2095861,
'Espanha': 47351567,
'Estônia': 1324820,
'Finlândia': 5523231,
'França': 66977107,
'Grécia': 10423056,
'Hungria': 9775564,
'Irlanda': 4882495,
'Itália': 60233948,
'Letônia': 1906743,
'Lituânia': 2793471,
'Luxemburgo': 613894,
'Malta': 493559,
'Países Baixos': 17134872,
'Polônia': 37974750,
'Portugal': 10286263,
'República Tcheca': 10693939,
'Romênia': 19405156,
'Suécia': 10106005,
}

# Criar um objeto Series a partir do dicionário
populacao_ue = pd.Series(dados)

# Exibir o objeto Series
print(populacao_ue)

Exercícios: Series do Pandas

Vamos treinar agora. Para os próximos exercícios, use o Series populacao_ue criado anteriormente. As respostas estão na sequência, com códigos sugeridos.

01. Imprimir a população da França.

02. Imprimir a lista de países da União Europeia em ordem alfabética.

03. Calcular e imprimir o número total de países na União Europeia.

04. Calcular e imprimir a população média dos países da União Europeia. Mostrar o resultado com duas casas decimais apenas.

05. Encontrar e imprimir o país com a maior população na União Europeia.

06. Filtrar e imprimir os países da União Europeia com população acima de 10 milhões, mostrando o resultado em ordem alfabética de nome de país.

07. Calcular e imprimir a população total da União Europeia.

08. Calcular e imprimir a porcentagem da população da Espanha em relação à população total da União Europeia.

09. Ordenar a Series em ordem decrescente de população e imprimir os cinco primeiros países.

10. Criar uma nova Series com a população de apenas três países da União Europeia e calcular a média da população desses países.
Use como exemplos os países França, Alemanha e Croácia.

11. Como exibir apenas as últimas três linhas do Series Pandas de nome “populacao_ue”?
A. populacao_ue(3:)
B. populacao_ue(1:3)
C. populacao_ue(-3:)
D. populacao_ue(:3)
E. populacao_ue(+3)

12. Podemos criar um objeto Series do Pandas usando:
A. Array NumPy
B. Lista
C. Dicionário
D. Valores repetidos
E. Todos os anteriores

RESPOSTAS DOS EXERCÍCIOS

01.

print(populacao_ue['França'])

02.

print(populacao_ue.sort_index())

03.

numero_paises = len(populacao_ue.index)
print("Número de países na União Europeia:", numero_paises)

04.

populacao_media = populacao_ue.mean()
print(f'População média dos países da União Europeia: {round(populacao_media, 2)}')

05.

pais_maior_populacao = populacao_ue.idxmax()
print("País com maior população na União Europeia:", pais_maior_populacao)

06.

# Filtrar os países da União Europeia com população acima de 10 milhões
paises_mais_10M = populacao_ue[populacao_ue > 10000000]

# Ordenar os países filtrados em ordem alfabética e imprimir
paises_ordenados = paises_mais_10M.sort_index()
print("Países da União Europeia com população acima de 10 milhões, em ordem alfabética:")
print(paises_ordenados)

07.

print(f'População total da União Europeia: {populacao_ue.sum()} habitantes')

08.

populacao_espanha = populacao_ue['Espanha']
populacao_total = populacao_ue.sum()
porcentagem_espanha = (populacao_espanha / populacao_total) * 100
print(f'População da Espanha em relação à população da UE: {porcentagem_espanha:.02f}%')

09.

paises_mais_populosos = populacao_ue.sort_values(ascending=False)
print("Cinco primeiros países mais populosos:")
print(paises_mais_populosos.head())

10.

paises_selecionados = populacao_ue[['França', 'Alemanha', 'Croácia']]
media_populacao_selecionados = paises_selecionados.mean()
print("Média da população:", media_populacao_selecionados)

11.

C. populacao_ue(-3:)

12.

E. Todos os anteriores

É isso aí! No próximo tutorial vamos apresentar o objeto DataFrame (df) do Pandas, mostrando como criar um dataframe e como manipular seu conteúdo pode meio dos métodos e propriedades disponíveis.

O post Como usar o objeto Series da biblioteca Pandas em Python apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Se você estuda ou pesquisa materiais relacionados a bancos de dados ou ciência de dados (ou áreas correlatas), já deve ter se deparado com o termo “dataset” em algum momento. Talvez até já tenha utilizado um em algum projeto, mesmo que não se lembre do fato.

Mas, o que é um data set? Será o mesmo que um database (banco de dados)? Qual a relação entre dataset e database? E quanto de “data” (dados) é necessário para termos um um “set” (conjunto) deles?

Vou responder a essas e  outras perguntas sobre o assunto neste artigo. 

Coleções de dados

Um data set (ou ainda dataset) é, basicamente, uma coleção de dados.

Esses dados podem ser tabulares (na forma de uma tabela), como os encontrados em bancos de dados relacionais, ou ainda podem ser coleções de arquivos ou documentos em formatos variados.

Um grupo de registros pode ser chamado de data set. Em um dataset podemos armazenar os mais variados tipos de informações, tais como registros médicos, dados de sensores, informações científicas, dados estatísticos como dados de censos, e muitas outras.

Esses dados são então utilizados por aplicações para realizar processos de análise, com o intuito de obter informações e novos insights para um negócio.

Onde conseguimos um Data set?

Diversos data sets estão disponíveis para uso pelo público, para pesquisas ou simplesmente aprendizado de alguma tecnologia como Big Data, Machine Learning ou Bancos Relacionais.

Exemplos incluem:

• Dataset Iris Flower
• Banco MNIST

Alguns sites disponibilizam e permitem a publicação de data sets abertos (ou com algum custo), como por exemplo:

• Data Hub – Diretório de data sets abertos gerenciado por uma comunidade
• World Bank Open Data – Dados de Desenvolvimento Mundial do Banco Mundial
• DATA.GOV – Dados abertos do governo dos Estados Unidos da América 
• dados.gov.br – Portal Brasileiro de Dados abertos 
• IMF Data – Dados do Fundo Monetário Internacional (FMI)
• Kaggle Datasets – Sistema de busca de data sets do Kaggle

Os datasets podem ser gerados a partir de inúmeras fontes de dados distintas, como por exemplo dados de compras realizadas pelos usuários de uma loja, avaliações desses usuários sobre os produtos ou serviços adquiridos, preenchimento de formulários e pesquisas online (ou físicas), oriundos de sistemas eletrônicos como sensores de dados físicos, e muitas outras.

Como é composto um Dataset

No geral, um data set consiste de dois componentes básicos: linhas e colunas, mas não exatamente como em uma planilha. Comumente, cada linha de um data set contém dados a respeito de uma informação em particular – similar a uma tabela, mas não necessariamente idêntico. É comum o emprego de arquivos CSV (valores separados por vírgulas) para a criação de datasets.

Como exemplo, podemos considerar o fragmento de conjunto de dados a seguir, que trata de elementos químicos da tabela periódica. Trata-se de uma tabela de dados, na forma de uma planilha, que pode ser importada em programas de análise de dados e manipulada com o emprego de técnicas, funções e bibliotecas específicas.

Data Set de Elementos Químicos – Bóson Treinamentos

Neste exemplo, cada coluna se refere a uma propriedade específica dos elementos químicos, e cada linha contém o conjunto de propriedades de um elemento em particular. Para cada elemento há uma linha de dados.

Já o fragmento do data set openfootball a seguir, armazenado no Github e descoberto a partir do Data Hub, traz dados sobre as finais da Copa do Mundo de Futebol masculino de 1994, realizada nos EUA.

Note que o formato é diferente do exemplo anterior (elementos químicos), tratando-se de um arquivo de texto puro:

Dados da Copa do Mundo 1994 do Data Set OpenFootball

Porém, os dados ainda assim estão armazenados em um formato tabular, com cada linha no geral remetendo a uma partida específica, e cada coluna a uma informação sobre as partidas.

A última linha (linha 41) mostra os dados da final entre Brasil e Itália, e podemos ver que a partida foi realizada no Rose Bowl, em Pasadena, com vitória do Brasil por 3 a 2 nos pênaltis, após empate em 0 x 0 no tempo normal e prorrogação*

*dia memorável, quebrei o lustre da sala da casa de meus avós com uma cabeçada (sem querer) após o pênalti de R. Baggio, ao dar um pulo para comemorar.

Ferramentas usadas para analisar data sets

Muitas ferramentas podem ser empregadas na análise e uso dos dados de um data set, com algumas das mais comuns listadas a seguir:

• Bibliotecas das linguagens R e Python (como o Pandas)
• Tableau
• Microsoft Excel
• Power BI
• QlikView
• RapidMiner
• Linguagem SQL

entre muitos outros pacotes de software e bibliotecas de funções.

Diferença entre Dado, Dataset e Banco de Dados

É muito comum confundir esses termos, pois se referem a conceitos similares entre si. Mas eles não são a mesma coisa. Qual a diferença então entre Data set, Dados e Bancos de Dados (Database)?

Vejamos:

• Dados são observações ou medições brutas (não processadas ou processadas) representadas como texto, números ou outros formatos.
• Data set é uma coleção estruturada de dados, geralmente associados a um assunto específico.
• Já um Banco de Dados é uma coleção organizada de dados, que podem ser armazenados na forma de datasets correlacionados. Esses conjuntos de dados são geralmente armazenados e acessados eletronicamente a partir de um sistema informatizado (como um SGBD) que permite que os dados sejam facilmente acessados, manipulados e atualizados.

Conclusão

Um dataset é um conjunto de dados tabulados e organizados em um arquivo de formato específico (.csv, .xls, .botxt, etc.), empregado em várias áreas das ciências de dados como fonte de informação para pesquisa, estudo, obtenção de informações e treinamento de sistemas de aprendizado de máquina (machine learning) e inteligência artificial, entre outros.

E, falando em Ciência de Dados, quais linguagens de programação são as mais indicadas para trabalhar nessa área? Confira neste artigo: 7 linguagens de programação para Ciência de Dados.

O post O que é um Dataset apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Neste artigo trago um pequeno glossário ou mini-dicionário de termos relacionados à tecnologias variadas de Bancos de Dados em geral, além de Modelagem de Dados, Visualização de Dados, Ciência de Dados (Data Science), Data Mining e Big Data, com muitas dezenas de definições e explicações concisas sobre cada termo associado.

Mais definições são adicionadas periodicamente para manter este glossário de bancos de dados o mais completo possível. Se você não encontrar algum termo aqui listado, nos informe usando a seção de comentários que providenciaremos uma nova entrada rapidamente.

Para consultar um termo basta clicar abaixo no caractere inicial para ir direto à seção desejada, ou então explore o dicionário de bancos de dados completo para aprender muita coisa sobre Bancos de Dados, relacionais e não-relacionais:

0-9 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

0-9

1NF: Ver Primeira Formal Normal.

2NF: Ver Segunda Formal Normal.

3NF: Ver Terceira Formal Normal.

4NF: Ver Quarta Formal Normal.

5NF: Ver Quinta Formal Normal.

A

ABS: Operador escalar que retorna o valos absoluto de seu argumento, que é um valor de tipo numérico.

Access: Microsoft Access. Sistema de Gerenciamento de Bancos de Dados Relacionais da Microsoft, integrante do pacote Microsoft Office Professional. Empregado para RAD (Rapid Application Development) de aplicações desktop com acesso a bancos de dados.

ACID: (Atomicidade, Consistência, Isolação, Durabilidade) Termo que se refere às propriedades modelo de transações em bancos de dados, tradicionalmente usadas em bancos de dados SQL.

ADT: Abstract Data Type / Tipo de Dado Abstrato. Refere-se a tipos de dados específicos, geralmente construídos a partir de tipos de dados mais simples, ou primitivos.

Aggregate: Um cluster de objetos de domínio que podem ser tratados como uma única unidade. Uma unidade ideal para armazenamento de dados em grandes sistemas distribuídos.

Alta Disponibilidade: Termo chave para a continuidade de um negócio, a alta disponibilidade se refere ao tempo em que um sistema (ou banco de dados) opera em um nível de serviço acordado, entregando serviços aos usuários – estando “disponível”.
A alta disponibilidade (HA – High Availability) é geralmente medida em “noves”, ou seja, quantas vezes o número 9 aparece no valor da disponibilidade – 90% (um nove), 99% (dois noves), 99,9% (três noves), e assim por diante.

AND: Operador lógico que implementa a função booleana and entre dois operandos (geralmente, em filtros de consultas, como cláusulas WHERE e BETWEEN)

Anomalia: Problema que ocorre em bancos de dados mal planejados e não-normalizados, geralmente por excesso de dados armazenados em uma mesma tabela. São causadas pela existência de dependências parciais ou transitivas em uma tabela.

Apache Cassandra: Um sistema de banco de dados distribuído de código aberto que pode armazenar e gerenciar grandes volumes de dados entre servidores e pode ser um banco de dados de leitura intensiva para grandes sistemas de BI.

Apache Hadoop: Uma ferramenta de código aberto para processar e armazenar grandes conjuntos de dados distribuídos em máquinas usando o MapReduce.

Apache Lucene: Uma biblioteca de recuperação de texto open source que é comumente usada para pesquisa de texto completo, implementação de mecanismos de pesquisa e implementação de sistemas de recomendação.

Apache Spark: Uma estrutura de processamento paralelo de código aberto que lida com aplicativos analíticos de dados de grande escala, análises em tempo real e cargas de trabalho de processamento de dados.

Armazém de Dados: Ver Data Warehouse

Armazenamento Colunar: Ver Wide-Column Store.

Atributo: Os atributos descrevem características de uma entidade, como por exemplo os atributos fabricante, modelo, cor e placa em uma entidade Automóvel. Um atributo representa um elemento de dados primitivo. Uma coluna.

Atributo Atômico: Atributo que não possui características especiais, sendo indivisível. Ex.: CPF de uma pessoa

Atributo Composto: Atributo formado por itens menores (sub-elementos); pode ser subdividido em outros atributos. Ex.: o endereço de uma empresa

Atributo Determinante: Atributo que define de forma única as instâncias de uma entidade.

Atributo Multivalorado: Atributo que pode conter mais de um valor para um mesmo registro (informação). Ex.: Telefone da empresa.

Auto-incremento: Constraint especial aplicada a uma coluna em uma tabela que permite a geração de valores numéricos sequenciais de forma automática, sempre que um novo registro é inserido, eliminando a necessidade de fornecer um valor para a coluna.

B

Banco de Dados: Um banco de dados (database) é uma coleção de dados relacionados e armazenados em algum meio, de forma organizada e que permite o acesso a esses dados, por meio de um Sistema de Gerenciamento de Bancos de Dados.

BASE (Basic Availability, Soft State, Eventual Consistency): Um termo que se refere às propriedades do modelo de transações do banco de dados, especificamente para bancos de dados NoSQL que precisam gerenciar dados não estruturados.

Base de Dados: O mesmo que Banco de Dados

B-Tree: Uma estrutura de dados na qual todos os nós terminais estão à mesma distância da base, e todos os nós não terminais estão entre subárvores n e 2n ou ponteiros. É otimizada para sistemas que lêem e escrevem grandes blocos de dados ou executam principalmente leituras. Empregada, por exemplo, na criação de índices em bancos de dados relacionais.

BI: Ver Business Intelligence

Big Data: Um termo comum para grandes quantidades de dados. Para serem qualificados como Big Data, os dados devem ser inseridos no sistema em alta velocidade, com grande variação ou em grandes volumes.

BigQuery: Serviço Web baseado na nuvem para análise de dados em Big Data, empregado para o processamento de conjuntos de dados muito grandes (da ordem de bilhões de linhas) e somente-leitura, usando uma sintaxe estilo SQL.

BigTable: Tipo de tabela em nuvem que pode operar com bilhões de linhas e milhares de colunas, permitindo o armazenamento de terabytes de dados – ou até mesmo petabytes. Roda na platafoma de nuvem Google Cloud Platform.

BLOB: Abreviação de Binary Large Object. Tipo de dados empregado geralmente para o armazenamento de dados binários de grande tamanho, como multimídia de imagens, sons ou vídeos, entre outros.

Boyce-Codd: Forma normal que trata de dependências funcionais

BOOLEAN: Tipo de dado escalar, que contém apenas dois valores possíveis: TRUE e FALSE (verdadeiro e falso).

Business intelligence: Inteligência de Negócios, é o processo de visualização e análise de dados corporativos com o objetivo de tomar decisões acionáveis e informadas.

C

CAP: Teorema CAP ou ainda Teorema de Brewer, é um teorema empregado para descrever o comportamento de um sistema de bancos de dados distribuídos. Diz respeito aos comportamentos de um banco de dados distribuído – Consistent (C), Available (A) e Partition Tolerant (P).

Cardinalidade: Número de elementos em um conjunto. Em uma relação, se refere ao número de registros que se relacionam com outra relação. Por exemplo, podemos falar em cardinalidade 1:1 (um-para-um), na qual um registro de uma tabela somente se relaciona com um registro de outra tabela. A cardinalidade pode assumir outros valores também, como 1:N (um-para-muitos), N:M (muitos-para-muitos), 0:1 (zero-para-um), etc.

CASCADE: A opção CASCADE em uma definição de chave estrangeira permite excluir ou atualizar os registros relacionados presentes na tabela filha automaticamente, quando um registro da tabela pai for atualizado ou excluído.

Cassandra: Apache Cassandra, sistema de gerenciamento de bancos de dados NoSQL de código aberto, do tipo armazenamento colunar, usado para manipular grandes quantidades de dados distribuídos em diversos servidores. Empregado por empresas e organizações como a Apple, CERN, Discord, Globo.com, Netflix e Uber, entre outras.

CAST: Função ou operador que permite receber um valor de um tipo específico (como um inteiro TINYINT) e retornar o valor convertido em um tipo diferente (como uma string VARCHAR).

Chave: Uma chave consiste em uma ou mais colunas de uma relação cujos valores são usados para identificar de forma exclusiva uma linha ou conjunto de linhas.

Chave Alternativa: Chave candidata que não é usada como chave primária em uma tabela.

Chave Candidata: Atributo ou grupo de atributos em uma entidade com o potencial para se tornarem uma chave primária.

Chave Composta: Chave que é composta de dois ou mais atributos (colunas). Geralmente empregada quando não é possível utilizar uma única coluna de uma tabela para identificar de forma exclusiva seus registros.

Chave Estrangeira: Coluna de uma tabela que estabelece um Relacionamento com a Chave Primária de outra tabela.

Chave Primária: Chave candidata escolhida para ser a chave principal na relação. Identifica de forma exclusiva os registros em uma tabela, não podendo ter repetição de valores nem tampouco valor nulo.

Chave Substituta: O mesmo que Chave Surrogada

Chave Surrogada: Valor numérico, único, adicionado a uma relação para servir como chave primária. Frequentemente usadas em lugar de uma chave primária composta.

Ciência de Dados: (Data Science) Campo da tecnologia interdisciplinar que emprega métodos científicos, processos, algoritmos e sistemas para extrair informação e insights de bases de dados estruturadas e não-estruturadas. Se relaciona com tecnologias como Data Mining, Aprendizado de Máquina e Big Data.

Cloud-native database: Um banco de dados que é construído e executado no modelo de entrega de computação em nuvem.

Cluster: Um subconjunto de dados que compartilham características específicas. Também pode se referir a várias máquinas que trabalham juntas para resolver um único problema.

Codd, E. F.: Edgar Frank Codd. Cientista da computação que inventou o modelo relacional para gerenciamento de bancos de dados.

Coluna: Em bancos de dados relacionais, é um domínio de valores de um tipo específico. Dependendo do estágio da modelagem também é conhecida como Atributo de uma relação.

COMMIT: Operação que efetiva em definitivo uma transação (conjunto de operações), senão houver falha em nenhuma dessas operações.

Complex event processing: Um processo organizacional para coletar dados de vários fluxos para fins de análise e planejamento.

Consistência: Um dos quatro principais atributos de uma transação de banco de dados, significa que, se uma transação falhar, os dados serão retornados ao seu estado original, e se não falharem, um novo estado de dados será criado.

Consulta: Requisição de dados a partir de uma ou mais tabelas de um banco de dados, que podem ser obtidos a partir dos resultados retornados pela execução de uma declaração SQL ou por outros métodos de mineração de dados

Consulta Ad-Hoc: Consulta criada “no momento” quando não é possível obter as informações desejadas usando as consultas SQL pré-determinadas em uma aplicação.

CONSTRAINT: Restrição de integridade. Declaração empregada para configurar restrições em tabelas, tais como a definição da Chave Primária, Chave Estrangeira ou colunas CHECK, entre outras.

COUNT: Função de agregação que permite contar o número de registros em tabelas.

CRUD: Acrônimo que descreve as quatro operações básicas em um sistema de bancos de dados: Create (criar), Read (ler / consultar), Update (atualizar) e Delete (excluir).

Cursor: Mecanismo que simula um ponteiro para uma linha em um conjunto de resultados. Um cursor seleciona um dataset, obtém um registro por vez desse conjunto, e então processa o registro atual. Então, o próximo registro é buscado para processamento.

D

Dados Estruturados: Dados claramente definidos, que podem ser pesquisados e analisados com facilidade. Geralmente armazenados em armazéns de dados (data warehouse) ou sistemas similares. Um exemplo são os dados em um banco de dados relacional.

Dados Não-Estruturados: Dados armazenados geralmente em um formato nativo ou bruto, proveniente de diversas fontes e em vários formatos. Costumam ser armazenados em sistemas do tipo lago de dados (data lake). Esse tipo de dado não é facilmente categorizado, e requer processamento para que possa ser utilizado. Por exemplo, dados provenientes de documentos de texto, imagens, logs de sistemas e redes sociais. Cerca de 80% dos dados no mundo são dados não estruturados.

Dados Semi-Estruturados: Dados sem estrutura aparente, mas que possuem ao menos uma parte estruturada, por exemplo na forma de metadados. Um exemplo são as mensagens de e-mail, que possuem metadados estruturados no cabeçalho (“destinatário”, “assunto”,  etc.), e dados não estruturados no corpo da mensagem.

Database: O mesmo que Banco de Dados

Database clustering: Conexão entre dois ou mais servidores e instâncias a um banco de dados, geralmente para obter as vantagens de tolerância a falhas, balanceamento de carga e processamento paralelo.

Data Lake: Repositório no qual os dados são armazenados de forma bruta, em seu formato nativo, independente da fonte desses dados. Contém dados estruturados, semiestruturados e não-estruturados, para posterior tratamento e análise.

Data lineage: Informações sobre de onde os dados vieram, como são alterados e para onde são transferidos; pode ser usado para resolver problemas de validação e depuração em bancos de dados.

Data management: O ciclo de vida completo de como uma organização lida com armazenamento, processamento e análise de conjuntos de dados.

Data Mart: Repositório que armazena dados relacionados a uma área específica, como vendas, finanças, engenharia, RH, etc., sendo um subconjunto de dados de um Data Warehouse. Projetado para uso por grupos ou departamentos específicos.

Data mining: Processo de descobrir padrões em grandes conjuntos de dados e transformar essas informações em um formato compreensível. Uma prática para gerar novas informações através do processo de examinar e analisar grandes bancos de dados.

Database management system (DBMS): Um conjunto de softwares e ferramentas que gerencia a comunicação entre o usuário final e o banco de dados.

Data preparation: (“Preparação de dados”)O processo de coleta, limpeza e consolidação de dados em um arquivo ou tabela de dados, principalmente para uso em análise.

Data science: Um campo de atuação que explora processos e métodos repetíveis para obter informações a partir de dados. Ver Ciência de Dados.

Data validation: (“Validação de Dados”)Ato de examinar conjuntos de dados para garantir que todos os dados estejam limpos, corretos e úteis antes de serem processados.

Data Warehouse: Ou Armazém de Dados. Uma grande coleção de dados de várias fontes usados para ajudar as empresas a tomar decisões informadas. Repositório central composto por dados extraídos de sistemas transacionais, de diversas áreas, cujo objetivo principal é o suporte a usuários de um sistema e tomada de decisão. Contém dados estruturados e tratados, prontos para uso. Repositório de grande volume de dados, contendo dados históricos, o qual é empregado como ferramenta de apoio a decisão em sistemas de inteligência de negócios (business intelligence)

DBA: Database Administrator. Papel do profissional que administra bancos de dados em uma organização.

DB2: Sistema de gerenciamento de bancos de dados relacionais criado e mantido pela empresa IBM.

DCL: Data Control Language. Subconjunto do SQL que inclui comandos empregados para efetuar controle de acesso em bancos de dados, como os comandos GRANT e REVOKE.

DDL: Data Definition Language. Subconjunto do SQL que inclui comandos empregados para definir a estrutura de um banco de dados, como os comandos CREATE, ALTER e DROP.

Dependência: Restrição aplicada sobre atributos, ou ainda que define a relação entre dois ou mais atributos em uma tabela. Ocorre quando um atributo em uma tabela é determinado por outro atributo – quando um atributo depende de outro para fazer sentido.

Dependência Funcional: Tipo de dependência em uma tabela na qual um atributo Y depende de um atributo X se e somente se cada valor de X tiver associado a ele exatamente um valor de Y.

Dependência Transitiva: Ocorre quando um campo não-chave não depende diretamente da chave primária da tabela, nem mesmo de forma parcial, porém depende de algum outro campo não-chave na mesma tabela.

DER: Diagrama Entidade-Relacionamento. Diagrama gráfico que permite representar as entidades, seus atributos e inter-relacionamentos em um processo de modelagem de bancos de dados.

Diagrama Entidade-Relacionamento: O mesmo que DER.

Dicionário de Dados: (DD) Documento empregado para armazenar informações sobre o conteúdo, formato e a estrutura de um banco de dados, assim como os relacionamentos entre os seus elementos. Permite limitar erros ao criar a estrutura física de um banco de dados no computador durante o processo de modelagem. Também chamado de “Repositório de Metadados”.

Distributed relational database: Banco de Dados Distribuído. Um banco de dados que contém objetos, como tabelas, que fazem parte de sistemas diferentes, mas interconectados.

Distributed system: Sistema Distribuído. Uma coleção de computadores individuais que funcionam juntos e parecem funcionar como um único sistema. Isso requer acesso a um banco de dados central, várias cópias de um banco de dados em cada computador ou partições de banco de dados em cada máquina..

DML: Data Manipulation Language. Subconjunto do SQL que inclui comandos empregados para efetuar a manipulação de registros nas tabelas, tais como os comandos INSERT, UPDATE e DELETE.

Document store: Armazém de Documentos. Um tipo de banco de dados que agrega dados de documentos em vez de tabelas definidas e é usado para apresentar dados de documentos em um formato pesquisável.

Domínio: Basicamente, é o tipo de dado empregado em uma coluna de um banco de dados. Por exemplo, o domínio pode ser inteiro (INT) ou string (VARCHAR), ou ainda algum tipo personalizado de dados. É a coleção de valores que um dado pode conter.

DQL: Data Query Language. Subconjunto do SQL que inclui comandos empregados para realizar consultas a dados armazenados nas tabelas, como o comando SELECT.

Dynamo DB: Um serviço de banco de dados NoSQL da AWS com baixa latência que pode facilmente armazenar e recuperar dados grandes e atender grandes quantidades de tráfego.

E

ElasticSearch: Um mecanismo de pesquisa baseado em Java criado sob o Apache Lucene que pesquisa e indexa arquivos quase em tempo real e indexa automaticamente documentos JSON.

Engenharia de Dados: A coleta, armazenamento e processamento de dados para que possam ser consultados por um cientista de dados.

Entidade: Algo de importância para um usuário ou organização que precisa ser representado em um banco de dados. Representa um tema, tópico ou conceito de negócio.

Entidade Forte: Uma entidade forte é aquela que pode existir no BD por si só, sem depender de outras entidades.

Entidade Fraca: Uma entidade fraca é uma entidade cujas instâncias não podem existir no BD sem que exista uma instância de outra entidade;

Entidade ID-Dependente: Caso especial de entidade fraca onde o identificador da entidade dependente inclui o identificador da entidade da qual ela depende.

Esquema: Termo para descrever a estrutura de dados exclusiva de um banco de dados individual.

ETL: Sigla de “Extract, Transfom, Load“, ou o processo de Extrair, Transformar e Carregar dados de um banco de dados e movê-los para outro banco de dados, sendo uma função comum realizada em Data Warehousing.

Eventual consistency: (Consistência Eventual) A ideia de que os bancos de dados em conformidade com o modelo BASE conterão dados que se tornarão consistentes ao longo do tempo.

Explosão de Dados: Termo que denota a já vasta e cada vez maior quantidade de dados que são gerados a cada minuto, estruturados, não estruturados e semiestruturados. De acordo com um estudo da IBM, cerca de 2,5 EB (exabytes) de dados são gerados por dia no mundo.

F

Fault tolerance: (Tolerância a Falhas) A capacidade de um sistema de responder a falhas de hardware ou software sem interromper outros sistemas.

FN: Ver Forma Normal

Forma Normal: Refere-se ao estado em que uma tabela se encontra durante a etapa de normalização no processo de modelagem de dados, a qual tem por objetivo eliminar redundâncias e garantir a consistência e atomicidade dos dados que serão armazenados no banco. Veja também: Normalização.

G

GIS: Sistema de Informações Geográficas

Graph store: Um tipo de banco de dados usado para lidar com entidades que possuem um grande número de relacionamentos, como gráficos sociais, sistemas de tags ou qualquer domínio rico em links; também é usado frequentemente para serviços de roteamento e localização.

H

Hadoop: Um framework da Apache Software Foundation desenvolvido especificamente para alta escalabilidade, computação distribuída e com uso intensivo de dados. Usado principalmente para o processamento em lote de grandes conjuntos de dados de forma muito eficiente.

High availability (HA): (Alta Disponibilidade). Conceito que se refere à disponibilidade contínua de recursos em um sistema de computador, mesmo após a ocorrência de falhas de componentes. Isso pode ser alcançado com o emprego de hardware redundante, soluções de software e outras estratégias específicas.

Hybrid transaction/analytical processing: Uma arquitetura de aplicativo que diz “quebrar o muro” entre processamento e análise de transações e que permite a tomada de decisões em tempo real.

I

Índice: Trata-se de uma estrutura de dados empregada para otimizar a seleção de um conjunto específico de colunas em um banco de dados relacional.

Instância de Entidade: Uma instância de entidade é uma ocorrência específica de uma entidade

Integridade de Dados: Manutenção e garantia da consistência e precisão dos dados, sendo um aspecto crítico no design, implementação e uso de sistemas de armazenamento de dados.
A integridade é atingida por meio da aplicação de Restrições de Integridade.

Integridade Referencial: Uma Restrição de Integridade Referencial assegura que valores de uma coluna em uma tabela são válidos baseados nos valores em uma outra tabela relacionada.
Ex.: Se um produto de ID 523 foi cadastrado em uma tabela de Produtos_Vendidos, então um produto com ID 523 deve existir na tabela de Produtos_Cadastrados relacionada.

In-memory: Como um termo de mercado generalizado, descreve as ferramentas de gerenciamento de dados que carregam dados na RAM ou na memória flash, em vez de unidades de disco rígido ou de estado sólido.

J

Join: Junção. Cláusula em SQL que combina colunas de uma ou mais tabelas em um banco de dados relacional usando valores em comum de cada tabela. Existem vários tipos de joins, como INNER JOIN, OUTER JOIN, LEFT JOIN, RIGHT JOIN e CROSS JOIN, entre outras.

Journaling: Refere-se ao registro simultâneo em tempo real de todas as atualizações de dados em um banco de dados. O log resultante funciona como uma trilha de auditoria que pode ser usada para reconstruir o banco de dados se os dados originais forem corrompidos ou excluídos.

JPA (Java Persistence API): Uma especificação Java para acesso, gerenciamento e persistência de dados entre classes e objetos Java e bancos de dados relacionais.

K

Key-value store: Um tipo de banco de dados que armazena dados em pares chave-valor simples. Eles são usados para lidar com várias leituras e gravações pequenas, contínuas e potencialmente voláteis..

L

Lago de Dados: Ver Data Lake

Lightning memory-mapped database (LMDB): Um banco de dados copy-on-write com índices B-Tree que é totalmente transacional, compatível com ACID, pequeno em tamanho e que emprega MVCC.

Linha: Em SGBDRs, trata-se de um conjunto de valores de colunas relacionados, conhecido por vezes também como tupla ou registro.

Log-structured merge (LSM) tree: Uma estrutura de dados que grava e edita dados usando segmentos imutáveis ou execuções que geralmente são organizadas em níveis. Existem várias estratégias, mas o primeiro nível geralmente contém os dados mais recentes e ativos.

M

MapReduce: Um modelo de programação criado pelo Google para alta escalabilidade e distribuição em vários clusters para fins de processamento de dados.

MariaDB: SGBDR de código aberto derivado (fork) do MySQL, totalmente compatível e que tem por objetivo substitui-lo após a aquisição do MySQL pela Oracle. Foi desenvolvido pelos desenvolvedores originais do MySQL, é mantido atualmente por uma comunidade.

Matplotlib: Biblioteca gráfica 2D, que contém uma grande coleção de módulos para exibição de gráficos e visualização de dados, usando a linguagem Python.

MER: Modelo Entidade-Relacionamento. Modelo que descreve itens de interesse em um domínio específico do conhecimento em um banco de dados. Composto de entidades, seus atributos e relacionamentos entre essas entidades. Desenvolvido por Peter Chen e publicado em um artigo em 1976.

Mercado de Dados: Ver Data Mart.

Mineração de Dados: Ver Data Mining.

Modelagem de Dados:  Processo de criação de um Modelo de Dados para um sistema de informação, com a aplicação de técnicas específicas de modelagem. Inclui processos para definir e analisar os requisitos de dados necessários para suportar processos de negócio com sistemas informatizados em organizações.

Modelo Conceitual: Primeira fase da modelagem de dados, onde representaremos o mundo real por meio de uma visão simplificada dos dados e seus relacionamentos. Assim podemos determinar quais informações serão armazenadas efetivamente em m banco de dados.

Modelo Entidade-Relacionamento: O mesmo que MER.

Modelo Físico: Em modelagem de dados, fase derivada a partir de um modelo lógico, na quale são detalhados os componentes de estrutura física do banco de dados, incluindo as tabelas, campos, tipos de valores, restrições, etc.
Após a criação do modelo físico, podemos partir para a implementação física do banco de dados, utilizando o SGBD mais adequado.

Modelo Lógico: Fase da modelagem de dados que apresenta conceitos que os usuários são capazes de entender, ao mesmo tempo em que não está distante do modelo físico do banco de dados.
Consiste na especificação lógica dos dados em um formato adequado ao SGBD escolhido. Os tipos de dados são completamente definidos.

Modelo Relacional: Modelo para análise e implementação de bancos de dados no qual os dados são organizados em coleções de tabelas bidimensionais, também chamadas de “Relações”. Assim, uma Relação é uma forma de se organizar os dados em linhas e colunas.
O modelo relacional de dados é baseado em lógica e teoria de conjuntos.

MongoDB: Sistema de banco de dados não-relacional (NoSQL) orientado a documentos, livre, de código aberto e multiplataforma, escrito em C++. Emprega documentos BSON, de formato semelhante a JSON com esquemas.

Multi-version concurrency control (MVCC): Um método para lidar com situações em que máquinas lêem e gravam simultaneamente em um banco de dados.

MySQL: Sistema de Gerenciamento Bancos de Dados Relacional (SGBDR) mais popular do mundo atualmente, amplamente empregado em empresas de pequeno, médio e grande porte, com grande presença em bancos de dados de sistemas Web. Atualmente mantido pela Oracle.

N

Neo4J: Sistema de gerenciamento de bancos de dados do tipo NoSQL, orientado a grafos. Implementado em Java, é um banco transacional, em conformidade com o padrão ACID, disponível sob licença de código aberto GPL-3.

NewSQL: Um descritor abreviado para sistemas de bancos de dados relacionais que fornecem escalabilidade horizontal e desempenho a par com sistemas NoSQL.

NO ACTION: Opção de chave estrangeira que equivale à opção RESTRICT.

Non-first normal form query language (N1QL): Desenvolvido pelo Couchbase, oferece uma linguagem de consulta comum e um modelo de dados baseado em JSON para bancos de dados distribuídos orientados a documentos.

Normalização: O processo de organizar dados em tabelas para que os resultados obtidos ao usar o banco de dados sejam sempre inequívocos e da forma pretendida. Consiste em uma série de etapas sequenciais denominadas formas normais (FN).

NoSQL: Classe de sistemas de bancos de dados que incorporam outras formas de consultas distintas do SQL tradicional, e que não utilizam estruturas relacionais tradicionais. A sigla NoSQL significa “Not Only SQL“, ou seja, “Não Apenas SQL”.

O

Object-relational mapper (ORM): Ferramenta que fornece uma camada de abstração de banco de dados para converter dados entre sistemas de tipos incompatíveis usando linguagens de programação orientadas a objeto em vez da linguagem de consulta do banco de dados.

Operador de Agregação: Tipo de operador que retorna um valor único, geralmente escalar, a partir de valores agregados. Tipos comuns de operadores de agregação incluem SUM (soma), AVG (média aritmética) e MAX (valor máximo), entre outros.

Oracle Database: Sistema de Bancos de Dados Relacionais desenvolvido e mantido pela Oracle Corporation. Atualmente (Julho/21) é o SGBD mais empregado no planeta.

ORM (Object Relational Mapper): Mapeamento Objeto-Relacional; técnica de programação empregada na conversão de dados entre linguagens de programação orientadas a objeto (Java, Scala, Python…) e bancos de dados relacionais (MySQL, PostgreSQL, Oracle Database…). Exemplo de framework ORM: SQLAlchemy.

P

Paralelismo: Um estado em que os sistemas operacionais são capazes de trabalhar efetivamente em conjunto para resolver um problema.

Parse: Dividir dados, como uma string de texto, em partes menores para análise e processamento.

Particionamento: Processo que divide uma tabela em um conjunto de partições ou fragmentos para fins de armazenamento físico. Assim, é possível melhorar o desempenho no acesso aos dados, pois eles podem ser armazenados no local em que são utilizados com mais frequência.

Persistência: Refere-se a informações de um programa que sobrevivem ao processo que as criou, o que significa que elas não serão apagadas durante o desligamento ou a limpeza da RAM. Os bancos de dados fornecem persistência.

Persistência de Dados: Significa que os dados são mantidos indefinidamente no banco de dados, a não ser que sejam explicitamente excluídos. Os dados armazenados em um banco de dados não devem jamais ser perdidos.

Persistent storage: Um local não variável, como um disco, em que os dados são salvos depois que o processo que os criou foi finalizado.

PL/SQL: Abreviação de Procedural Language for SQL, é uma extensão procedural da Oracle para o SQL padrão e seu banco de dados Oracle Database. Permite a aplicação de lógica em scripts SQL, como o emprego de estruturas de decisão, condicionais e laços de repetição, declaração de variáveis e a aplicação de técnicas de orientação a objetos no código, entre outros recursos.

Plano de Execução: Ou Query Plan (Plano de Consulta). Refere-se à sequência de passou ou etapas empregadas para acessar dados em um SGBDR SQL.

Polyglot persistence: Refere-se ao uso de várias tecnologias de armazenamento de dados para diferentes tipos de dados por uma organização.

PostgreSQL: SGBDR derivado do projeto Ingres, na Universidade de Berkley, Califórnia, distribuído sob licença BSD, e sendo software de código aberto, multiplataforma e escrito em linguagem C e linguagens de script Perl e sh.

PowerBI: Serviço de Análise de Dados da Microsoft, que permite realizar visualizações de dados em gráficos de forma interativa, com recursos de BI (Business Intelligence) e a criação de relatórios e dashboards variados.

Primeira Formal Normal: Forma de Normalização na qual são reprovados atributos multivalorados, compostos e suas combinações. Uma tabela está na 1ª forma normal quando possui somente valores atômicos e não há grupos de atributos repetidos ou multivalorados.

Procedimento Armazenado: Ver Stored Procedure. 

Q

Quarta Formal Normal: 4FN. Próximo nível de normalização após a Forma Normal de Boyce-Codd. Trata das dependências multivaloradas em uma tabela.
Uma tabela está em 4NF se e somente se, para cada uma de suas dependências multivaloradas não triviais X → Y, X é uma superchave – ou seja, X é uma chave candidata ou um super conjunto dela.

Query: Ver Consulta.

Quinta Formal Normal: 5FN. Nível de normalização de tabelas projetado para reduzir a redundância em bancos de dados relacionais que registram fatos com vários valores, isolando vários relacionamentos semanticamente relacionados. Uma tabela está na 5NF se e somente se todas as dependências de junção não triviais nessa tabela estiverem implícitas nas chaves candidatas.

R

R: Uma linguagem de programação de código aberto usada principalmente para visualização de dados e análise preditiva em Ciência de Dados.

Redundância: A redundância de dados é uma condição que pode existir em um banco de dados (ou outras tecnologias de armazenamento de dados) na qual os mesmos dados existem em dois locais distintos. Ou seja, dizemos que dados são redundantes quando eles são repetidos. É uma condição que normalmente queremos evitar em um banco de dados, e processos como a Normalização existem para eliminar ou diminuir a redundância.

Registro: Um Registro em uma tabela de banco de dados representa todos os dados requeridos por uma determinada ocorrência de entidade em particular, em uma linha. Por exemplo, os dados de um cliente específico. Cada linha em uma tabela é identificada por uma chave primária, de modo a não haver duplicação de registros. Também conhecido como Tupla.

Relação: Tabela bidimensional com características específicas, composta por linhas e colunas, criada a partir de uma entidade.

Relacionamento: Associação do mundo real entre duas ou mais entidades, representadas em um modelo entidade-relacionamento.

Relational database: Um banco de dados que estrutura conjuntos de dados inter-relacionados em tabelas, registros e colunas.

Relational database management system (RDBMS): (Sistema de Gerenciamento de Bancos de Dados Relacionais) Um sistema que gerencia, captura e analisa dados que são agrupados com base em atributos compartilhados chamados de relações.

Replicação: Termo que descreve o compartilhamento de dados para garantir a consistência entre recursos redundantes.

Restrição: Ou Restrição de Integridade. Restrições de armazenamento de dados, que dizem respeito a aspectos como os tipos dos dados armazenados, relacionamentos entre as colunas de chave primária e estrangeira, a possibilidade de haver ou não valores NULL em uma coluna, além de regras de negócio específicas importantes determinadas pelo cliente.

RESTRICT: Opção de chave estrangeira que impede que ocorra a exclusão ou a atualização de um registro da tabela pai, caso ainda hajam registros na tabela filha. Retorna uma exceção de violação de chave estrangeira.

ROLLBACK: Operação que retorna um banco de dados ao seu estado anterior se houver alguma falha durante o processamento de uma transação.

S

Scalability (Escalabilidade): Capacidade de um banco de dados ou outro sistema de conseguir mais recursos e capacidade e conectar várias entidades para melhorar a eficiência.

Segunda Formal Normal: Forma de Normalização na qual cada atributo não-chave de uma relação é total e funcionalmente dependente da chave primária da relação. Uma tabela está na 2ª forma normal quando já está na 1FN, e todos os atributos não-chave são funcionalmente dependentes de todas as partes da chave primária, não existindo dependências parciais.

SET DEFAULT: Opção de chave estrangeira que permite definir um valor padrão na coluna na tabela filha, aplicado quando um registro da tabela pai for atualizado ou excluído.

SET NULL: Esta opção de chave estrangeira é usada para definir com o valor NULL o campo na tabela filha quando um registro da tabela pai for atualizado ou excluído.

SGBD: Sigla de Sistema de Gerenciamento de Bancos de Dados

SGBDR: Sistema de Gerenciamento de Bancos de Dados Relacionais.

Shard: Uma partição individual de um banco de dados.

Sharding: Também conhecido como “particionamento horizontal”, o sharding é onde um banco de dados é dividido em várias partes, geralmente para melhorar a velocidade e a confiabilidade de uma aplicação..

Structured data: Informação com alto grau de organização – dados estruturados.

SQL: Linguagem utilizada para realizar operações em bancos de dados relacionais; a sigla significa Structured Query Language, ou Linguagem de Consulta Estruturada.

SQLAlchemy: Conjunto de ferramentas SQL empregado em mapeamento objeto-relacional (ORM) SQL, desenvolvida para Python e disponibilizada sob licença MIT, sendo software open source. Permite traduzir relações (tabelas) de bancos relacionais em objetos.

SQLite: Biblioteca escrita em C que permite implementar um banco de dados embutido (embedded). Assim, um software que use esta biblioteca pode acessar bancos de dados sem necessariamente precisar de um processo de SGBD separado.

SQL Server: Sistema de gerenciamento de bancos de dados relacionais da empresa Microsoft, desenvolvido em parceria com a Sybase. Escrito em C e C++, é software proprietário, com versões para Microsoft Windows e Linux.

Stored Procedure: Sub-rotina (miniprograma) disponível para as aplicações que acessam sistemas de bancos de dados relacionais. Os procedimentos armazenados podem ser empregados em tarefas como validação de dados, controle de acesso, execução de declarações SQL complexas e outras.

Storage: Dispositivo de Armazenamento de dados. Trata-se de um dispositivo físico, local ou remoto, cuja função é servir de repositório de dados, quer sejam na forma estruturada ou não-estruturada. Geralmente associados a sistemas de gerenciamento de bancos de dados e conectados em servidores de rede.

Strong consistency: Um conceito de banco de dados que se refere à incapacidade de confirmar transações que violam as regras de um banco de dados para validade de dados – literalmente, consistência forte.

Structured query language (SQL): Uma linguagem de programação projetada para gerenciar e manipular dados; usada principalmente em bancos de dados relacionais.

T

Tabela: Coleção de linhas (registros) em um banco de dados relacional, que armazena dados referentes a uma entidade em particular.

Tableau: Ferramenta de visualização de dados empregada principalmente nas áreas de BI (Business Intelligence) e Ciência de Dados, que permite realizar análise de dados e sua representação em vários formatos visuais, como gráficos, dashboards e planilhas.

Telemetria: Aquisição remota de informações sobre um objeto (por exemplo, de um automóvel, smartphone, dispositivo médico ou dispositivo IoT).

Terceira Formal Normal: Forma de Normalização na qual uma relação não deve ter um atributo não-chave que seja determinado funcionalmente por outro atributo não-chave (ou conjunto de atributos). Uma tabela está na 3ª forma normal quando já está na 2FN, e não existirem dependências transitivas.

Transação: Conjunto de uma ou mais operações (Criação, Leitura, Atualização ou Exclusão) que compõem uma tarefa única ou ainda uma unidade lógica de trabalho a ser processada.

Transformação: Conversão de dados de um formato para outro em um sistema ETL.

Trigger: Trigger, ou “gatilho”, é um objeto do banco de dados programável e associado a uma tabela. Na prática, é um procedimento invocado automaticamente quando uma declaração DML é executada na tabela, sendo disparado e agindo em cada linha afetada.

TRUNCATE: Declaração SQL empregada para limpar uma tabela completamente – excluir todos os seus registros de uma só vez (quando seguida da palavra TABLE).

TSQL: T-SQL ou Transact-SQL. “Dialeto” do SQL empregado em bancos de dados criados no SGBDR Microsoft SQL Server.

Tupla: Em modelagem de bancos de dados, uma tupla se refere a um registro completo em uma tabela, ou seja, uma linha da tabela.

U

Unstructured data: Dados Não-Estruturados. Trata-se de dados que não possuem um modelo de dados predefinido ou não estão organizados de forma predefinida.

V

Visualização de Dados: O processo de analisar dados e expressá-los em um formato visual legível, como um gráfico. A visualização de dados é uma ciência em si, com inúmeras ferramentas e bibliotecas disponíveis para criação de gráficos e outras formas de exibição de dados, tais como ggplot2, matplotlib, d3.js, Tableau, etc.

W

Wide-column store: Armazenamento Colunar. Também conhecido como “Armazenamento BigTable” por conta da relação com o banco de dados BigTable do Google, é um tipo de banco de dados que armazena seus dados em registros que podem conter um grande número de colunas dinâmicas. Os nomes dessas colunas e as chaves dos registros não são fixos.

X

XML: Sigla de eXtensible Markup Language. Trata-se de uma linguagem empregada para representação de dados e transporte de dados entre sistemas variados, muito empregada em desenvolvimento para Web.

Z

Zonas: Áreas distintas em um Data Lake que atendem a propósitos específicos e bem definidos.

Referências:

https://dzone.com/articles/database-glossary-1

O post Dicionário de Bancos de Dados e Big Data apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

A ciência de dados é uma área do conhecimento que envolve o estudo e a análise de dados dos mais variados tipos, incluindo financeiros, científicos, sociais e econômicos. Seu intuito é a extração de conhecimento, descoberta de informações ocultas e detecção de padrões em conjuntos de dados para auxiliar na tomada de decisões e gerar valor para o negócio.

Por conta disso, uma das profissões / carreiras mais em alta na atualidade é o cargo de Cientista de Dados. 

Um cientista de dados precisa ter um leque de conhecimentos diverso, combinando expertise em várias áreas do conhecimento, como matemática (principalmente estatística e probabilidade), conhecimentos específicos da área do negócio e, naturalmente, linguagens de programação para a criação de algoritmos e aplicações de software que são empregados no dia-a-dia.

E aqui surge a dúvida mais comum entre os aspirantes à ciência de dados: que linguagem de programação aprender? Dada a quantidade de opções existentes, incluindo linguagens de uso geral e linguagens de nicho, quais linguagens de programação seriam mais apropriadas para uso em ciência de dados?

Para ajudar a responder a essas perguntar e dar um direcionamento aos interessados na área, listo a seguir sete linguagens de programação muito importantes e úteis para o trabalho de um cientista de dados atualmente (e para outras áreas, como Big Data, Machine Learning, Inteligência Artificial, e outras).

Vamos lá!

1. Python

Python é, sem sombra de dúvida, a linguagem ideal para iniciantes em ciência de dados e muitas outras áreas da computação). Com Python é possível trabalhar em nichos diversos como aprendizado de máquina, inteligência artificial, análise de dados, visualização de dados, automação de tarefas e como linguagem de propósito geral, tudo graças ao seu extenso conjunto de poderosas bibliotecas, que inclui ferramentas como NumPy, Matplotlib, Pandas, SciPy e muitas outras.

É, atualmente, uma das linguagens mais utilizadas no mundo, e com perspectivas de crescimento ainda maior nos próximos anos.
Além de tudo isso, é uma linguagem ideal para iniciantes em computação, por sua facilidade de uso e curva de aprendizado muito suave.

É uma linguagem de código aberto, orientada a objetos, muito flexível e com uma comunidade de desenvolvedores gigantesca, que facilita enormemente a troca de informações e orientações sobre ouso da linguagem em si e suas bibliotecas.

2. Linguagem R

Outra linguagem de peso no mundo da ciência de dados, é uma das ferramentas open source para análise estatística mais poderosas disponívis, e que pode ser empregada em tarefas como processamento de grandes volumes de dados, modelagem matemática, mineração de dados, cálculos estatísticos (claro!), e ainda por cima possui bibliotecas gráficas de alta qualidade para visualização de dados.

Com R é possível criar aplicações como sistemas de detecção de fraudes financeiras, modelagem de análise de sentimentos e sistemas de recomendação, além de aplicações para áreas tão diversas quanto engenharia, medicina e biologia.

Tarefas como análise de séries temporais, clustering e modelagem linear são algumas dos exemplos de processos que a linguagem R suporta com simplicidade.

Além disso, existem várias interfaces que podem ser usadas com o R para facilitar o trabalho de desenvolvimento de algoritmos e aplicações, tais como o RStudio e Jupyter Notebooks, entre outras.

Comumente usamos Python e R combinados, unindo suas funcionalidades em um par excelente para praticamente qualquer aplicação.

Como contras da linguagem, podemos citar a velocidade de execução e a quantidade de recursos de hardware que scripts escritos em R consomem, especialmente memória RAM.

3. SQL

Linguagem de Consulta Estruturada para Bancos de Dados, é uma das linguagens mais importantes para trabalho com dados e principalmente Big Data, ao combinar capacidades analíticas e de consultas com transacionais. SQL é um conhecimento básico para praticamente qualquer interessado em trabalhar com desenvolvimento de sistemas de todos os tipos, e em ciência de dados é imprescindível.

Em que usamos SQL exatamente? Bem, trata-se de uma linguagem de domínio específico, sendo empregada no gerenciamento de dados armazenados, local ou remotamente.

Note que existem diversos “sabores” de SQL, dependendo da implementação do fabricante – mas todos seguem um mesmo padrão, o ANSI SQL. E um ponto muito favorável do SQL é que essa linguagem se integra com muita facilidade às outras linguagens de programação, sendo extremamente comum desenvolver aplicações que mesclem códigos escritos, por exemplo, em Python ou Java com SQL.

4. Java

Linguagem de propósito geral e alta performance, o Java é empregado no desenvolvimento de algoritmos para machine learning, além de encontrar aplicações em nichos como Big Data e IoT (Internet das Coisas). É vastamente empregada no desenvolvimento de aplicações móveis e para Web.

Muitos frameworks e ferramentas empregadas em Big Data são escritos ou rodam em Java, como por exemplo Apache Spark, Hive e o Hadoop.

Uma das grandes vantagens do Java é a disponibilidade de IDEs de qualidade para o desenvolvimento de aplicações com eficiência e rapidez, incluindo softwares de alta complexidade. Alguns dos IDEs mais comuns incluem o Eclipse, Netbeans e IntelliJ, entre outros menos usados.

Alguns dos nichos onde o Java é mais empregado na área de ciência de dados incluem Aprendizado Profundo (Deep Learning), Processamento de Linguagem Natural (NLP – Natural Language Processing) e Mineração de Dados (Data Mining), entre outras.

Um ponto no qual a linguagem peca é a falta de ferramentas altamente especializadas para trabalho com estatística e cálculos matemáticos avançados, o que pode ser contornado combinando a linguagem Java com outras linguagens mais especializadas como a linguagem R, por exemplo.

5. C/C++

São as linguagens mais antigas listadas neste artigo, e provavelmente as mais difíceis de aprender, mas nem por isso com importância menor: C/C++ (principalmente C++) constitui a principal ferramenta em muitos tipos de sistemas de alta performance, sendo empregada em áreas como Inteligência Artificial, Aprendizado de Máquina e Robótica, onde o processamento de dados analíticos precisa ser feito com muita rapidez e alta performance.

Uma das aplicações mais modernas do C++ é no desenvolvimento de aplicações para veículos autônomos, que necessitam de algoritmos de análise de dados altamente complexos e performáticos, e em muitas aplicações de tempo real onde conjuntos de dados precisam ser tratados praticamente no momento em que são utilizados.

É interessante notar que muitas das linguagens citadas neste artigo são elas próprias escritas em C ou C++, com Python, R e Julia, assim como muitas bibliotecas e frameworks usados em data science, como o TensorFlow, por exemplo.

6. Julia

Inicialmente concebida como uma linguagem para programação científica, é uma linguagem de alto nível extremamente rápida que pode ser usada para o desenvolvimento de diversos tipos de aplicações, sozinha ou em conjunto com bibliotecas C/C++ ou Python.

Sua grande força está nas tarefas de análise numérica, apesar de também poder ser usada como linguagem de programação de propósito geral. É uma linguagem intuitiva, bastante acessível, além de ser de código aberto.

Uma de suas principais aplicações é na área financeira, onde existe a necessidade de realizar cálculos de forma massiva e com muita rapidez, com cálculos de análise de risco ou análise de séries temporais.

Um de seus problemas é o fato de ser uma linguagem relativamente nova e, que por isso, ainda possui uma comunidade de usuários pequena, com menos documentação disponível para consulta.

Porém, permite o interfaceamento (direto ou por pacotes específicos) com bibliotecas de outras linguagens, como Python, R, C++, Matlab e até mesmo Fortran, a´lem de possuir suporta a computação distribuída e computação paralela, o que significa aplicações de elevada performance!

Suas ferramentas de visualização de dados ainda não estão no mesmo nível das ferramentas disponíveis outras linguagens, mas vem melhorando a cada dia.

7. Matlab / Octave

Matlab é um ambiente de computação matemática e uma linguagem proprietária amplamente utilizada em cenários que demandam operações de cálculos avançados.

Encontra aplicações em análise de dados, processamento de imagens, processamento de sinais e, evidentemente, criação de modelos matemáticos por meio da manipulação de matrizes, álgebra linear, análise numérica e outras técnicas, facilitando enormemente a resolução dos problemas matemáticos mais complicados.

É uma linguagem recomendada para trabalho com Big Data e também na Indústria, principalmente de Engenharia. O Matlab traz suporte nativo a diversos formatos de dados empregados em telemetria, sensores, processamento de imagem e vídeo, e muitos outros.

Como ponto talvez negativo do Matlab posso citar o fato de não ser uma linguagem muito rápida, e necessitar de uma licença, de custo relativamente elevado, para ser usada.

O Octave é a principal alternativa ao Matlab, podendo substitui-la no geral em quase todas as tarefas necessárias para análise de dados, com algumas diferenças funcionais. Além disso, é gratuito.

Extra: Matemática

Como citado no início do artigo, conhecimentos em matemática são muito importantes – até mesmo cruciais – para o trabalho na área de data science. Alguns dos tópicos mais relevantes em matemática que é necessário dominar – ou ao menos revisar – incluem:

• Estatística (essencial)
• Probabilidade (essencial)
• Cálculo Integral e Diferencial
• Cálculo Numérico (Álgebra Linear)

Entre outros. Claro que conhecer matemática é benéfico para qualquer área de atuação, principalmente nos domínios da tecnologia, independente do trabalho ser voltado para ciência de dados ou não.

Além disso, tão importante quanto conhecer as linguagens de programação é saber como usar as diversas bibliotecas e frameworks disponíveis para data science, pois, no dia-a-dia do trabalho, é o que você irá usar com mais frequência, e por isso vale a pena investir seu tempo nesse aprendizado.

Conclusão

Neste artigo procurei trazer algumas das linguagens de programação mais indicadas para quem deseja trabalhar com ciência de dados. Note que essas sete linguagens não são as únicas que se prestam a essa tarefa, existindo outras linguagens também interessantes para a área, como Haskell e Lisp, por exemplo. Ciência de Dados é uma área muito vasta, se ramificando em inúmeros caminhos possíveis, e a verdade é que provavelmente você precisará aprender mais do que uma das linguagens citadas – talvez várias delas ao longo de sua carreira e estudos.

Finalmente, tudo o que foi exposto aqui é, basicamente, minha opinião pessoal e minha visão, baseada em meus estudos e experiência de mercado e acadêmica.

Evidentemente vocês podem pensar de forma diferente – talvez achando que uma linguagem deveria ter sido incluída na lista, ou que uma das linguagens que citei não deveria estar aqui – e por isso os convido a postarem seus pensamentos nos comentários logo abaixo, para trocarmos ideias sobre esse assunto tão importante e interessante na atualidade – e certamente pelos anos vindouros.

Até!

O post 7 Linguagens de programação para Ciência de Dados – 2021 apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Neste artigo introdutório vamos apresentar o conceito de Data Mining. Algumas vezes também chamado de Knowledge Discovery in Databases (KDD), o Data Mining (“Mineração de Dados“) consiste na extração de padrões que representam o conhecimento armazenado de forma implícita em grandes bancos de dados, data warehouses ou ainda outros repositórios de informação em grande quantidade.

Nossa capacidade de gerar e coletar dados vem aumentando muito rapidamente nos últimos anos. Dados científicos, médicos, demográficos, financeiros, dados oriundos de sensores (vide “Internet das Coisas”) – a quantidade de dados disponível atualmente é gigantesca, e a análise desses dados se mostra impossível pelos humanos com o uso de ferramentas tradicionais de gerenciamento de dados.

A análise desse “oceano” de dados é extremamente importante, pois permite descobrir tendências e informações escondidas, e pesquisadores nas mais variadas áreas do conhecimento, como estatística, visualização de dados, inteligência artificial, machine learning e outras vem contribuindo ativamente para a disciplina.

Múltiplas Disciplinas

O Data Mining é um campo multidisciplinar, englobando técnicas e teorias das mais variadas áreas da tecnologia, como por exemplo:

• Bancos de Dados
• Machine learning
• Inteligência Artificial
• Redes Neurais
• Reconhecimento de Padrões
• Estatística
• Aquisição de Conhecimento
• Visualização de dados
• Computação de alta performance

E muitas outras mais.

Mas, porque usar técnicas de Mineração de Dados?

As técnicas de mineração de dados foram desenvolvidas devido à ampla disponibilidade de grandes quantidades de dados pelas empresas e à necessidade de transformar esses dados em informações e conhecimento úteis.

O conhecimento obtido a partir da mineração de dados pode ser aplicado a inúmeras áreas do conhecimento, como por exemplo:

• Controle de processos
• Gerenciamento de negócios
• Análise de mercados
• Design de engenharia
• Análises financeiras
• Publicidade
• Exploração espacial

entre muitas outras.

Evolução dos bancos de dados

A indústria de bancos de dados seguiu um caminho evolucionário bem peculiar, principalmente no que diz respeito às técnicas de coleta de dados, criação dos bancos em si, gerenciamento de dados, armazenamento de dados, análise e interpretação de dados, entre outras, a partir dos anos 1980. Uma análise mais completa e detalhada sobre essa evolução será tratado em outro artigo, mais específico.

Armazenamento de Dados

Os dados podem ser armazenados em muitos tipos distintos de bancos de dados. Um exemplo típico, altamente relacionado às tecnologias de mineração de dados, é o Data Warehouse, que é um repositório de múltiplas fontes de dados heterogêneas (fontes de dados diferentes entre si), organizadas em um esquema unificado e armazenadas em um único local, de modo a simplificar o gerenciamento da tomada de decisões.

O Data Warehousing inclui a limpeza dos dados, integração desses dados e também técnicas de OLAP – On-Line Analytical Processing, entre outras técnicas. Vamos falar sobre elas em artigos específicos sobre cada tecnologia empregada.

Processo de Descoberta de Conhecimento

O processo de descoberta de conhecimento consiste na sequência de passos descrita a seguir:

1. Limpeza dos dados
2. Integração dos dados
3. Seleção dos dados
4. Transformação dos dados
5. Mineração dos dados
6. Avaliação dos dados
7. Apresentação do conhecimento

Arquitetura de um sistema de Data Mining

A arquitetura de um sistema de mineração de dados típico possui os seguintes componentes principais:

1. Repositório de informações (banco de dados, data warehouse, ou outro)
2. Servidor de Banco de Dados ou Data Warehousing
3. Base de Conhecimento (KB – Knowledge  Base)
4. Motor de Data Mining
5. Módulo de Avaliação de Padrões
6. Interface de Usuário

Próximo: Conceitos e Técnicas de Data Mining

O post O que é Data Mining – Introdução à Mineração de Dados apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.