A ciência de dados é uma área do conhecimento que envolve o estudo e a análise de dados dos mais variados tipos, incluindo financeiros, científicos, sociais e econômicos. Seu intuito é a extração de conhecimento, descoberta de informações ocultas e detecção de padrões em conjuntos de dados para auxiliar na tomada de decisões e gerar valor para o negócio.

Por conta disso, uma das profissões / carreiras mais em alta na atualidade é o cargo de Cientista de Dados. 

Um cientista de dados precisa ter um leque de conhecimentos diverso, combinando expertise em várias áreas do conhecimento, como matemática (principalmente estatística e probabilidade), conhecimentos específicos da área do negócio e, naturalmente, linguagens de programação para a criação de algoritmos e aplicações de software que são empregados no dia-a-dia.

E aqui surge a dúvida mais comum entre os aspirantes à ciência de dados: que linguagem de programação aprender? Dada a quantidade de opções existentes, incluindo linguagens de uso geral e linguagens de nicho, quais linguagens de programação seriam mais apropriadas para uso em ciência de dados?

Para ajudar a responder a essas perguntar e dar um direcionamento aos interessados na área, listo a seguir sete linguagens de programação muito importantes e úteis para o trabalho de um cientista de dados atualmente (e para outras áreas, como Big Data, Machine Learning, Inteligência Artificial, e outras).

Vamos lá!

1. Python

Python é, sem sombra de dúvida, a linguagem ideal para iniciantes em ciência de dados e muitas outras áreas da computação). Com Python é possível trabalhar em nichos diversos como aprendizado de máquina, inteligência artificial, análise de dados, visualização de dados, automação de tarefas e como linguagem de propósito geral, tudo graças ao seu extenso conjunto de poderosas bibliotecas, que inclui ferramentas como NumPy, Matplotlib, Pandas, SciPy e muitas outras.

É, atualmente, uma das linguagens mais utilizadas no mundo, e com perspectivas de crescimento ainda maior nos próximos anos.
Além de tudo isso, é uma linguagem ideal para iniciantes em computação, por sua facilidade de uso e curva de aprendizado muito suave.

É uma linguagem de código aberto, orientada a objetos, muito flexível e com uma comunidade de desenvolvedores gigantesca, que facilita enormemente a troca de informações e orientações sobre ouso da linguagem em si e suas bibliotecas.

2. Linguagem R

Outra linguagem de peso no mundo da ciência de dados, é uma das ferramentas open source para análise estatística mais poderosas disponívis, e que pode ser empregada em tarefas como processamento de grandes volumes de dados, modelagem matemática, mineração de dados, cálculos estatísticos (claro!), e ainda por cima possui bibliotecas gráficas de alta qualidade para visualização de dados.

Com R é possível criar aplicações como sistemas de detecção de fraudes financeiras, modelagem de análise de sentimentos e sistemas de recomendação, além de aplicações para áreas tão diversas quanto engenharia, medicina e biologia.

Tarefas como análise de séries temporais, clustering e modelagem linear são algumas dos exemplos de processos que a linguagem R suporta com simplicidade.

Além disso, existem várias interfaces que podem ser usadas com o R para facilitar o trabalho de desenvolvimento de algoritmos e aplicações, tais como o RStudio e Jupyter Notebooks, entre outras.

Comumente usamos Python e R combinados, unindo suas funcionalidades em um par excelente para praticamente qualquer aplicação.

Como contras da linguagem, podemos citar a velocidade de execução e a quantidade de recursos de hardware que scripts escritos em R consomem, especialmente memória RAM.

3. SQL

Linguagem de Consulta Estruturada para Bancos de Dados, é uma das linguagens mais importantes para trabalho com dados e principalmente Big Data, ao combinar capacidades analíticas e de consultas com transacionais. SQL é um conhecimento básico para praticamente qualquer interessado em trabalhar com desenvolvimento de sistemas de todos os tipos, e em ciência de dados é imprescindível.

Em que usamos SQL exatamente? Bem, trata-se de uma linguagem de domínio específico, sendo empregada no gerenciamento de dados armazenados, local ou remotamente.

Note que existem diversos “sabores” de SQL, dependendo da implementação do fabricante – mas todos seguem um mesmo padrão, o ANSI SQL. E um ponto muito favorável do SQL é que essa linguagem se integra com muita facilidade às outras linguagens de programação, sendo extremamente comum desenvolver aplicações que mesclem códigos escritos, por exemplo, em Python ou Java com SQL.

4. Java

Linguagem de propósito geral e alta performance, o Java é empregado no desenvolvimento de algoritmos para machine learning, além de encontrar aplicações em nichos como Big Data e IoT (Internet das Coisas). É vastamente empregada no desenvolvimento de aplicações móveis e para Web.

Muitos frameworks e ferramentas empregadas em Big Data são escritos ou rodam em Java, como por exemplo Apache Spark, Hive e o Hadoop.

Uma das grandes vantagens do Java é a disponibilidade de IDEs de qualidade para o desenvolvimento de aplicações com eficiência e rapidez, incluindo softwares de alta complexidade. Alguns dos IDEs mais comuns incluem o Eclipse, Netbeans e IntelliJ, entre outros menos usados.

Alguns dos nichos onde o Java é mais empregado na área de ciência de dados incluem Aprendizado Profundo (Deep Learning), Processamento de Linguagem Natural (NLP – Natural Language Processing) e Mineração de Dados (Data Mining), entre outras.

Um ponto no qual a linguagem peca é a falta de ferramentas altamente especializadas para trabalho com estatística e cálculos matemáticos avançados, o que pode ser contornado combinando a linguagem Java com outras linguagens mais especializadas como a linguagem R, por exemplo.

5. C/C++

São as linguagens mais antigas listadas neste artigo, e provavelmente as mais difíceis de aprender, mas nem por isso com importância menor: C/C++ (principalmente C++) constitui a principal ferramenta em muitos tipos de sistemas de alta performance, sendo empregada em áreas como Inteligência Artificial, Aprendizado de Máquina e Robótica, onde o processamento de dados analíticos precisa ser feito com muita rapidez e alta performance.

Uma das aplicações mais modernas do C++ é no desenvolvimento de aplicações para veículos autônomos, que necessitam de algoritmos de análise de dados altamente complexos e performáticos, e em muitas aplicações de tempo real onde conjuntos de dados precisam ser tratados praticamente no momento em que são utilizados.

É interessante notar que muitas das linguagens citadas neste artigo são elas próprias escritas em C ou C++, com Python, R e Julia, assim como muitas bibliotecas e frameworks usados em data science, como o TensorFlow, por exemplo.

6. Julia

Inicialmente concebida como uma linguagem para programação científica, é uma linguagem de alto nível extremamente rápida que pode ser usada para o desenvolvimento de diversos tipos de aplicações, sozinha ou em conjunto com bibliotecas C/C++ ou Python.

Sua grande força está nas tarefas de análise numérica, apesar de também poder ser usada como linguagem de programação de propósito geral. É uma linguagem intuitiva, bastante acessível, além de ser de código aberto.

Uma de suas principais aplicações é na área financeira, onde existe a necessidade de realizar cálculos de forma massiva e com muita rapidez, com cálculos de análise de risco ou análise de séries temporais.

Um de seus problemas é o fato de ser uma linguagem relativamente nova e, que por isso, ainda possui uma comunidade de usuários pequena, com menos documentação disponível para consulta.

Porém, permite o interfaceamento (direto ou por pacotes específicos) com bibliotecas de outras linguagens, como Python, R, C++, Matlab e até mesmo Fortran, a´lem de possuir suporta a computação distribuída e computação paralela, o que significa aplicações de elevada performance!

Suas ferramentas de visualização de dados ainda não estão no mesmo nível das ferramentas disponíveis outras linguagens, mas vem melhorando a cada dia.

7. Matlab / Octave

Matlab é um ambiente de computação matemática e uma linguagem proprietária amplamente utilizada em cenários que demandam operações de cálculos avançados.

Encontra aplicações em análise de dados, processamento de imagens, processamento de sinais e, evidentemente, criação de modelos matemáticos por meio da manipulação de matrizes, álgebra linear, análise numérica e outras técnicas, facilitando enormemente a resolução dos problemas matemáticos mais complicados.

É uma linguagem recomendada para trabalho com Big Data e também na Indústria, principalmente de Engenharia. O Matlab traz suporte nativo a diversos formatos de dados empregados em telemetria, sensores, processamento de imagem e vídeo, e muitos outros.

Como ponto talvez negativo do Matlab posso citar o fato de não ser uma linguagem muito rápida, e necessitar de uma licença, de custo relativamente elevado, para ser usada.

O Octave é a principal alternativa ao Matlab, podendo substitui-la no geral em quase todas as tarefas necessárias para análise de dados, com algumas diferenças funcionais. Além disso, é gratuito.

Extra: Matemática

Como citado no início do artigo, conhecimentos em matemática são muito importantes – até mesmo cruciais – para o trabalho na área de data science. Alguns dos tópicos mais relevantes em matemática que é necessário dominar – ou ao menos revisar – incluem:

• Estatística (essencial)
• Probabilidade (essencial)
• Cálculo Integral e Diferencial
• Cálculo Numérico (Álgebra Linear)

Entre outros. Claro que conhecer matemática é benéfico para qualquer área de atuação, principalmente nos domínios da tecnologia, independente do trabalho ser voltado para ciência de dados ou não.

Além disso, tão importante quanto conhecer as linguagens de programação é saber como usar as diversas bibliotecas e frameworks disponíveis para data science, pois, no dia-a-dia do trabalho, é o que você irá usar com mais frequência, e por isso vale a pena investir seu tempo nesse aprendizado.

Conclusão

Neste artigo procurei trazer algumas das linguagens de programação mais indicadas para quem deseja trabalhar com ciência de dados. Note que essas sete linguagens não são as únicas que se prestam a essa tarefa, existindo outras linguagens também interessantes para a área, como Haskell e Lisp, por exemplo. Ciência de Dados é uma área muito vasta, se ramificando em inúmeros caminhos possíveis, e a verdade é que provavelmente você precisará aprender mais do que uma das linguagens citadas – talvez várias delas ao longo de sua carreira e estudos.

Finalmente, tudo o que foi exposto aqui é, basicamente, minha opinião pessoal e minha visão, baseada em meus estudos e experiência de mercado e acadêmica.

Evidentemente vocês podem pensar de forma diferente – talvez achando que uma linguagem deveria ter sido incluída na lista, ou que uma das linguagens que citei não deveria estar aqui – e por isso os convido a postarem seus pensamentos nos comentários logo abaixo, para trocarmos ideias sobre esse assunto tão importante e interessante na atualidade – e certamente pelos anos vindouros.

Até!

O post 7 Linguagens de programação para Ciência de Dados – 2021 apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

O software para computação numérica e científica GNU Octave possui algumas constantes numéricas pré-definidas, que podem ser empregadas em cálculos diversos ou ainda retornadas como resultado de operações matemáticas. Elas estão listadas na tabela a seguir:

A constante eps indica o valor de precisão da máquina, ou o valor entre dois números adjacentes no sistema de ponto flutuante da máquina.

Exemplos

Vamos chamar essas constantes na Janela de Comandos do Octave e visualizar o que é retornado em cada exemplo. A variável de sistema ans armazena o resultado de cada chamada:

>> format long
>> pi
ans = 3.141592653589793
>> e
ans = 2.718281828459045
>> i
ans = 0 + 1i
>> j
ans = 0 + 1i
>> inf
ans = Inf
>> NaN
ans = NaN
>> realmax
ans = 1.797693134862316e+308
>> realmin
ans = 2.225073858507201e-308
>> eps
ans = 2.220446049250313e-16

Usamos o comando format long no início dos exemplos para exibir os valores com até 15 algarismos significativos, quando aplicável.

A seguir, alguns exemplos de retorno dessas constantes em operações aritméticas.

>> sqrt(-1)
ans = 0 + 1i
>> 25 / 0
warning: division by zero
ans = Inf
>> 10E300 ^ 2
ans = Inf

No primeiro exemplo, calculamos a raiz quadrada de -1 usando a função sqrt(). O resultado é o número imaginário i, representado por 0 + 1i. Logo após, tentamos dividir um número por zero, e o resultado foi um aviso de divisão por zero, com a variável ans mostrando o valor Inf (infinito). E, finalmente, tentamos elevar o número 1×10³⁰⁰ (10E300) ao quadrado, gerando um número maior que o maior valore representável – e, assim, retornando o valor Inf também (infinito).

O post Constantes pré-definidas no Octave apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

O GNU Octave é um software / linguagem extremamente poderoso para computação numérica de alta complexidade. Mas, para realizar cálculos avançados usando esta aplicação precisamos primeiramente saber como fazer cálculos simples – mais especificamente, como realizar aritmética simples no Octave.

O Octave possui operadores aritméticos para as principais operações aritméticas, similares aos encontrados em outras linguagens de programação. A tabela a seguir mostra esses operadores, com seus símbolos e operações que realizam. Note que para o cálculo do resto da divisão inteira – operação de módulo – em vez de um operador simples é empregada uma função – mod().

Os operadores podem ser aplicados diretamente sobre valores escalares, arrays, variáveis e outros tipos de objetos. Vejamos alguns exemplos de cálculos bem simples usando esses operadores aritméticos no GNU Octave:

1 – Soma e subtração de valores

>> a = 10;
>> b = 12;
>> c = 3;
>> a + b - c
ans = 19
>> a - b - 1
ans = -3

Sem segredos aqui. Podemos somar e subtrair valores diretamente (escalares) ou armazenados em variáveis.

2 – Multiplicação e divisão de valores

>> a = 3;
>> b = 5;
>> f = 4;
>> a * b
ans = 15
>> f / b
ans = 0.80000
>> b * f / a
ans = 6.6667

Perceba que a divisão retorna um número de ponto flutuante sempre que ao menos um dos operandos seja de ponto flutuante, ou que o resultado obtido o seja. Se ambos os operandos forem números inteiros, e a divisão resultar em resultado inteiro, o dado não será retornado como ponto flutuante, mas sim, inteiro,

3 – Módulo (resto da divisão)

>> d = 9;
>> e = 2;
>> f = 3;
>> d / e
ans = 4.5000
>> mod(d,e)
ans = 1
>> d / f
ans = 3
>> mod(d,f)
ans = 0

A função mod(a,b) toma dois argumentos,a  e b, e retorna o resto da divisão inteira de a por b.

5 – Exponenciação no Octave

>> a = 2;
>> b = 5;
>> c = 10;
>> b ^ a
ans = 25
>> a ^ c
ans = 1024
>> c ^ a ^ b
ans = 10000000000
>> 3 * c ^ a
ans = 300
>> 1 / b ^ c
ans = 0.00000010240
>> format rat
>> 1 / b ^ c
ans = 1/976562

Note que executamos o último exemplo duas vezes: uma co o formato de exibição normal, e outra precedendo a operação aritmética com o comando format rat, que permite exibir o resultado de um cálculo no formato racional (números fracionários). Para voltar a exibir os resultados no modo de exibição normal (decimal), basta executar o comando format short:

>> format short

É isso aí! Na próxima lição vamos explorar algumas funções matemáticas muito úteis no Octave, incluindo funções trigonométricas, logarítmicas, cálculo de raízes, de arredondamento e outras. Até!

O post Operações Aritméticas simples no Octave apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Uma variável, em programação, é uma área reservada na memória do sistema, que armazena de forma temporária um dado que será utilizado para processamento pelo programa ou script. As variáveis também podem armazenar o resultado do processamento de expressões ou funções, para posterior exibição ao usuário, armazenamento em um banco de dados, ou processamento adicional.

Neste tutorial veremos como declarar (criar) e usar variáveis no GNU Octave.

Declaração de variáveis no Octave

No Octave, não é necessário declarar as variáveis de antemão. Elas podem ser declaradas no momento em que serão utilizadas. Seus tipos e tamanhos são alocados automaticamente.

Os nomes de variáveis no Octave devem seguir algumas regras básicas, comuns a diversas linguagens de programação, tais como:

• Não podem iniciar com um número
• Pode haver números no nome da variável
• As variáveis são case-sensitive (diferenciam maiúsculas de minúsculas)
• Não se pode usar palavras reservadas da linguagem (for, while, clear, etc)
• Podem incluir underscores _

Note que o número máximo de caracteres possíveis no nome de uma variável é 63 (verificado consultando a propriedade namelengthmax)

>> namelengthmax
ans = 63

Atribuição de valores a variáveis

Atribuir um valor a uma variável significa gravar um valor (armazenar) na variável. O operador de atribuição de valor a uma variável é o sinal de igual =. Assim, o comando

variavel = valor

atribui valor à variável nomeada.

É possível criar diversas variáveis em uma mesma linha de comando, bastando para isso separar as declarações com vírgulas.

Vejamos alguns exemplos.

>> a = 2 * log(5);
>> n1 = 2, n2 = 4, n3 = 9;
n1 = 2
n2 = 4
>> a
a = 3.2189
>> n2 * n3
ans = 36
>> res = n1 / a;
>> res
res = 0.62133

ans: Variável que armazena os últimos valores obtidos como resultado de uma expressão avaliada. Trata-se de uma variável global.

Listar as variáveis

Com os comandos who e whos podemos listar as variáveis definidas na sessão atual do programa:

1 – Listar as variáveis no escopo atual do ambiente de trabalho (workspace):

>> who

Variables in the current scope:

a ans n1 n2 n3 res

2 – Listar as variáveis com informações mais detalhadas:

>> whos

Variables in the current scope:

Attr Name Size Bytes Class
==== ==== ==== ===== =====
     a    1x1      8 double
     ans  1x1      8 double
     n1   1x1      8 double
     n2   1x1      8 double
     n3   1x1      8 double
     res  1x1      8 double

Total is 6 elements using 48 bytes

Limpar as variáveis da memória

Podemos limpar todas as variáveis do ambiente de trabalho (workspace) com o comando clear:

>> clear

Também é possível limpar uma variável específica, bastando para isso fornecer seu nome ao comando clear:

>> clear res

É isso! Na próxima lição vamos falar sobre as Constantes no Octave. Até!

O post Declaração e atribuição de Variáveis no Octave apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

No artigo anterior mostramos como instalar e rodar o software para computação numérica e científica GNU Octave no Debian Linux (e sistemas derivados). Vamos agora mostrar como baixar e instalar o GNU Octave no Microsoft Windows 10, além de executar um comando de teste após a instalação do programa.

O procedimento é bem simples e relativamente rápido, e vamos começar acessando o site do Octave e baixando o pacote necessário.

Download do Octave

A página para download do GNU Octave é www.gnu.org/software/octave/download. Nela encontraremos links para download de versões do software para GNU/Linux, macOS, BSD e Windows, além do código-fonte para compilar.

Clique no link MS Windows. Vamos baixar a versão de 64 bits (recomendada), que, no caso, é a versão 5.2 do Octave. Basta clicar no link do instalador (arquivo executável .exe), que tem cerca de 300 MB de tamanho, e aguardar o download do programa.

Observação: há uma outra versão para download na mesma página, contendo pacotes para operações com álgebra linear e grandes volumes de dados. Essa versão é recomendada apenas para computadores com ao menos 32 GB de memória RAM e trabalhos que envolvam arrays com mais de 2 bilhões de elementos. Não é nosso caso, de modo que não instalaremos essa versão.

Atenção: Para executar o Octave, é necessário ter o JRE (Java Runtime Environment) instalado na máquina. Caso seu computador não tenha, baixe e instale o ambiente Java em www.java.com/pt-BR/download/manual.jsp.

Instalação do GNU Octave no Windows

Após o término do download, execute o arquivo do instalador para iniciar o processo de instalação do Octave no Windows. Após abrir o instalador, clique em Next > para iniciar.

Na tela License Agreement, clique em Next > para aceitar a licença GNU GPL e prosseguir com a instalação.

Na próxima tela temos as opções de instalação. Deixe as opções marcadas – não é necessário alterar nada. Clique em Next >.

Na sequência, você pode escolher o local de instalação do Octave no computador. Vamos aceitar a localização padrão – C:\Octave\-Octave-5.2.0 – e clicar em Install para iniciar a instalação propriamente dita. Note que são necessários 1,7 GB de espaço livre em disco para instalar o software.

Aguarde enquanto a instalação é efetuada.

Após o término da instalação, clique em Finish para finalizar o instalador, e deixe marcada a caixa Run GNU Octave para abrir o programa, pois vamos testar nossa nova instalação rodando um comando na Janela de Comandos posteriormente:

Porém, antes disso, devemos criar um arquivo de configuração do Octave. Para isso, basta clicar em Avançar na próxima tela (note que a janela já está em Português).:

Na próxima tela, marque a caixa “Permitir que o Octave se conecte à Internet durante a inicialização para buscar as novidades e informações atuais da comunidade“, e clique em Próximo:

Na tela seguinte, clique em Finalizar para terminar a instalação e configuração do Octave no Windows. Após o término da instalação, serão criados dois atalhos na área de trabalho: um para acesso à interface gráfica do Octave (GNU Octave GUI) e um para acesso ao software via prompt de comandos (GNU Octave CLI).

Excelente! A interface gráfica do GNU Octave será aberta automaticamente agora:

Testando o GNU Octave

E, para finalizar, vamos testar o programa executando um comando na Janela de Comandos. Vamos criar e exibir uma matriz 3×3. Para isso, digite o seguinte comando no prompt >> da janela de comandos e pressione a tecla Enter logo após:

>> A = [2, 5, 7; 3, 6, 0; 1, 8, 3]

Resultado:

É isso aí! GNU Octave instalado com sucesso no Microsoft Windows. no próximo artigo vamos começar a explorar o programa, falando sobre as partes constituintes de sua interface, sobre variáveis, comandos variados e muito mais.

Até!

O post Como instalar o GNU Octave no Microsoft Windows 10 apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Neste artigo vamos proceder à instalação e teste do GNU Octave no Debian Linux (e derivados, como o Ubuntu e Linux Mint).

O GNU Octave é uma linguagem de alto nível empregada para a realização de computação numérica de alta performance, como a resolução de equações lineares e não-lineares, álgebra linear, análise estatística e muitas outras operações, de forma análoga à linguagem MATLAB. Porém, ao contrário desta, o Octave é software livre.

O Octave está disponível em inúmeras plataformas, como várias distribuições Linux, macos, Windows e BSD, entre outras.

Instalação do Octave no Debian

Para instalar o GNU Octave no Linux Debian, basta executar os comandos a seguir:

$ sudo apt update
$ sudo apt install octave

Instalaremos também os arquivos de desenvolvimento do Octave:

$ sudo apt install liboctave-dev

Após executar esses comandos, o Octave estará pronto para ser usado. Vamos executar o Octave para teste, usando o Terminal:

$ octave

Será exibido o prompt do Octave, como segue:

octave:1>

Vejamos agora alguns exemplos de cálculos com o Octave para testar nossa nova instalação.

Exemplos

Exemplo 01: realizar um cálculo aritmético simples:

octave:1> 2 * 3 + 5 * 2

Note que ans é uma variável interna que guarda a resposta do cálculo realizado, para exibição.

Exemplo 02: ver o valor de pi:

octave:1> pi

Exemplo 03: criar uma matriz 3×3 preenchida com valores aleatórios:

octave:1> A = rand(3,3)

Para obter ajuda sobre os comandos do Octave, usamos o comando help, seguido do nome do comando que desejamos consultar, como nos exemplos a seguir:

octave:1> help randw
octave:1> help plot

No Terminal, podemos limpar a tela de forma simples:

octave:1> Ctrl+l

Finalmente, para sair do Octave no terminal podemos usar quit ou exit:

octave:1> quit
ou
octave:1> exit

Interface Gráfica do GNU Octave

Também podemos abrir o Octave no modo de Interface Gráfica. Para tal, no GNOME, clique em Atividades -> Mostrar Aplcativos -> GNU Octave:

Será aberta a GUI do Octave:

Os comandos podem ser digitados na tela central, a Janela de Comandos, bastando pressionar a tecla Enter para executá-los:

É isso aí! No próximo artigo vamos iniciar a exploração do GNU Octave e conhecer mais de seus recursos.

Mais informações: Documentação Oficial do GNU Octave.

O post Como instalar o GNU Octave no Linux Debian e derivados apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.