A ciência de dados é uma área do conhecimento que envolve o estudo e a análise de dados dos mais variados tipos, incluindo financeiros, científicos, sociais e econômicos. Seu intuito é a extração de conhecimento, descoberta de informações ocultas e detecção de padrões em conjuntos de dados para auxiliar na tomada de decisões e gerar valor para o negócio.

Por conta disso, uma das profissões / carreiras mais em alta na atualidade é o cargo de Cientista de Dados. 

Um cientista de dados precisa ter um leque de conhecimentos diverso, combinando expertise em várias áreas do conhecimento, como matemática (principalmente estatística e probabilidade), conhecimentos específicos da área do negócio e, naturalmente, linguagens de programação para a criação de algoritmos e aplicações de software que são empregados no dia-a-dia.

E aqui surge a dúvida mais comum entre os aspirantes à ciência de dados: que linguagem de programação aprender? Dada a quantidade de opções existentes, incluindo linguagens de uso geral e linguagens de nicho, quais linguagens de programação seriam mais apropriadas para uso em ciência de dados?

Para ajudar a responder a essas perguntar e dar um direcionamento aos interessados na área, listo a seguir sete linguagens de programação muito importantes e úteis para o trabalho de um cientista de dados atualmente (e para outras áreas, como Big Data, Machine Learning, Inteligência Artificial, e outras).

Vamos lá!

1. Python

Python é, sem sombra de dúvida, a linguagem ideal para iniciantes em ciência de dados e muitas outras áreas da computação). Com Python é possível trabalhar em nichos diversos como aprendizado de máquina, inteligência artificial, análise de dados, visualização de dados, automação de tarefas e como linguagem de propósito geral, tudo graças ao seu extenso conjunto de poderosas bibliotecas, que inclui ferramentas como NumPy, Matplotlib, Pandas, SciPy e muitas outras.

É, atualmente, uma das linguagens mais utilizadas no mundo, e com perspectivas de crescimento ainda maior nos próximos anos.
Além de tudo isso, é uma linguagem ideal para iniciantes em computação, por sua facilidade de uso e curva de aprendizado muito suave.

É uma linguagem de código aberto, orientada a objetos, muito flexível e com uma comunidade de desenvolvedores gigantesca, que facilita enormemente a troca de informações e orientações sobre ouso da linguagem em si e suas bibliotecas.

2. Linguagem R

Outra linguagem de peso no mundo da ciência de dados, é uma das ferramentas open source para análise estatística mais poderosas disponívis, e que pode ser empregada em tarefas como processamento de grandes volumes de dados, modelagem matemática, mineração de dados, cálculos estatísticos (claro!), e ainda por cima possui bibliotecas gráficas de alta qualidade para visualização de dados.

Com R é possível criar aplicações como sistemas de detecção de fraudes financeiras, modelagem de análise de sentimentos e sistemas de recomendação, além de aplicações para áreas tão diversas quanto engenharia, medicina e biologia.

Tarefas como análise de séries temporais, clustering e modelagem linear são algumas dos exemplos de processos que a linguagem R suporta com simplicidade.

Além disso, existem várias interfaces que podem ser usadas com o R para facilitar o trabalho de desenvolvimento de algoritmos e aplicações, tais como o RStudio e Jupyter Notebooks, entre outras.

Comumente usamos Python e R combinados, unindo suas funcionalidades em um par excelente para praticamente qualquer aplicação.

Como contras da linguagem, podemos citar a velocidade de execução e a quantidade de recursos de hardware que scripts escritos em R consomem, especialmente memória RAM.

3. SQL

Linguagem de Consulta Estruturada para Bancos de Dados, é uma das linguagens mais importantes para trabalho com dados e principalmente Big Data, ao combinar capacidades analíticas e de consultas com transacionais. SQL é um conhecimento básico para praticamente qualquer interessado em trabalhar com desenvolvimento de sistemas de todos os tipos, e em ciência de dados é imprescindível.

Em que usamos SQL exatamente? Bem, trata-se de uma linguagem de domínio específico, sendo empregada no gerenciamento de dados armazenados, local ou remotamente.

Note que existem diversos “sabores” de SQL, dependendo da implementação do fabricante – mas todos seguem um mesmo padrão, o ANSI SQL. E um ponto muito favorável do SQL é que essa linguagem se integra com muita facilidade às outras linguagens de programação, sendo extremamente comum desenvolver aplicações que mesclem códigos escritos, por exemplo, em Python ou Java com SQL.

4. Java

Linguagem de propósito geral e alta performance, o Java é empregado no desenvolvimento de algoritmos para machine learning, além de encontrar aplicações em nichos como Big Data e IoT (Internet das Coisas). É vastamente empregada no desenvolvimento de aplicações móveis e para Web.

Muitos frameworks e ferramentas empregadas em Big Data são escritos ou rodam em Java, como por exemplo Apache Spark, Hive e o Hadoop.

Uma das grandes vantagens do Java é a disponibilidade de IDEs de qualidade para o desenvolvimento de aplicações com eficiência e rapidez, incluindo softwares de alta complexidade. Alguns dos IDEs mais comuns incluem o Eclipse, Netbeans e IntelliJ, entre outros menos usados.

Alguns dos nichos onde o Java é mais empregado na área de ciência de dados incluem Aprendizado Profundo (Deep Learning), Processamento de Linguagem Natural (NLP – Natural Language Processing) e Mineração de Dados (Data Mining), entre outras.

Um ponto no qual a linguagem peca é a falta de ferramentas altamente especializadas para trabalho com estatística e cálculos matemáticos avançados, o que pode ser contornado combinando a linguagem Java com outras linguagens mais especializadas como a linguagem R, por exemplo.

5. C/C++

São as linguagens mais antigas listadas neste artigo, e provavelmente as mais difíceis de aprender, mas nem por isso com importância menor: C/C++ (principalmente C++) constitui a principal ferramenta em muitos tipos de sistemas de alta performance, sendo empregada em áreas como Inteligência Artificial, Aprendizado de Máquina e Robótica, onde o processamento de dados analíticos precisa ser feito com muita rapidez e alta performance.

Uma das aplicações mais modernas do C++ é no desenvolvimento de aplicações para veículos autônomos, que necessitam de algoritmos de análise de dados altamente complexos e performáticos, e em muitas aplicações de tempo real onde conjuntos de dados precisam ser tratados praticamente no momento em que são utilizados.

É interessante notar que muitas das linguagens citadas neste artigo são elas próprias escritas em C ou C++, com Python, R e Julia, assim como muitas bibliotecas e frameworks usados em data science, como o TensorFlow, por exemplo.

6. Julia

Inicialmente concebida como uma linguagem para programação científica, é uma linguagem de alto nível extremamente rápida que pode ser usada para o desenvolvimento de diversos tipos de aplicações, sozinha ou em conjunto com bibliotecas C/C++ ou Python.

Sua grande força está nas tarefas de análise numérica, apesar de também poder ser usada como linguagem de programação de propósito geral. É uma linguagem intuitiva, bastante acessível, além de ser de código aberto.

Uma de suas principais aplicações é na área financeira, onde existe a necessidade de realizar cálculos de forma massiva e com muita rapidez, com cálculos de análise de risco ou análise de séries temporais.

Um de seus problemas é o fato de ser uma linguagem relativamente nova e, que por isso, ainda possui uma comunidade de usuários pequena, com menos documentação disponível para consulta.

Porém, permite o interfaceamento (direto ou por pacotes específicos) com bibliotecas de outras linguagens, como Python, R, C++, Matlab e até mesmo Fortran, a´lem de possuir suporta a computação distribuída e computação paralela, o que significa aplicações de elevada performance!

Suas ferramentas de visualização de dados ainda não estão no mesmo nível das ferramentas disponíveis outras linguagens, mas vem melhorando a cada dia.

7. Matlab / Octave

Matlab é um ambiente de computação matemática e uma linguagem proprietária amplamente utilizada em cenários que demandam operações de cálculos avançados.

Encontra aplicações em análise de dados, processamento de imagens, processamento de sinais e, evidentemente, criação de modelos matemáticos por meio da manipulação de matrizes, álgebra linear, análise numérica e outras técnicas, facilitando enormemente a resolução dos problemas matemáticos mais complicados.

É uma linguagem recomendada para trabalho com Big Data e também na Indústria, principalmente de Engenharia. O Matlab traz suporte nativo a diversos formatos de dados empregados em telemetria, sensores, processamento de imagem e vídeo, e muitos outros.

Como ponto talvez negativo do Matlab posso citar o fato de não ser uma linguagem muito rápida, e necessitar de uma licença, de custo relativamente elevado, para ser usada.

O Octave é a principal alternativa ao Matlab, podendo substitui-la no geral em quase todas as tarefas necessárias para análise de dados, com algumas diferenças funcionais. Além disso, é gratuito.

Extra: Matemática

Como citado no início do artigo, conhecimentos em matemática são muito importantes – até mesmo cruciais – para o trabalho na área de data science. Alguns dos tópicos mais relevantes em matemática que é necessário dominar – ou ao menos revisar – incluem:

• Estatística (essencial)
• Probabilidade (essencial)
• Cálculo Integral e Diferencial
• Cálculo Numérico (Álgebra Linear)

Entre outros. Claro que conhecer matemática é benéfico para qualquer área de atuação, principalmente nos domínios da tecnologia, independente do trabalho ser voltado para ciência de dados ou não.

Além disso, tão importante quanto conhecer as linguagens de programação é saber como usar as diversas bibliotecas e frameworks disponíveis para data science, pois, no dia-a-dia do trabalho, é o que você irá usar com mais frequência, e por isso vale a pena investir seu tempo nesse aprendizado.

Conclusão

Neste artigo procurei trazer algumas das linguagens de programação mais indicadas para quem deseja trabalhar com ciência de dados. Note que essas sete linguagens não são as únicas que se prestam a essa tarefa, existindo outras linguagens também interessantes para a área, como Haskell e Lisp, por exemplo. Ciência de Dados é uma área muito vasta, se ramificando em inúmeros caminhos possíveis, e a verdade é que provavelmente você precisará aprender mais do que uma das linguagens citadas – talvez várias delas ao longo de sua carreira e estudos.

Finalmente, tudo o que foi exposto aqui é, basicamente, minha opinião pessoal e minha visão, baseada em meus estudos e experiência de mercado e acadêmica.

Evidentemente vocês podem pensar de forma diferente – talvez achando que uma linguagem deveria ter sido incluída na lista, ou que uma das linguagens que citei não deveria estar aqui – e por isso os convido a postarem seus pensamentos nos comentários logo abaixo, para trocarmos ideias sobre esse assunto tão importante e interessante na atualidade – e certamente pelos anos vindouros.

Até!

O post 7 Linguagens de programação para Ciência de Dados – 2021 apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

A linguagem Julia é uma linguagem de programação multiparadigma, dinâmica, de alto nível e alta performance, amplamente utilizada para computação científica, análise numérica e ciência de dados.

Como características da linguagem Julia podemos citar:

• Suporta computação paralela, concorrente e distribuída
• Disponibiliza diversas bibliotecas eficientes para cálculos em ponto flutuante
• Permite gerar números aleatórios de forma eficiente
• Trabalha de forma poderosa e ao mesmo tempo simplificada com álgebra linear
• Trabalha com coletor de lixo (Garbage Collector)
• Possui bibliotecas que permitem realizar transformadas rápidas de Fourier
• Tem suporte em várias IDEs, como o Atom (Juno) e VS Code
• Permite chamar diretamente bibliotecas Fortran e C sem usar wrappers (glue code)

e muitas outras.

Neste tutorial vamos mostrar como baixar e instalar a linguagem Julia no Linux Debian, além de testar nossa instalação executando alguns cálculos simples posteriormente.

• Website oficial da linguagem: www.julialang.org
• Versão estável mais atual: 1.5.3

Instalação do Julia no Debian Linux

Primeiramente, devemos verificar se a linguagem Julia já está instalada no sistema:

$ julia

Se o prompt da linguagem não for apresentado, significa que você ainda não tem a linguagem Julia instalada em seu sistema Linux. Vamos realizar sua instalação a partir de agora.

Podemos instalar a Julia no Debian Linux de várias formas; a que vamos apresentar neste tutorial é por meio da loja de aplicativos Snap.

Os snaps são aplicativos empacotados com todas as suas dependências, prontos para serem instalados em inúmeras distribuições Linux, com atualizações automáticas simplificadas.

Para instalar um pacote snap, basta usar a loja Snap Store, na qual é possível pesquisar e instalar milhares de aplicativos.

Porém, para tal é necessário ter o pacote snapd já instalado em seu sistema. Caso você ainda não o tenha, instale-o com os comandos a seguir:

$ sudo apt install snapd
$ sudo snap install core

Reinicie sua sessão após instalar o snapd para configuração automática da variável de ambiente $PATH.

Instalar a linguagem Julia no Debian via Snap

Após instalar e atualizar o snapd, instale a linguagem de programação Julia com o comando a seguir:

$ sudo snap install julia --classic

Após terminar a instalação, vamos testar a linguagem Julia. Digite o comando a seguir para abrir o interpretador da linguagem:

$ julia

Será exibido o prompt do interpretador de comandos da linguagem Julia:

julia>

Execute o comando a seguir no prompt do interpretador Julia para testar a instalação realizada:

julia> println("Bem-Vindos à Bóson Treinamentos!")

Excelente! Linguagem Julia instalada com sucesso no Debian Linux 10, por meio de um pacote Snap.

Para sair do interpretador Julia e voltar ao terminal do Linux, digite a combinação de teclas Ctrl + d.

No próximo tutorial iniciamos o estudo da linguagem Julia em si. Até!

Veja também: Como instalar a linguagem Julia no Microsoft Windows

O post Como instalar a linguagem Julia no Linux Debian apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Neste tutorial vamos mostrar como instalar e configurar o IDE Juno, para desenvolvimento em linguagem Julia. O Juno é um ambiente de desenvolvimento para Julia que é instalado junto ao editor de textos Atom, e por isso é necessário ter o Atom pré-instalado em sua máquina – é a partir dele que o Juno será baixado, instalado e configurado.

O website oficial do Juno, com informações detalhadas e manuais de uso é o https://junolab.org.

Instalando o Juno no Windows 10

Vamos seguir os passos abaixo para instalar o IDE Juno em um computador com Windows:

1. É necessário ter a linguagem Julia já instalada na máquina antes de instalar o IDE Juno. Caso não a tenha, siga os passos deste tutorial para instalar a Julia no Windows.

2. Com a linguagem Julia já instalada, baixe e instale o editor Atom, se você ainda não tiver esse editor de textos em seu sistema. Logo após instalá-lo, abra-o.

3. No IDE Atom, vá até Configurações (Ctrl+,), e entre no painel de instalação (Install Packages).

Digite uber-juno na caixa de pesquisa Packages e pressione enter. Clique no botão de instalação do pacote da JunoLab com o mesmo nome (Install).

O Juno será instalado e configurado pelo Atom, incluindo todos os pacotes necessários. Aguarde enquanto o processo é executado

Após o término da instalação, pode ser necessário incluir o caminho do executável do Julia nas configurações do IDE para que seja possível utilizar a linguagem (no meu caso foi). Para isso, clique no menu do Atom em Packages -> Juno -> Settings.

Procure a caixa “Julia Path (The location of the Julia binary)” e nela insira o caminho completo do executável do Julia. Esse caminho pode ser obtido clicando com o botão direito do mouse sobre o ícone do Julia da área de trabalho do Windows, e selecionando Propriedades -> Atalho.
Geralmente o caminho é algo como C:\Users\nome-usuário\AppData\Local\Programs\Julia 1.5.3\bin\julia.exe, onde nome-usuário é o nome do usuário que você usou para se logar no sistema.

Copie e cole o link na caixa Julia Path (retire as aspas, se houverem). Pressione enter para finalizar.

Testar o Juno IDE

Para testar o IDE, clique no menu Juno -> Open REPL. Na seção “Press Enter to start Julia“, pressione a tecla enter para iniciar o ambiente da Julia. Pode demorar um pouco para que o interpretador esteja disponível, portanto, aguarde.

Para testar a linguagem e o IDE, vamos digitar as linhas de código a seguir no interpretador de comandos do Julia para executar um cálculo aritmético simples:

julia> a = 5;
julia> b = 8;
julia> c = a * b / 2;
julia> println(c)

Resultado:

É isso aí! Maiores informações sobre a instalação do Juno IDE, incluindo a resolução de problemas, podem ser obtidas na página de documentação oficial: docs.junolab.org/latest/man/installation/

O post Como instalar o IDE Juno para programação em Julia no Windows apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.

Julia é uma linguagem de programação dinâmica, multiparadigma de alto nível e de alta performance, muito empregada nos campos da análise numérica e computação científica.

Algumas das principais características da linguagem Julia incluem:

• Suporta computação paralela, concorrente e distribuída
• Possui bibliotecas eficientes para cálculos de ponto flutuante
• Trabalha de forma simplificada com álgebra linear
• Geração de números aleatórios eficiente
• Possui bibliotecas para transformadas rápidas de Fourier
• Opera com Garbage Collector (coletor de lixo)
• Permite chamada direta de bibliotecas Fortran e C sem usar glue code (wrapper)
• Pode ser codificada em várias IDEs, como o VS Code

e muitas outras.

Neste tutorial vamos mostrar como baixar e instalar a linguagem Julia no Windows 10, além de testar nossa instalação executando alguns comandos simples na linguagem.

Como obter a linguagem Julia

É possível executar a linguagem Julia de várias formas:

• Pela linha de comandos (terminal)
• Usando imagens Docker do Docker Hub
• Por meio da interface Julia IDE

Neste tutorial vamos fazer a instalação da linguagem Julia e a testaremos pelo terminal (prompt), e em outra lição vamos baixar e instalar a IDE Juno (junolab.org), que irá facilitar muito nossos estudos de programação com Julia.

• Website oficial da linguagem: www.julialang.org
• Versão estável mais atual: 1.5.3

Para baixar a Julia, na página inicial do site, clique no link Download, ou vá diretamente para a página www.julialang.org/downloads

Na página de downloads vamos encontrar versões da Julia para várias plataformas, como Linux (x86 / ARM), macOS, FreeBSD e Windows, tanto 32 quanto 64 bits. Instalaremos a versão de 64 bits no Windows 10.
No site também está disponível o código-fonte para compilação da linguagem em outras plataformas.

No caso do Windows ainda há uma versão portable (que não necessita de instalação). Tome cuidado para não baixar esta versão, pois a que utilizaremos é a versão instalada na máquina.

Instalação da linguagem Julia

Na página de downloads no website indicado, clique no link 64-bit (installer) para baixar o instalador da linguagem Julia.

Após baixar o arquivo, execute-o para abrir o instalador. Verifique o diretório de instalação (não é necessário alterar) e clique em Next >:

Na tela seguinte você pode selecionar tarefas adicionais – basicamente, criar um atalho na área de trabalho e uma entrada no menu iniciar do Windows. Deixarei ambas as opções marcadas. Clique em Next > para prosseguir.

Agora aguarde enquanto a linguagem Julia é instalada em seu sistema.

Após a instalação vamos testar a linguagem. Deixe a caixa Run Julia marcada e clique em Finish para encerrar o instalador.

Será aberto uma janela de comandos (terminal) com o prompt da Julia pronto para receber comandos. Para obter ajuda, basta digitar ? e pressionar enter.

Testar a linguagem Julia

Vamos testar nossa instalação da Julia agora. Para isso, digite os comandos a seguir no terminal aberto, pressionando enter após cada comando:

julia> a = 5
julia> b = 3
julia> a^b

Resultado esperado:

É isso aí! Linguagem Julia instalada e testada com sucesso em um computador com Windows. A documentação oficial da linguagem Julia pode ser acessada nesta página: Documentação do Julia 1.5

Nos próximos tutoriais vamos mostrar como usar a linguagem Julia para criar programas e scripts diversos. Até!

O post Como instalar a linguagem Julia no Windows apareceu primeiro em Bóson Treinamentos em Ciência e Tecnologia.