Descubra o que fazem cientistas de dados, salário, habilidades necessárias e como se tornar data scientist neste guia completo.
A carreira de Cientista de Dados já deixou de ser uma novidade para se tornar consolidada e em ascensão no mercado global, ocupando a primeira posição na lista de profissões em alta demanda para os próximos anos, segundo o World Economic Forum.
Com isso, o buzz em torno da área de Data Science cresce e profissionais que buscam uma transição passam a se interessar pelas carreiras em dados. Por se tratar de uma trilha relativamente recente, são comuns as dúvidas sobre o que faz um(a) cientista de dados, salários desse mercado e habilidades necessárias.
Neste texto, queremos ajudar a esclarecer essas dúvidas, dando um panorama da área para que você entenda como começar como cientista de dados. Boa leitura.
Uma pessoa cientista de dados é, sobretudo, uma pessoa com o poder de gerar mudanças significativas em seu contexto. Em caso de trabalhar em uma empresa, por exemplo, suas análises podem conduzir à otimização da receita, à eliminação de erros e a contribuições que ajudam na sustentabilidade do negócio. A partir de algumas investigações, é possível gerar benefícios globais.
Trabalhar com ciência de dados é também ter uma visão de negócios e saber utilizar uma massa de conhecimento computacional e estatístico para solucionar problemas reais de pessoas reais no dia a dia concreto. Ou seja, o conteúdo pode parecer assustador, mas na verdade é algo muito próximo da realidade.
Tudo começa com a definição de um objetivo para o projeto. Cientistas de dados precisam saber exatamente onde querem chegar e, para isso, devem conhecer as limitações e as dores existentes. A partir do entendimento do cenário, é possível traçar as abordagens e estratégias específicas para solucionar aqueles problemas.
Digamos que a equipe de vendas precisa de projeção do número de vendas para um determinado momento do ano ou ainda precisa estimar a demanda para alguns produtos. Outros setores podem necessitar de análises de dados que chegam via streaming para decisões em tempo real.
Isso é passado para a pessoa responsável pela Ciência de Dados, a partir de uma comunicação entre ela e os setores necessitados.
Então, a pessoa coleta os dados, a partir de bases históricas internas ou bases externas. Logo depois, grande parte do trabalho de Data Science envolve a limpeza e o pré-processamento desses dados para que seja possível padronizá-los e gerenciá-los de alguma forma.
Segundo um estudo da IBM, 80% das pessoas cientistas de dados passam a maior parte do tempo encontrando, organizando e tratando dados, ao passo que apenas 20% delas fazem análises.
Outra função comum no dia a dia desse tipo de profissional é a análise de exploração, em busca de insights e padrões nos dados. Nesse momento, utiliza-se um conhecimento estatístico para desenhar gráficos e estabelecer análises prévias que evidenciam interessantes descobertas.
Uma das atividades mais conhecidas, certamente, é a modelagem e análise com inteligência artificial. Trata-se da escolha de algoritmos específicos a fim de analisar os dados e encontrar padrões e tendências ou definir um modelo inteligente capaz de fazer previsões. Nesse momento, entra a noção de machine learning e deep learning, bem como conceitos como visão computacional e processamento de linguagem natural.
Em alguns problemas, a modelagem ou a análise com inteligência artificial é o principal objetivo; em outros, é apenas um complemento dispensável.
A pessoa cientista de dados também cuida da visualização dos insights encontrados e do compartilhamento desses achados para outras pessoas em uma linguagem compreensível. É dever dessa pessoa cuidar do deploy do modelo ou algoritmo de análise para que ele seja utilizado no dia a dia, como parte de outra aplicação.
O perfil típico de quem é cientista de dados varia bastante: existem pessoas com diferentes skills e que vêm de diferentes áreas do conhecimento. Contudo, algumas características são comuns e mais relevantes. Podemos resumi-la na união de conhecimentos em Tecnologia, Estatística e Negócio.
Indo um pouco mais a fundo, esses conhecimentos se desdobram da seguinte forma:
habilidades de programação;
conhecimento fundamentado em estatística e matemática avançada;
visão analítica;
visão de negócios;
conhecimento sobre infraestrutura de dados.
Para quem está buscando saber como se tornar cientista de dados, é importante lembrar que é possível entrar na área sem ter todos esses conhecimentos completamente desenvolvidos. No entanto, eles serão essenciais ao longo da sua jornada como data scientist.
Vamos falar mais de cada uma dessas habilidades a seguir.
Saber programar é crucial, pois grande parte do trabalho no dia a dia será criar códigos com base em uma linguagem, como Python ou R, para chegar aos resultados. Nesse sentido, vale destacar que é necessário estar atento ao surgimento de novas tecnologias também.
Ou seja, é preciso se atualizar com relação ao que desponta como solução no mercado para ganhar tempo e eficiência no dia a dia.
A computação é uma área oriunda da matemática, então evidentemente é importante estudar conceitos matemáticos. Especificamente, podemos mencionar álgebra linear e cálculo como subáreas fundamentais para o trabalho em Data Science.
No dia a dia, cientistas de dados nem sempre precisam lidar com expressões matemáticas diretamente, já que as bibliotecas automatizam grande parte das rotinas, mas é importante conhecê-las a fundo.
Dentro disso, temos a importância da estatística. Ela é crucial para as análises que são feitas com gráficos e mapas, assim como para as modelagens com machine learning e deep learning. Muitas técnicas analíticas usam como base preceitos da estatística que devem ser dominados por quem tenta a carreira nesse campo profissional.
Um dos fatores que diferencia uma pessoa cientista de dados de profissionais de programação é justamente a sua visão analítica. Essa pessoa deve saber realizar investigações nos dados para extrair valor e conseguir responder às perguntas do negócio com análises aprofundadas e multifuncionais.
A questão é: em muitos casos, não se sabe exatamente o que se quer dos dados; então, a pessoa responsável deve buscar ângulos de análise a fim de gerar valor.
Outro fator que diferencia cientistas de dados e o que fazem é a visão de negócios, ou seja, ser uma pessoa que compreende perfeitamente os problemas que analisa, pois entende o domínio do negócio. Nesse sentido, se a pessoa trabalha com saúde, deve entender da área; se lida com o setor automobilístico, também.
Essa compreensão esclarecida das condições da empresa permite encontrar as melhores soluções, de um modo eficiente. Ao tratar os dados, a pessoa cientista de dados saberá quais perguntas deve enfatizar e conseguirá perder menos tempo. Além disso, ela entenderá melhor as nuances de cada problema.
Outro conhecimento importante para ter nessa área é sobre a infraestrutura dos dados ou a engenharia de dados. Envolve processamento dos dados e importação deles para estruturas de armazenamento, com o uso de tecnologias como Hadoop e Spark. Podemos também mencionar como fundamentais as habilidades relacionadas à infraestrutura de implantação e deployment, como o MLOps e as estratégias de pipeline de dados.
De acordo com o Glassdoor, o salário médio no Brasil é cerca de R$ 8.600. No estado de São Paulo, onde se concentram empresas da economia digital e a carreira é bastante valorizada, a média aumenta para R$ 9.500.
Os valores podem variar dependendo da maturidade de dados da empresa, do tamanho da equipe e das responsabilidades como data scientist.
As oportunidades continuam crescendo a cada dia mais: em 2020, o LinkedIn reportou que a área de Data Science apresentou um crescimento anual de 37%.
Leia também: Como conquistar uma vaga de cientista de dados? Veja o que empresas buscam
Atualmente, existem várias “gerações” de cientistas de dados que entraram e saíram das mais variadas organizações, e que vêm com diferentes qualidades que podem se adequar a diferentes tipos de empresas. Tudo depende dos tipos de problemas ou projetos que são trabalhados no local, o que não significa que um tipo de cientista de dados é melhor do que o outro, mas sim do que a empresa está procurando.
A atuação de diferentes tipos de cientistas de dados pode ser influenciada por fatores como formação anterior, tempo trabalhando na área;
nível de especialização;
contexto do negócio em que a pessoa está inserida.
Pensando nisso, o data scientist e CEO da Dataiku, Florian Douetteau, explorou em um artigo quais são os tipos de cientistas de dados que já existem no mercado. Além de orientar empresas sobre quais perfis podem compor um time de dados, ele também ajuda profissionais da área a entenderem as possibilidades de atuação. Segundo Florian Douetteau, existem sete tipos de cientistas de dados, sendo eles:
Generalistas;
Lendas;
Especialistas em Estatística;
Com pouca profundidade;
Especialistas em Engenharia de Machine Learning;
Experts em uma vertical;
Gestores de times de dados.
A seguir, falamos um pouco mais sobre quais são as características desses sete perfis!
A categoria de generalistas em Data Science é formada por profissionais que conseguem apresentar uma visão bem desenvolvida sobre os três principais pilares da área, que são conhecimentos sobre:
business;
matemática e estatística;
tecnologia e programação.
Esse tipo de cientista de dados costuma ser o mais procurado pelas empresas brasileiras, principalmente porque a maioria delas ainda não tem um time de dados muito grande. A vantagem desse perfil é sua versatilidade, que permite uma adaptação a todos os mercados, inclusive menos maduros, como no Brasil.
Assim, pessoas que conseguem entender o todo se tornam profissionais de alta performance, com capacidade de fazer contribuições relevantes para o avanço do negócio.
Ser generalista é um diferencial em Data Science. No entanto, Douetteau explica que é possível estar um nível acima. Ele coloca nessa categoria as pessoas que conseguem dominar, com profundidade, todos os três pilares da Ciência de Dados.
É claro que isso não acontece de um dia para o outro. Esse tipo de cientista de dados, provavelmente, está no mercado há muitos anos e já passou por várias etapas de desenvolvimento. Além disso, o profissional compreende que precisa estar em constante atualização. No mercado brasileiro, as lendas são pessoas que trabalhavam com ciência de dados, antes mesmo da área receber esse nome.
Ademais de se debruçarem sobre estatísticas avançadas, eles conhecem e dominam diferentes linguagens de programação e ainda têm a visão sobre todas as áreas do negócio.
Estes tipos de cientistas de dados são sofisticados, costumam ter PhDs e são mais caros. Por essa razão, ficam indisponíveis rapidamente, já que essas “lendas” frequentemente são procuradas pelas grandes empresas de times de dados, como Facebook e Google. Isso deve ser levado em conta na hora de contratar esse profissional, já que, talvez, ele não seja exatamente o que a sua empresa precisa.
Por mais que estatística seja uma base da Ciência de Dados, é possível se tornar especialista nessa disciplina e ganhar reconhecimento pela força nessa área. A pessoa cientista de dados com foco em estatística consegue desenvolver modelos de análise mais robustos, além de aplicar teorias e modelagens para fazer previsões.
Isso permite que esses tipos de cientistas de dados entreguem maior valor ao negócio e, caso ganhem domínio em uma área específica, como finanças ou marketing, podem se tornar grandes referências.
Florian Douetteau aponta que esse tipo de cientista de dados é caracterizado pela pouca profundidade em Ciência de Dados. Parece estranho? Segundo o autor, são profissionais que não necessariamente trabalham diretamente na área, mas têm algum conhecimento e precisam dele em parte de sua rotina profissional.
Como exemplo, ele menciona profissionais da Engenharia de Software ou mesmo de Product Management, que podem atuar de forma associada ao time de dados. Dessa forma, esses tipos de cientistas de dados precisam entender a linguagem usada e as possibilidades de execução.
Em muitos negócios da economia digital, a modelagem de dados é o cerne do produto. Com isso, abre-se espaço para profissionais com especialização em Engenharia de Machine Learning.
Essa carreira em dados une o conhecimento em Engenharia de Software, em Ciência de Dados e em Machine Learning. Pessoas que atuam nessa área se tornam responsáveis por garantir que modelos de Machine Learning funcionem de forma otimizada e possam ser escalados para dar conta de um grande volume de dados.
Imagine atuar por anos como cientista de dados em uma fintech. O conhecimento desenvolvido sobre Data Science aplicado a aquele modelo de negócio molda profissionais experts em uma vertical. Esse perfil de data scientist se torna muito valioso no mercado, na medida em que novas empresas de um mesmo segmento surgem e passam a buscar por especialistas.
Por outro lado, Douetteau aponta que pode ser perigoso manter o foco apenas em parte da indústria, já que isso pode criar uma limitação na hora de lidar com outros modelos de negócio. Por isso, experts são bem-vindos, mas são ainda melhores quando conseguem manter um olhar amplo sobre todo o mercado.
Por fim, mais um tipo de cientista de dados é aquele que se torna responsável por gerenciar um time de profissionais da área. Esse papel vai se afastar da prática e se tornar essencial para que profissionais atuem com máximo desempenho.
Assim, gestres de times de diferentes tipos de cientistas de dados se ocupam com a qualidade das entregas, com a gestão da produção de modelos, com a produtividade e, claro, com os resultados que a equipe está entregando para o negócio.
Observando os diferentes tipos de cientistas de dados, percebemos que a atuação de profissionais dessa área pode ganhar diversas particularidades, dependendo do contexto. Por isso, tanto para quem se candidata às vagas de data scientist quanto para quem contrata, é necessário primeiro compreender quais skills são realmente importantes para ocupar determinado posto.
Se você chegou até aqui, provavelmente tem um interesse genuíno em se tornar cientista de dados. Para muitas pessoas que desejam evoluir na carreira, o percurso para isso ainda é desconhecido. Afinal, há muitos caminhos e muitos assuntos a aprender e habilidades a adquirir.
Leia também: de faxineiro a cientista de dados, a história de Moxú
Na área de Data Science, você de fato pode seguir diversos rumos e profissões diferentes. Contudo, todas elas precisam de uma base fundamental de conceitos e tecnologias. A seguir, reunimos os conhecimentos e habilidades mais importantes que você deve saber para entender melhor e começar finalmente seus estudos.
Dessa forma, você terá mais confiança para escolher um curso de Data Science que te ajude a dominar todos esses pontos.
Para entender como começar em ciência de dados, é preciso compreender as linguagens de programação. Na área, temos a proeminência de Python, por ser uma linguagem orientada a objetos, versátil, extremamente limpa e apresentar uma série de bibliotecas já implementadas.
Além disso, outra vantagem de Python é dispor de um conjunto de elementos já configurados, como ambientes de desenvolvimento. Eles ajudam muito a lidar com as instalações de bibliotecas necessárias e a preparar a máquina para gerenciar os dados nas tarefas do cotidiano. Desse modo, você só precisa importar de forma simples quando precisar de alguma função.
Como opções que você deve conhecer, citamos o Anaconda e as ferramentas de notebook, que preparam toda a estrutura para o desenvolvimento na nuvem. É fundamental também dominar o github e seus controles de versionamento para organizar a codificação e ter uma boa visão na programação em grupo.
Na Ciência dos dados, a modelagem de banco de dados, evidentemente, cumpre um papel muito importante. Nesse sentido, a pessoa cientista de dados deve entender muito bem o padrão SQL e dominar as ferramentas que implementam seus conceitos em Python, como as bibliotecas SQlite e PostGreSQL. É importante ter a capacidade de desenvolver modelos para estruturar a relação entre os dados e implementá-los com uma linguagem.
Da mesma forma, é necessário aprender a manipular os dados em estruturas relacionais, de modo a efetuar consultas, filtragens e alterações nas bases. Também é interessante conhecer ferramentas para dados não estruturados, como as tecnologias e o movimento NoSQL.
Cientistas de dados devem se deparar com problemas complexos e reais que afetam as pessoas. Por isso, é importante ser analítico e saber dividir os problemas para chegar à solução de maneira ágil. Nesse ponto, os conhecimentos do negócio são úteis também.
Outro importante campo é a estatística descritiva. É fundamental compreender os métodos de análise para descrever os dados e buscar informações imediatas acerca deles, como médias, medianas, tabelas de frequências e gráficos. Isso é fundamental, por exemplo, para comparar dados em bases diferentes e estabelecer uma visão de como cada uma delas está caracterizada.
Além disso, a probabilidade e as distribuições ajudam a compreender e embasar outros conceitos relevantes, principalmente na modelagem estatística. São conceitos que devem estar solidificados na mente da pessoa que trabalha com dados.
É mandatório também conhecer os métodos para uma boa análise exploratória em uma base de dados. Nesse sentido, a pessoa profissional precisa saber como encontrar padrões e tendências nos dados, a partir de manipulações de funções e recursos já existentes em bibliotecas como o Pandas e Matplotlib.
Inclusive, essa parte ajuda na criação de hipóteses que podem ser confirmadas ou negadas posteriormente. É uma forma de estudar as bases com a ajuda de elementos visuais como os gráficos e outros métodos de visualização de dados.
A modelagem estatística é outra parte integral do currículo de quem quer saber como se tornar um cientista de dados. É necessário entender como coletar dados e transformá-los para atender a um modelo, com técnicas de inteligência artificial e aprendizado de máquina. Isso inclui tarefas de classificação, com algoritmos como o clássico naive-bayes, ou regressão, como a regressão linear.
Da mesma forma, a pessoa cientista de dados precisa saber avaliar o modelo, com métricas de aprendizado e controle de viés (que define se o modelo entende os dados analisados) e variância (sensibilidade do modelo aos dados de treinamento).
Por exemplo, um viés muito alto indica que o modelo não aprendeu e não consegue, portanto, oferecer uma resposta confiável, o que chamamos de underfitting. Uma variância muito alta, por outro lado, indica que o algoritmo está muito adaptado àqueles dados específicos e não apresentará uma boa performance caso os dados mudem. Esse é o overfitting.
Uma pessoa cientista de dados precisa considerar esses fatores, pois terá que lidar com cenários complexos em que os modelos têm que estar preparados para novos dados e mudanças nas características analisadas.
Outro assunto que faz parte do currículo é o aprendizado de máquina supervisionado. O dia a dia da pessoa cientista de dados envolverá problemas dessa natureza, em que é preciso buscar a melhor maneira de dividir as bases de dados entre treinamento e teste, bem como selecionar o melhor algoritmo. Existem várias opções nesse campo, como as famosas árvores de decisão, o naive-bayes, o SVM e as redes neurais.
Toda a área do Deep Learning supervisionado entra nessa categoria, aliás. É necessário dominar a noção de extração de características que as redes neurais ajudam a automatizar, bem como entender como usar camadas emprestadas de modelos já treinados para o caso de problemas muito complexos, como análise e reconhecimento de imagens.
Em complemento aos modelos supervisionados, temos os modelos não supervisionados. São exemplos: algoritmos como as regras de associação, as técnicas de agrupamento e as técnicas utilizadas para sistemas de recomendação, como filtragem colaborativa e outros.
Nesse sentido, é preciso compreender bem a diferença entre os dois tipos de aprendizado para saber quais problemas se encaixam melhor em cada um. Uma visão analítica também ajuda na hora de filtrar as conclusões que o algoritmo fornece, de modo a eliminar alguns ruídos e informações não relevantes e gerar uma visão mais precisa para aquele negócio.
Outro importante fator a considerar na carreira é o aprendizado de técnicas de machine learning (ML) para analisar um efeito temporal. Ou seja, é preciso analisar os dados com a compreensão de como eles mudam ao longo do tempo, bem como buscar a identificação de possíveis padrões nessas variações.
Um exemplo disso são as séries temporais, um importante conceito da estatística. Elas ajudam a entender eventos que ocorrem ao longo de um período, de forma sequencial, como o número de vendas em uma loja em um ano. Assim, é possível estudar o comportamento dos dados nesse momento histórico.
As séries são compostas por alguns conceitos muito relevantes, como tendências, ciclos e sazonalidade. As tendências descrevem o comportamento dos dados, como crescimento ou decaimento da curva.
Os ciclos agrupam essas tendências em conjuntos de crescimentos e quedas em um dado período. Ao passo que a sazonalidade associa esses fenômenos com o período em que ocorrem, estudando a repetição deles por conta de interferência de outros fatores.
A pessoa cientista deve saber manipular esse tipo de série, inclusive conhecendo as funções e métodos específicos para gerenciar isso. Da mesma forma, é importante compreender as particularidades das séries e como essas particularidades ajudam a interpretar melhor os seus resultados.
Além de conhecer e dominar as dimensões matemáticas, estatísticas e computacionais, a pessoa cientista de dados também precisa de uma compreensão ética acerca de sua profissão e das implicações dela para a sociedade.
Afinal, os sistemas criados por esses profissionais não existem sozinhos, eles existem em um contexto, em uma organização/uma sociedade e geram impacto na vida de pessoas em todos os âmbitos.
Nesse sentido, o ideal é aprofundar a consideração da tecnologia em serviço da sociedade, para o bem de todos, e não somente como um mero produto para um fim. É importante entender a relação entre os sistemas e as pessoas e saber como lidar com as particularidades do ser humano.
Um exemplo prático disso é a discussão acerca de dados e privacidade no mundo contemporâneo. As pessoas geram muitos dados que são úteis para empresas e cientistas de dados em suas aplicações.
Contudo, muitos desses dados carregam aspectos da dignidade e dos direitos básicos dos seres humanos. Nesse sentido, o tratamento dos dados deve respeitar essa questão e estar alinhado a esses princípios morais e éticos.
Para isso, é fundamental estar atualizado com relação ao debate em torno da Lei Geral de Proteção de Dados (LGPD) e do foco que ela dá no consentimento para estabelecer relações comerciais justas. Uma vez que os dados representam ativos tão importantes, é necessário ter cuidado maior com eles.
No processo de Data Science, temos diversas subáreas envolvidas. A primeira etapa, que cuida da coleta e preparação dos dados, é o que pode ser chamado de engenharia de dados. O processo de análise e modelagem é classificado geralmente de data science propriamente dito e pode até ganhar o nome de mineração de dados.
Contudo, existe a parte que cuida do deploy de algoritmos de ML para utilização em outras aplicações, a engenharia de machine learning. Nesse sentido, o MLOps é uma tecnologia importante, pois automatiza não somente o fluxo de deploy e testes, como também o treinamento e a preparação dos dados que ocorre depois.
Quem se torna cientista de dados entende no seu dia a dia que os modelos perdem qualidade assim que terminam de ser desenvolvidos. Novas características surgem e influenciam o que chamamos de degradação do modelo. Para melhorar continuamente e garantir os melhores resultados com os testes e o treinamento, é preciso usar as técnicas de MLOps.
Isso envolve também a criação de pipelines de desenvolvimento de ML, a manipulação de arquivos do tipo pickle, monitoramento dos modelos depois do treinamento e a adoção de soluções de conteinerização como o Docker. O objetivo é assegurar os melhores resultados nas predições e conclusões.
A comunicação é outro aspecto-chave do trabalho do que faz um(a) cientista de dados. Afinal, não é só tratamento de dados e modelagens: o dia a dia envolve comunicar os insights encontrados de modo que eles gerem influência e cooperem com as decisões tomadas. Ou seja, é necessário traduzir uma linguagem de dados técnicos e variáveis estatísticas de desempenho para uma linguagem de negócios.
Para isso, temos o Data Storytelling. São técnicas e boas práticas que ajudam a transformar estatísticas, gráficos e relatórios complexos em histórias interessantes de entender e de acompanhar. O objetivo é ser o mais democrático possível ao espalhar o conhecimento para que todos consigam compreender, de maneira clara e precisa.
Aliás, outro momento essencial para a finalização do processo de Data Science é a construção de interfaces e aplicações que contêm os modelos. Em algumas organizações, esse processo é feito por desenvolvedores front-end, mas em outros casos, a pessoa cientista de dados mesmo ficará encarregada disso. Ou seja: é bom ter essa habilidade também para se destacar no mercado.
Estamos falando do uso de ferramentas, como o streamlit do Python, que ajudam a construir de forma prática uma aplicação web para abrigar um modelo e facilitar o uso por pessoas não técnicas. Também envolve a conexão com dashboards para comunicação dos resultados de forma automática para decisores, por exemplo.
Vale destacar que o steamlit utiliza como base o React, um importante framework para desenvolvimento web front-end. Então, estudar um pouco esse padrão pode ser útil.
Se apresentar profissionalmente como cientista de dados é um passo importante para começar na área. Isso inclui a criação e organização de um portfólio com projetos pessoais e feitos incríveis que possam ser mostrados em uma entrevista. Envolve também a própria postura na entrevista, como uma boa capacidade de comunicação e de entendimento dos aspectos que vão além do conhecimento técnico.
Ou seja, se a pessoa já sabe traduzir números em negócio na entrevista, esse é um bom indício de que conseguirá transmitir bem os resultados e realmente ajudar a empresa a crescer. Os entrevistadores vão gostar muito disso.
….
Se você quer mergulhar na área de dados, pode contar com a Tera em sua jornada de desenvolvimento. Nosso curso de Análise de Dados tem a proposta de levar você do zero até um nível de maturidade para a conquista da sua vaga.
Quer saber mais? Acesse o site, conheça o curso e se especialista na área de dados!