Online Data Science kurzus

időtartam: 2020 március - június
webhely: https://data36.com/
oklevél: igen
hasznosság: Igen! Nagyon megéri.
fizetős: igen

OKLEVÉL

Linux alapú webszervert (felhőben, Linode.com) használtam adat-tárolásra (SQL szerver), előkészítésre (ETL folyamatok: bash és Python), elemzésre (SQL, Python, Google Data Studio) következtetések levonására, valamint diagramok és ábrák készítésére (rendszerkörnyezet telepítési lista). Nagyszerű volt részt venni ebben a 6 + 6 hetes, valós adatokon alapuló DataScience online (video) tanfolyamban, ami során készült prezentációs fájlokat bemutattuk a kurzus oktatójának. (Részletek, vagy a tanfolyamhoz csatlakozás miatt keresd fel a https://data36.com/ oldalt).

Ez egy meglehetősen összetett tanfolyam volt, amely sokféle tananyagból állt, több elemzendő adatkészlettel, különböző vizsgálati szempontokkal. Szinte minden nap adott elfoglaltságot, ami igazából előny, mert így nem felejted el könnyen az épp megtanult dolgokat.

A főbb eszközök, amelyeket az adatkészletek feldolgozása (előkészítés, tisztítás, ...), elemzése, majd megbeszélése során használtam:

A legutolsó feladatban egy üzleti elemzést (business analysis) kellett végezni (10 000+ adatból álló) több részletben megadott adatbázison, ami egy kitalált weboldal működését tükrözte. Ennek az elemzésnek a részleteit és eredményeit megtaláljátok itt egy prezentációs fájlban.

További részletek a fájlban találhatók. Ha úgy érzed hiányzik valamilyen információ, kérlek, lépj kapcsolatba velem vagy az oktatóval! Nagyon ajánlom őt és a tanfolyamát (mindenféle ellenszolgáltatás nélküli az ajánlás)!

JDS Academy - course material #2

JDS Academy - course material #2

Supplementary material: Cheat Sheets

• SQL,
• Python,
• Bash

---

Additional JDS course material:
table of content of A/B testing.

---

WEEK 0

Installation of a Linux webserver  on Linode cloud + I made a Linux workstation, both with Ubuntu.

WEEK 1

# Module 1: Introduction to Data Science

• What is Data Science? Case study.
• Clarification of AI, ML, big data, deep learning concepts.

# Module 2: How to become a Data Scientist

• Soft skills, mindset, time commitment, roadmap, learning curve.

# Module 3: SQL Introduction - European accidents dataset

• Introduction to SQL Workbench and pgAdmin, installation.
• SQL server configuration
• Importing data into SQL, data analysis.

# Module 4: SQL Basics + Simple Queries

• Basic SQL exercises.

# Module 5: SQL WHERE with Multiple Filter Conditions - European accidents dataset

• Advanced filtering techniques.

# Module 6: SQL WHERE + ORDER BY - European accidents dataset

• Combination of sorting and filtering.

# Module 7: SQL Functions (COUNT, SUM, AVG, MIN, MAX) - European accidents dataset

• Basic Aggregation Functions.

WEEK 2

# Module 1: SQL Functions + GROUP BY

• Grouping and Aggregation.

# Module 2: SQL Table Joining (JOIN)

• Table Joining Techniques.

# Module 3: SQL Subqueries + HAVING

• Nested Queries and Conditional Filtering.

# Module 4: Extra Task (Case Study) - Mobile App User and Business Data Analysis

• Data-Driven Tasks.

# Module 5: Data Analysis Methodologies

# Vault: SQL Exercises

• Interview-Preparing SQL Tasks.
• A/B test data, 
• Solar panel factory production data analysis, 
• Travel blog User and business analysis.

WEEK 3

# 0. Module: Setting up your own server

• Installing and configuring a database server.
  Note: I have done on the 0th week. Linode webserver + Linux workstation, Ubuntu

# 1. Module: Bash Basics

• Basics of Bash commands and scripts. ETL with bash

# 2. Module: Bash Basics continued

• Additional practical tasks. ETL with bash

# 3. Module: Scripts and automation in Bash

• Automation techniques.

# 4. Module: Data collection

WEEK 4

# 1. Module: Python Introduction, Variables, Data structures

• Jupyter Notebook management, variables and structures.

# 2. Module: Python Functions, If Branches, For Loops

• Basic Python programming techniques.

# Module 3: Python Practice

• Various python practice tasks, basic operations/logical functions.

# Module 4: Statistics

WEEK 5

# Module 1: Python + Analytics: Pandas basics

• Data Management with Pandas.

# Module 2: Pandas GroupBy, Functions, Sorting

• Advanced data management techniques.

# Module 3: Data Visualization with Python + Pandas

• Creating graphs and visualizations.

# Module 4: Predictive Analytics

WEEK 6

# Module 1: Machine Learning Examples in Python

• Linear and Polynomial Regression, 
• Random Forest, 
• Deep Learning.

# Module 2: Data Presentation

JDS Académia 2

A Junior Data Scientist Akadémia (JDS) kurzus anyaga

 

 Cheat Sheet-ek:

• SQL,
• Python,
• Bash

 1. HÉT

# 1. Modul: Bevezetés a Data Science világába

- Mi az a Data Science? Esettanulmány.

- AI, ML, big data, deep learning fogalmak tisztázása.

# 2. Modul: How to Become a Data Scientist

- Soft skills, mindset, időráfordítás, roadmap, tanulási görbe.

# 3. Modul: SQL Bevezetés - European accidents dataset

- SQL Workbench és pgAdmin bemutatása, telepítés.

- SQL szerver konfigurálás

- Adatok importálása SQL-be, adatelemzés.

# 4. Modul: SQL Alapok + Egyszerű Lekérdezések

- Alapvető SQL gyakorlatok.

# 5. Modul: SQL WHERE Több Szűrőfeltétellel - European accidents dataset

- Haladó szűrési technikák.

# 6. Modul: SQL WHERE + ORDER BY - European accidents dataset

- Rendezés és szűrés kombinációja.

# 7. Modul: SQL Függvények (COUNT, SUM, AVG, MIN, MAX)

- Alapvető aggregáló függvények.

 2. HÉT

# 1. Modul: SQL Függvények + GROUP BY

- Csoportosítás és aggregálás.

# 2. Modul: SQL Táblák Összekapcsolása (JOIN)

- Táblák összekapcsolási technikái.

# 3. Modul: SQL Subquery-k + HAVING

- Beágyazott lekérdezések és feltételes szűrés.

# 4. Modul: Extra Feladat (Esettanulmány) - Mobil app User és üzleti adatelemzés

- Adatvezérelt feladatok.

# 5. Modul: Adatelemző módszertanok

# VAULT: SQL Gyakorlatok

- Interjúra készítő SQL feladatok.

A/B test adatok, Napelem gyár gyártási adatelemzés, Utazó blog User és üzleti elemzés

 3. HÉT

# 0. Modul: Saját Szerver Beállítása

- Adatbázis-szerver telepítése és konfigurálása.

# 1. Modul: Bash Alapok

- Bash parancsok és szkriptek alapjai. ETL bash-sel

# 2. Modul: Bash Alapok Folytatás

- További gyakorlati feladatok. ETL bash-sel

# 3. Modul: Script-ek és automatizálás Bash-ben

- Automatizálási technikák.

# 4. Modul: Adatgyűjtés

 4. HÉT

# 1. Modul: Python Bevezetés, Változók, Adatszerkezetek

- Jupyter Notebook kezelése, változók és struktúrák.

# 2. Modul: Python Függvények, If elágazások, For Loop-ok

- Alapvető Python programozási technikák.

# 3. Modul: Python Gyakorlás

- Különböző python gyakorlófeladatok, alap műveleti/logikai függvények.

# 4. Modul: Statisztika

 5. HÉT

# 1. Modul: Python + Analitika: Pandas Alapok

- Adatkezelés Pandas-szal.

# 2. Modul: Pandas GroupBy, Függvények, Sorting

- Haladó adatkezelési technikák.

# 3. Modul: Adatvizualizáció Python-nal + Pandas-szal

- Grafikonok és vizualizációk készítése.

# 4. Modul: Prediktív Analitika

 6. HÉT

# 1. Modul: Machine Learning Példák Python-ban

- Lineáris és Polinomiális Regresszió, Random Forest, Deep Learning.

# 2. Modul: Adatok Prezentálása

 BÓNUSZ

- A/B tesztelős kurzus hozzáférés.

JDS Academy - course thematics

The Junior Data Scientist Academy

This online course provided (and still provides) a comprehensive introduction to theory and practices of a Data Scientist tools. It included data analysis and predictive modeling, blending practical tools with foundational concepts. Over several weeks, we progressed from gathering and automating data workflows to leveraging SQL for data organization and segmentation.

Business-focused topics like revenue segmentation, key metrics, and visualization techniques are explored, followed by advanced analytical methods including funnel analysis and cohort studies. The final weeks introduced Python’s Pandas library for data manipulation, regression techniques for prediction, and beginner-friendly machine learning (ML) concepts such as classification. By the end, participants gain hands-on skills to analyze data and derive actionable insights.

Prerequisites were almost nothing in regard Linux (Bash) or Python and Data Science at all, so beginners could join. If someone had some practice in those - like me - could find easier the solution for tricky tasks. There was an intro before someone became eligible to  join the course: a task to create an online Linux server (Linode), do some settings, then grant access to the tutor to verify the result and ... this might have been a steep learning curve for real beginners. 

1. WEEK #0 |
•  Linux installation on Workstation and on Linode (web)server /
•  Basic Bash commands (Linux) / 
• Setup Python environment (3.x) / 
• Basic Python with practice / 
• Python module imports, functions 
2. WEEK #1 | 
• Welcome / 
• Get the data / 
• ETL bash / 
• ETL python / 
• Automate
3. WEEK #2 | 
• Put your data into SQL (python + SQL) / 
• Automate the SQL load / 
• Verify and analyze (SQL) - basic SQL queries / 
• Data analitical and  modifying SQL queries / 
• Complex analytics - JOINs / 
• Database/Table modifications 
4. WEEK #3 | 
• Segments / 
• Segmentation (Revenue) / 
• Business metrics / 
• Visualize (Matplotlib, PowerBI)
5. WEEK #4 | 
• Funnels / 
• Cohort Analysis / 
• Cohort Analysis 2
6. WEEK #5 | 
• Pandas Intro / 
• Prediction with Regression / 
• Simple Machine Learning: Classification / 
• Further Classification 
7.  WEEK #6 Presentations, One-on-one meeting(s), summary, takeaways, ...

During the SQL part of the course we practiced all 4 main forms of SQL queries.

• Database Modification (DM): commands like INSERT, UPDATE, DELETE, and ALTER.
• Data Analysis (DA): queries used to analyze and retrieve data, such as SELECT with analytical functions (SUM, AVG, GROUP BY, etc.).
• Database Creation (DC): commands that create new database objects, like CREATE TABLE, CREATE VIEW, and CREATE INDEX.
• Database Control (DCn): commands that manage database access and constraints, like GRANT, REVOKE, and SET.

JDS Academy - A/B testing

 A/B testing is a powerful method used to compare two versions of a webpage, ad, or product feature to determine which one performs better. In the context of the JDS course containing online teaching andpractical parts about the basics of A/B testing, I could explore how to design experiments, split an audience into groups, and measure key performance metrics like click-through rates or conversions. The course covered critical concepts such as formulating hypotheses, ensuring statistical significance, and interpreting results to make data-driven decisions. Practical examples and hands-on exercises were provided to build confidence (above 95% 😁 ) in applying A/B testing to real-world scenarios. 

Here is a not-complete list of the wide range of topics:

• What is A/B testing exactly? What can you A/B test?
• The correlation vs. causation issue
• A/B testing: when/why/what/how/how long?
• The limitations of A/B testing
• The four steps of executing an A/B test
• 80%? 95%? 99%? What's the right confidence level?
• An intuitive way of interpreting the importance of statistical significance
• Calculating the required sample size before the test
• Segmentation, filtering
• Important A/B Testing mindset: Conversion Rate Optimization or Research?
• Implementation and typical mistakes
• Typical mistakes while running an A/B test
• Setting a hypothesis
• Avoiding website flickering in an A/B test
• The change-one-thing-at-a-time myth, multivariate tests, A/B/n tests and unusual audience splits
• Tool demo (Google Optimize)
• What to do after evaluating your experiment
• Statistical significance and the certainty of your results
• 1) Traffic allocation: sending visitors to the old/new landing pages (with JavaScript)
• 2) Data collection and visualization (Bash + SQL + Google Data Studio)
• 3) Evaluation: significance calculations (using Python)
• ACTION: Filter out the bad A/B test ideas from your backlog!
• ACTION: Review your A/B testing backlog!
• ACTION: The A/B tests you've run so far -- and the A/B tests you want to run in the future
• EXTRA: Hand-picked A/B Testing case studies
• EXTRA: online calculators (statistical significance and sample size)
• ACTION: Run your first research round!
• ACTION: Try out the simplest ever A/B test!
• ACTION: your own knowledge base!
• EXTRA: A/B Testing Hypothesis Form
• Summary & The right mindset to be successful with A/B testing

updated with photo: Dec.2024

JDS Academy - Accidents database analysis

JDS ACADEMY - Accidents database analysis

timing of online course: March 2020 - June 2020

website: https://data36.com/

useful: Yes! Worth to complete (in Hungarian mainly).

pay-service: yes

CERTIFICATE

During the course, homework had to be done with a due date, regularly in 5 days. One case an European international Accident database was in the center of a teamwork and we had to elaborate the questions and find the answers, summarize and orally present the results for the teachers of the course.

The database data was given in csv file format, including more than 10 000 entries, including AccidentID, Country, Damage (cost), nature of being reported (toward any authorities or insurance companies) and so on.

The data exploration and queries were made with the help of PostgreSQL and extracted data were plotted either in Excel or Google Sheets, finally the presentation was created in MS Power Point.

The Accidents database analysis in PDF form. English version was translated and re-styled by me.

The Jupyter Notebook and all related files on Github - Accidents analysis.

JDS Academy - Setting up the environment

JDS Academy - Installing environment and required softwares

Intro

1 Why Python, R, SQL and bash?

2. Create a Data Server!

2.1 What is a data server?

2.2 Get the Data Server!
2.3 Log in to your data server (for Mac / Windows / Linux users)

3. Install Python, R, SQL and bash!

3.1 Install bash - and create a new user!
3.2 Install Python 3 and Jupyter Notebook!
3.3 Install postgreSQL!
3.4 Install pgadmin4!
3.5 Install R and RStudio!

Troubleshoot - SQL
Troubleshoot - Python & Jupyter

4. Extra functionalities

4.1 Installing Python libraries: Pandas, NumPy, MatPlotLib and Scikit-Learn
4.2 Installing csvkit for bash
4.3 Installing SQL Workbench for Postgresql

5. Wrap up!