Spark SQL, Scipy, Pyspark, Azure Databricks, Numpy, Pandas, Azure Data Lake, Python, RDDs, Databricks Notebooks, MLflow, DataFrames, Synapse Analytics, Delta Lake, Blob Storage, Spark Pools

Pyspark, Apache Spark, Azure Databricks, Sql, ELT, Git, Azure Data Factory, Python, Etl, Azure Data Lake Storage Gen2, Medallion Architecture, CI CD, Delta Lake