Pyspark, AWS Glue, Kafka, Avro, Azure Synapse, Python, AWS, Aws Lambda, Hadoop, Scala, Impala, Sql, Hive, Gcp, Presto, Amazon Redshift, Spark, Cloudera, Azure, Airflow, Relational SQL, SQL Datawarehouse, dbt, Data pipeline workflow management tools, Parquet, AWS EMR, NoSQL databases, Iceberg, Data test automation