Pyspark, Python, Glue, SCD Type 2

Numpy, Pandas, Amazon Redshift, Agile, Rest Apis, Sql, Python, ELT, AWS, Etl

Pyspark, S3, SQL Server, Apache Spark, AWS Glue, AWS Athena, Visual Studio, SSIS, Redshift, Sql, Ec2, Postgres, Etl Tools, Python, Lambda functions, AWS Analytics services, Matillion, Step Functions, Data-Pipelines

Spark, Emr, Dynamodb, Lambda, Pyspark, Deduplication, Terraform, Scala, PostgreSQL, S3, AWS, Python, Advanced Sql, resilient pipeline patterns, AWS Sagemaker, Glue, Type 2 Dimensions, Medallion Architecture, Lakehouse, Idempotency, Incremental historical processing, late-arriving data handling, AWS data services, Step Functions, CDC Merge processing, Aurora