Apache Spark, automating data quality validation, data transformation using SQL, serverless ETL using AWS Glue, AI-assisted coding tools, designing system solutions at scale, managing and maintaining data pipelines

Data Security, Cassandra, Pyspark, SQL Server, Apache Spark, Apache Airflow, Nosql, Devops, Docker, MongoDB, Kubernetes, Python, ETL ELT, CI CD, Governance

snowflake , Mqtt, PostgreSQL, Kafka, MySQL, Oracle, Python, AWS, BigQuery, Hadoop, Apache Spark, SQL Server, Redshift, Sql, Hive, Gcp, Databricks, Rest Apis, Azure, Apache Iceberg, Airflow, Hudi, Industrial IoT IIoT, Tibero, DataOps practices, Synapse, CDC technologies, Delta Lake

S3, PostgreSQL, Kafka, Pl Sql, Informatica, Redshift, Sql, Git, Terraform, MySQL, Shell scripting, Azure, Python, AWS, CI CD, dbt, Glue, Oracle 10g-13c

S3, PostgreSQL, Kafka, Pl Sql, Informatica, Redshift, Sql, Git, Terraform, MySQL, Shell scripting, Python, AWS, CI CD, dbt, Glue, Oracle 10g-13c

Spark SQL, ELT, Data Governance, Databricks, Data Modelling, AWS, Etl, orchestration tools, MLflow, Unity Catalog, Delta Lake, lakehouse architectures

snowflake , Apache Airflow, Github, Apache Spark, Datadog, Python, Kubernetes, Apache Hive, AWS, Dagster, Prefect

S3, Lambda, Hadoop, Pyspark, Big Data, Emr, Autosys, Redshift, AWS, Glue

data engineering , bedrock , Ml, S3, Redshift, Lambda, ECS, Python, AWS, Api Gateway, GenAI, Step Functions, Ai, EKS, Aurora, SageMaker, Glue, Athena