Senior Data Architect (#461)

主な業務内容：
Azure Databricks / Microsoft Fabric を活用した高度な分析ソリューションのアーキテクチャ設計、構築、実装をリード
ビジネスステークホルダーやITチームと連携し、要件を理解し、効果的なソリューションを提供
ビジネス要件とベストプラクティスに沿ったデータソリューションのエンドツーエンド実装を監督
Azure Databricks、PySparkなどを用いたデータパイプラインおよびETLプロセスの開発を主導
Azure Data Lake、Azure Synapse、Azure Data FactoryなどのAzureサービスやオンプレミスシステムとの統合
データエンジニアリングチームへの技術的リーダーシップとメンタリングを提供し、継続的な学習と改善の文化を促進
アーキテクチャ、プロセス、データフローの文書化を徹底し、セキュリティとガバナンス基準に準拠
コード品質、データセキュリティ、スケーラビリティに関するベストプラクティスを遵守
Databricksおよび関連技術の最新動向を把握し、イノベーションを推進

必須スキル：
Azure Databricksの豊富な経験（クラスタ管理、ノートブック開発、Delta Lake）
Hadoop、Sparkなどのビッグデータ技術、およびPySparkなどのデータ処理フレームワークの習熟
Azure Data Lake、Azure Synapse、Azure Data FactoryなどのAzureサービスの深い理解
ETL/ELTプロセス、データウェアハウス、データレイクの構築経験
高度なSQLスキルとNoSQLデータベースの知識
Gitなどのバージョン管理システムを用いたCI/CDパイプラインの経験
クラウドセキュリティのベストプラクティスに関する知識
Power BIによるダッシュボード・レポート作成経験
Microsoft Fabricを用いた分析・統合業務の経験
Spark Streamingによるリアルタイムデータ処理の経験
ARMテンプレートを用いたInfrastructure as Code（IaC）の実践経験

経験：
Databricks / SynapseノートブックおよびAzure Data Factoryを用いたデータ取り込み・変換パイプラインの開発経験（8年以上）
Deltaテーブル、Delta Lake、Azure Data Lake Storage Gen2の実務経験
Auto LoaderおよびDelta Live Tablesを活用した効率的なデータ取り込み・変換経験
Databricks SQLを用いたクエリレイヤーの構築・最適化経験
DatabricksとAzure Synapse、ADLS Gen2、Power BIとの統合によるエンドツーエンド分析ソリューションの構築経験
Power BIレポートの開発・最適化・展開経験
Databricksおよびクラウドネイティブソリューションにおける最新のCI/CD実践への理解と経験

Responsibilities:

• Lead the architecture, design, and implementation of advanced analytics solutions using Azure Databricks/ Fabric. The ideal candidate will have a deep understanding of big data technologies, data engineering, and cloud computing, with a strong focus on Azure Databricks along with Strong SQL.
• Work closely with business stakeholders and other IT teams to understand requirements and deliver effective solutions.
• Oversee the end-to-end implementation of data solutions, ensuring alignment with business requirements and best practices.
• Lead the development of data pipelines and ETL processes using Azure Databricks, PySpark, and other relevant tools.
• Integrate Azure Databricks with other Azure services (e.g., Azure Data Lake, Azure Synapse, Azure Data Factory) and on-premise systems.
• Provide technical leadership and mentorship to the data engineering team, fostering a culture of continuous learning and improvement.
• Ensure proper documentation of architecture, processes, and data flows, while ensuring compliance with security and governance standards.
• Ensure best practices are followed in terms of code quality, data security, and scalability.
• Stay updated with the latest developments in Databricks and associated technologies to drive innovation.

Essential Skills:

• Strong experience with Azure Databricks, including cluster management, notebook development, and Delta Lake.
• Proficiency in big data technologies (e.g., Hadoop, Spark) and data processing frameworks (e.g., PySpark).
• Deep understanding of Azure services like Azure Data Lake, Azure Synapse, and Azure Data Factory.
• Experience with ETL/ELT processes, data warehousing, and building data lakes.
• Strong SQL skills and familiarity with NoSQL databases.
• Experience with CI/CD pipelines and version control systems like Git.
• Knowledge of cloud security best practices.

Soft Skills:

• Excellent communication skills, with the ability to explain complex technical concepts to non-technical stakeholders.
• Strong problem-solving skills and a proactive approach to identifying and resolving issues.
• Leadership skills with the ability to manage and mentor a team of data engineers.

Nice to have Skills:

• Power BI for dashboarding and reporting.
• Microsoft Fabric for analytics and integration tasks.
• Spark Streaming for processing real-time data streams.
• Familiarity with Azure Resource Manager (ARM) templates for infrastructure as code (IaC) practices.

Experience:

• Demonstrated expertise of 8+ years in developing data ingestion and transformation pipelines using Databricks/Synapse notebooks and Azure Data Factory.
• Solid understanding and hands-on experience with Delta tables, Delta Lake, and Azure Data Lake Storage Gen2.
• Experience in efficiently using Auto Loader and Delta Live tables for seamless data ingestion and transformation.
• Proficiency in building and optimizing query layers using Databricks SQL.
• Demonstrated experience integrating Databricks with Azure Synapse, ADLS Gen2, and Power BI for end-to-end analytics solutions.
• Prior experience in developing, optimizing, and deploying Power BI reports.
• Familiarity with modern CI/CD practices, especially in the context of Databricks and cloud-native solutions

Note: If you have worked with the above-mentioned technologies, please share a brief summary outlining how you utilized them in your projects.