Fundamentals of Data Engineering まとめ

Link

概要

Data engineering has seen significant growth over the past decade.
The book provides a comprehensive view for software engineers, data scientists, and analysts.
It teaches planning and building systems for organizational and customer needs.
Evaluates technologies through the data engineering lifecycle framework.
Authors Joe Reis and Matt Housley guide through this lifecycle.
Explains stitching together cloud technologies for downstream data consumers.
Covers critical concepts: data generation, ingestion, orchestration, transformation, storage, and governance.
Offers a concise overview of the data engineering landscape.
Provides a framework for assessing data engineering problems.
Advises on cutting through marketing hype for technology and process choices.
Uses the lifecycle for designing and building robust architectures.
Emphasizes data governance and security across the lifecycle.
過去10年間でデータエンジニアリングは急速に成長しました。
この本は、ソフトウェアエンジニア、データサイエンティスト、アナリストに包括的な視点を提供します。
組織と顧客のニーズに合わせたシステムの計画と構築方法を教えます。
データエンジニアリングライフサイクルの枠組みを通じて技術を評価します。
著者のジョー・レイスとマット・ハウスリーがこのライフサイクルを案内します。
ダウンストリームのデータ消費者のニーズに応えるためにクラウド技術を組み合わせる方法を説明します。
データ生成、取り込み、オーケストレーション、変換、保存、およびガバナンスの重要な概念をカバーします。
データエンジニアリング風景の簡潔な概要を提供します。
データエンジニアリング問題を最善の慣行のエンドツーエンドの枠組みを使用して評価する。
技術選択、アーキテクチャ、プロセス選択時のマーケティングハイプを見極めるアドバイスを提供します。
ライフサイクルを使用して堅牢なアーキテクチャを設計・構築します。
ライフサイクル全体にわたってデータガバナンスとセキュリティを組み込みます。

目次en

I. Foundation and Building Blocks
1. Data Engineering Described
2. The Data Engineering Lifecycle
3. Designing Good Data Architecture
4. Choosing Technologies Across the Data Engineering Lifecycle
II. The Data Engineering Lifecycle in Depth
5. Data Generation in Source Systems
6. Storage
7. Ingestion
8. Queries, Modeling, and Transformation
9. Serving Data for Analytics, Machine Learning, and Reverse ETL
III. Security, Privacy, and the Future of Data Engineering
10. Security and Privacy
11. The Future of Data Engineering