kaeken(嘉永島健司)のTech探究ブログ

主に情報科学/情報技術全般に関する知見をポストします。(最近は、特にData Science、機械学習、深層学習、統計学、Python、数学、ビッグデータ)

FinOps まとめ

overview

What is Cloud FinOps?  |  Google Cloud

What is FinOps?
FinOps is a combination of finance and DevOps aimed at maximizing business value through financial accountability and informed decision-making in cloud environments.

Why FinOps adoption is growing
Rising public cloud spending and the need for cost optimization due to concerns over wasteful spending fuel FinOps adoption.

The three pillars of FinOps: Inform, optimize, operate
FinOps involves a cultural shift for collaborative financial management, emphasizing informed decision-making, resource optimization, and continuous operational improvement.

FinOps for trustworthy cloud automation
Emphasizes the importance of automation in achieving cost-effective and efficient cloud management.

FinOps core principles
Highlights collaboration, ownership, centralized FinOps teams, timely reporting, decision-making based on business value, and leveraging the cloud's variable cost model.

Who are the key FinOps stakeholders?
Includes executives, business/product owners, engineering and operations teams, finance and procurement, and FinOps practitioners.

What is FinOps reporting?
The practice of consolidating billing and licensing data for visibility and accountability across cloud environments.

What role can automation play in FinOps?
Automation is crucial for dynamic resource allocation and optimization in complex cloud environments.

Why do you need reporting and automation in FinOps?
To maximize cloud operations' benefits through detailed allocation and efficient resource management.


FinOpsとは何か?
FinOpsは、クラウド環境での財務責任と情報に基づく意思決定を通じて、ビジネス価値を最大化することを目指す、ファイナンスとDevOpsの組み合わせです。

FinOpsの採用が増えている理由
公共クラウド支出の増加と、無駄な支出に対するコスト最適化の必要性が、FinOpsの採用を促進しています。

FinOpsの三つの柱:情報提供、最適化、運用
FinOpsは、コラボレーションによる財務管理の文化的変化を含み、情報に基づいた意思決定、リソースの最適化、そして継続的な運用改善を強調します。

信頼できるクラウド自動化のためのFinOps
効率的かつコスト効果の高いクラウド管理を達成するための自動化の重要性を強調しています。

FinOpsの基本原則
コラボレーション、所有権、中央集権的なFinOpsチーム、タイムリーな報告、ビジネス価値に基づく意思決定、そしてクラウドの変動コストモデルを活用することを強調しています。

FinOpsの主要なステークホルダーは誰か?
執行役員、ビジネス/製品オーナー、エンジニアリングおよび運用チーム、財務および調達、そしてFinOps実践者が含まれます。

FinOpsレポーティングとは何か?
クラウド環境全体での可視性と説明責任を確保するために、請求およびライセンスデータを統合する実践です。

FinOpsで自動化が果たす役割は何か?
複雑なクラウド環境での動的リソース割り当てと最適化には、自動化が不可欠です。

FinOpsで報告と自動化が必要な理由は?
詳細な割り当てと効率的なリソース管理を通じて、クラウド運用の利点を最大限に活用するためです。

FinOps Foundation

About the FinOps Foundation

  • Title: About the FinOps Foundation
  • Focus: Enhancing cloud financial management through best practices, education, and standards.
  • Community: Over 16,000 members from more than 5,000 companies.
  • Programs: Offers training and certifications, including the FinOps Certified Practitioner designation.
  • Partnerships: Collaborates with major service and platform providers.
  • Mission: To foster individual growth in cloud finance management through connections, career advancement, and best practices adoption.
  • Structure: Governed by a board and various committees focusing on education and more.
  • Affiliation: Part of The Linux Foundation, accessing a wide range of resources.
  • Impact: Aims to elevate cloud financial management, inspired by the growth of disciplines like DevOps.
  • History: Established in February 2019, joined The Linux Foundation in June 2020.

  • タイトル: FinOps Foundationについて

  • 焦点: ベストプラクティス、教育、標準を通じてクラウド財務管理を強化する。
  • コミュニティ: 5,000社以上から成る16,000人以上のメンバー。
  • プログラム: FinOps認定プラクティショナーの指定を含む、トレーニングと認証を提供。
  • パートナーシップ: 主要なサービスおよびプラットフォームプロバイダーと協力。
  • ミッション: 接続を作成し、キャリアの進歩を通じて、そしてFinOpsのベストプラクティスの採用を促進することにより、クラウド財務管理に関わる個人の成長を促進する。
  • 構造: 教育などに焦点を当てた委員会と、理事会によって統治される。
  • 所属: The Linux Foundationの一部として、広範なリソースにアクセス。
  • 影響: DevOpsのような分野の成長に触発され、クラウド財務管理を高めることを目指す。
  • 歴史: 2019年2月に設立、2020年6月にThe Linux Foundationに加わった。

State of FinOps ’24

Reducing Waste and Managing Commitments Top Key Priorities for FinOps Practitioners

  • Title: Key Insights on FinOps and Economic Pressure in 2023
  • Economic Pressure: Organizations focus on FinOps for cloud optimizations due to increasing economic pressure.
  • Top Priority Shift: Prioritizing waste reduction and commitment-based discounts over empowering engineers.
  • Forecasting Investment: Enhancing forecasting capabilities for better cloud spend prediction.
  • AI/ML Cost Impact: Anticipated significant effect of AI/ML running costs on FinOps in 2024.
  • Sustainability Intersection: Currently limited but expected to grow significantly between FinOps and sustainability teams.

  • タイトル: 2023年の経済圧力とFinOpsに関する主要な洞察

  • 経済圧力: 経済的圧力の増加に伴い、多くの組織がクラウドの最適化のためにFinOpsチームに依存している。
  • 優先順位の変更: エンジニアを支援することよりも、無駄の削減とコミットメントベースの割引の管理を優先。
  • 予測への投資: より良いクラウド支出の予測を可能にするための予測能力の向上。
  • AI/MLコストの影響: 2024年にFinOpsに大きな影響を与えると予想されるAI/MLの実行コスト。
  • サステナビリティとの交差点: 現在は限定的だが、将来的にFinOpsチームとサステナビリティチームの間で大幅に増加することが予想される。

State of FinOps Survey

  • Title: State of FinOps Survey
  • Annual Survey: Conducted by the FinOps Foundation since 2020 to gather information on priorities, trends, and FinOps practices.
  • Purpose: Informs Foundation activities and provides insights on FinOps practices across various organizations.
  • Participation: Open to all FinOps practitioners, encouraging honest responses for valuable community insights.
  • Method: Utilizes a continuous collection model, open year-round, with a January snapshot for analysis.
  • Question Design: Questions are updated annually based on community input to reflect current FinOps practices and future expectations.
  • 2024 Insights: Survey of 1,245 respondents, average annual cloud spend of $44M per company, with some exceeding $1B.
  • No Incentives: Participation is voluntary, without paid services or incentives.
  • Global Impact: Respondents' cloud spend totals $55B, indicating a substantial portion of global cloud expenditure.

  • タイトル: FinOps状況調査

  • 年次調査: 2020年からFinOps Foundationによって実施されている、優先事項、トレンド、FinOpsの実践に関する情報を収集するための調査。
  • 目的: Foundationの活動を案内し、さまざまな組織のFinOps実践に関する洞察を提供する。
  • 参加: すべてのFinOps実践者に開かれており、コミュニティに価値ある洞察を提供するために正直な回答を奨励する。
  • 方法: 年間を通じて開かれる連続収集モデルを使用し、1月にデータのスナップショットを取り分析する。
  • 質問設計: コミュニティからの入力に基づいて毎年質問を更新し、現在のFinOps実践と将来の期待を反映する。
  • 2024の洞察: 1,245人の回答者からの調査で、会社あたりの平均年間クラウド支出は44Mドル、一部の会社は年間10億ドル以上を報告。
  • インセンティブなし: 参加は自発的で、有料サービスやインセンティブは提供されない。
  • グローバルインパク: 回答者のクラウド支出の合計は55Bドルで、世界のクラウド支出のかなりの部分を占めている。

1. New key priorities of reducing waste and managing commitments, mirroring economic uncertainty

  • Title: New Key Priorities in FinOps Reflect Economic Uncertainty
  • Reducing Waste: Became the highest priority for the first time across all spending tiers, influenced by macroeconomic trends to cut spending without losing value from cloud investments.
  • Empowering Engineers: Dropped from the top priority, emphasizing the shift towards reducing waste, yet remains important for cost efficiency.
  • Commitment Management: Managing commitment-based discounts is critical, especially for high spenders, indicating the importance of handling various discount plans for substantial savings.
  • Forecasting and Allocation: Differences in priorities emerge across spending tiers, with lower spenders focusing on accurate forecasting and higher spenders on full allocation and managing discounts.
  • Challenges for High Spenders: Full allocation is challenging for companies with high cloud spend, as evidenced by contributors to the FOCUS open billing data specification.
  • Consistency Across Cloud Providers: Priorities are consistent across primary cloud providers, except for a higher emphasis on multi-cloud cost reporting for Google Cloud users.

  • タイトル: FinOpsにおける新たな重点分野は経済の不確実性を反映

  • 無駄の削減: 初めてすべての支出層で最優先事項となり、マクロ経済の傾向により、クラウド投資からの価値を損なうことなく支出を削減する方法を企業が探していることに影響された。
  • エンジニアの能力強化: 2020年の調査開始以来、初めて最優先事項から降格し、無駄の削減に現在置かれている重要性を示しているが、コスト効率を達成するための重要な方法として依然として重視されている。
  • コミットメントの管理: 特に大口の支出者にとって、コミットメントベースの割引の管理は重要であり、多数の割引プランを管理し、大幅な節約を実現する複雑さを反映している。
  • 予測と割り当て: 支出層によって優先事項に差が生じ、低支出者は支出の正確な予測に、高支出者は完全な割り当てと割引の管理に焦点を当てている。
  • 大口支出者の課題: 高額なクラウド支出をする企業にとって、完全な割り当てはFOCUSオープン請求データ仕様に貢献する企業の例が示すように、課題である。
  • クラウドプロバイダー間の一貫性: 主要なクラウドプロバイダー間で優先事項は一貫しているが、Google Cloudユーザーにとっては、AWSMicrosoftの主要クラウドと比べてマルチクラウドのコスト報告の重要性が高い。

2. Though a top priority, majority heavily optimize only compute spend, leaving further efficiency opportunities

  • Title: Focus on Compute Spend Optimization Leaves Room for Broader Efficiency Gains
  • Compute Spend Optimization: Continues as the primary focus, given its status as the highest spend area, supported by substantial discounts and tools from cloud providers and third-party offerings.
  • Beyond Compute: While most organizations have basic optimization for storage and database resources, significant opportunities remain in optimizing newer technologies like containers, serverless, AI/ML.
  • Community Resources: In 2023, the FinOps community developed a library of optimization opportunities for AWS, Google Cloud, and Microsoft Azure, indicating a move towards broader cloud spend efficiency.

  • タイトル: コンピュート支出の最適化に焦点を当てることで、より広範な効率化の機会が残されている

  • コンピュート支出の最適化: 最高の支出領域として、クラウドプロバイダーやサードパーティからの豊富な割引やツールのサポートを受けて、引き続き主要な焦点となっている。
  • コンピュートを超えて: ほとんどの組織がストレージやデータベースリソースに基本的な最適化を実施しているが、コンテナ、サーバーレス、AI/MLなどの新しい技術に関連するコストの最適化には大きな機会が残されている。
  • コミュニティリソース: 2023年に、FinOpsコミュニティはAWSGoogle Cloud、Microsoft Azureにおける最適化の機会のライブラリを開発し、より広範なクラウド支出の効率化に向けた動きを示している。

3. Forecasting capabilities need to improve considerably

  • Title: Significant Improvement Needed in Forecasting Capabilities
  • Importance of Forecasting: Accurate forecasting enables organizations to utilize cloud resources effectively, fostering innovation and confidence in leadership.
  • Survey Findings: Respondents indicate a need for substantial enhancement in forecasting capabilities, with many advanced features still unimplemented due to various challenges.
  • Common and Desired Features: Manual adjustments are widely used due to ease of implementation, while there is a strong interest in more sophisticated features like KPI-driven cost forecasts, handling cost data delays, and automatic adjustments for behavioral changes.
  • Future Plans: Many practitioners express the intention to enhance their forecasting methods and tools, highlighting an active interest in improving this aspect of FinOps.

  • タイトル: 予測能力の大幅な改善が必要

  • 予測の重要性: 正確な予測により、組織はクラウドリソースを効果的に活用でき、イノベーションとリーダーシップの信頼を促進できる。
  • 調査結果: 回答者は、予測能力に大幅な向上が必要であることを示しており、多くの高度な機能が様々な課題によりまだ実装されていない。
  • 一般的および望ましい機能: 実装が容易であるため、手動調整が広く使用されているが、KPIに基づくコスト予測、コストデータの遅延の取り扱い、行動変化に基づく自動調整など、より洗練された機能に強い関心がある。
  • 将来計画: 多くの実践者が予測方法とツールを強化する意向を表明しており、FinOpsのこの側面を改善するための積極的な関心を示している。

4. Engineering persona getting the most value out of both FinOps training and self-service reporting

  • Title: Engineering Leads in Gaining Value from FinOps Training and Self-Service Reporting
  • Empowerment Through Self-Service: FinOps success hinges on empowering individuals to consider cloud costs in their role, enhancing decision-making speed and organizational agility.
  • Research Insights: Engineers are the primary beneficiaries of self-service reporting, indicating a need for FinOps teams to tailor reports for real-time decision-making across all roles.
  • Challenges for Other Roles: Sustainability and procurement are less engaged with self-service reporting due to data gaps and a need for more education in cloud and FinOps principles.
  • Training Increases Value: Increased FinOps training correlates with greater value derived from self-service reporting, especially among engineers, highlighting the effectiveness of targeted data and training efforts over the past three years.

  • タイトル: エンジニアリングはFinOpsトレーニングとセルフサービスレポーティングから最も価値を得ている

  • セルフサービスによるエンパワーメント: FinOpsの成功は、個人が彼らの役割内でクラウドコストを考慮することを可能にすることにかかっており、意思決定の速度と組織の敏捷性を向上させる。
  • 研究の洞察: エンジニアはセルフサービスレポーティングの主要な恩恵を受けており、FinOpsチームに全ての役割に対してリアルタイムの意思決定を可能にするレポートを提供する必要があることを示している。
  • 他の役割の課題: サステナビリティと調達は、データのギャップとクラウド及びFinOpsの原則に関するより多くの教育の必要性のために、セルフサービスレポーティングとの関わりが少ない。
  • レーニングが価値を増加させる: FinOpsのトレーニングの増加は、特にエンジニアの間で、セルフサービスレポーティングから得られる価値が高まることと相関しており、過去3年間にわたるデータとトレーニング努力の有効性を強調している。

5. The cost of AI is affecting large spenders, but is still on the horizon for others

  • Title: AI Costs Impact Large Spenders, with Broader Effects on the Horizon
  • AI in FinOps Practice: Use of AI/ML is primarily seen in two areas within FinOps: applying AI for FinOps management and managing AI/ML service costs.
  • Current Impact and Opportunities: Only 31% of respondents are currently managing AI/ML costs in their FinOps practice, highlighting a significant opportunity for optimization and value demonstration.
  • Greater Impact on Large Spenders: Among organizations spending over $100M annually on cloud services, 45% report AI/ML costs impacting their FinOps, indicating a trend towards higher management needs for these costs.
  • Historical Parallel and Recommendations: The current phase of AI adoption resembles early cloud adoption, with a need for early implementation of reporting, forecasting, and governance to manage costs effectively and avoid major reworks.
  • Future Outlook: The evolution of AI/ML usage poses questions on whether it will become a major cost factor requiring extensive management or if it will enable more efficient operations through intelligent optimization and automation.

  • タイトル: AIのコストは大口の支出者に影響を与えているが、他の人にとってはまだ地平線上にある

  • FinOps実践におけるAI: AI/MLの使用は、FinOps自体の実践にAIを使用すること、およびFinOps実践でのAI/MLサービスコストを管理することの2つの方法で主に見られる。
  • 現在の影響と機会: 回答者の31%のみが現在、FinOps実践でAI/MLコストを管理しており、最適化と価値の実証のための大きな機会を浮き彫りにしている。
  • 大口の支出者におけるより大きな影響: 年間で1億ドル以上をクラウドサービスに費やしている組織の中で、45%がFinOpsにAI/MLコストが影響を与えていると報告しており、これらのコストの管理ニーズが高まっている傾向を示している。
  • 歴史的類似点と推奨事項: 現在のAI採用フェーズは、初期のクラウド採用に似ており、コストを効果的に管理し、大規模な再作業を避けるために、早期にレポーティング、予測、およびガバナンスの実装が必要である。
  • 将来の展望: AI/MLの使用の進化は、それが大規模なコストファクターとなり、広範な管理を必要とするか、またはより効率的な運用を可能にするためにインテリジェントな最適化と自動化を活用するかという疑問を提起している。

6. Intersection with sustainability teams is expected to increase considerably, very few are working together today

  • Title: Growing Intersection Between FinOps and Sustainability Teams
  • Current Collaboration Levels: Currently, less than 20% of FinOps teams collaborate with sustainability teams or handle cloud sustainability tasks themselves.
  • Future Collaboration Expectations: Half of the respondents anticipate that collaborating with sustainability teams will become a part of their responsibilities, with a shift towards more integrated and shared responsibilities.
  • Regional Differences: The EMEA region shows a higher rate of collaboration between FinOps and sustainability teams compared to North America, likely influenced by regional sustainability reporting requirements.
  • Integration and Best Practices: The integration of FinOps and sustainability is in its early stages, with the complexity of different reporting standards and maturity levels among cloud providers.
  • Framework Updates: The 2024 revisions to the FinOps Framework will introduce Sustainability as a new Capability and Persona, aiming to foster better integration and the development of best practices for incorporating carbon emissions data into decision-making processes.

  • タイトル: FinOpsとサステナビリティチーム間の増加する交差点

  • 現在の協力レベル: 現在、FinOpsチームの20%未満がサステナビリティチームと協力しているか、またはクラウドサステナビリティ任務を自身で扱っています。
  • 将来の協力期待: 回答者の半数が、将来的にサステナビリティチームとの協力が自分の責任の一部になると予想しており、より統合された共有責任へのシフトが期待されています。
  • 地域差: EMEA地域は、北米と比べてFinOpsとサステナビリティチーム間の協力率が高く、これは地域のサステナビリティ報告要件の影響を受けている可能性があります。
  • 統合とベストプラクティス: FinOpsとサステナビリティの統合は初期段階にあり、クラウドプロバイダー間での報告基準と成熟度の違いが努力を複雑にしています。
  • フレームワークの更新: 2024年のFinOpsフレームワークの改訂では、サステナビリティを新たな能力とペルソナとして導入し、意思決定プロセスにカーボン排出データを組み込むためのより良い統合とベストプラクティスの開発を目指しています。

7. Humans are still in the loop for most automation

  • Title: Human Involvement Remains Crucial in FinOps Automation
  • Automation as a Secondary Priority: Automation has seen the largest increase as a secondary priority, particularly among small to medium cloud spenders, with a focus on optimizing resources efficiently.
  • Human Role in Automation: Despite the adoption of automation for data gathering and identifying action needs, most FinOps processes still require human intervention for decision-making and action execution.
  • Trust in Full Automation: There's a noticeable lack of trust in fully automated systems, especially among large spenders in regulated industries, due to concerns over control and accuracy.
  • Integration Challenges: Integrating automation into existing systems and workflows presents difficulties, particularly in environments with distributed DevOps teams and diverse toolsets.
  • Opportunity for Human-Vetted Automation: Given these challenges and the slow trust-building in full automation, incorporating human-vetted automation into existing practices is seen as a more impactful approach for FinOps teams and tool providers.

  • タイトル: FinOpsオートメーションにおける人間の関与は依然として重要

  • オートメーションの二次的優先事項としての増加: 特に小規模から中規模のクラウド支出者の間で、オートメーションは二次的優先事項として最も大きく増加しており、効率的にリソースを最適化することに焦点を当てています。
  • オートメーションにおける人間の役割: データ収集や行動の必要性を特定するためのオートメーションの採用にもかかわらず、ほとんどのFinOpsプロセスでは、意思決定と行動の実行に人間の介入がまだ必要です。
  • 完全オートメーションへの信頼の欠如: 特に規制された産業における大規模支出者の間で、制御と正確性に関する懸念から、完全に自動化されたシステムに対する信頼が顕著に欠如しています。
  • 統合の課題: 既存のシステムやワークフローにオートメーションを統合することは、分散したDevOpsチームや多様なツールセットを使用する環境では特に困難を呈しています。
  • 人間が検証したオートメーションへの機会: これらの課題と、完全オートメーションへの信頼の構築が遅いことを考えると、既存の実践に人間が検証したオートメーションを取り入れることは、FinOpsチームとツール提供者にとってより影響力のあるアプローチと見なされています。

Conclusion

  • Title: Conclusion: The Evolving Role of FinOps in 2024
  • Alignment with Macroeconomic Conditions and Sustainability: FinOps priorities in 2024 are primarily influenced by challenging macroeconomic conditions, with a secondary focus on sustainability and AI integration.
  • Critical Role of FinOps: The intersection of finance and technology places FinOps practitioners in a crucial position to navigate businesses through economic uncertainties and technological advancements.
  • Organizational Adoption and Executive Support: Achieving success in FinOps requires gaining widespread organizational adoption and securing executive support.
  • Collaboration with Sustainability Teams: There is an increasing expectation for FinOps practitioners to work closely with sustainability teams, reflecting a growing part of their role.
  • Continuous Alignment with Business Goals: FinOps is a continuous process of aligning spending with changing business goals, not just a one-time cost-cutting measure.
  • Ongoing Need for FinOps Expertise: As cloud adoption increases and business priorities evolve, the demand for FinOps practitioners to guide and maintain organizational behavior remains strong.
  • Invitation to Explore More Data: Readers are encouraged to explore more findings from the State of FinOps survey and to engage with the community's developments.

  • タイトル: 結論: 2024年におけるFinOpsの役割の進化

  • マクロ経済条件および持続可能性との整合性: 2024年のFinOpsの優先順位は、主に厳しいマクロ経済条件に影響され、持続可能性とAI統合に対して二次的な焦点を置いています。
  • FinOpsの重要な役割: 財務と技術の交点に位置するFinOps実践者は、経済的不確実性と技術進歩を通じて企業をナビゲートするための重要な位置を占めています。
  • 組織の採用と経営陣のサポート: FinOpsの成功を達成するには、広範な組織の採用を得て、経営陣のサポートを確保することが重要です。
  • 持続可能性チームとの協力の増加: FinOps実践者が持続可能性チームと密接に協力することが、彼らの役割の大きな部分になるという期待が高まっています。
  • ビジネス目標との継続的な整合性: FinOpsは、変化するビジネス目標に支出を合わせる継続的なプロセスであり、一度きりのコストカット対策ではありません。
  • FinOps専門家への継続的な需要: クラウドの採用が増加し、ビジネスの優先順位が進化するにつれて、組織の行動を導き、維持するためのFinOps実践者への需要は強いままです。
  • さらなるデータの探索への招待: 読者は、State of FinOps調査からのさらなる発見を探求し、コミュニティの発展に参加することを奨励されています。