kaeken(嘉永島健司)のTech探究ブログ

主に情報科学/情報技術全般に関する知見をポストします。(最近は、特にData Science、機械学習、深層学習、統計学、Python、数学、ビッグデータ)

AI Index Report 2024 by Stanford University 概要

AI Index Report 2024 – Artificial Intelligence Index

1. AI beats humans on some tasks, but not on all.

  • AI has surpassed human performance on several benchmarks, including some in image classification, visual reasoning, and English understanding. Yet it trails behind on more complex tasks like competition-level mathematics, visual commonsense reasoning and planning.

  • AIはいくつかのタスクで人間に勝っているが、すべてではない。

  • AIは、画像分類、視覚的推論、英語理解など、いくつかのベンチマークで人間の性能を上回っている。しかし、競技レベルの数学、視覚的常識推論、計画立案など、より複雑なタスクでは後れを取っている。

2. Industry continues to dominate frontier AI research.

  • In 2023, industry produced 51 notable machine learning models, while academia contributed only 15. There were also 21 notable models resulting from industry-academia collaborations in 2023, a new high.

  • フロンティアAIの研究は引き続き産業界が独占している。

  • 2023年、産業界は51の注目すべき機械学習モデルを生み出したが、アカデミアの貢献は15にとどまった。また、2023年には産学共同研究の成果として21の注目すべきモデルがあり、これは過去最高となった。

3. Frontier models get way more expensive.

  • According to AI Index estimates, the training costs of state-of-the-art AI models have reached unprecedented levels. For example, OpenAI’s GPT-4 used an estimated $78 million worth of compute to train, while Google’s Gemini Ultra cost $191 million for compute.

  • フロンティア・モデルはより高価になる。

  • AIインデックスの試算によると、最先端のAIモデルの学習コストはかつてないレベルに達している。例えば、OpenAIのGPT-4は訓練に推定7800万ドル相当の計算機を使用し、グーグルのジェミニ・ウルトラは計算機に1億9100万ドルかかった。

4. The United States leads China, the EU, and the U.K. as the leading source of top AI models.

  • In 2023, 61 notable AI models originated from U.S.-based institutions, far outpacing the European Union’s 21 and China’s 15.

  • 米国は中国、EU、英国をリードし、トップAIモデルの主要な供給源となっている。

  • 2023年には、61の注目すべきAIモデルが米国を拠点とする機関から生まれ、EUの21、中国の15を大きく上回る。

5. Robust and standardized evaluations for LLM responsibility are seriously lacking.

  • New research from the AI Index reveals a significant lack of standardization in responsible AI reporting. Leading developers, including OpenAI, Google, and Anthropic, primarily test their models against different responsible AI benchmarks. This practice complicates efforts to systematically compare the risks and limitations of top AI models.

  • LLMの責任に関する強固で標準化された評価が著しく欠如している。

  • AI Indexの新たな調査により、責任あるAIの報告において標準化が著しく欠如していることが明らかになった。OpenAI、Google、Anthropicを含む主要な開発者は、主に異なる責任あるAIのベンチマークに対してモデルをテストしている。この慣行は、トップAIモデルのリスクと限界を体系的に比較する取り組みを複雑にしている。

6. Generative AI investment skyrockets.

  • Despite a decline in overall AI private investment last year, funding for generative AI surged, nearly octupling from 2022 to reach $25.2 billion. Major players in the generative AI space, including OpenAI, Anthropic, Hugging Face, and Inflection, reported substantial fundraising rounds.

  • ジェネレーティブAIへの投資が急増

  • 昨年のAI民間投資全体が減少したにもかかわらず、ジェネレーティブAIへの資金調達は急増し、2022年の8倍近い252億ドルに達した。OpenAI、Anthropic、Hugging Face、Inflectionなど、ジェネレーティブAI分野の主要企業が多額の資金調達を報告した。

7. The data is in: AI makes workers more productive and leads to higher quality work.

  • In 2023, several studies assessed AI’s impact on labor, suggesting that AI enables workers to complete tasks more quickly and to improve the quality of their output. These studies also demonstrated AI’s potential to bridge the skill gap between low- and high-skilled workers. Still other studies caution that using AI without proper oversight can lead to diminished performance.

  • データがある: AIは労働者の生産性を高め、より質の高い仕事をもたらす。

  • 2023年、複数の研究がAIが労働に与える影響を評価し、AIによって労働者がより迅速に仕事を完了し、アウトプットの質を向上させることが可能になることを示唆した。これらの研究はまた、AIが低スキル労働者と高スキル労働者の間のスキルギャップを埋める可能性を示している。しかし、他の研究では、適切な監督なしにAIを使用すると、パフォーマンスが低下する可能性があると警告している。

8. Scientific progress accelerates even further, thanks to AI.

  • In 2022, AI began to advance scientific discovery. 2023, however, saw the launch of even more significant science-related AI applications—from AlphaDev, which makes algorithmic sorting more efficient, to GNoME, which facilitates the process of materials discovery.

  • AIのおかげで科学の進歩はさらに加速する。

  • 2022年、AIは科学的発見を促進し始めた。しかし2023年には、アルゴリズムによるソートをより効率的にするAlphaDevから、材料発見のプロセスを促進するGNoMEまで、科学関連のAIアプリケーションのさらなる重要性が発表された。

9. The number of AI regulations in the United States sharply increases.

  • The number of AI-related regulations in the U.S. has risen significantly in the past year and over the last five years. In 2023, there were 25 AI-related regulations, up from just one in 2016. Last year alone, the total number of AI-related regulations grew by 56.3%.

  • 米国におけるAI規制の数が急増。

  • 米国におけるAI関連規制の数は、昨年から過去5年間で大幅に増加している。2023年には25のAI関連規制があり、2016年にはわずか1つだった。昨年だけでも、AI関連規制の総数は56.3%増加した。

10. People across the globe are more cognizant of AI’s potential impact—and more nervous.

  • A survey from Ipsos shows that, over the last year, the proportion of those who think AI will dramatically affect their lives in the next three to five years has increased from 60% to 66%. Moreover, 52% express nervousness toward AI products and services, marking a 13 percentage point rise from 2022. In America, Pew data suggests that 52% of Americans report feeling more concerned than excited about AI, rising from 38% in 2022.

  • 世界中の人々がAIの潜在的影響力をより強く認識し、より神経質になっている。

  • イプソスの調査によると、過去1年間で、AIが今後3年から5年の間に自分たちの生活に劇的な影響を及ぼすと考える人の割合は60%から66%に増加した。さらに、52%がAI製品やサービスに対して神経質になっており、2022年から13ポイント上昇している。アメリカでは、ピューのデータによると、アメリカ人の52%がAIに期待よりも不安を感じており、2022年の38%から上昇している。