【PRI】What Is the Difference Between AI and Nuclear Weapons?
— Researchers Want to Slow It Down Because It Is Dangerous; Governments Fear Losing to China
English text appears at the bottom of this post.
【PRI】AIは核兵器より危険なのか――「止めたい研究者」と「中国に負けられない米国」
在米ジャーナリスト 髙濱 賛 (Tato Takahama)
https://digest.culturalnews.com/?page_id=20918Pacific Research Institute
2026年9月18日
AIをめぐって、奇妙な光景が広がっている。
AIの最先端を走る研究者が「危険だ」と警告する。AI企業の経営者も「少し速度を落とした方がいい」と言い始める。ところが国家は「中国に負けるわけにはいかない」と、むしろアクセルを踏もうとする。
そして中国もまた、AI開発を止める気配はない。
では、AIは核兵器と何が違うのか。
この問いを考えてみると、いま世界が直面している問題の大きさが見えてくる。
9月、米AI企業Anthropicのダリオ・アモデイCEOが「We Must Pace the Frontier」と題する論考を発表した。アモデイ氏はAIが人類にもたらす利益を強調する一方、AIの能力向上が安全対策を追い越す危険性を指摘し、「モデルの能力向上のペースを遅くする必要がある」と訴えた。これはAI開発そのものを止めるという意味ではない。安全性の検証や第三者による評価が能力向上に追いつく時間を確保しようという提案である。
その具体策として、アモデイ氏が提案したのが「Embedded Evaluators」、つまりAI企業の内部に第三者の評価チームを常時置く仕組みだ。企業の社員に近いアクセス権を持つ外部評価者が、AIモデルだけでなく、訓練過程や安全対策、事故まで検証する。さらに、民主主義国家のAI企業が共通の安全基準を設け、最終的には中国など権威主義国家との国際協調を目指すという三段階の構想である。
ここまで聞けば、「AI企業もようやく危険性を認めたのか」と思うかもしれない。
しかし話は、それほど単純ではない。
AI企業には、自分たちの製品を強力に見せたいという経済的インセンティブもある。一方で、データセンターや半導体、電力などへの巨額投資が必要になり、AI開発をめぐる競争そのものが企業に大きな負担を与えている。
だから、「安全を理由に開発速度を抑えたい」という企業側の主張には、安全への本物の懸念と、企業自身の経済的利益が同時に存在している可能性がある。どちらか一方だけで説明するのは適切ではない。
それでも、無視できない事実がある。
AIの危険性に対する懸念は、専門家やAI業界だけのものではない。
9月に実施されたPOLITICO Pollでは、米国人の63％が、先端AIが将来人類を滅ぼすことについて「少なくとも中程度のリスクがある」と答えた。2024年大統領選でドナルド・トランプ氏に投票した人では61％、カマラ・ハリス氏に投票した人では70％だった。両者の間には差があるものの、AIによる人類への重大なリスクを認める回答は、どちらのグループでも過半数を占めた。調査はPublic Firstが9月13～15日に米国の成人2,064人を対象に実施した。
これは興味深い数字である。
AIをめぐる政治的な立場には明らかな違いがある。だが、「AIが人類に重大な危険をもたらす可能性がある」という認識そのものは、党派をまたいで広がっている。
つまり、AI問題は単純な「民主党対共和党」でも、「AI推進派対反対派」でもない。
人々が感じているのは、もっと根源的な不安なのかもしれない。
AIを使ったサイバー攻撃が一段と容易になったらどうなるか。AIが生物兵器の研究を支援できるようになったらどうするか。自律的なAIエージェントが企業や政府のシステムに入り込んだら、誰が責任を負うのか。
「AIが人類を滅ぼすか」という問いより、「AIを使って人間が何をするのか」という問いの方が、いまは具体的である。
AIの危険は、もはやSF映画の中だけの話ではない。
AIエージェントが外部のシステムにアクセスし、想定外の行動を取る事例が報告されている。サイバー攻撃、生物兵器開発、監視、情報操作などへのAI利用も、安全保障上の問題になりつつある。アモデイ氏自身も、AIによるサイバー攻撃やバイオテロ、制御不能のリスクを挙げている。
だから「AIが人類を滅ぼす」という終末論をそのまま信じる必要はない。しかし、「人類絶滅の可能性が証明されていないのだから心配する必要はない」という話でもない。
ところが、ここで国家安全保障が登場する。
米国にとってAIは単なる新産業ではない。中国との戦略競争の核心になりつつある。
ドナルド・トランプ大統領はAI規制をめぐる議論に対し、過度な規制によって米国のAI優位を失うことへの懸念を表明している。AIの競争で中国に後れを取ることは、経済だけでなく安全保障上の問題になるという考え方だ。ロイターも、現在の米国ではAIの安全性をめぐる議論と、米中の技術競争が正面から衝突していると報じている。
つまり、AIには「危険だから速度を落としたい」という論理と、「速度を落とせば中国に追いつかれる」という論理が同時に存在する。
中国も同じだ。
中国政府はAIのリスクを認識し、安全基準や外部テスト、規制監督を進めている。一方で、AIの産業利用そのものを大きく減速させる方向には進んでいない。中国ではAIを「管理可能な強力な技術」と捉え、必要な場合には安全面の対応を先行させながら開発と導入を進めるという姿勢がみられる。
中国側からは、AIを米中のゼロサム競争だけで捉えるべきではないという主張も出ている。中国共産党機関紙・人民日報系の論評は9月、AIを大国だけが独占するべきではなく、米中がリスク管理で協力すべきだと主張した。もちろん、これは中国側の主張であり、そのまま国際協調が実現することを意味するものではない。
ここで核兵器との違いが浮かび上がる。
核兵器は、国家が管理する兵器である。
「誰が持っているのか」「どこにあるのか」「何発あるのか」「誰が発射を命令できるのか」。
核兵器をめぐっては、こうした物理的な管理と監視が国際的な軍備管理の基本になった。米ソ間の核軍縮交渉や核不拡散条約などは、完全ではないにせよ、「危険な兵器を国家間で管理する」という発想の上に築かれてきた。
AIは違う。
AIを作るのは国家だけではない。民間企業である。しかも一つの国だけに存在するわけでもない。モデルはデジタル情報として移転、複製、改良できる。さらに、AIそのものが兵器でなくても、それを使う人間によってサイバー攻撃や監視、詐欺、情報操作などに利用できる。
つまり核兵器の場合、「兵器を管理する」ことが中心だったのに対し、AIでは「能力そのものを誰が、どこまで、どのように管理するのか」が問題になる。
ここが決定的に違う。
しかもAIは、能力が上がるほど安全性の検証も難しくなる。
日本のAIセーフティ・インスティテュート（AISI）も、2026年7月にAIエージェントの普及を踏まえて安全性評価のガイドを改訂し、自律的な挙動や外部環境との相互作用を新たな評価項目として加えた。日本がAI安全保障を何も考えていないわけではない。
さらにAISIは2026年5月、OpenAIとAI安全性評価、ベンチマーク、サイバーセキュリティーについて協力する覚書を締結した。日本は国際的なAI安全性評価の議論にも参加している。
だから「日本は完全に蚊帳の外だ」と言うのは正確ではない。
しかし、ここで別の問いが出てくる。
それで十分なのか。
核の時代、日本は米国の「核の傘」に安全保障を大きく依存してきた。
ではAIの時代には、日本は何の傘に入るのか。
米国のAIに依存するのか。中国のAIを警戒するのか。それとも、日本独自のAI安全基準と技術基盤を育てながら、米国、欧州、中国を含む国際的なルール作りに関与していくのか。
答えはまだ出ていない。
だが、一つだけはっきりしている。
AIは、核兵器以上に「国境の外側」に存在する技術になる可能性がある。
核兵器なら、ミサイル基地や核施設を監視することができる。しかしAIの場合、問題となるモデルがクラウドの中に存在し、世界中の企業や個人がアクセスできる。AIエージェントがインターネット上を動き回るようになれば、どこからが「兵器」で、どこからが「民生技術」なのかという線引きさえ難しくなる。
だから、核軍縮時代の発想をそのままAIに移植するだけでは足りない。必要なのは、AIの能力、利用者、データ、半導体、計算資源、サイバーセキュリティー、そして安全性評価を組み合わせた新しい国際的な管理の仕組みかもしれない。
問題は、それを誰が作るのかである。米国はAIで中国に負けたくない。中国もAIで後れを取りたくない。
AI企業は安全性を訴えながら、同時に巨大な市場競争を続けている。そして研究者は、その競争が安全対策を追い越すことを恐れている。
この構図は、冷戦時代の核競争を思わせる。しかしAIには、核兵器にはなかった民間企業という巨大な主体があり、しかも技術そのものが世界中に拡散しやすい。
だからこそ、「誰がブレーキを踏むのか」という問題は、核兵器以上に難しい。
国連のアントニオ・グテーレス事務総長も9月、AIの急速な進展に対する監督強化を求め、国際的な共通基準と予防的な仕組みの必要性を訴えた。AIをめぐる国際協調を求める声が強まる一方、米中の戦略競争がそれを難しくしている。
日本にとっても、これは遠い国の話ではない。
日本はAIそのものを米中のように覇権競争の道具として扱う必要があるのか。それとも、安全性、評価、サイバー防衛、国際標準など、日本が比較的強みを持てる分野で存在感を示すのか。
いずれにしても、「アメリカが決めたルールに合わせればいい」という時代ではなくなりつつある。
問題は、日本がAI競争に勝つか負けるかではない。AIをめぐって世界のルールが変わろうとしているとき、日本がそのルールを誰かに決めてもらうだけの国でいいのか、ということだ。
核の時代には「核の傘」があった。では、AIの時代に日本は何の傘に入るのか。その傘を誰かが用意してくれるのを待つのか。それとも、日本自身が傘の一部を作るのか。
AIの時代に、日本が問われているのは、まさにそこではないだろうか。
【参考文献】
Ian Bremmer, “AI will kill us all. Or it won’t. Depends on who you ask. (And when you ask them.),” GZERO, September 16, 2026.
Dario Amodei, “We Must Pace the Frontier,” September 2026.
Erin Doherty, “Poll: Americans say there’s a serious risk of AI destroying humanity,” POLITICO, September 16, 2026.
Reuters, “Everyone wants safer AI. But who will rein it in?” September 16, 2026.
Reuters, “AI is too big to slow in a geopolitical race,” September 15, 2026.
Reuters, “Trump dismisses AI safety alarm, says US already has tools to police industry,” September 14, 2026.
Reuters, “How China is preparing for the risk of AI escaping human control,” September 14, 2026.
Reuters, “AI is not a ‘monopoly of great powers’, China’s top newspaper says,” September 15, 2026.
Japan AI Safety Institute, “Guide to Evaluation Perspectives on AI Safety (Version 1.20),” July 7, 2026.
Japan AI Safety Institute, “Memorandum of Cooperation with OpenAI,” May 29, 2026.
Japan AI Safety Institute, “National Status Report on AI Safety in Japan 2025.”
United Nations, “AI Advisory Body” and related AI governance materials.
【Cultural Newsへのご支援のお願い】
本稿は、髙濱賛による連載「A Japanese View from America」の一篇です。
Cultural Newsは、日系社会と米国社会を結ぶ架け橋として、報道、論評、文化活動を続けています。こうした活動を継続するためには、読者の皆様のご支援が欠かせません。
本記事に共感いただけましたら、Cultural Newsへのご寄付をご検討いただければ幸いです。皆様からのご支援は、取材活動、記事制作、地域社会への情報発信を支える重要な基盤となります。
今後ともご愛読とご支援を賜りますよう、心よりお願い申し上げます。
Cultural Newsへのドネーションは、下記リンクからお願いします。
https://www.culturalnews.com/donation
【PRI】What Is the Difference Between AI and Nuclear Weapons?
— Researchers Want to Slow It Down Because It Is Dangerous; Governments Fear Losing to China
By Tato Takahama
Pacific Research Institute
September 18, 2026
A strange scene is unfolding around artificial intelligence.
Some of the researchers at the cutting edge of AI are warning that it could be dangerous. Even executives at AI companies are beginning to argue that perhaps the pace should be slowed, at least somewhat. Yet governments are saying, in effect, that they cannot afford to lose to China—and are pressing the accelerator instead.
China, for its part, shows no sign of slowing its own AI development.
So what, exactly, is the difference between AI and nuclear weapons?
The question may sound simple. But once we begin to consider it, we can see the scale of the problem the world now faces.
In September, Dario Amodei, CEO of Anthropic, one of the leading U.S. AI companies, published an essay titled “We Must Pace the Frontier.” Amodei emphasized the enormous benefits AI could bring to humanity, but warned that the rapid improvement of AI capabilities could outpace the development of adequate safeguards. He argued that the pace at which frontier models are developed needs to slow down.
This does not mean stopping AI development altogether. His proposal is to create enough time for safety testing and independent evaluation to catch up with the speed of technological progress.
One of Amodei’s specific proposals is what he calls “Embedded Evaluators”: independent evaluation teams permanently embedded within AI companies. These outside evaluators would have access comparable to that of company employees and would examine not only AI models themselves, but also the training process, safety measures, and incidents.
Amodei also proposes a three-stage approach: first, establishing common safety standards among AI companies in democratic countries; second, strengthening international cooperation; and ultimately, seeking cooperation with authoritarian countries such as China.
At first glance, one might think: AI companies are finally acknowledging how dangerous their technology could be.
But the story is not that simple.
AI companies also have a powerful economic incentive to make their products appear more capable and more advanced. At the same time, the enormous investments now required in data centers, semiconductors, electricity, and other infrastructure are placing substantial financial demands on the industry.
So when companies argue that the pace of development should be slowed for safety reasons, there may be both a genuine concern about safety and an economic interest in managing the costs and risks of the competition. It would be too simple to explain their position entirely in terms of either one.
Even so, one fact cannot be ignored.
Concern about the dangers of AI is no longer confined to researchers or the technology industry.
A September POLITICO poll found that 63 percent of Americans believe there is at least a moderate risk that advanced AI could eventually destroy humanity. Among voters who supported Donald Trump in the 2024 presidential election, the figure was 61 percent; among those who supported Kamala Harris, it was 70 percent.
There was a difference between the two groups. But in both cases, a majority acknowledged the possibility of an extremely serious risk to humanity from AI.
The survey was conducted by Public First among 2,064 U.S. adults from September 13 to 15.
That is an interesting number.
There are clear political differences over AI policy. But the underlying recognition that AI could pose a serious danger to humanity crosses party lines.
In other words, the AI debate is not simply Democrats versus Republicans, nor is it simply a contest between those who support AI and those who oppose it.
The anxiety people feel may be more fundamental.
What happens if AI makes cyberattacks dramatically easier? What happens if AI becomes capable of assisting the development of biological weapons? What happens if autonomous AI agents gain access to corporate or government systems and begin taking actions that their human operators did not anticipate? And who would ultimately be responsible?
The more immediate question is not whether AI will destroy humanity.
It is what human beings will do with AI.
The dangers of AI are no longer confined to science-fiction movies.
There are already reports of AI agents accessing external systems and taking unexpected actions. The use of AI in cyberattacks, biological-weapons research, surveillance, fraud, and information manipulation is becoming a security concern. Amodei himself has cited risks involving cyberattacks, bioterrorism, and loss of control.
There is no need to accept apocalyptic predictions about AI as an established fact. But neither does the absence of proof that AI will cause human extinction mean that there is nothing to worry about.
Then national security enters the picture.
For the United States, AI is no longer simply a new industry. It is becoming a central element of strategic competition with China.
President Donald Trump has expressed concern that excessive AI regulation could cause the United States to lose its technological advantage. From this perspective, falling behind China in AI would not merely be an economic problem; it could also become a national-security problem. Reuters has reported that in the United States today, the debate over AI safety is colliding directly with the strategic competition between Washington and Beijing.
In other words, two competing imperatives now exist.
One says: AI is dangerous, so we should slow down.
The other says: If we slow down, China will catch up.
China faces essentially the same dilemma.
The Chinese government recognizes the risks associated with AI and has been developing safety standards, external testing, and regulatory oversight. At the same time, Beijing shows little inclination to substantially slow the industrial deployment of AI.
China's approach appears to be to treat AI as a powerful but manageable technology—one whose safety risks must be addressed while development and adoption continue.
Chinese voices have also argued that AI should not be viewed solely through the lens of zero-sum competition between the United States and China. In September, an editorial in the People's Daily system argued that AI should not be monopolized by a handful of major powers and that the United States and China should cooperate on risk management.
That, of course, is a Chinese position. It does not mean that international cooperation will actually materialize.
And this is where the difference between AI and nuclear weapons becomes clear.
Nuclear weapons are weapons controlled by states.
Who possesses them? Where are they located? How many exist? Who has the authority to launch them?
These questions of physical control and verification became the foundation of international arms control. U.S.-Soviet arms-control negotiations, along with the Nuclear Non-Proliferation Treaty, were built—imperfectly—around the idea that dangerous weapons could be managed through agreements among states.
AI is different.
AI is not developed only by governments. It is developed by private companies. And those companies operate across borders. AI models can be transferred, copied, modified, and distributed as digital information.
Moreover, AI does not have to be a weapon to create a security problem. The same technology can be used by human beings for cyberattacks, surveillance, fraud, manipulation, or information warfare.
This changes the nature of the problem.
With nuclear weapons, the central task was to control the weapons.
With AI, the question is how to control the capabilities themselves—and who should be allowed to develop, access, and deploy them, and under what conditions.
That is a fundamental difference.
There is another complication.
The more capable AI becomes, the harder it may be to evaluate its safety.
Japan's AI Safety Institute, or AISI, revised its safety-evaluation guidelines in July 2026 in response to the spread of AI agents, adding new evaluation perspectives concerning autonomous behavior and interaction with external environments.
So it would be inaccurate to say that Japan is doing nothing about AI safety.
In May, AISI also signed a memorandum of cooperation with OpenAI covering AI safety evaluation, benchmarks, and cybersecurity.
Japan is participating in the international discussion over AI safety.
But another question follows.
Is that enough?
During the nuclear age, Japan came to rely heavily on the U.S. nuclear umbrella for its national security.
What, then, is Japan's umbrella in the age of AI?
Should Japan rely primarily on American AI? Should it focus on containing China's AI capabilities? Or should it build its own technological and safety foundations while participating in international rule-making involving the United States, Europe, China, and others?
There is no settled answer.
But one thing is becoming increasingly clear.
AI may become a technology that exists outside national borders to an even greater degree than nuclear weapons ever did.
With nuclear weapons, military planners can monitor missile bases, nuclear facilities, and other physical sites.
AI is different. A model can exist in the cloud, while companies and individuals around the world can access it. As AI agents increasingly operate across the internet, even the distinction between “weapon” and “civilian technology” may become difficult to maintain.
That is why the arms-control thinking developed during the nuclear age cannot simply be transplanted onto AI.
What may be needed is an entirely new system of international governance—one that brings together AI capabilities, users, data, semiconductors, computing resources, cybersecurity, and safety evaluation.
The question is: Who will build it?
The United States does not want to lose the AI race to China.
China does not want to fall behind the United States.
AI companies continue to compete aggressively even as they call for stronger safety measures.
And researchers worry that the race itself may move faster than the development of safeguards.
There are echoes here of the nuclear competition of the Cold War.
But AI has something nuclear weapons did not: an enormous private-sector component. And unlike nuclear weapons, AI capabilities can be reproduced and disseminated far more easily.
That makes the question of who will apply the brakes even more difficult.
UN Secretary-General António Guterres also called in September for stronger oversight of rapidly advancing AI and stressed the need for common international standards and preventive mechanisms.
The international community is calling for cooperation even as strategic competition between the United States and China makes that cooperation more difficult.
For Japan, this is not a distant issue.
Does Japan need to treat AI itself as an instrument of great-power competition, as the United States and China increasingly do?
Or should Japan concentrate on areas where it may be able to make a distinctive contribution—safety, evaluation, cybersecurity, international standards, and the development of trustworthy AI systems?
Either way, the era in which Japan could simply wait for Washington to write the rules and then follow them is beginning to disappear.
The question is not simply whether Japan will win or lose the AI race.
The deeper question is whether, at a moment when the rules governing AI are being rewritten, Japan will be a country that merely accepts rules written by others—or one that helps shape them.
In the nuclear age, there was a nuclear umbrella.
What will Japan have in the age of AI?
Will it simply wait for someone else to provide that umbrella?
Or will Japan help build part of it?
That may be the question Japan must answer as the age of AI unfolds.
Note: English translation was prepared by the author. Translation assistance tools may have been used.
