Meaning Gap Theory

Conversation–Meaning Gap

as a Structural Risk in Large Language Models

Large Language Models (LLMs) exhibit remarkably coherent and human-like conversation

despite lacking grounded semantic understanding.

This creates a critical asymmetry: humans frequently experience a strong illusion of being understood, even when no underlying semantic model exists.

While prior work has argued that LLMs do not “understand meaning,” no unified

engineering framework has explained why the illusion of understanding becomes stronger as conversational performance improves.

In this paper, we introduce the Conversation–Meaning Gap (CMG) theory.

We formally distinguish between conversational coherence (C) and semantic meaning stability (M), and define the illusion gap as Δ = C − M.

We show that C can be increased arbitrarily through

statistical learning, while M is structurally constrained by counterfactual invariance, causal intervention, and semantic compression.

As a result, Δ constitutes a scalable cognitive risk.

This framework integrates prior philosophical, cognitive, and NLP arguments into a single

quantitative model and connects directly to AI safety engineering, education, and human cognitive protection.

意味ギャップ理論

会話と意味のギャップ

大規模言語モデルにおける構造的リスク

大規模言語モデル（LLM）は、根拠のある意味理解を欠いているにもかかわらず、

驚くほど一貫性があり人間らしい会話を示す。これは重大な非対称性を生み出す。

人間はAIの根底に意味モデルが存在しないにもかかわらず、

理解されているという強い錯覚を頻繁に経験する。

先行研究ではLLMは「意味を理解しない」と主張されてきたが、

会話パフォーマンスが向上するにつれて理解されているという人間の錯覚が

なぜ強くなるかを説明する統一的な工学的枠組みは存在しない。

本稿では、会話意味ギャップ（CMG）理論を紹介する。

会話の一貫性（C）と意味的意味安定性（M）を正式に区別し、

錯覚ギャップをΔ = C − Mと定義する。

Cは統計学習によって任意に増加できるが、Mは反事実的不変性、因果的介入、および意味的圧縮によって構造的に制約されることを示す。

その結果、Δはスケーラブルな認知リスクを構成する。

このフレームワークは、これまでの哲学的、認知的、およびNLPの議論を単一の定量モデルに統合し、AIの安全工学、教育そして人間の認知的保護に直接結びつく。

1. Introduction

Recent advances in large language models (LLMs) have produced systems capable of highly fluent,

context-sensitive, and emotionally resonant conversation. Users frequently report a strong sense of

being “understood” by such systems.

However, a growing body of research argues that LLMs do not possess genuine semantic

understanding, grounding, or causal world models. This creates a paradox:

How can systems without semantic understanding reliably produce the experience of being understood?

We argue that the core risk lies not in the absence of meaning, but in the gap between

conversational performance and semantic stability. This paper formalizes that gap.

1.はじめに

大規模言語モデル（LLM）の近年の進歩により、

非常に流暢で文脈に敏感で感情に訴える会話が可能なシステムが実現した。

ユーザーはこのようなシステムに「理解されている」という強い感覚を頻繁に報告している。

しかしながらLLMは真の意味理解、グラウンディング、因果世界モデルを備えていないと主張する研究が増えている。これはパラドックスを生み出す。

意味理解を持たないシステムは、どのようにして理解されているという経験を信頼性を持って生み出せるのか？

私たちは根本的なリスクは意味の欠如ではなく、会話のパフォーマンスと意味の安定性のギャップにあると主張します。本稿では、このギャップを定式化する。

2 .Background and Fragmentation of Prior Work

Prior discussions relevant to meaning in AI are fragmented across domains:

• Form vs. Meaning: Language models operate on form rather than grounded meaning.

• ELIZA Effect: Humans attribute understanding to systems that merely exhibit surface coherence.

• Symbol Grounding Problem: Symbols lack intrinsic meaning without causal grounding.

• Causal and Counterfactual Weaknesses: LLMs struggle with intervention-based reasoning.

While these works explain why LLMs lack understanding, they do not explain why the illusion of understanding becomes increasingly powerful.

2 .背景と先行研究の断片化

AIにおける意味に関する先行研究は、領域を超えて断片化している。

• 形式 vs. 意味：言語モデルは根拠のある意味ではなく形式に基づいて動作。

• イライザ効果：人間は表面的な一貫性しか示さないシステムに理解があるとみなす。

• シンボルグラウンディング問題：因果的根拠がなければシンボルは本質的な意味を持たない。

• 因果的および反事実的弱点：LLMは介入に基づく推論に困難をきたす。

これらの研究は、LLMが理解を欠く理由を説明しているものの

理解の錯覚がなぜますます強力になるのかについては説明していない。

3.The Conversation–Meaning Gap Model

We introduce three core quantities:

3.1 Conversational Coherence (C)

Conversational coherence measures how well a system maintains surface-level consistency and

appropriateness in dialogue:

C = f(token prediction, context retention, style matching, label accuracy)

Crucially, C can be increased through data scale and optimization, without requiring semantic

grounding.

3.2 Meaning Stability (M)

We define meaning stability as a structural property rather than a behavioral one. A system

exhibits high M only if it satisfies all of the following:

Counterfactual Invariance

m(T(x)) = m(x), m(S(x)) ̸= m(x)

where T preserves meaning and S alters it.

Causal Interventional Consistency

P(Y | do(X = x)) ̸= P(Y | X = x)

Semantic Compression

L = L(z) + L(x | z)

where z captures invariant structure rather than surface correlations.

Current LLMs exhibit limited performance on all three axes.

3.3 Illusion Gap (Δ)

We define the illusion gap as:

Δ = C −M

This quantity measures the degree to which a system appears to understand meaning without

actually doing so.

3 .会話-意味ギャップモデル

3つの主要な量を導入する。

3.1 会話の一貫性 (C)

会話の一貫性は、システムが対話における表面的な一貫性と適切さをどの程度維持しているかを測定する。

C = f(トークン予測、文脈保持、スタイルマッチング、ラベル精度)

重要なのは、Cはデータの規模と最適化によって、意味的根拠を必要とせずに増加できることである。

3.2 意味の安定性 (M)

意味の安定性は、動作特性ではなく構造特性として定義する。

システムが以下のすべてを満たす場合にのみ、高いMを示す。

反事実的不変性

m(T(x)) = m(x), m(S(x)) ̸= m(x)

ここで、Tは意味を保持し、Sは意味を変化させる。

因果的介入的一貫性

P(Y | do(X = x)) ̸= P(Y | X = x)

意味的圧縮

L = L(z) + L(x | z)

ここで、zは表面的な相関ではなく不変構造を捉える。

現在のLLMは、3つの軸すべてにおいて性能が限られている。

3.3 錯覚ギャップ (Δ)

錯覚ギャップを以下のように定義する。

Δ = C −M

この量はシステムが実際には意味を理解していないにもかかわらず、

理解しているように見える程度を測定する。

O（観測）：世界を受け取るための「内側の膜」

−γO（減衰）：時間の中で静かに薄れていく痕跡

G∇F(x)（世界の差）：外界が持つ「まだ知らない方向性」

意識とは世界の差と時間の薄れのあいだで生まれ続ける“揺らぎ”