西夏文字の認識を例にとると、人工知能は歴史理解にどのように役立つか

以前、チャット中に友人が人工知能についての印象を「西洋的」「商業的」「未来志向」という 3 つの言葉でまとめたのを覚えています。

私はすぐに、あなたの言ったことは非常に良いことだと言いましたが、唯一の問題は、どれも正しくなかったということです...

私たち二人の間で喧嘩が始まった経緯については話さないでおこう。ここで私たちが望んでいるのは、人工知能に関して人々が抱いている特定の固有の印象を払拭することです。実際、人工知能は、非常に早くから開発されてきた一般的な技術であり、決して西洋の特許ではなく、商業的価値の創造に限定されているわけでもありません。

たとえ偶然であっても、人工知能は私たちが歴史、自国、祖先、そして過去を理解するための強力なツールになる可能性があります。

[[203169]]

梁啓超氏は「学問は世界の公共の道具である」と述べた。これは、学問が世界中の人々によって共有されるだけでなく、学問が世界の共通の努力によって達成されることを意味する。基本的なツールとして、人工知能は予期せぬ場所で役立つことがよくあります。たとえば、今日は、純粋に中国の人文社会科学の分野である西夏文字を人工知能技術を利用して自動的に認識する機能を紹介します。

（西夏文字の独特の美しさ）

これはほとんどの人が関わることのない技術ですが、この事例の価値は、AI に関する私たちの偏見の一部を打ち破る可能性がある点にあります。 AIは、いくつかの分野に集中しているわけではなく、欧米の寡頭政治家のおもちゃでもありません。どこにでもあるかもしれません。

なぜ西夏の文字を認識する必要があるのでしょうか? どんな困難が伴うのでしょうか?

西夏は北宋、遼、金と相次いで対峙した西夏国であり、かつては河西地方を二百年以上にわたって支配していたことが分かっています。

一般に信じられていることとは反対に、西夏は生肉を食べたり血を飲んだりする野蛮な文明ではなかった。彼らはかつて素晴らしい文化、芸術、宗教文明を創り上げましたが、1227年にモンゴルが西夏を征服すると、モンゴル人は西夏の歴史を記録しなくなり、この政権の記録はすぐに消えてしまいました。李元昊が建国時に作った西夏の言語も失われました。

西夏文字は、河西文字、樊文字、西夏語とも呼ばれ、西夏王朝の管轄下にあった現在の寧夏、甘粛、陝西北部、内モンゴル南部の地域で約 2 世紀にわたって普及していました。しかし、西夏の滅亡後、漢字を参考にして作られたこの独特の文字体系は徐々に消滅し、最終的には死語となってしまいました。

1804年になってようやく、有名な「梁州護国寺甘通塔再建碑」が武威大雲寺で発見され、数百年も埋もれていた西夏の文献が再び世に現れた。それ以来、西夏文字を読み解くことは学術界における重要な課題となった。

[[203170]]
（梁州護国寺甘通塔再建碑の一部）

過去200年間、発掘された西夏の文書の数は増え続けており、そのほとんどはイギリスとロシアの探検家によって国外に持ち出されました。しかし、各国の学者の努力により、西夏文字の基本的な鑑定は完了しており、現在は文字目録をもとに大量の西夏文書の具体的な内容を読み取り、当時の西夏と中原、西域の歴史の謎を解明することが作業の焦点となっている。

しかし、このプロセスでは、研究者は西夏文字を読むためにページを手作業で調べる必要があり、時間がかかり、非常に面倒です。さらに、西夏文字は類似度が非常に高い文字であるため、手作業による認識ではエラー率が高くなる可能性もあります。

そのため、一部の学者は、コンピューターを使用して西夏文字を自動的に認識することを提案しています。このアイデアは良いのですが、実際の運用にはまだ大きな問題があります。例えば、西夏文字の構造は複雑で、文字の構成要素の類似性が高く、平均画数は 25 であるため、コンピューターが認識するのは困難です。

また、西夏時代にはすでに印刷技術が存在していたにもかかわらず、出土した文書は手書きや彫刻が中心で、異なる文書間で同じ文字の位置が固定されておらず、全体のレイアウトがずれていたため、機械による認識が非常に困難でした。

その後、興味深いことが起こりました。寧夏大学の関連研究機関に代表される学術勢力は、人工知能技術を使用して西夏文字の自動認識の問題を解決することを選択しました。

この作業はすでにかなり前から始まっており、成果は絶えず現れています。タイミングから判断すると、これは決してAIブームに追いついた産物ではない。

人工知能が西夏文字の自動認識を完了

実際、西夏文字を処理するためのコンピュータ技術の使用は、かなり以前から始まっていました。

1996 年に、国立アジアアフリカ言語文化研究所は西夏文字ライブラリと組版システムを開発しました。 1997年、中国の学者李凡文と日本の学者中島勘基がこの組版システムを利用して『西夏文字「雑字」のコンピュータ処理に関する研究』を共同出版した。ロシアには、西夏文字のデジタル化とコンピューター処理に関するプロジェクトや研究成果もあるはずだ。

弾性ネットワーク、ニューラルネットワーク、AI アルゴリズム、ディープラーニングを使用して西夏文字を認識することは、中国における先駆的な取り組みです。

[[203171]]
（ドキュメンタリー「神秘の西夏」からのテキストクリップ）

AI による西夏文字の認識は主にコンピューターの光学文字認識 (OCR) 技術に依存しており、これは 1960 年代以降、人工知能研究の主要分野の 1 つとなっています。

その中核技術は、人工知能計算を使用してテキストシンボルのデジタル画像を識別し、対応するデジタルテキストに変換することで、認識可能、編集可能、変換可能という目的を達成することを提唱しています。

OCR 技術は、私たちがよく使用する印刷文書からのテキスト抽出など、多くの分野で現在かなり成熟しています。 OCR 認識の分野では、手書きの内容を正確に認識するアプリケーションが多く、考古学文書であまり広く使用されていない文字を認識するための OCR の使用は基本的に空白です。

ここでは、論文と合わせて、AI が西夏文字を認識する 2 つの事例を簡単に紹介します。

例えば、「弾性ネットワークに基づく西夏文字認識」では、研究者は弾性ネットワーク技術を使用して、西夏文字のストロークの特徴をグリッド抽出しました。次に、各グリッド内のピクセルの確率分布が統計的に分析され、読み取り可能な特徴モデルが形成されます。 ***ドキュメント トピック モデル メソッドを使用して、抽出された特徴の次元を削減し、ドキュメントをデータベースと組み合わせて識別します。

論文によれば、この方法の平均認識率は87.99%だという。

もう 1 つの例は、「平均シフト アルゴリズムに基づく西夏文字のストローク認識」です。平均シフト アルゴリズム、つまりシフトされた平均ベクトルは、機械学習の分野における基本的なアルゴリズムです。その基本理論は、情報密度を使用してクラスタリング、画像セグメンテーション、および追跡タスクを完了することであり、類似しているがぼやけた画像処理アプリケーションにも対処できます。研究者たちはこのアルゴリズムを使用して、元のデータから確率統計ヒストグラムを生成し、類似性に基づいて特定の西夏文字の形状を分類しました。

（西夏文字インテリジェント認識アルゴリズムプロセス）

これらは、2 つの具体的な応用例にすぎません。ディープラーニングなどの最先端の人工知能技術を西夏文字の認識に応用する取り組みは、現在も発展途上にあります。

文学と考古学における人工知能の応用

西夏文字の認識は、私たちの日常生活からはまだ遠いかもしれませんが、人文社会科学全体で推進されれば、AIの応用は別の観点から私たちの生活に近づくかもしれません。

短期的には、AIによる学術効率の向上は、私たちの教科構成、学術訓練、さらには高等教育制度に影響を及ぼす可能性があります。長期的には、AIによる歴史や文書のさらなる識別能力の向上は、私たちが自らの過去を覗き見し、「中国」がなぜ「中国」であるかを理解するための新たなツールとなります。

私たちが未来がもたらす喜びに浸っている間に、人工知能は歴史の分野でその価値をすぐに発揮するかもしれない。西夏文字認識の例から、文学や考古学などの社会科学分野において、人工知能が少なくとも以下の役割を果たすことができることは容易に分かります。

1. アルゴリズムに基づく文化遺物の識別、文化遺物のデジタル化、遺跡のデジタル化など、考古学的画像の認識とアーカイブ化。
2. 文書テキストの認識とトランスコード（元の文書のテキスト認識と読み取り、文書のクラスタリング、文書のデジタル化など）。
3. 文献データベースの知識グラフ化と機械学習アプリケーション。たとえば、主題文献のマッピング、現代文学のマッピング、科学研究プロジェクトデータのマッピング、ナレッジグラフに基づいてトレーニングされた人文科学および社会科学のインテリジェントエンティティなどです。

これは特に重要であり、想像力が最も豊富です。金融や翻訳などの分野が AI に置き換えられる可能性が高いのと同様に、文献学や歴史研究の分野での作業のほとんどはテキストの調査、照合、データの収集に依存しており、これらも AI に完全に置き換えられる可能性があります。

人文科学とAIの間にも同様に越境領域が多く、中には哲学や倫理のレベルでテクノロジーと人文科学が相互作用するものもあります。今後、それらを一つずつ紹介していきます。

AIは風のようなものかもしれません。嵐のときは、どの家庭も身を守るためにドアや窓に鍵をかけるでしょう。しかし、家の中をそよ風が吹き抜けるような感覚で、AIは私たちが気づかないうちに隅々まで浸透しているのです。