AIを前提とした緩いメタデータ結合の研究 by Spockさん | デジタル改革アイデアボックス

あなたと創るデジタル社会

デジタル改革アイデアボックス


アイデア番号
@03603

AIを前提とした緩いメタデータ結合の研究

カテゴリー
0-1.デジタル社会に関する意見
寄稿者
Spockさん
投稿日時
コメント数
1コメント
評価P
2ポイント

デジタル化においてネックとなるのは、何かと何かをつなぐ時、そこのプロトコルや機能の解釈を合わせなければいけないが、そのための情報整備(メタデータ)がないことです。

複数のデータを組み合わせるに当たっては、お互いのデータ表現法の細かい違いをいちいち揃えなければなりませんが、多対多で且つお互いが進化する前提では、整合性をとるのは大変です。ドキュメントがない、ドキュメントと実体が合っていない、特定のデータに別の意味をもたせる(年がゼロだとどう、空欄だとこう、等)、不正なフォーマットのデータを許してしまっている(年号で全角を許している、あり得ない年号、等)、です。データウェアハウスに対してデータレイクが出てきた背景にも、そこの困難さがあるのではないかと思います。

データが少数・固定である場合はまだしも、大量・変動追加ありを前提にする場合、完璧にメタデータを整備するという方向性では追いつきません。そこで、今あるデータから仕様をリアルタイムに自動で推測する、という方向性が考えられます。例えば、あるデータベースで年月日とあるデータなら、恐らくそれは年と月と日のデータが入っているのだろうと推測して、またそれが西暦か和暦かはデータの中身を見て推測する、というような仕掛けを導入するのです。要するに、データウェアハウスで言うところのデータクレンジングを自動でやるわけです。

本来はきっちりしていなければならないAPI同士の結合を、AIの推測でやるわけですから、少なくとも当初は精度が悪いだろうし、あまり使い勝手は良くないでしょう。しかし、ここのAIを鍛えてやり、精度が十分になれば、複数のデータを接続するに当たっての労力を大幅に削減する可能性に繋がります。つまり、何かしら新しいデータが発生した途端、既存の巨大なデータ相互利用の枠組みに接続可能となるわけです。

ページの先頭へ