沃卡logo

10种生成式人工智能颠覆传统数据库的方式

2023-08-15来源:

10种生成式人工智能颠覆传统数据库的方式

尽管生成式人工智能在今年极其引人注目,但新时代的最大变革可能深藏在软件堆栈中。AI算法在视野之外改变着世界,生成式人工智能正在颠覆传统数据库中的固定结构表格,用更复杂、适应性强且更直观的新AI能力来追踪和处理这个世界的数据。

数据库的更新涉及到数据存储堆栈的每个层级,基本数据结构正在被审查。数据库厂商正在改变我们存储信息的方式,以更好地与AI模型配合工作。数据库管理员的角色,曾经沉闷而枯燥,但现在正演变为更加广泛的角色。

以下是数据库随着AI的发展而发生变化、适应或改进的10种方式。

向量和嵌入

AI开发人员喜欢将信息存储为一长串数字的向量。过去,数据库将这些值存储为行,每个数字位于单独的列中。现在,一些数据库支持纯向量,因此无需将信息拆分为行和列,用于存储的某些向量可能由数百甚至数千个数字组成。

这样的向量通常与嵌入配对使用,嵌入是一种将复杂数据转换为单个数字列表的模式。设计嵌入仍然是一门艺术,并且常常依赖于对底层领域的知识。当嵌入设计良好时,数据库可以提供快速访问和复杂查询。

像Pinecone、Vespa、Milvus、Margo和Weaviate等公司正在构建专门用于存储向量的新型数据库。其他公司如PostgreSQL正在将向量添加到其现有工具中。

查询模型

将向量添加到数据库带来的不仅仅是方便。新的查询函数不仅可以搜索精确匹配,还可以定位“最接近”的值,这有助于实现推荐引擎或异常检测等系统。将数据嵌入向量空间简化了涉及匹配和关联的棘手问题,使其变为纯粹的几何距离。

Pinecone、Vespa、Milvus、Margo和Weaviate等向量数据库提供向量查询。一些意想不到的工具,如Lucene或Solr,也提供相似度匹配功能,可以通过大块非结构化文本提供类似的结果。

推荐

新的基于向量的查询系统比过去的查询方式更神奇且富有神秘感。旧的查询只会寻找匹配项;而这些由人工智能驱动的数据库有时更像是在读取用户的思维。它们使用相似度搜索来找到“接近”的数据项,这些数据项通常与用户所需相符。底层的数学原理可能仅仅是在n维空间中计算距离,但不知何故,这已经足以提供意想不到的结果。这些算法长期以来一直作为完整应用程序独立运行,但它们正在逐渐被融入数据库本身,从而可以支持更好、更复杂的查询。

Oracle只是一个针对这个市场的数据库示例。Oracle长期以来一直提供各种模糊匹配和相似度搜索功能。现在它直接提供了针对在线零售等行业定制的工具。

索引范例

过去,数据库构建了简单的索引,支持按特定列进行更快的搜索。数据库管理员擅长使用连接和过滤子句来创建复杂查询,通过适当的索引可以提高查询速度。现在,向量数据库被设计为创建跨向量所有值的有效索引。我们刚刚开始探索各种应用程序来找到彼此“相邻”的向量。

但这只是个开始。当AI在数据库上进行训练时,它会吸收其中所有信息。现在,我们可以用普通语言向AI发送查询,而AI将以复杂但自适应的方式进行搜索。

数据分类

人工智能不仅仅是在数据库中添加一些新的结构,有时,它会在数据的内部添加新的结构。有些数据以一堆凌乱的位表示。可能存在没有注释的图像或很久以前某人写的大块文本。人工智能算法会清理混乱,并对混乱的数据集进行排序。它们可以自动填写表格,对一块文本进行情感分类,猜测照片中面部的态度,从图像中提取细节,并且算法还可以学会检测模式。它们对数据进行分类、提取重要细节,并创建一个规则清晰的信息表格视图。

亚马逊网络服务(Amazon Web Services)将SageMaker等人工智能工具与Aurora等数据库连接起来,提供各种数据分类服务,。

更好的性能

好的数据库可以处理许多数据存储的细节。在过去,程序员仍然需要花时间纠结于数据库使用的各种参数和模式,以使其高效运行。数据库管理员的角色是为了处理这些任务而设立的。

现在许多这些高级元任务都正在自动化进行,通常通过使用机器学习算法来理解查询模式和数据结构。它们能够监控服务器上的流量,制定调整策略以满足需求,并且可以实时适应并学会预测用户所需。

Oracle提供了最好的例子之一。过去,公司为数据库管理员支付高薪。现在,Oracle将其数据库称为自主数据库,因为它们配备了先进的人工智能算法,可以实时调整性能。

数据清洁度

运行一个良好的数据库不仅需要保持软件的正常运行,还需要确保数据尽可能干净且没有故障。人工智能通过搜索异常、标记异常并可能提出修正建议简化了这项工作量。它们可以找到客户姓名拼写错误的地方,然后通过搜索其他数据找到正确的拼写。它们还可以学习传入数据格式,并将数据摄取到一个单一统一的语料库中,使所有名称、日期和其他细节以尽可能一致的方式呈现。

微软的SQL Server是一个与数据质量服务紧密集成的数据库示例,可以清理具有问题(如缺失字段或重复日期)的数据。

欺诈检测

创建更安全的数据存储是机器学习的一个特殊应用。一些人正在使用机器学习算法来查找其数据流中的异常情况,因为这些异常情况往往是欺诈行为的很好指标。某人是否在深夜首次去自动取款机?此人是否曾在该大陆使用过信用卡?AI算法可以嗅探出危险信号,并将数据库转变为欺诈检测系统。

例如,Google的Web服务提供了几种选项,可以将欺诈检测集成到您的数据存储堆栈中。

更严密的安全性

一些组织正在内部应用这些算法。人工智能不仅仅是为了优化数据库的使用模式,它们还在寻找可能表明有人正在入侵的异常情况。远程用户不会每天都请求完整复制整个表格。一个好的AI可以嗅出可疑之处。

IBM的Guardium Security就是一个与数据存储层集成以控制访问并监测异常情况的工具示例。

将数据库和生成式AI融合

过去,人工智能与数据库相分离。在训练模型时,数据会从数据库中提取出来,重新格式化,然后输入到人工智能中。现在的新系统直接从现有的数据中训练模型。对于最大的任务来说,这样做可以节省时间和能源,因为仅仅将数据迁移可能需要几天甚至几周的时间。这也简化了开发运维团队的生活,使得训练一个人工智能模型就像发出一个命令一样简单。

甚至有人提议完全替换数据库。不再将查询发送到关系型数据库,而是直接发送给一个人工智能,它会以任何格式回答查询。谷歌提供了Bard,微软则推出了ChatGPT。它们都是取代搜索引擎的严肃竞争对手。它们同样完全可以取代传统的数据库。

这种方法也有一些缺点。在某些情况下,人工智能会产生幻觉,并给出完全错误的答案。在其他情况下,它们可能会心血来潮从而改变输出的格式。

但是,当领域足够垂直、训练集深度且完整时,人工智能可以提供令人满意的结果。而且,它能够避免定义表格结构和强迫用户编写查询来查找数据的麻烦。使用生成式人工智能来存储和搜索数据可以更加灵活,适用于用户和创建者双方。

  图片使用申明:原创文章图片源自‘Canva可画’平台免费版权图片素材;引用文章源自引用平台文章中所使用的原图。