在设计和开发用户的个人和公共信息语义个人数码照片注释

文摘

自动化的过程语义注释数字个人照片是一个至关重要的一步越来越高容量的高效和有效的管理内容。然而,这仍然是一个高度挑战性的任务研究社区。本文提出了一种新颖的解决方案。我们的解决方案集成了所有可用的上下文信息来和从用户,如日常邮件,时间表,聊天档案、网页浏览历史、文档、在线新闻,维基百科的数据,等等。然后我们分析这些信息并提取重要的语义条件,使用它们作为语义关键字建议他们的照片。这些关键字的形式命名实体,如人的名字,组织,地点,日期/时间以及高频词汇。实验与主题和总共313照片证明我们提出的方法可以显著帮助用户与注释的过程。我们取得了33%的涨幅注释时间比手工注释。我们也获得了非常积极的结果准确率的建议关键词。

1。介绍

今天的低成本的数码相机和数码存储设备,结合快速采用宽带互联网连接,给消费者比以往更大的控制自己的数码照片收藏。消费者现在可以捕获和储存成千上万的数码照片在他们的个人电脑。他们也可以迅速在互联网上与他们的朋友分享。然而,由于快速增长的个人数码照片,在归档的复杂性和困难,搜索和浏览照片也成比例地增加。在大多数情况下,用户只能组织他们的数码照片的树结构他们正在使用的文件系统,这是很有限的,自然的。因此,用户无法完全享受他们的照片,因为照片的价值在很大程度上取决于如何有效且高效地访问、管理和共享。直到今天,没有完整的实际解决这个日益严重的问题。

这些上述问题是由于缺乏丰富的元数据的相关照片。注释是一个关键的解决方案,使更好的数码照片。换句话说,用户需要提供上下文相关的元数据(有意义的描述)的照片文件。这将允许他们通过搜索找到他们的照片使用更抽象的信息而不是文件或目录的名称。然而,这为用户注释过程是繁琐和费时。因素需要注释成百上千的照片,和普通用户的任务很快就会变得不切实际的行为或跟上。研究表明,尽管人们希望他们的相册是有组织的,许多人并不只有少数多标签,标签或他们不投资的努力他们的照片(1]。因此,大多数照片缺乏注释或者是只保留数字相机默认的文件名。

各种研究成果如何注释图像都进行积极地在过去的十年。一方面,有技术来提取相关元数据直接从图像内容包括颜色/纹理提取、物体识别、人脸检测与识别、基于内容的分类,等等。2000年,Smeulders等等。发表一个全面的调查,这些技术(2]。然而,这些基于内容的技术持有价值有限,因为他们往往不准确,太模糊,准确地代表每个人的解释。其他方法包括设计一个更好的图形注释界面以允许用户轻松地手动输入上下文相关的元数据。此外,有方法,取决于用户的协作。其中一个是一个ESP游戏越来越受欢迎的方法通过使用匿名志愿者的力量帮助手动标签的照片在网络上3]。这个概念也是通过谷歌图片标志(4]。然而,这些合作的方法需要用户的参与一致,消耗他们的时间和精力。不幸的是,这种方法不会为注释工作个人照片,这往往需要私人所有者的周围环境的知识和上下文信息和应用程序的他或她的个人解释环境和时刻。尝试使用其他方法的内容和上下文信息,例如Tuffield等等。(5]。然而,这项工作还很原始,作者只限制几个类型的上下文信息。达塔等等。,recently, produced a detailed survey paper of the progress report in the field from the year 2000 [6]。我们还将进行更详细的关于技术密切相关的部分在相关工作。

在我们的研究中,我们观察这个问题,问以下问题:我们如何为照片生成语义元数据,而无需手动输入数据的所有者?

我们回答这个问题的提出使用最大数量关于照片的上下文信息和用户可用。从照片主人的信息,如电子邮件、日程安排、网页浏览历史,和文件和信息提供给业主,如新闻和百科全书是本研究的重点。我们介绍一种实用的实现模式利用上述信息作为个性化和上下文的语义元数据元数据显示在照片。为此,我们假设每个拍摄照片的确切位置信息可用geophotography基于当前趋势。我们使用这个位置数据除了时间戳数据捕获的照片作为“信息过滤器”相关的上下文信息的照片。通过应用信息提取和检索技术来过滤后的上下文信息,我们的系统可以显示准确的语义关键词每张照片。此外,我们建议使用命名实体,如人的名字和组织,代表的具体语义照片除了高频词汇。

我们设计并实现了一个原型系统。我们也做了实验,以验证系统的有效性和准确性。结果表明,用户可以注释他们的照片明显快使用我们提出的系统。我们也得到了一个令人鼓舞的准确性。

2。建议的方法:利用上下文语义鸿沟的桥梁

2.1。个人数码照片的性质

一个图片或照片,可以对不同的人意味着不同的东西。图像本身没有内在的意义。相反,意思是赋予图像查看器。个人数码照片相比有非常不同的特点与其他类型的图像,比如博物馆或web图像集合中找到。通常是一个用户的个人数码照片反映他们的日常活动。信息从一个人的日常生活是理想的资源用于提取所需的语义信息描述照片在某一天或在很短的时间间隔。

2.2。收集相关信息

许多人使用电脑在家里和在工作中。我们使用它们来准备或咨询我们的时间表,读或写电子邮件,上网,和获取或共享信息与家人,朋友,和他的同事们通过各种互联网服务如聊天、论坛和博客。

在一个典型的场景中,假设我们要旅行,我们可能这在我们的日程计划。在离开之前,我们在网上预订酒店房间,找到最近的公共交通,并寻找一般的信息我们要访问的地方,例如天气、文化、主要景点,和相关的新闻。我们可能会使用百科全书和旅游网站,在线新闻,和其他来源。我们也可以电子邮件或聊天与我们的朋友和家人对我们即将到来的旅行。在现场,我们拍很多照片在我们享受旅行。返回后,我们分享的照片以及印象的地方与我们的朋友和家人通过前面提到的互联网服务。这通常是非常有用的信息,因为它来自一个用户的直接的个人解释照片(通过他们的日程安排、电子邮件、聊天等),以及从其他信息处理环境(如维基百科,旅游网站和在线新闻网站,等等)。这些信息的来源是很重要的,因为发生在周围的环境将直接和间接影响用户的情景记忆。当寻找照片后,用户很有可能使用相同的关键字,他们使用的个人文件和描述的经历在他们的周围环境。我们将这些信息的来源分为两类。

(1)个人信息指从用户上下文信息如时间表,指出,电子邮件,聊天,网页浏览历史,和所有其他文件驻留在他们的电脑或电脑。这些类型的直接链接到用户和个人的信息。(2)公共信息指上下文信息,用户消费如当地新闻自由或非常低廉,世界新闻,百科全书信息、旅游信息和其他信息从网上的公共存储库。这些类型的信息链接到用户直接或间接。

2.3。使用时间和地点作为过滤器照片

正如前面提到的,个人和公共信息很容易或便宜,它提供了巨大的优势。然而,需要一种方法,使我们能够区分的子集获得信息最能代表拍摄照片的背景。要做到这一点,我们认为每张照片的时间和地点是关键的过滤器,因为这些信息是这张照片的基本元数据上下文。

现在所有的数码相机提供时间信息。时间戳指示什么时候照片拍摄是嵌入在每张照片文件本身。此外,大多数相机手机可以推断出一个粗略的位置从GPS或细胞ID信息。很可能所有新相机最终将配备位置捕获系统。此外,大多数数码照片支持位置数据除了时间信息。这些数据可以存储在一个坐标的形式设置(经度和纬度)EXIF头(7的每一个照片。有记录的趋势就向公众提供免费的位置信息数据库。例如,geonames [8)提供免费的地理数据,如地理名称和邮政编码,和它的数据库包含超过800万个条目的地理名称在220万年城市和村庄。Geonames的网站拥有许多功能,包括GPS坐标转换将附近的位置。因此,没有问题就将一组GPS坐标转换成一个确切位置名称。由于这样的服务,我们将能够获得两个关键的过滤器,即时间戳和位置,没有太多的努力在不久的将来。

基于上述事实和假设,知道确切的时间和地点照片拍摄可以用来提取子集的个人和公共信息从用户的pre-scene(前)和post-scene(后)强烈相关照片或一组照片。通过应用一些自然语言处理技术来获得这个信息,我们将能够提取关键词和重要代表建议他们用户验证。

2.4。提取关键字

我们确定了两类关键字提取。

(1)命名实体的关键字指的是强大和确切的专有名词识别相关的文件中找到。产生这种类型的关键字,我们采用计算机语言技术智能解析文档和发现命名实体(NE)信息。在本例中,我们想要重要的情景记忆等信息日期,名字的人,位置名称,和组织名称。(2)统计关键字参考术语频繁出现在相关的文件,可以用来表示这些文件。

图1说明了我们的概念。

3所示。系统设计与实现

我们设计和实现了一个原型系统。我们的系统的整体架构如图2下面是详细的解释与半自动注释注释过程的系统。

(1)用户首先选择他们想要的照片注释。假设这些照片嵌入日期/时间和位置信息。在我们的例子中,每张照片的文件名包含位置名称。(2)提取的日期/时间和位置作为关键过滤器从用户的电脑搜索相关资料包括个人和公共信息。谷歌桌面搜索(GDS)返回给我们的相关文件索引。(3)相关文件的照片关于时间和地点发送到指定的实体提取模块。作为回报,NEs的相关文件对其类别,即日期、地点、人的名字,组织将输出。此外,这些输出NEs排名出现的频率。(4)以同样的方式与前面的步骤,所有相关文件相关照片发送到统计关键字提取模块。这个模块流程这个词排名关键词的排名和输出文档中出现的频率源。(5)在这一步中,元数据(NEs和统计关键字)在步骤(3)和(4)呈现给用户。前建议关键词的每个类别显示在各自领域的接口。用户可以查阅更多的关键词点击放大图标每个字段。最后,用户验证元数据的候选人(必要时他们总是可以编辑或增加元数据)。(6)所有的元数据验证用户转换为MPEG 7 MDS格式和XML数据库发送到我们的存在。所有详细的过程描述如下。

3.1。数据采集

个人信息的用户居住在他们的电脑。目前,有一个巨大的桌面搜索的兴趣。桌面搜索引擎软件可以索引和搜索文件在单个计算机或跨多个网络计算机。世界上最大的软件公司,如谷歌,雅虎!,和Microsoft offer their proprietary versions of the desktop search application. Lu etal. have a comprehensive analysis about the various kinds of desktop search software currently available and their performance metrics [9]。

谷歌桌面搜索(GDS) [10)是最受欢迎的桌面搜索应用程序。GDS管理和索引文件上发现个人电脑。这些文件包括电子邮件、日程安排、网页浏览历史从Internet Explorer和Firefox,办公文档在打开文档和Microsoft office格式,备忘录,PDF,从AOL的即时通讯记录,谷歌,MSN, Skype和几个多媒体文件类型。GDS包括插件为不同的文件格式,允许一个索引和搜索这些本地文件的内容。谷歌桌面电子邮件与谷歌索引特性也是集成的基于web的电子邮件服务Gmail。GDS执行所有跟踪、编目和索引完全独立于Windows的互联网页面进行缓存。因此,用户应该删除他的临时文件夹,缓存,和饼干,记录的数据是由GDS维护计划。这意味着GDS缓存所有HTML网页访问。此外,应该一个web页面被访问多次,Google桌面搜索将存储所有这些页面的缓存副本,给准确的信息呈现给每个访问的浏览器。此外,GDS仅用于索引和检索用户创建的数据。 Consequently, it does not index system-related files such as Microsoft Windows system files. Files stored within the default Windows directory, within the Recycle bin, or those that are invisible are not be indexed. They are excluded from indexing, increasing the efficiency of the program [11]。GDS的另一个特点就是在电脑搜索。这个特性使我们能够搜索我们的文件,在我们所有的电脑浏览网页。例如,一个可以在桌面找到他或她编辑的文件从他/她的笔记本电脑。激活这个特性,需要一个谷歌帐号和GDS程序必须安装在每台计算机(12]。

与这些上述资格,我们决定选择GDS作为数据采集工具。这使我们能够访问所有的个人信息驻留在用户的电脑上。在我们的例子中,为了使它简单,我们也提供公共信息GDS,这样它可以与个人数据索引。为此,我们从互联网新闻和百科全书下载数据,并保持在用户的个人电脑上的本地目录。我们认为以下在线公共存储库公共信息集成:

(1)新闻:MDN每日每日新闻》(13),《朝日新闻》(14)(英语和持续两年的时间),(2)百科全书:英文维基百科15]。通过一个工具叫HTTrack新闻页面下载(16]。工具配置为只下载打印版本的HTML页面最小化任务需要清理不必要的信息页面中如广告、图片、flash媒体。GDS是通过Java API集成到我们的系统,它可以从SourceForge网站(17]。图3总结这一过程。

3.2。相关文件生成

谷歌桌面搜索也是我们的搜索工具相关索引来源日期和地点。这使我们能够利用谷歌的搜索技术。GDS旨在缩小搜索空间区域更有可能包含用户存储的文件而不是文件用于操作和维护电脑。我们定义三种模式的查询GDS能够准确和宽松的查询,以防确切相关资源的数量是有限的。我们限制结果的最大大小设置为100,以保证我们的元数据质量和效率的方法通过保持相关性和计算性能。图4显示生成相关文件的过程。算法1用于检索相关上下文信息从公开的照片和个人信息资源。

3.3。关键字一代

3.3.1。命名实体的关键字

这种类型的关键字相关的来源,信息提取技术是必要的。为此,我们整合文本的一般建筑工程(门)18),一个成熟的开源文本工程平台,进入我们的系统。门有一个近新信息提取(安妮)引擎,一个健壮的信息提取引擎基于有限状态算法。安妮取决于数量的语言处理工具命名实体提取范围从unicode记号赋予器,句子分配器,词性薄铁片、地名表、语义薄铁片匹配器和代词的指称相同。我们介绍一些特定的语言资源情况,如公司名称,城市的名字,别人的名字。我们还开发了一个NE排序和排名模块与门/安妮相关模块。前20名不为每个类别关键字生成的关键词。图5描述了命名实体的关键词提取的过程。我们描述每个元素如下所示。

(我)记号赋予器将文本分为非常简单的令牌,如数字、标点、和不同类型的话语。(2)地名使用纯文本文件列表,每行一个条目。每个列表表示一组名称,如城市的名字,组织,天的星期。(3)句子分配器是一连串的有限状态传感器这段文本的句子。这个模块需要薄铁片。分配器使用地名缩写列表来帮助区分sentence-marking完全停止与其他类型。(iv)安妮的语义薄铁片是基于嘲弄的语言。它包含规则作用于注释指定在早期阶段,以产生输出的带注释的实体。(v)匹配器模块添加名称命名实体身份关系发现语义尾随者,为了执行指称相同。它没有找到新的命名实体,但它可能分配一个类型非保密适当的名称,使用匹配的类型名称。(vi)代词的算法模块执行利于解决使用嘲弄语法形式。(七)命名实体分类机排名和排序发现NEs根据频率的外观和类别。

3.3.2。统计关键字

谷歌桌面搜索是谷歌的一个封闭的技术。我们不能完全配置和程序来分析其索引。因此,我们还需要一个工具来索引相关文件以执行其他类型的关键字提取。Lucene (19)是一个很好的工具来完成这项工作。Lucene是一个开源的信息检索库。Lucene的逻辑架构的核心是一个文档,其中包含字段的文本。这种灵活性允许Lucene API是独立的文件格式。文本从pdf、HTML、Microsoft Word文档,和许多其他人都可以被索引,只要他们可以提取文本信息。在我们的例子中,我们索引的所有相关文件的不同格式的Lucene模块,我们开发了使用Lucene的Java API。这个指数,我们计算每一项的统计发现文档中最常见的术语集合可以作为代表。前30名的关键词然后为每个生成的照片。下面显示了如何计算每个词的频率。

让(我)特遣部队(我,我)出现的次数t(我在文档d(j),(2)DL (j)文件或术语出现在文档的总长度d(j),(3)n相关资源的数量。

太粗糙,因为一个简单的计数项发生相同数量的次简短的文档可能会比在一个长更有价值。因此,我们使用一个简单的基于文档的长度调整。因此,这个词频率计算的:

图6说明了在统计关键字提取过程。

3.4。注释GUI和元数据覆盖

在注释GUI,我们有记者为每个关键词类别的文本字段。下面是每一个人的描述。

(我)谁指的是人的名字。(2)Org。是指组织的名字。(3)在哪里名字指的是位置。(iv)当是指日期/时间。(v)免费的关键字指统计关键字。在生成新经济学院和统计关键字,默认情况下,第一个顶级不插入谁和Org。而3统计关键字插入字段免费的关键字字段的注释接口。当和在哪里分别字段也充满了时间和地点的照片。用户可以编辑这些默认关键词如果必要的。除了这些自动生成的关键字,我们也有其他类别的关键字在我们的界面。他们包括以下。

(我)事件指对照片的原因。我们准备一些预设值的事件,如生日,婚礼,会议,毕业典礼,节日,新年,用户可以选择或添加自己的关键词。(2)如何指行为或情绪的照片。(3)自由文本是指自由文本描述的照片。我们介绍了这些额外的类别来改善我们的元数据检索的语义完整性的任务。尽管事件和如何由当前系统不建议,我们相信这些关键词可以覆盖的统计我们生成的关键字。因此,我们可以覆盖所有相关的问题,包括照片W5H1(何人,何事,何地,何时,为什么,以及如何)问题(什么也可以发现在统计关键字)。请参考图7 (b)为我们的注释接口。

3.5。元数据格式和存储数据库

与都柏林核心(20.)旨在简单,MPEG-7 [21)提供给丰富的视听媒体描述的方法。因为我们的工作侧重于语义元数据的照片,MPEG-7元素集是最好的选择。在我们的例子中,我们扩展了结构化注释MPEG-7多媒体描述方案的基本工具(MDS) [22适应和包括所有类别的元数据提取。

因为我们MPEG-7元数据是基于XML的,我们也选择XML原生数据库来存储图片元数据以提高检索功能(搜索和浏览)。为此我们选择存在数据库。存在是一个开源的原生XML数据库高效、基于索引的XQuery处理、自动索引,为全文搜索扩展,XUpdate支持和紧密集成与现有XML开发工具(23]。

4所示。实证评估

4.1。验证目标

我们调查我们的系统性能的两个理由是:

(1)人工注释,注释的时差我们提出系统使用内置的关键词建议功能。(2)我们的准确性提出了命名实体的关键字和统计关键字通过计算他们可接受的命中率。

4.2。参与者和数据集

4.2.1。准备主题

我们可以招募十个科目的实验系统。所有受试者在研究生院计算机科学学生早稻田大学的全球信息和通信研究。他们都熟悉电脑;他们使用和使用电脑在日常生活中。三个受试者妇女和七人。

4.2.2。个人照片

每个主题都要求提供超过30个人照片被接管的六个月。照片是来自观光等事件,朋友聚会,宴会,野餐等等。平均每个主题提供照片5事件。每个事件都有大约5的照片。我们收集了313张照片。

受试者被要求安装谷歌桌面搜索(GDS)和激活它每次他们使用他们的电脑。虽然GDS节中描述自己的缓存索引文件系统3.1,受试者被要求不要在电脑上删除任何文件。这是必需的,这样我们可以生成链接到相关文件生成过程中原始文件。科目也需要在他们的电脑上安装我们的原型系统。

就像前面提到的3.1,我们手动下载新闻从在线存储库和维基百科。然后我们这个数据打包成一个文件夹命名public_information并要求受试者将其保存在电脑上。谷歌桌面搜索然后配置包含此文件夹到它的索引。

4.3。实验过程

首先,为了使位置信息对于每一个照片,我们要求受试者将自己的照片的确切位置的名称作为文件名称的照片。要做到这一点,我们提供了一个拖放界面对象可以很容易地输入姓名的照片(s)的位置。

实验是由三部分组成的过程。前两个部分是时间评估和第三个是测量精度。首先,主题将手动标注自己的照片。第二,受试者被要求注释他们的照片与关键字建议使用我们提出的原型系统功能。两部分之间的实验中,我们留下一个缺口这样主题有2到3天的时间忘记他们之前输入的关键词。这样做是为了避免一个主题的记忆的影响关键词的照片时,他们已经输入到系统的第一步。用户被要求至少输入一个关键字的谁和Org。字段。他们必须输入至少三个关键词免费的关键字字段。最后,受试者被要求法官自动生成的关键词的准确性为每个照片之前我们保存到文件执行第二步。

也请注意,我们在做这个实验的受试者的自己的电脑,用他们自己的照片。因此,时间根据不同配置的电脑。关于实验的三个部分的更多细节。

4.3.1。人工注释

用户开始实验通过手动注释他们的照片和一个空白的界面。一个空白的界面是类似于我们提出的界面系统。它为每个类别的关键字的所有字段。然而,唯一的区别就是没有建议功能接口。每个文本框代表一个相应类别的关键字。因此主题必须手动输入注释关键词文本字段。注释的时间为每个照片记录。图7(一)展示了我们的空白注释接口。

4.3.2。注释与关键字建议功能

在这一步中,受试者注释他们的照片的帮助下我们的系统。关键词的每个字段显示在相应的文本字段。科目可以咨询其他少排名关键词点击放大图标并选择从下拉列表中建议的条款。在任何时候,受试者可以修改建议关键词或如果他们发现有必要添加自己的关键词。图7 (b)展示了我们的注释与关键字建议功能接口。

指出,在没有找到相关文件,顶部不关键字和总指数统计关键词发现将建议。相同的方式在前面的任务,我们记录每张照片的注释的时间。还指出,在这一步的开始,对于每一个照片,我们自动生成以下:30免费的关键字,5人的名字,和5组织名称。然后我们将这些保存到一个文件的最后一步实验(关键字来判断)。

4.3.3。关键字来判断

在这一步中,我们要求受试者工作自动关键字候选人的每个字段生成。受试者识别所有的可接受的关键字手动的每个字段。可接受的关键字是指所有关键词相关的照片和适当的关键词来描述或记得这张照片。

4.4。结果与讨论

4.1.1。实验结果和分析

精度
我们评估的准确性和覆盖率建议关键词通过使用下列公式: 在哪里(我)p是照片的总数,(2)k建议关键词的数量,(3)n预计可接受的关键词的数量,(iv) 热门关键字的函数吗我来的照片j:(一) = 0,如果关键字是不能接受的,(b) = 1,如果关键词是可以接受的。

图8(一个)表明提出的人的名字的可接受的命中率和组织从31%逐渐下降(世卫组织)和27% (Org)。19%和9%,分别当名字建议的数量从1到5。两个类别的名字建议可以持有约30%的被接受。然而,通过整合一起5建议名称,图8 (b)表明,99%的照片将至少1接受人姓名和大约49%的照片将有至少1接受组织的名称。

图9(一个)讨论了自动建议统计关键词的准确性。我们可以看到,命中率达到峰值水平(60%),我们建议4或5关键词。这意味着我们将得到3接受关键词如果我们建议用户提供5个关键字。这是重要的。然而,图9 (b)表明,如果我们自动建议30关键词,可接受的关键词的平均数量的照片是8。进一步分析,如果我们计算8接受关键词的覆盖率的百分比的照片照片至少8接受正确的建议的关键词,我们想出结果图9 (c)。这表明达到80%、90%或100%的覆盖率,我们需要提供15日20日和29个关键词。这些结果是非常令人鼓舞的。

时间
我们得出以下结果。图10 ()显示9 10个科目中获得受益于这种方法。图10 (b)描述了,在我们获得一个整体平均33%的传统人工注释注释的时间。这是重要的用户。分析的结果
(我)在总体上,我们的方法使得我们获得良好的准确率和时间增加,尽管大量多样性的相对主观性的照片和我们的主题。然而,我们不应忽视这些影响。例如,在图10 (),我们的系统无法克服的问题10号。这是由于这样的事实,他的大部分照片是风景从旅行到不同的地方,包括任何个人或组织名称。在这种情况下,主题必须花时间去编辑错误建议NE关键词或空白字段(当没有关键词发现由自动化系统)。此外,他认为新的关键字属性手动他的照片。我们注意到类型、大小和数量的文件通常由用户生成链接到该用户的习惯。这最终影响了这项研究的结果。我们发现了数据的平均大小总是小于100 KB。相关文件大于这个尺寸通常产生更多的噪音。此外,它是最有助于个人信息可接受的关键词。公共信息只占在事件是突发新闻事件或发生在一个受欢迎的地点或时间(如新年、圣诞节,在东京圆顶)。 Events such as a simple dinner gathering do not create the same impact. Therefore, we will establish a threshold in order to adjust to these variants.(2)很明显,也有很强的相关性之间的准确率和注释。然而,我们认识到,设计一个更好的接口可以节省更多的时间。在我们的例子中,受试者必须首先单击放大图标然后单击从列表中选择另一个关键词的关键词,这个过程需要时间。更有效的显示用户的关键字列表的接口,这样他们就可以直接拖放到每个各自的关键字类别的文本字段。此外,默认我们的原型系统自动输入关键词的文本字段,每个类别的虽然有些关键词可能不是可接受的。这需要用户编辑时间和/或删除。因此,最好是直接显示用户的关键字列表的接口,用户可以拖放文本字段相应关键字的类别。然而,并非所有的关键字候选人应该显示在第一位。例如,从上面的结果,我们发现,如果我们建议5名世卫组织和机构。领域,我们将得到一个可接受的名字的覆盖率为99%和49%,分别。 And, for the statistic keywords, if we suggest 5 keywords, we could get 3 acceptable keywords. We also found that when we suggest 29 keywords, we will have 8 acceptable keywords with the coverage rate of 100%. However it is not practical to show all of these keywords. In this case, it is best to show the top 5 suggested keywords. To display other keywords, users just move the mouse pointer to the right or to the left at the end of the suggested keywords zone and other less ranked and high ranked keywords would appear, respectively. Figure11显示了我们提出的基于接口的注释结果。(3)信息提取的部分也需要大量的时间,因为它涉及到大量的自然语言阶段。更好的获得可以实现离线如果我们能够执行这个任务。

10/24/11。讨论

有很多问题,当前的原型系统不关注他们值得一说。

(我)我们不专注于区分照片是在子事件发生在相同的时间和地点,即使它们在视觉上不同。因此,在我们的案例中,对于不同的照片在同一日期和地点,即使它们是视觉上不同,相同的生成相关文件。因此相同的候选关键字将建议。然而,由于我们产生很多关键字,用户可以选择在该关键词以适应相应的子事件中的每个的照片。我们相信这是一个强大的解决方案,将方便用户区分和召回的事件发生在同一日期与自动关键字。此外,已经有大量的研究工作在乃缦等这些问题等等。(24]提出算法来发现子事件(如生日派对)。此外,用观察和谈话对象让我们学习,常常不知道他们最终将属性的关键字的照片。我们的系统帮助用户与这个任务不仅显示关键字与照片,还帮助他们回忆其他相关关键词。不幸的是,用户倾向于选择关键词从我们的建议条款,而不是生成最佳新关键字对于一个给定的照片。(2)隐私也是一个问题。谷歌桌面搜索,例如,仅仅索引访问的所有文件。然而,应该具有管理权限的用户安装和运行GDS在多用户环境中,程序索引和搜索所有文件不管他们的所有者。我们的目标是解决这一问题在我们未来的工作。(3)建造一个快速原型,我们需要部分依赖大量开源api,我们试图选择最好的作为我们的性能取决于他们。

5。其他功能

除了注释引擎,我们还建立了搜索和浏览引擎。

5.1。搜索

我们提供五种搜索,即人的名字,日期,地点,关键字和全文。我们执行查询的每个类别存在XML原生数据库通过使用XQuery和XPath。默认情况下,执行全文搜索匹配输入关键字对整个元数据。图12展示了我们提出的搜索界面。

5.2。浏览

我们还建立了一个实验性的浏览系统基于情景的元数据,我们从注释引擎。我们相信,我们提供一个灵活的浏览界面,与传统的不同。

在我们的例子中,我们将浏览类别分为四:时间、地点、人的名字,和关键字。用户将这些不同类别的元数据来完善这张照片集,直到他们达到他们希望看到的照片。他们可以去更深的向后或返回。与我们的接口,为用户导航变得容易得多。接口给提示浏览过程的每个阶段,显示每个类别的元数据可能的候选人。因此全面用户更容易的浏览体验。图13描述了我们建议的浏览界面。

6。相关工作

本节提供了本文中所描述的研究的背景和上下文内工作。图像标注技术,是迄今为止的研究可以分为三个主要类型:手动、半自动和自动。

6.1。人工注释(UI改进)

有很多图片管理工具(包括商业和研究原型)提供人工注释功能。遵循所描述的几个选择系统,代表了当前可用的工具的基本功能。

Adobe Photoshop专辑[4)允许用户定义自定义关键字标签的人,地方,或事件和把它们拖到照片,这样就可以搜索后使用这些标签。标签可以分为类别和子类别为方便注释和动态组织照片。虽然注释系统是有限的,但它仍然比基于文件夹的方法更有效。另一方面,Google的Picasa的注释过程(25和看图软件26仍然是非常耗时。用户需要手动输入关键词。他们只改善外观的GUI工具。

一个研究原型,PhotoFinder [27),有一个拖放技术,使用户能够拖动方面(如人的名字)和地点在一个图像。PhotoFinder将注释与坐标在每张照片后允许搜索查询,例如“保罗旁边詹妮弗。“在另一端的频谱是哈里发,哈里发&哈马德•本•哈利法•阿勒萨尼项目的一部分(28]。哈里发是一个语义注释工具旨在帮助用户定义语义对象与他们的照片,稍后可以被重用。哈里发通过哈马德•本•哈利法•阿勒萨尼还可以执行高效的检索工具。

总的来说,这些技术的两个明显的负担,他们时间密集的和乏味的。此外,在标注过程中用户需要高度重视才能是有效的。

6.2。半自动注释(包括协作注释)

半自动技术提出一些关于用户的信息安排和集群的照片而不是让用户输入自己的一切。

Wenyin等等。提出了MiAlbum [29日)系统使用反馈来逐步改善注释在搜索过程。当用户提交关键字查询时,会产生三种结果在屏幕上:图像相关的关键字,图片视觉相似的相关图片,和随机选择的图像。用户使用翘拇指图标法官产生的图像。如果用户满意,搜索关键字将归因于这一形象。注释的总体质量改进与扩展使用这样的一个系统。

嗯框架(30.)允许照相手机用户注释他们的照片立即他们捕获的图像的位置。该系统首先显示时间和位置信息,然后生成其他的信息填充列表,其他人以前通过协作共享他们的数据填充标签。也采用类似的策略在雅虎等在线照片管理系统,ZoneTag [31日]。

乃缦等等。(32)提出了一个系统内表明身份照片使用同现和复发模式。假设工作准确位置信息是可用的照片除了日期/时间信息。方法依赖于以前的身份有关的其它照片收藏。

Photocopain由Tuffield等等。(5),旨在利用可用的信息,比如EXIF元数据,日历数据,社区标签,和GPS。然而,有更多的关注比上下文内容分析,只有几种考虑上下文信息。工作仍处于早期阶段。

还有许多其他有趣的方法在这个类别,但我们专注在那些与我们的工作密切相关。其他方法,如SmartAlbum系统,假设每个照片都有语音注释,使用语音识别方法和工作分析语音信号(33]。Girgensohn等等。(34)使用面部识别技术来促进人的注释出现在照片。主要的担忧与这些类型的系统源于这样一个事实,大多数的目标语义信息的一个方面,从而为实际实现创建一个缺乏可伸缩性。

6.3。自动注释

今天的许多图片搜索引擎,如谷歌图片搜索(35),使用周围的文本来生成大量的元数据在网络上的图片。在web图像域有越来越多的调查系统。最近的一个这样的系统,AnnoSearch [36),注释首先使用一个精确的计划关键词获得文件名或周围文本为了寻找其他web图像。然后,合成图像进行比较和集群视觉和语义。李,王提出了一个自动语言索引图片或实时(ALIPR) [37]。这个系统是一个自动图像标注系统,从训练数据集和用户学习并能够实现时间和精度的重要结果。周等等。已经创建了一个交互式图像注释的方法通过将关键字相关性和区域匹配(38]。但是,结果仍然可以改进。

咏叹调(39使用户能够注释他们的照片而写电子邮件。它会自动将注释添加到相关的照片在一个集合正在写电子邮件。这是通过使用信息从常识数据库(40]。

总之,当前使用的系统是一个积极的趋势的一部分,和工具的这种不需要用户的干预是非常必要的。然而,这些系统仍然需要工作,注释通常模糊和不准确的。

6.4。总结

尽管前面提到的多样性努力工作,生成注释的主要挑战代表一个人的解释他们的照片仍然没有解决。所以就说,“一张图片胜过一千个单词。“在一个理想的世界,一个完美的对象/人脸识别算法存在,电脑仍无法模仿一个人的知觉图不考虑它的上下文。Photocopain系统几乎成功地将上下文信息与注释。然而,一个完美的系统需要一层深,密切关注集成所有可用的信息来和从用户在他们的周围环境。本文介绍的系统正在努力实现这一目标。

7所示。结论

一个计算机系统,准确地显示注释或关键词的用户非常有用。如果用户太忙来创建自己的关键词,他或她可以简单地从电脑选择提出了相关关键字列表和添加更多的他/她自己的。在本文中,我们提出一个新颖实用范例应对这种类型的用户需求。我们为现成的照片生成相关的关键字公共和私人来源建模的信念,通常是最好的权限的用户来描述他或她自己的照片和这些用户描述通常可以帮助大多数照片的生成一个精确的解释。与313年10日我们的实验对象照片和结果已经证明我们的理论是正确的。我们建议的方法有助于这一结果在三个方面。

(1)它有助于减少语义鸿沟。这是因为部分关键词是自己的关键词(个人信息),其余部分是那些他们熟悉,从新闻、百科全书和其他来源(公共信息)。另外,我们介绍使用命名实体捕捉关键词的确切含义。(2)手动semiautomates注释的任务而不是工作。这个系统还可以帮助用户召回事件显示关键字。(3)它提供了一个实用的实现框架。这种方法非常简单,完全不受监督。不需要监督学习训练的元数据注释的预测。此外,我们正在提取更多类别的元数据,例如对象(有生命和无生命的)事件,感觉,行为,数字,和它们之间的关系。了解不同类别的这些关键词之间的关系将加强我们现有的元数据。此外,我们的“相关工作”一节中描述的方法可以补充到这个工作。最后,本文提出的方法可以很容易地扩展到其他个人媒体,如视频、文本和音频驻留在一个人的电脑。

承认

作者想感谢匿名评论者的建设性的意见,帮助我们改进手稿。有人指出部分本文提出了IEEE Int。Conf.多媒体和世博会,北京,200741]。

引用

1. m .乃缦,a . Paepcke和h . Garcia-Molina”从哪里:元数据共享与地理坐标数码照片,”学报》第11届国际会议合作信息系统(CoopIS ' 03)卡塔尼亚,页196 - 217年,西西里,意大利,2003年11月。视图:出版商的网站|谷歌学术搜索
2. a·w·m·Smeulders m .不用Santini, a·古普塔和r . Jain,“基于内容的图像检索的早期,“IEEE模式分析与机器智能,22卷,不。12日,第1380 - 1349页,2000年。视图:出版商的网站|谷歌学术搜索
3. l . von Ahn和l . Dabbish”与电脑游戏标签图像,”SIGCHI会议程序在计算系统人为因素(CHI的04),第326 - 319页,维也纳,奥地利,2004年4月。视图:出版商的网站|谷歌学术搜索
4. “谷歌图片标志”,2008年,http://images.google.com/imagelabeler/。视图:谷歌学术搜索
5. d . p . m . Tuffield美国哈里斯Dupplaw et al .,“图像与photocopain注释,”学报第一国际研讨会上多媒体的语义Web注解(SWAMM 06年)2006年5月英国爱丁堡。视图:谷歌学术搜索
6. r·达塔·d·乔希,j·李和j . z王”图像检索:思想、影响和趋势的新时代,”ACM计算调查,40卷,不。2,p。2008。视图:谷歌学术搜索
7. “Exif和相关资源,http://www.exif.org/。视图:谷歌学术搜索
8. “Geonames”, 2008年,http://www.geonames.org/。视图:谷歌学术搜索
9. C.-T。陆,m . Shukla s . h . Subramanya吴y,“绩效评估的桌面搜索引擎,”《IEEE国际会议信息重用和集成(IRI ' 07),页110 - 115,IEEE系统,人,和社会控制论,拉斯维加斯,内华达州,美国,2007年8月。视图:出版商的网站|谷歌学术搜索
10. “谷歌桌面搜索,”2008年,http://desktop.google.com/。视图:谷歌学术搜索
11. b·特恩布尔b Blundell j .杀,”Google桌面作为数字证据的来源,”国际期刊的数字证据,5卷,不。1、1 - 12,2006页。视图:谷歌学术搜索
12. “谷歌在电脑桌面找找,”2008年,http://desktop.google.com/features.html。视图:谷歌学术搜索
13. “每日新闻”,2008年,http://mdn.mainichi-msn.co.jp/。视图:谷歌学术搜索
14. “朝日英语新闻”,2008年,http://www.asahi.com/english/。视图:谷歌学术搜索
15. “维基百科”,2008年,http://en.wikipedia.org/。视图:谷歌学术搜索
16. “HTTrack”, 2008年,http://www.httrack.com/。视图:谷歌学术搜索
17. “谷歌桌面搜索Java API,”2008年,http://sourceforge.net/projects/gdapi。视图:谷歌学术搜索
18. h·坎宁安d·梅纳德k . Bontcheva诉Tablan,”门:一个框架和健壮的NLP的图形开发环境工具和应用程序,”40周年会议的程序计算语言学协会(ACL的02)美国宾夕法尼亚州,费城,2002年7月。视图:谷歌学术搜索
19. “Apache Lucene”, 2008年,http://lucene.apache.org/。视图:谷歌学术搜索
20. “都柏林核心Matadata倡议”,2008年,http://dublincore.org/。视图:谷歌学术搜索
21. “MPEG-7概述”,http://www.chiariglione.org/mpeg/standards/mpeg 7/mpeg - 7. htm。视图:谷歌学术搜索
22. p . Salembier和j·史密斯,概述多媒体描述方案和模式的工具美国,addison - wesley,阅读,质量,2001年。
23. “XML数据库存在,”2008年,http://exist.sourceforge.net/。视图:谷歌学术搜索
24. m .乃缦y . j .歌曲,a . Paepcke和h . Garcia-Molina”自动与地理坐标数码照片,组织”第四届ACM和IEEE学报》联合会议上数字图书馆(JCDL ' 04)53 - 62页。,图森,亚利桑那州,美国,2004年6月。视图:出版商的网站|谷歌学术搜索
25. “毕加索”,2008年,http://www.picasa.com/。视图:谷歌学术搜索
26. “看图软件pro。“2008年,http://www.acdsystems.com/。视图:谷歌学术搜索
27. h·康和b Shneiderman可视化方法个人图片集:浏览和搜索PhotoFinder,”多媒体和世博会的国际会议(ICME ' 00),3卷,页1539 - 1542,纽约,纽约,美国,2000年7月。视图:出版商的网站|谷歌学术搜索
28. m .勒克斯,j·贝克尔和h . Krottmaier“语义标注和检索的数码照片,”学报15先进信息系统工程国际会议(CAiSE ' 03)克拉根福,奥地利,2003年6月。视图:谷歌学术搜索
29. l . Wenyin y太阳,h·张,“MiAlbum-a家庭照片管理系统使用半自动的图像标注方法,”第八届ACM国际会议多媒体学报》上ACM出版社,页479 - 480年,洛杉矶,加州,美国,2000年10月。视图:谷歌学术搜索
30. r . Sarvas e . Herrarte a·威廉·m·戴维斯,“元数据创建移动图像,系统”第二届国际会议在移动系统中,应用程序和服务(MobiSys ' 04),页36-48,ACM出版社,波士顿,质量,美国,2004年6月。视图:出版商的网站|谷歌学术搜索
31. “雅虎!研究伯克利ZoneTag。”http://zonetag.research.yahoo.com/。视图:谷歌学术搜索
32. m .乃缦r·b·叶h . Garcia-Molina和a . Paepcke”充分利用上下文解决身份的相册,”第五届ACM和ieee cs学报》联合数字图书馆会议(JCDL 05)ACM出版社,页178 - 187年,丹佛,科罗拉多州,美国,2005年6月。视图:出版商的网站|谷歌学术搜索
33. p . j . t . Tan Chen Mulhem, m . Kankanhalli“SmartAlbum:多照片注释系统,”第十届ACM国际多媒体会议学报》上ACM出版社,页87 - 88年,Juan-les-Pins,法国,2002年12月。视图:出版商的网站|谷歌学术搜索
34. a . Girgensohn j·爱德考克,l·威尔科克斯,“利用人脸识别技术来查找和整理照片,”学报第六届ACM SIGMM国际研讨会上多媒体信息检索(MIR 04年)ACM出版社,页99 - 106年,纽约,纽约,美国,2004年10月。视图:出版商的网站|谷歌学术搜索
35. “谷歌图片搜索”,2008年,http://images.google.com/。视图:谷歌学术搜索
36. X.-J。王,l .张f . Jing, W.-Y。妈,“AnnoSearch:图像auto-annotation搜索”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 06年),卷2,页1483 - 1490,IEEE计算机协会,纽约,纽约,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
37. j·李和j . z王“实时计算机注释的图片,”学报》第14届ACM国际会议多媒体06年(毫米)ACM出版社,页911 - 920年,圣芭芭拉分校,加州,美国,2006年10月。视图:出版商的网站|谷歌学术搜索
38. 问:张周x m . Wang, j . Zhang和b·史”自动图像标注通过迭代方法:将关键字的相关性和区域匹配,”学报第六届ACM国际会议上图像和视频检索(CIVR ' 07),页25-32,ACM出版社,阿姆斯特丹,荷兰,2007年7月。视图:谷歌学术搜索
39. h·利伯曼,大肠Rosenzweig p·辛格,“咏叹调:一个代理进行标注和检索图像,”电脑,34卷,不。7日,57 - 62,2001页。视图:出版商的网站|谷歌学术搜索
40. p·辛格,“公众常识知识的获得,”2001年,http://citeseer.ist.psu.edu/singh02public.html。视图:谷歌学术搜索
41. 萨林,t . Nagahashi m . (w . Kameyama,“利用用户的个人和公共信息为个人照片注释”《IEEE国际会议多媒体和世博会(ICME 2007),第567 - 564页,北京,中国,2007年7月。视图:出版商的网站|谷歌学术搜索

版权

版权©2008 Supheakmungkol沙林等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。