1. 搭建Lucene的开发环境：在classpath中添加lucene-core-2.9.1.jar包
  
2. 全文搜索的两个工作: 建立索引文件,搜索索引.
  
3. Lucene的索引文件逻辑结构
  1) 索引(Index)由若干块(片段)(Segment)组成
  ★2) 块由若干文档(Document)组成: 一个文件映射成一个文档。数据库表中的一条记录映射成一个文档。
  ★3) 文档由若干域(Field)组成：文件的属性(文件路径，文件的内容)映射成一个域。记录的某个字段映射成一个域。
  ☆4) 域由若干词(关键字)(Term)组成：文件的属性的内容中某个字符串映射成一个词。
 
4. Lucene包结构
  1) analysis模块：负责词法分析及语言处理而形成Term(词)。提供了一些内置的分析器：最常用的是StandardAnalyzer
  2) index模块：负责索引的读写。 对索引文件的segment进行写、合并、优化的IndexWriter类。对索引进行读取和删除操作的IndexReader类。
  3) store模块：负责索引的存储。提供索引的各种存储类：FSDirectory，RAMDirectory等。
  4) document模块：索引文件内部的基础存储结构封装。如：Document类和Field类等。
  5) search模块：负责对索引的搜索。提供了索引搜索器IndexSearcher类和各种Query类，如TermQuery、BooleanQuery等。
  6) queryParser模块：负责查询语句的语法分析。提供了解析查询语句的QueryParser类
  7) util模块：包含一些公共工具类。

5. 创建索引
  1) IndexWriter：索引写出器
     a) 构造方法：
        IndexWriter(Directory d, Analyzer a, IndexWriter.MaxFieldLength mfl)
           如果索引不存在，就会被创建。如果索引存在,就追加.
        IndexWriter(Directory d, Analyzer a, boolean create, IndexWriter.MaxFieldLength mfl)
           create为true时，原索引文件不存在就创建，存在就覆盖。
           create为false时，原索引文件不存在就报错，存在就追加。
     b) 常用方法:
        void addDocument(Document doc);  //把指定文档添加到索引写出器中
        void iw.close();  //关闭索引写出器,此时才把索引写到目标存储地
 
  2) Directory: 索引存放地。
     a) 文件系统:FSDirectory:  FSDirectory.open(File file);
     b) 内存RAMDirectory:  new RAMDirectory();
 
  3) Analyzer: 分词器。
     a) StandardAnalyzer:  标准分词器。对英文采用空白, 标点符号进行分词。对中文采用单字分词。
     b) SmartChineseAnalyzer:  智能中文分词器。(LUCENE_HOME/contrib/analyzers/smartcn/lucene-smartcn-2.9.1.jar)
     C) 第三方的中文分词器：如PaodingAnalyzer、IKAnalyzer
 
  4) IndexWriter.MaxFieldLength: 指定域值的最大长度。
     a) UNLIMITED 无限制的。
     b) LIMITED 有限制的。值为10000
 
  5) Document: 索引的组成单元. 一组Field的集合.
     a) 构造方法: Document();
     b) 常用方法: void add(Field f);  //添加指定域到这个文档中
    
  6) Field: 域,代表文档的某个索引域.
     a) 构造方法: Field(String name, String value, Field.Store.YES, Field.Index.ANALYZED)
        name: 域的名称, 只能是字符串.
        value: 域的值, 只能是字符串.
        Field.Store: 指定Field的值是否存储或怎样存储. NO(不存储), YES(存储),COMPRESS(压缩后存储)
        Field.Index: 指定Field是否被索引或怎么被索引. NO(不索引), ANALYZED(分词后索引), NOT_ANALYZED(不分词直接索引)
  7) 示例代码:
//src要创建索引的文件，destDir索引存放的目录  
public static void createIndex(File src, File destDir){  
 Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT); //创建一个语法分析器  
 IndexWriter iwriter = null;  
 Directory directory = null;  
 try {  
  directory = FSDirectory.open(destDir); //把索引文件存储到磁盘目录  
  //创建一个IndexWriter(存放索引文件的目录,分析器,Field的最大长度)  
  iwriter = new IndexWriter(directory, analyzer,true, IndexWriter.MaxFieldLength.UNLIMITED);  
  //iwriter.setUseCompoundFile(true);//使用复合文件  
       
  Document doc = new Document(); //创建一个Document对象  
  //把文件路径作为"path"域：不分词,索引,保存  
  doc.add(new Field("path", src.getCanonicalPath(), Field.Store.YES, Field.Index.NOT_ANALYZED));  
    
  StringBuilder sb = new StringBuilder();  
  BufferedReader br = new BufferedReader(new FileReader(src));  
  for(String str = null; (str = br.readLine())!=null;){  
   sb.append(str).append(System.getProperty("line.separator"));   
  }  
  //文件内容作为"content"域：分词,索引,保存  
  doc.add(new Field("contents", sb.toString(), Field.Store.YES, Field.Index.ANALYZED));   
    
  iwriter.addDocument(doc); //把Document存放到IndexWriter中  
  iwriter.optimize();  //对索引进行优化    
 } catch (IOException e) {  
  e.printStackTrace();  
 } finally {   
  if (iwriter != null) {  
   try {  
    iwriter.close(); //关闭IndexWriter时,才把内存中的数据写到文件   
   } catch (IOException e) {  
    e.printStackTrace();  
   }   
  }  
  if (directory != null) {  
   try {  
    directory.close(); //关闭索引存放目录  
   } catch (IOException e) {  
    e.printStackTrace();  
   }  
  }  
 }  
}    
//src要创建索引的文件，destDir索引存放的目录
public static void createIndex(File src, File destDir){
 Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT); //创建一个语法分析器
 IndexWriter iwriter = null;
 Directory directory = null;
 try {
  directory = FSDirectory.open(destDir); //把索引文件存储到磁盘目录
  //创建一个IndexWriter(存放索引文件的目录,分析器,Field的最大长度)
  iwriter = new IndexWriter(directory, analyzer,true, IndexWriter.MaxFieldLength.UNLIMITED);
  //iwriter.setUseCompoundFile(true);//使用复合文件
    
  Document doc = new Document(); //创建一个Document对象
  //把文件路径作为"path"域：不分词,索引,保存
  doc.add(new Field("path", src.getCanonicalPath(), Field.Store.YES, Field.Index.NOT_ANALYZED));
 
  StringBuilder sb = new StringBuilder();
  BufferedReader br = new BufferedReader(new FileReader(src));
  for(String str = null; (str = br.readLine())!=null;){
   sb.append(str).append(System.getProperty("line.separator"));
  }
  //文件内容作为"content"域：分词,索引,保存
  doc.add(new Field("contents", sb.toString(), Field.Store.YES, Field.Index.ANALYZED));
 
  iwriter.addDocument(doc); //把Document存放到IndexWriter中
  iwriter.optimize();  //对索引进行优化 
 } catch (IOException e) {
  e.printStackTrace();
 } finally {
  if (iwriter != null) {
   try {
    iwriter.close(); //关闭IndexWriter时,才把内存中的数据写到文件
   } catch (IOException e) {
    e.printStackTrace();
   }
  }
  if (directory != null) {
   try {
    directory.close(); //关闭索引存放目录
   } catch (IOException e) {
    e.printStackTrace();
   }
  }
 }
}  
 

6. 查询索引
  1) IndexSearcher: 索引查询器
      a) 构造器: IndexSearcher(Directory path, boolean readOnly)
      b) 常用方法:
         TopDocs search(Query query, Filter filter, int n);  //执行查询。n指的是最多返回的Document的数量。
         Document doc(int 文件内部编号);  //根据文档的内部编号获取到该Document
         void close();  //关闭查询器
  2) Query: 查询对象。把用户输入的查询字符串封装成Lucene能够识别的Query对象。
  3) Filter: 用来过虑搜索结果的对象。
  4) TopDocs: 代表查询结果集信息对象。它有两个属性：
      a) totalHits: 查询命中数。
      b) scoreDocs: 查询结果信息。它包含符合条件的Document的内部编号(doc)及评分(score)。
   5) 示例代码:
//keyword要搜索的关键字。indexDir索引存放的目录  
public static void searcher(String keyword, File indexDir){  
 IndexSearcher isearcher = null;  
 Directory directory = null;  
 try{  
  Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT);  
  directory = FSDirectory.open(indexDir);  
    
  //创建解析器  
  QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, "contents", analyzer);  
  Query query = parser.parse(keyword);//获取查询对象  
       
//  Query query1 = new TermQuery(new Term("contents", keyword));  
//  Query query2 = new TermQuery(new Term("contents", keyword2));  
//  BooleanQuery query = new BooleanQuery();  
//  query.add(query1, Occur.SHOULD);  
//  query.add(query2, Occur.SHOULD);  
    
//  QueryParser parser = new MultiFieldQueryParser(Version.LUCENE_CURRENT, new String[]{"path", "contents"}, analyzer);  
//  Query query = parser.parse(keyword);  
       
  isearcher = new IndexSearcher(directory, true);  //创建索引搜索器  
  TopDocs ts = isearcher.search(query, null, 100);  //执行搜索，获取查询结果集对象  
       
  int totalHits = ts.totalHits;  //获取命中数  
  System.out.println("命中数：" + totalHits);  
       
  ScoreDoc[] hits = ts.scoreDocs;  //获取命中的文档信息对象  
  for (int i = 0; i < hits.length; i++) {  
       Document hitDoc = isearcher.doc(hits[i].doc); //根据命中的文档的内部编号获取该文档   
       System.out.println(hitDoc.getField("contents").stringValue()); //输出该文档指定域的值  
  }  
 } catch (IOException e) {  
  e.printStackTrace();    
 } catch (ParseException e) {  
  e.printStackTrace();  
 } finally {     
  if (isearcher != null) {     
   try {     
    isearcher.close(); //关闭搜索器    
   } catch (IOException e) {  
    e.printStackTrace();  
   }  
  }  
  if (directory != null) {     
   try {     
    directory.close(); //关闭索引存放目录   
   } catch (IOException e) {  
    e.printStackTrace();  
   }  
  }  
 }  
} 
//keyword要搜索的关键字。indexDir索引存放的目录
public static void searcher(String keyword, File indexDir){
 IndexSearcher isearcher = null;
 Directory directory = null;
 try{
  Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT);
  directory = FSDirectory.open(indexDir);
 
  //创建解析器
  QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, "contents", analyzer);
  Query query = parser.parse(keyword);//获取查询对象
    
//  Query query1 = new TermQuery(new Term("contents", keyword));
//  Query query2 = new TermQuery(new Term("contents", keyword2));
//  BooleanQuery query = new BooleanQuery();
//  query.add(query1, Occur.SHOULD);
//  query.add(query2, Occur.SHOULD);
 
//  QueryParser parser = new MultiFieldQueryParser(Version.LUCENE_CURRENT, new String[]{"path", "contents"}, analyzer);
//  Query query = parser.parse(keyword);
    
  isearcher = new IndexSearcher(directory, true);  //创建索引搜索器
  TopDocs ts = isearcher.search(query, null, 100);  //执行搜索，获取查询结果集对象
    
  int totalHits = ts.totalHits;  //获取命中数
  System.out.println("命中数：" + totalHits);
    
  ScoreDoc[] hits = ts.scoreDocs;  //获取命中的文档信息对象
  for (int i = 0; i < hits.length; i++) {
       Document hitDoc = isearcher.doc(hits[i].doc); //根据命中的文档的内部编号获取该文档
       System.out.println(hitDoc.getField("contents").stringValue()); //输出该文档指定域的值
  }
 } catch (IOException e) {
  e.printStackTrace(); 
 } catch (ParseException e) {
  e.printStackTrace();
 } finally {  
  if (isearcher != null) {  
   try {  
    isearcher.close(); //关闭搜索器 
   } catch (IOException e) {
    e.printStackTrace();
   }
  }
  if (directory != null) {  
   try {  
    directory.close(); //关闭索引存放目录
   } catch (IOException e) {
    e.printStackTrace();
   }
  }
 }
}
 

7. 删除索引
      IndexWriter提供deleteDocuments(Term term);  //会删除索引文件里含有指定Term的所有Document。
      IndexReader也提供了deleteDocuments(Term term);

8. 更新索引
      IndexWriter提供updateDocument(Term term, Document doc); //实际上是先删除再创建索引。

9. 常用查询器
  1) TermQuery : 按Term（关键字）查询。构造方法：TermQuery(Term t)

Query query = new TermQuery(new Term("contents", keyword));  
isearcher = new IndexSearcher(FSDirectory.open(indexDir), true);  
TopDocs ts = isearcher.search(query, null, 100);  
      Query query = new TermQuery(new Term("contents", keyword));
      isearcher = new IndexSearcher(FSDirectory.open(indexDir), true);
      TopDocs ts = isearcher.search(query, null, 100); 

  2) BooleanQuery: 布尔查询。组合多个查询器。

Query query1 = new TermQuery(new Term("contents", keyword));  
Query query2 = new TermQuery(new Term("contents", keyword2));  
BooleanQuery query = new BooleanQuery();  
query.add(query1, Occur.SHOULD);  
query.add(query2, Occur.SHOULD);  
 
isearcher = new IndexSearcher(directory, true);   
 
TopDocs ts = isearcher.search(query, null, 100);  
  Query query1 = new TermQuery(new Term("contents", keyword));
  Query query2 = new TermQuery(new Term("contents", keyword2));
  BooleanQuery query = new BooleanQuery();
  query.add(query1, Occur.SHOULD);
  query.add(query2, Occur.SHOULD);

  isearcher = new IndexSearcher(directory, true);

  TopDocs ts = isearcher.search(query, null, 100);
 

  3) MultiFieldQueryParser: 多Field中查询。

QueryParser parser = new MultiFieldQueryParser(Version.LUCENE_CURRENT, new String[]{"path", "contents"}, analyzer);  
Query query = parser.parse(keyword);  
isearcher = new IndexSearcher(FSDirectory.open(indexDir), true);  
TopDocs ts = isearcher.search(query, null, 100); 
      QueryParser parser = new MultiFieldQueryParser(Version.LUCENE_CURRENT, new String[]{"path", "contents"}, analyzer);
      Query query = parser.parse(keyword);
      isearcher = new IndexSearcher(FSDirectory.open(indexDir), true);
      TopDocs ts = isearcher.search(query, null, 100);

10. 高亮器Highlighter：在网页中对搜索结果予以高亮显示。
   1) 在classpath添加contrib/highlighter/lucene-highlighter-2.9.1.jar
   2) 示例伪代码

SimpleHTMLFormatter shf = new SimpleHTMLFormatter("<span style="color:red" mce_style="color:red">", "</span>"); //默认是<b>..</b>   
// 构造高亮器:指定高亮的格式,指定查询计分器     
Highlighter highlighter = new Highlighter(shf, new QueryScorer(query));     
//设置块划分器  
highlighter.setTextFragmenter(new SimpleFragmenter(Integer.MAX_VALUE));    
String content = highlighter.getBestFragment(Analyzer, "fieldName", "fieldValue"); 
       SimpleHTMLFormatter shf = new SimpleHTMLFormatter("<span style="color:red" mce_style="color:red">", "</span>"); //默认是<b>..</b>
       // 构造高亮器:指定高亮的格式,指定查询计分器  
       Highlighter highlighter = new Highlighter(shf, new QueryScorer(query));  
       //设置块划分器
       highlighter.setTextFragmenter(new SimpleFragmenter(Integer.MAX_VALUE)); 
       String content = highlighter.getBestFragment(Analyzer, "fieldName", "fieldValue");

11. 优化
  1) 使用IndexWriter须注意
      修改索引后，需flush()或close()方能生效
      非线程安全，任一时刻仅能有一个线程对其操作.
  2) 使用IndexSearcher须注意
      一旦打开，不会搜索到以后添加的索引
      线程安全，多个线程仅需一个实例
  3) 最佳实践
      多个线程共享一个IndexSearcher, 只有当索引修改后才重新打开IndexSearcher
      多个线程共享一个IndexWriter并严格同步
      异步修改索引提高性能(JMS)
      为每个Document创建单独的索引目录
   
12. 在emall项目中整合Lucene对产品的ID,名称和描述进行全文搜索。          

13. 使用Compass简化Lucene操作。(未完待续)

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/qjyong/archive/2009/11/24/4866205.aspx

您可能也喜欢：
Lire – Lucene Image REtrieval	IM2GPS: estimating geographic information from a single image	数据集-用于数据挖掘、信息检索、知识发现等	2010信息检索数据挖掘机器学习相关国际会议	通过WSDM2011论文录用情况分析目前信息检索趋势
无觅

相关文章

• 关于MINDS研讨会的讨论及报告下载 (3)
• 抓取网页碰到500错误时：User Agent (5)
• 搜索与NLP (4)
• 程序中的一个细节：只要一个返回语句 (7)
• Matrix67：漫话中文分词算法 (6)
• 晕，又出来个“盘古搜索” (11)
• 通过WSDM2011论文录用情况分析目前信息检索趋势 (9)
• 情境搜索与个性化推荐：旨在“索”，“搜”辅之 (11)
• 多分类问题中查全率和查准率的理解(Precision-Recall) (3)
• 网摘：对OO的思考 (12)

Lire - Lucene Image REtrieval 0.5.4 descriptionLire, the Lucene Image REtrieval library is a simple way to create a Lucene index of image features for content based image retrieval (CBIR).
The used features are taken from the MPEG-7 Standard: ScalableColor, ColorLayout and EdgeHistogram. Furthermore methods for searching the index are provided.
The LIRE library is part of the Caliph & Emir project and aims to provide the CBIR features of Caliph & Emir to other Java projects in an easy and light weight way.
Creating an Index
Use DocumentBuilderFactory to create a DocumentBuilder, which will create Lucene Documents from images. Add this documents to an index like this:
System.out.println(">> Indexing " + images.size() + " files.");
DocumentBuilder builder = DocumentBuilderFactory.getExtensiveDocumentBuilder();
IndexWriter iw = new IndexWriter(indexPath, new SimpleAnalyzer(), true);
int count = 0;
long time = System.currentTimeMillis();
for (String identifier : images) {
Document doc = builder.createDocument(new FileInputStream(identifier), identifier);
iw.addDocument(doc);
count ++;
if (count % 25 == 0) System.out.println(count + " files indexed.");
}
long timeTaken = (System.currentTimeMillis() - time);
float sec = ((float) timeTaken) / 1000f;
System.out.println(sec + " seconds taken, " + (timeTaken / count) + " ms per image.");
iw.optimize();
iw.close();
Searching in an Index
Use the ImageSearcherFactory for creating an ImageSearcher, which will retrieve the images for you from the index.
IndexReader reader = IndexReader.open(indexPath);
ImageSearcher searcher = ImageSearcherFactory.createDefaultSearcher();
FileInputStream imageStream = new FileInputStream("image.jpg");
BufferedImage bimg = ImageIO.read(imageStream);
// searching for an image:
ImageSearchHits hits = null;
hits = searcher.search(bimg, reader);
for (int i = 0; i < 5; i++) {
System.out.println(hits.score(i) + ": " + hits.doc(i).getField(DocumentBuilder.FIELD_NAME_IDENTIFIER).stringValue());
}
// searching for a document:
Document document = hits.doc(0);
hits = searcher.search(document, reader);
for (int i = 0; i < 5; i++) {
System.out.println(hits.score(i) + ": " + hits.doc(i).getField(DocumentBuilder.FIELD_NAME_IDENTIFIER).stringValue());
}
Enhancements:
- An issue where the scalable color descriptor (color histogram) was not compliant to the MPEG-7 standard was fixed.
- The color only search was changed to use the color layout descriptor and a bug in the edge histogram descriptor was hunted down.
- The LireDemo GUI application has also been updated: A new function for creating image mosaics has been introduced and the indexing of digital photos is now faster than ever as only the EXIF thumbnails - if available - are used instead of the whole image.
Download now

您可能也喜欢：
国内外图像搜索引擎一览	图像查询的特点(Characteristics of image queries)	最近图像检索应用的新闻	基于内容图像检索技术	搜狗竟然也有了基于内容图像检索应用
无觅

相关文章

• 今天有同学问我CBIR的相关站点，我就推荐一下 (0)
• 搜狗互联网图片库2.0（SogouP2.0）正式发布 (4)
• 搜狗竟然也有了基于内容图像检索应用 (3)
• 再收集一下基于内容图像检索系统 (7)
• 最近图像检索应用的新闻 (0)
• 图像检索垂直应用热了？-淘宝图想 (21)
• 介绍一家新公司：淘淘搜(搜图购) (11)
• 谷歌新图片搜索，有点模仿微软Bing (21)
• [搜索]5个黑白图像搜索引擎 (14)
• Google Image Swirl-聚类多样性的CBIR (24)