灵活运用HTML页面中meta元素

1：假如说你的站点页面中有这么一句：

<META NAME="robots" CONTENT="index,follow">

你利用Nutch抓取并分析时，如何得到这个meta数值并处理呢？

2：你可以从HtmlParseFilter扩展出一个RobotsParserFilter，用下面的代码得到meta值：

Properties generalMetaTags = metaTags.getGeneralTags();
String robots = generalMetaTags.getProperty("robots");

3：增加这个值到metadata中：

parse.getData().getMetadata().put("robots", robots);

4： robots属性还可以再次从 metadata获取：

String robots2 = parse.getData().get("robots");