你好,欢迎来到电脑编程技巧与维护杂志社! 杂志社简介广告服务读者反馈编程社区  
合订本订阅
 
 
您的位置:技术专栏 / Web开发
htmlparser lexer解析网页源代码
 
有时候我们在解析网页源代码时需要的不是整个页面的源代码,而是其中的文本内容,这时可以使用htmlparser这个开源工具来进行相应的操作。下面是一个例子,这个例子比较简单,主要是理解这个工具中的一些类的作用:
[javascript] 
public static String html2Text() { 
        ConnectionManager manager; 
        Lexer lexer; 
        Node node; 
        manager = Page.getConnectionManager(); 
        StringBuilder textSB = new StringBuilder(); 
        StringBuilder tagSB = new StringBuilder(); 
        StringBuilder remarkSB = new StringBuilder(); 
        //StringBuilder abstractSB = new StringBuilder(); 
        try { 
            lexer = new Lexer(manager.openConnection("http://www.baidu.com")); 
            while ((node = lexer.nextNode()) != null) { 
                if (node instanceof TextNode) { 
                    textSB.append(node.toHtml()); 
                } else if (node instanceof TagNode) { 
                    tagSB.append(node.toHtml()); 
                } else if (node instanceof RemarkNode) { 
                    remarkSB.append(node.toHtml()); 
                } else if (node instanceof AbstractNode) { 
                    //abstractSB.append(node.toHtml()); 
                } 
            } 
            return textSB.toString() + "\r\n" + "--------" + tagSB.toString() 
                    + "\r\n" + "--------" + remarkSB.toString() + "\r\n" 
                    + "-------"  
                    //+ abstractSB.toString() 
                    ; 
        } catch (Exception e) { 
            throw new RuntimeException(); 
        } 
    }    www.2cto.com
下面来分析一下这个工具中的一些主要的类:
ConnctionManger是进行连接网页的一个类,Lexer可以通过构造函数传递一个URLConnection,这时就可以获得网页的内容,Lexer就像是一个包装器,将网页的内容包装起来,然后可以通过Lexer中的方法进行网页的内容获取。Lexer的nextNode就是开始获取网页的节点了,返回的Node类被AbstractNode所实现,并且TextNode,TagNode,RemarkNode是AbstractNode的子类。TextNode是网页中的所有文本节点,TagNode是网页中的所有标签节点,RemarkNode是网页中的所有注释节点。AbstractNode中提供了访问网页的开始位置和结束位置,子节点的父节点和子节点的list等方法。所以在TextNode,TagNode,RemarkNode中也可以使用这些方法来获取相应的信息。
  推荐精品文章

·2024年9月目录 
·2024年8月目录 
·2024年7月目录 
·2024年6月目录 
·2024年5月目录 
·2024年4月目录 
·2024年3月目录 
·2024年2月目录 
·2024年1月目录
·2023年12月目录
·2023年11月目录
·2023年10月目录
·2023年9月目录 
·2023年8月目录 

  联系方式
TEL:010-82561037
Fax: 010-82561614
QQ: 100164630
Mail:gaojian@comprg.com.cn

  友情链接
 
Copyright 2001-2010, www.comprg.com.cn, All Rights Reserved
京ICP备14022230号-1,电话/传真:010-82561037 82561614 ,Mail:gaojian@comprg.com.cn
地址:北京市海淀区远大路20号宝蓝大厦E座704,邮编:100089