第６期 ２０１５年３月 Ｎ０．６ 无线互联科技·计算机世界 ＭａｒＣｈ，２０１５ 息的语言，用于在ｘｍｌ文档中通过元素的属性进行导航，利用 词是“的”“是”“在”这一类词，这些词叫做“停用词”，对结 ＸＰａｔｈ可以方便在ｈｔｍｌ文档中定位感兴趣的节点。 果没有帮助，需要过滤掉。 仔细观察可以发现，每条微博都以＜ｄｉｖ ｃｌａｓｓ＝’ＷＢ 过滤掉之后，可能会有多个词出现的次数一样多，但这并 ｃａｒｄｗｒａｐ…＞作为起始，而其中的＜ａ ｃｌａｓｓ＝”Ｗ ｔｅｘｔａ 不意味着这些词的关键性是一样的。因此，还需要一个重要 ｗ—ｆｂ”…＞节点含有昵称，＜ｐ ｃｌａｓｓ＝”ｃｏｍｍｅｎｔ ｔｘｔ”＞节点 性调整系数来衡量一个词是不是常见词。如果某个词比较少 含有微博内容，以此类推可以得到时间，转发数，评论数等 见，但是它在其中多次出现，那么它就可能就是我们需要的关 信息。 对于获取微博用户个人的信息，也是使用与此相类似 的方法。通过分析用户个人主页的源代码，可以得￣ＩＪＵＩＤ，和 Ｐａｇｅ—ｉｄ。Ｐａｇｅ—ｉｄ用于构建指向用户个＾信息的ＵＲＬ地址，其 格式为：’ｈｔｔｐ：／／ｗｅｉｂｏ．ｃｏｍ／ｐ／’＋ｐａｇｅ—ｉｄ＋’／ｉｎｆｏ’。此即为 要进行分析的ＵＲＬ地址。 对于获取用户发表的微博这块，有一个难点。在使用浏 览器浏览用户发表的微博时，一开始不会将一页上的所有微 博都显示出来，而是当滚动到底部时自动加载，如此滚动加 键词。用统计学语言表达，就是在词频的基础上，要对每个词 分配一个 重要性 权重。最常见的词给予最小的权重，较常 见的词给予较小的权重，较少见的词给予较大的权重。这个 权重叫做 逆文档频率 （ＩＤＦ），它的大小与一个词的常见程 度成反比。知道了 词频 （ＴＦ）和 逆文档频率 （ＩＤＦ）以后， 将这两个值相乘，就得到了一个词的ＴＦ－ＩＤＦ值。某个词对文章 的重要性越高，它的ＴＦ－ＩＤＦ值就越大。所以，排在最前面的几 个词，就是关键词。 根据这一算法思想，爬虫程序可以根据爬取的一系列微 载两次才能把一页上的微博都显示出来。获取得到的网页源 博条目，获得这些条目的关键词。引 代码同样也是不完整的，只含有每页的前十条左右，必须进行 ５ 结语 手动滚动才能显示完整。因此，可以采用发送ＨＴＴＰ请求的ＧＥＴ 文章分析了新浪ＡＰＩ的一些认证，新版的ＡＰＩ需要被 方法，构建相应的ＵＲＬ来模拟这一滚动过程。 搜索用户提供相应的授权，因此采用传统爬虫的方式。然后 ４关键词的提取 模拟登陆、网页分析、关键词提取等三个方面介绍了如何爬取 这个爬虫程序还有一个可以对爬取到的微博内容进行分 新浪微博信息，研究用户登陆微博的过程，从网页源代码中 析，提取关键词的功能。使用ＴＦ－ＩＤＦ算法来实现。ＴＦ－ＩＤＦ算法 构造利于分析的ＤＯＭ树并提取所需信息，运用ＴＦ—ＩＤＦ算法获 的思想如下：为了提取关键词，一个容易想到的思路就是找到 取微博集中的关键词，最终实现了一个基于Ｐｙｔｈｏｎ的新浪微 出现次数最多的词。如果某个词很重要，它应该在其中多次 博爬虫程序。 出现，于是，进行“词频”（ＴＦ）统计。但是，出现次数最多的 【参考文献】 【１］郭晓云．基于Ｐｙｔｈｏｎ和Ｓｅｌｅｎｉｕｍ的新浪微博数据访问【Ｊ］．电脑编程技巧与维护，２０１２． ［２］齐鹏，李隐峰，宋玉伟．基于Ｐｙｔｈｏｎ的ｗｅｂ数据采集技术［Ｊ］．电子科技，２０１２． ［３阮二峰 ３］ＴＦ＿ＩＤＦ与余弦相似性的应用【ＥＢ／ＯＬ】．（２０１３－０３－１５）．ｈｔｔｐ：／／ｗｗｗ．ｒｕａｎｙｉｆｅｎｇ．ｃｏｍ／ｂｌｏｇ／２０１３／０３／ｔｆ－ｉｄｆ．ｈｔｍｌ Ｓｉｎａ Ｍｉｃｒｏ ｂｌｏｇ Ｃｒａｗｌｅｒ Ｂａｓｅｄ ｏｎ Ｐｙｔｈｏｎ ＷＵ Ｊｉａｎｌａｎ （Ｊｉａｎｇｓｕ Ｐｏｌｉｃｅ Ｉｎｓｔｉｔｕｔｅ，Ｎａｎｊｉｎｇ ２１００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ａｄｖａｎｔａｇｅｓ ａｎｄ ｄｉｓａｄｖａｎｔａｇｅｓ ｏｆ ｏｂｔａｉｎｉｎｇ ｍｉｃｒｏ－ｂｌｏｇ ｃｏｎｔｒａｓｔ Ｓｉｎａ ｐｒｏｖｉｄｅｓ ＡＰＩ ａｎｄ ｔｒａｄｉｔｉｏｎａｌ ｃｒａｗｌｅｒ ｓｔｙｌｅ，ｕｓｉｎｇ ｓｉｍｕｌａｔｅｄ ｌａｎｄｉｎｇ ａｎｄ Ｗｅｂｐａｇｅ ａｎａｌｙｓｉｓ ｔｅｃｈｎｏｌｏｇｙ，ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｓｔｏｒｅｄ ｉｎ ｔｈｅ ｄａｔａｂａｓｅ ａｎｄ ａｎａｌｙｓｉｓ．Ｔｈｅ ｄｅｓｉｇｎ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｐｙｔｈｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ Ｓｉｎａ ｍｉｃｒｏ－ｂｌｏｇ ｃｒａｗｌｅｒ，ｃａｎ ｏｂｔａｉｎ ｍｉｃｒｏ－ｂｌｏｇ ｃｏｎｔｅｎｔ ａｎｄ Ｈｓｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｈｅ ｓｐｅｃｉｆｉｅｄ ｋｅｙｗｏｒｄ． Ｋｅｙ ｗｏｒｄｓ：Ｓｉｎａ ｍｉｃｒｏ—ｂｌｏｇ；Ｐｙｔｈｏｎ；Ｃｒａｗｌｅｒ 一９４—
