weibo.js
var mongoose = require(‘mongoose’);
var connection = mongoose.createConnection(‘mongodb://127.0.0.1:27017/weibodata’);
var Schema = mongoose.Schema;
angular-ueditor's bug
最近在写一个可配置,灵活度比较高的问卷调查系统,实现后台配置动态生成问卷,使用到了angularjs和百度的富文本编辑器ueditor,为了实现文本内内容的绑定在网上找了一段集成代码,其实就是一个指令。使用过程中发现了一个不容易发现的bug,就是在编辑器中插入图片之后不再进行其他内容的插入,此时图片地址是错误的。以下是修改以后的代码:
网易云音乐爬虫--评论爬取以及Top Music统计
网易云云音乐评论十分有趣,于是就想写个爬虫爬取评论。但是不熟悉Python,就用java写了个。
主要使用了HttpClient,,Jsoup, 队列, 线程, log4j,poi生成Excel保存结果, 书写过程中主要一个问题就是评论获取,网易对其进行了加密,进行好一番搜索才找到解决方法。爬取歌单数,top歌曲数都可以动态进行配置.
Webmagic网易云音乐爬虫
发现了一个java爬虫框架,熟悉了一下写了一个爬取网易云音乐专辑歌曲信息的爬虫,其中歌曲的歌词和评论是动态获取的,我只能单独自己写代码进行请求。