请选择 进入手机版 | 继续访问电脑版
查看: 157|回复: 0

利用Java爬虫技术做一个小说网站

[复制链接]

2万

主题

2万

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
69814
QQ
发表于 2020-2-16 23:15:10 | 显示全部楼层 |阅读模式
如何利用Java爬虫技术做一个小说网站,主要会涉及到Java语言,Httpclient技术,爬虫原理,网站抓取等技术。
用Java做一个自己的小说网站共10课,教程完结,带完整依赖jar。
【课程内容】
第一课更新:
本教程要求:
有一定Java开发基础
有一点网页开发基础
开发环境:
JDK1.7及以上
Maven
Eclipse
Tomcat7及以上
第二课更新:
1.为原来的抓取解析增加了一个工具方法:该方法可以很方便的用来扩展支持更多的小说网站。
2.增加了一个枚举,用来表示我们目前支持的小说网站。
第三课更新:
1.实现了笔趣阁,顶点小说的内容的抓取
第四课更新:
1.对笔下文学,看书中的完整支持
2.多线程下载任意网站的小说第1节3.对之前教程的一点解释
第73分钟处有个错误
那个重载的substring方法只有两个参数 "".substring(int beginIndex,int endIndex),我在里面误说成三个参数了
第五课更新:
1.实现了多线程下载任意网站的小说的功能
错误预警:
视频中有个给线程分配任务的bug,这个bug会导致每个线程少下载一个章节的内容。undefined
修复起来很简单。我会在今晚录制的视频中修复它
第六课更新:
1.修复了三个不合理的bug,这些bug会导致小说下载的成功率,以及丢失章节的问题
第七课更新:
1.增加了对看书中,笔下文学中的书库列表的抓取功能
超长时间预警:该节课有110分钟
Debug预警:大概有30分钟用来调试bug
第八课更新:
1.引入了一种简单的Java设计模式:迭代器模式
2.利用mybatis完整的实现了将看书中和笔下文学的书库存储到我们的数据库
第九课更新:
1.新建了一个项目,并对我们的项目进行简单的配置:spring的配置文件,mybatis的配置文件
2.并在NovelController中写了两个测试方法,可以返回json形式的章节列表和章节详细内容
第十课更新(最后一课):
1.完整的实现了在浏览器端搜索小说,显示章节列表,显示章节内容的功能
【下载地址】  
游客,如果您要查看本帖隐藏内容请回复
[/td][/tr][/table]
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?立即注册






x
[/td][/tr]
[tr][td]
[/td]
[/tr]
[tr][/tr]
[tr]
[td][/td]
[td]
回复
使用道具
举报


  • 提升卡


  • 置顶卡


  • 沉默卡


  • 喧嚣卡


  • 变色卡


  • 千斤顶


  • 照妖镜


  • [/td]
    [/tr]
    [tr]
    [td]
    [/td]
    [td]
    [/td]
    [/tr]
    [/table]


    java9001
    java9001
    当前离线
    积分2076





    窥视卡



    雷达卡




    [table][td]1
    主题
    65
    帖子
    2076
    积分[/td]

    金牌会员


    金牌会员, 积分 2076, 距离下一级还需 924 积分
    金牌会员, 积分 2076, 距离下一级还需 924 积分
            积分2076

    发消息

    [/td]
    [td]

    发表于 2017-10-5 19:36:27
    |
    显示全部楼层
    [table][tr][td]
    看看怎么样
  • 回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|手机版|IT源码视频教程资源网 ( 粤ICP备15111573号-8 )

    GMT+8, 2020-9-24 00:14 , Processed in 0.069723 second(s), 24 queries .

    快速回复 返回顶部 返回列表

    客服
    热线

    微信 webshop6
    7*24小时微信 客服服务

    扫码添
    加微信

    添加客服微信 webshop6 获取更多

    关注
    公众号

    关注微信公众号 webjianzhan