首页 > Go语言 > Go语言网络爬虫 阅读:8,496

Go语言网络爬虫

本章将完整地展示一个应用程序的设计、编写和简单试用的全过程,从而把前面讲到的所有 Go 知识贯穿起来。在这个过程中,加深对这些知识的记忆和理解,以及再次说明怎样把它们用到实处。由本章的标题可知,它是一个网络爬虫(或称网络内容爬取程序)的框架。

默认情况下,基于这个框架编写的网络爬虫程序是单机版的,也就是说,它仅会在一台计算机上运行。不过,在框架中留有一些易于扩展的接口,可以很方便地利用它们编写出一个分布式程序。当然,在这之前,需要先搞懂什么是分布式计算。

Go语言的特点是通过内部调度可以最大限度地利用单机的计算能力。然而,在分布式计算方面,它本身其实并没有提供什么现成的东西,还需要使用一些第三方的框架或工具,或者自己编写和搭建。
本章内容:
1. Go语言网络爬虫概述
2. Go语言网络爬虫中的基本数据结构
3. Go语言网络爬虫的接口设计
4. Go语言网络爬虫缓冲器工具的实现
5. Go语言网络爬虫缓冲池工具的实现
6. Go语言网络爬虫多重读取器的实现
7. Go语言网络爬虫内部基础接口
8. Go语言网络爬虫组件注册器
9. Go语言网络爬虫下载器接口
10. Go语言网络爬虫分析器接口
11. Go语言网络爬虫条目处理管道
12. Go语言网络爬虫调度器的实现
13. Go语言爬取图片小程序

编程帮,一个分享编程知识的公众号。跟着站长一起学习,每天都有进步。

通俗易懂,深入浅出,一篇文章只讲一个知识点。

文章不深奥,不需要钻研,在公交、在地铁、在厕所都可以阅读,随时随地涨姿势。

文章不涉及代码,不烧脑细胞,人人都可以学习。

当你决定关注「编程帮」,你已然超越了90%的程序员!

编程帮二维码
微信扫描二维码关注