首页 > Go语言 > Go语言网络爬虫 阅读:11,952

Go语言网络爬虫

本章将完整地展示一个应用程序的设计、编写和简单试用的全过程,从而把前面讲到的所有 Go 知识贯穿起来。在这个过程中,加深对这些知识的记忆和理解,以及再次说明怎样把它们用到实处。由本章的标题可知,它是一个网络爬虫(或称网络内容爬取程序)的框架。

默认情况下,基于这个框架编写的网络爬虫程序是单机版的,也就是说,它仅会在一台计算机上运行。不过,在框架中留有一些易于扩展的接口,可以很方便地利用它们编写出一个分布式程序。当然,在这之前,需要先搞懂什么是分布式计算。

Go语言的特点是通过内部调度可以最大限度地利用单机的计算能力。然而,在分布式计算方面,它本身其实并没有提供什么现成的东西,还需要使用一些第三方的框架或工具,或者自己编写和搭建。
本章内容:
1. Go语言网络爬虫概述
2. Go语言网络爬虫中的基本数据结构
3. Go语言网络爬虫的接口设计
4. Go语言网络爬虫缓冲器工具的实现
5. Go语言网络爬虫缓冲池工具的实现
6. Go语言网络爬虫多重读取器的实现
7. Go语言网络爬虫内部基础接口
8. Go语言网络爬虫组件注册器
9. Go语言网络爬虫下载器接口
10. Go语言网络爬虫分析器接口
11. Go语言网络爬虫条目处理管道
12. Go语言网络爬虫调度器的实现
13. Go语言爬取图片小程序

爱面试的程序媛,一个分享面试经验的公众号。跟着站长一起学习,每天都有进步。

通俗易懂,深入浅出,定时分享程序员面试的那点事。

面试如何造火箭?工作如何拧螺丝?都在这个公号哦。

扫描二维码关注公众号,免费领取价值 1000 元的求职面试资料(限时免费)!

当你决定关注「爱面试的程序媛」,你已然超越了90%的程序员!

爱面试的程序媛二维码
微信扫描二维码关注