首页 > Go语言 > Go语言网络爬虫 阅读数:15565

Go语言网络爬虫

本章将完整地展示一个应用程序的设计、编写和简单试用的全过程,从而把前面讲到的所有 Go 知识贯穿起来。在这个过程中,加深对这些知识的记忆和理解,以及再次说明怎样把它们用到实处。由本章的标题可知,它是一个网络爬虫(或称网络内容爬取程序)的框架。

默认情况下,基于这个框架编写的网络爬虫程序是单机版的,也就是说,它仅会在一台计算机上运行。不过,在框架中留有一些易于扩展的接口,可以很方便地利用它们编写出一个分布式程序。当然,在这之前,需要先搞懂什么是分布式计算。

Go语言的特点是通过内部调度可以最大限度地利用单机的计算能力。然而,在分布式计算方面,它本身其实并没有提供什么现成的东西,还需要使用一些第三方的框架或工具,或者自己编写和搭建。
本章内容:

爱面试的程序媛,一个分享面试经验的公众号。跟着站长一起学习,每天都有进步。

通俗易懂,深入浅出,定时分享程序员面试的那点事。

面试如何造火箭?工作如何拧螺丝?都在这个公号哦。

扫描二维码关注公众号,免费领取价值 1000 元的求职面试资料(限时免费)!

当你决定关注「爱面试的程序媛」,你已然超越了90%的程序员!

爱面试的程序媛二维码
微信扫描二维码关注