从火箭少女101(创造101)了解爬虫——先导篇

在追《创造101》时,因嫌看数据太麻烦做了【创造101成员网络数据】,在《创造101》结束后,抽时间做了【火箭少女101数据中心】,有很多小伙伴问我一些相关的问题,为了不让自己每次重复回答,所有准备写这一个系列的文章。当然啦,其实这个东西十分简单,我也琢磨着怎么下笔才能产生内容。

整体结构

文章分为三大部分:

  • 从火箭少女101(创造101)了解爬虫——前端篇
  • 从火箭少女101(创造101)了解爬虫——爬虫篇
  • 从火箭少女101(创造101)了解爬虫——后端篇

前端篇大致分为DOM,正则相关。
爬虫篇大致分为Node爬虫及Python爬虫。
后端篇大致分为服务器、数据库、Nginx、CDN、接口相关。

需要说明的是,因为我本身是一个前端,所以JavaScript一把梭,那么正因如此,Node在这个里面是不可缺的一部分。那么下面也说说这个系列文章所用的技术栈。

  • 前端:Vue、Echarts
  • 爬虫:Node.js(request及puppeteer)
  • 后端:Koa2
  • 服务器:CentOS
  • 数据库:MySQL

当然,这个系列文章默认你已将基本掌握了HTML、CSS、JavaScript、Python,如果你是新人,那么这个系列文章可能不适合你,建议先了解以下相关内容:《JavaScript教程》《CSS教程》《HTML教程》《简明 Python 教程》,因为本系列文章所有示例都是使用ES6,所以你得基本会使用《ES6标准入门》