如何用爬虫抓取评论生成词云图

hmm 他为什么会说没有办法打开资源加拿出来给我们那个文本出现传递内容，然后的话， 然后的话他是没有板发打开支援。 so 是因为我们这些标点符号吗？ 好奇怪呀。 读取文件，然后设置配置，然后的话，他说我们没办法打开资源，为什么没有办法打开资源呢？我们资源是在这里啊，我的数据内容呢？ 数据内容在这里啊。 hmm generate。 翻一下书啊，文从文本生成。我的 cloud 书，文本应该是自然文本。如果说他单传递的是一个单词序列列表，单词会出现，你说的是两次三次重复项，然后请设置这一个等于 fus， 然后有别名，请调用这个的一个返回之五。 他没啥问题啊。传入是一个文本啊，那我这里传的也是一个文本啊，然后这里传入进去的话，他说我是一个没有读取的一个权限。 他传还能传列表，那我传个列表试一下。他传列表不行，一定要传自称。 那我写个 用词吧，我多写个停用词。我把这些删掉，我把这些不必要的一些。呃。标点符号我给他删了标点符号的话我都给他删了。把这些标点符号全部给他删了 标点符号全部给他删了。删了的话我们可以用一个。嗯，对，用一个正则吧。打了一个正则。阿姨点上 sub。 是啊，这标点符号什么逗号啊？点呐 是吧，这个这些逗号，中文的逗号也是给他删掉。东文逗号是吧，哎，我们的一个 感叹号。是啊，这这些的话还有什么引号七八八的这些数这个字符给他删掉，是不是这一个字符的原因， 我看他还有什么祝福 句号、感叹号，问候， 还有呢？ 这符号是问题吗？是位符号的问题吗？ 他为什么词源会出现这一个问题啊？我把，我把这个代码，我把这个文本，我把这个文本复制到另外一个地方去， 这个是那一个评论的，这个又没事， 试下这个都是一样的。没擦 啊，这个是弹幕， 那这个就没没啥，都是一样的代码。好奇怪呀， 会不会是因为编码问题？不是编码问题啊，这边也不是编码问题啊。 那这是已经 ok 了，代码是一样的呀，向右浮彩粉， 那我不要这个也是一样的。那我把这个复制一下。 嗯？为啥？ 这有什么不同吗？这为什么又可以了？我扫了一个背景的颜色设置。哦，字体 ttc， 不是 tthttc， 是字体文件的问题啊，字体文件的问题。所以说一 一般的话你们还是自己去复制这些问题啊，这样写的话就感觉很尬啊，这的话就是评论的词语图啊。啊，这题用词真多啊，怎么咯咯咯咯的。 好啊，所以说不是编码问题啊。所以说不是编码问题。

你好，欢迎来到 python 数据分析之网络爬虫及文本分析时间系列微课。这讲我们讲文本分析之词云图的绘制， 根据数据类型和分析目标的不同，会用到不同的分析工具。对于文本类型，通常会用到词云图的形式来展示。 词云图是通过不同计算方法计算出文本中关键词的重要性，然后用不同字体、不同颜色展示出关键词的分布。绘制词云图最关键的一步是对文本进行分词，分词的结果直接影响词云图中关键 分词的分布。那么我们先来看看什么是分词。 分词，通常说的分词一般只针对亚洲、中日韩等语言。分词的目的是将一串没有分界符的句子输出成有分界符的字串，便于提取关键词对应的信息。 比如我们来看一下这句话，如果对他进行分词可以怎么分？中国航天官员应邀到美国与太空总署官员开会， 我们可以这样子分，分好以后的话呢，每一个关键词我们可以用字符来表示啊，这样子的话呢，便于计算机处理。对于分词，我们最容易想到的办法是查字典，但是多数词都会有不同的分法，那么选择哪种分法才最 符合句意呢？对于这个问题，在人工智能领域通常会用基于统计模型的分词原理来解决。什么是基于统计模型的分词原理呢？我们来看一下如何用统计语言模型产生出最佳的分词法。 假设这里有这么三个句子啊，假设某个句子有这么三种方法，我们 可以把 a 一、 a 二， b 一， b 二， c 一 c 二这些都看成是根据词典划分出来的词， 那么最佳的分词应该保证分完词后这个句子出现的概率是最大的。什么意思呢？也就是说如果用概率来表示的话，第一种的分法的概率比第二种分法概率高，并 且比第三种也就 c 这种分法概率也高。那么这里的话呢，我们就可以将 a 组中划分的词语组成的句子出现的概率设为是基于统计模型的分词原理产生出的最佳的分词方法 啊。中文分子工具很多，中文分子是中文自然原处理中最基本、最底层的部分，分子精度对于后续的这个技术模块影响很大。 通常专业或者大型文本分类系统会开发自己的分词系统，比如北京理工大学开发的中文分词系统，哈尔滨大学的语言云系统，这些都是非常好的分词系统。我们这里要介绍的一个叫结巴分词工具。 结巴的安装的话呢，还是通过 prp install 安装。结巴分词支持三种分词模式，分别是精确模型、全模式，还有一种是搜索引擎模式。我们看精确模式的话呢，是用结巴点 cat 将句子进行精确的切分，它比较适合文本分析。 全模式的话是把句子中所有可以层次的词语全都扫描出来，速度很快，但是呢，不能解决奇异。 搜索引擎模式是在精确模式的基础上对长词再次切分，适合用于搜索引擎分词。 我们来看一下，比如今天天气真好这句话，如果用上述三种模式分词，那么可以得到下面三种结果，可以去试试， 我们来看一下结巴分词，来看几个简单的例子。在用结巴分词之前，首先要用 import 导入结巴库，我们看对这句话如果进行分词，采用 aircut 进行分，会输出一个什么呢？ 如果用 aircat 的话，我们看分出来的词是这样的， 我们在分完词以后，绘制词音图时候呢，还要再用到两个库，一个是 watercloud， 还有一个是 metal club。 what cloud 主要用于生成词云，而 matplub 列本呢，主要用于绘图，可以将词云图以图的形式展示出来，它还可以用于绘制脂肪图，条形图，三点图等等。 我们来看一下安装啊，才是采用 pipe install 进行安装，安装完了之后，采用 import 导入 词云图绘制，里面最关键的一句代码是采用 word cloud 点 generator 跟上文本就可以绘制出词云图了。最后我们通过 met probable 点 i'm sure 呢，就可以把图展示出来。 我们来看一个简单的例子，假设我们对前面这句小明喜欢打羽毛球，也喜欢打篮球这句话分好词以后，再用 what the cloud 对它进行绘制词云图，我们看一下结果是怎么样的， 非常简单，两句代码就可以完成词云图汇聚了啊，那绘制出来的这个词云图就是这样的，因为词比较少啊，所以看 起来呢比较稀疏。那么问题来了，如果我们要对西游记这个很大的个很大的文本进行词拼图绘制，怎么做呢？ 我们看到他展示出来结果是这样子的啊。那么关于西游记词云图的生成呢？我们直接进入代码操作模式，来体验一下西游记的词云图生成过程。 好，我们来看一下西游记文本词云图的生成过程。我们先来看一下这段代码，首先我们导入结巴库和 watercloud 以及 metaplably， 然后我们打开底盘下的西游记文本，先用结巴 aircut 将文本进行分词， 然后通过 watercloud 方法将词云图绘制的一些要素展示出来。在这里这些参数里面， 我们看分别显示了 wides height， 也就是词音图显示的长度和宽度，词音图显示的背景白色词音图中关键词展示的最大个数为二十五个，然后通过 generator 将词音图展示出来。好，我们来运行一下。 好，我们看到这个就是西游记文本当中词云图的展示结果。好，关于西游记文本词云图展示，我们讲到这里， 简单小结一下本讲，我们讲了一种简单的文本分析方法，分词及词云图的绘制。好，本讲讲到这里，感谢你的观看。

各位同学晚上好，然后昨天我本来直播的录制微博评论的一个重置版，然后 因为一些原因就是必占的审核，我不知道为什么，不知道什么原因，对吧？他就必占的审核没有通过，通过，我今天就花个几分钟的时间再重新录制一遍，对吧？也很今天讲的话会比昨天思路会更加清晰一些。 首先我们要抓取一个微博的评论，我们选用的一个数据人士第一个要注意的地方是移动端的微博， 移移动网页短的微博，他的一个网址就是 m 点微博点 cn， 这是他的网址，然后下面有个 dtl 就是他的评论页，然后后面有一串数字，这个数字就是微博的一个编号。 好，然后我们今天抓取的微博是人民日报发表的武汉大学樱花雨，就下面有大概六千条评论。好，然后我们选用的数据啊，知道了之后，我们要看一下这样一个 再怎么样去抓取，同样在外边开发者就是你们的浏览器当中，然后找到网络， 然后这样一个数据当中。第一步，因为微博的评论首先要只必须要你的通过用你的账微博的账号去登录之后才能看到你所有微博的评论，所以这第一步你必须要 设置你的库克斯，库克斯，那么库克斯在，库克斯在哪里找，在这里触发的源头， fetch 类型 型 html， 这里有个库克，这里的库克就是你可以放在你的代码当中，代码当中，然后就可以用来登录 查看评论，那么相应的评论的所在的接生文件是通过触发源头是 x h 二任何一个动态的，不能说任何一个大部，绝大部分的一个动态网页的响应触发源头都是 s h r x h r。 然后返回的文件都是接生 选取一下，看他的地址，请求的地址是这个地址，我们可以看看请求地址的这样一个 url 的组成是什么？ m 点微博点 cn， 前面是一样的，后面有相应的参数 id m i d 以及 max i d。 太，那除了这三个参数之外，我们后面还还会说到还有一个参数，就是 max i d。 这是微博的第一页，但是有六千多条评，呃，微博评论的第一页有六千多条评论，对不对？所以我们看一下，每次我们把这个下拉框拉到最后的时候，他会不停的加载，那么加载可以看一下这里又产生了一个， 我们刚刚是这个，这里又产生一个，应该是这个东西， 可以看一下这个东西，这样一个第二页评论的这样一个 url 和第一页评论的 url 发生了一些变化，多了一个参数，就是麦克斯的 id， 看到没有麦克斯的 id， 那这个麦克斯的 id 是怎么传来的？我们看一下我们这个麦克萨帝很长，我们记住最后五位数字，五八三三七五八三三七。那这个第二页的 max i d 五八三三七。我们要回到第一页的贴色文件，我们把这个复制一下 得到，这是第一页我们请求 uil 返回的介绍文件，我们看一下这样一个五八三三七，看到没有？ 那换句话来说，第二页这个微博第二页评论中 uil 的地址中的 maxid 有点绕口，就是第二页评论中的第二页评论 uil 地址中的 maxid 是第一页 评论阶层当中所返回的 maxid， 那换句话来说就是你的代码如果要循环的调用这样一个，或者说读取爬取这样一个微博评论的话，就需要第二页 来调用第一页的 max id， 第三页来调用第二页的 max id， 将前面一页的 max id 作为自己的 uil 其中的一个参数， 对不对？我们的组成包括了 id 和 m id 是微博的编号， max id 就是前一页杰森文件中的这样一个参数值，以及还有一个 max id type， max id type 可能为零，也可能为一。同样是 前一页揭散文件当中传递过来的，传递过来的好，那么对这样一个微博评论的这样一个请求的 a y l 您做介绍。我们来看一下代码 设置编码方式，导入相应的包设置投文件，这个嗨的你们可以任意上网去找，所以基本上所有的嗨的都是一样的。 qq， 我们刚刚说过了，用你自己的账号登录之后，会再产生一个 qq， 将 qq 复制进来， 设置一个 maxid 为空自断，设置一个循环，设置一个循环 yq。 我们知道我们第一一开始设置这样 maxid 等于空的时候，是因为第一页微博评论的第 一页是没有 max id 的这个字段的，所以如果会空的话，第一页的字段是这个字段，对不对？我们刚刚看过了第一页，我们可以找到这个字段， 然后如果为空，如果为空自断是这个自断，这是我们第一次抓取的时候，然后显示一下抓取 request， get uil hider， 将 hider 和 cookie 的直传入，然后解析，节省文件 解析这个如果得到了这样一个请求状态的值为一，表示解析成功。如果为零，跳出循环，如果为零，跳出循环。然后我们刚刚说了， 解析之后还要获取，对不对？我们如果要继续抓取评论的话，第一页我们知道明确的这样一个 ui 要地址。第二页， 第二页我们需要调用或者说传递过来第一页的 max i d 的值和 max i d type 的值，而这样一个 max i d 和 max i d 太普的值，我们就可以通过杰森文件中的一些字典格式的一个调用，对吧？ dature max i d， max i d type 传递过去，得到了一个定一两个边量。 max i d， max i d type 好，保存一下，就保存到这两个变量当中。然后我们所需要获取的是一些微博评论的文本，微博评论的文本 对不对？然后这个微博评论文本其实获取就非常简单了，对吧？获取一个字典的一个列表，获取一个字典的列表啊，看一下他每一页，每一页当中一共有每一页有二十条评论，二十条评论是在 date text 当中 text 当中，对吧？然后或许就是可以看一下，或许文本当中有很多的这样有图片，有文字，我们或我们所需要的是文字，所以才有一个政策表达是来提取你们的中文部分， 中文部分。同样我们还提取了这样一个微博评论的创建时间，用户 id 以及用户名以及用户的评论内容，然后将它转转化为 pendice data frame 格式，然后最后保存为一个 cs 飞吻界， 然后休眠三秒，防止被微博误认为。我认为我们是怕虫，也是模仿一下浏览器的行为， 这是第一页对不对？第一页循环之后，除了保存了第一页的二十条评论的文本内容，用户 id， 创建时间，用户的用户名之外，还产生了两个变量，一个变量是 max i d， 一个变量是 max i d type。 这两个变量为什么要产生？ 是为了第二次循环对不对？第一页产生的 maxid 的值他已经不为空了，不为空了，那如果不为空的话， s s 将 max i d 的值看到没有传递过来，以及 max 的 i d type 的值，也称 传递过来，也传递过来。然后我们 request get 这个 u i l 就是我们的第二页的评论的值， 以此类推第二页，那么第二页也会产生一个 max， 第二页中的杰森文件响应得到杰森文件，也会产生一个 max id 和 max id type， 然后供第三页，就是第三次循环继续调用，以此类推，一直到最后一页。好，我们来运行一下，不知道会有会不会有什么问题， 我们看一下请求的状态为一，表明请求成功。麦克斯达一个值，五八三三七五八三三七六零零五三六零零五三， 对不对？七四七三五七四七三五七，一直为零，我们看一下一直，然后 max id 太多的值一直为零，一直为零。 咱们可以看一下，刷新一下我们保存的 csa 的文件，是这个文件微博 command comment to 点 csv 刷新一下，他是在不停的文件名，文件在不停的变大的， 可以看一下对不对？到这一页的时候，原来 max id type 的值是零，到这里的时候， max id type 的值为一， 说明 max id type 的值发生了变化，至于为什么发生变化，我也不并，我并不知道微博的评论到底是怎么去设置的，或者这个值的参数有从零变为一，要有什么规律？但是我们所知道的就是 max id type 的，呃，后一页的网址中的 max id type 是调用前一页接送文件中的 max i d type， 这样就可以了，好，一共有六千多条这样一个，呃数据，所以太太多了，我这里演示就不演示，不执行完毕了，好，对吧？我们现在已经抓，应该已经抓了很多条了，我们来看一下， 因为这个，嗯，如果直接打开回声段吧，我们需要将它保存为另外一个文件，就是 nc 的格式， 可以看一下这个格式可以后来改一下，因为前面的第一页是日创建的日期评论日期，第二页是用户的 id， 第三页是用户的用户名，第四个是就是我们评论中的一些汉字的内容，汉字的内容太美好了，太美了，对不对？对吧？我们可以今年因为特殊原因，明年可以去武大去看看樱花， 武汉是一个很英雄的城市，那我们刚刚抓取了大概几分钟的时间，我们一共抓取了五百七十四条。五百七十四条， 好，这就是微博评论，他关键就在于第一个通过找到移动网页端的是采用移动网页端的微博数据员，然后第二个怎么样获取 q k。 第三个微博评论的获取阶层的地址是这个阶层地址，以及 以及这样一个他的传递的方式。有两个非常重要的参数，就是 max i d 和 max i d type 是后一页调用前一页介绍文件中的 max i d 和 max i d type， 对吧？今天那就我就讲到这里。

哈喽，大家好，我是布丁，亚马逊的免费爬城工具，你知道几个？今天布丁给大家分享一个，它是可以自动抓取亚马逊各大站点上所有产品的标题、五点描述等信息，对于我们进行数据化选品，分析竞争对手以及指导运营做历史性都会有很大的帮助。他 这是一个浏览器插件，名字叫做一三个带特斯卡尔，关于我们的谷歌库、让米以及火锅浏览器的应用商店都可以进行下载，具体的下载流程觉得非常简单，大家可以咨询度量一下。 然后你下载好了之后呢，用浏览器打开亚马逊的任何页面，然后点击插件头像，就可以自动开始抓取了，操作非常简单。关注我，后期分享更多亚马逊干货内容。