僵王的卫兵吧 关注:38贴子:4,117

!我突然有了一个好主意

只看楼主收藏回复

我要把整个吧的帖子爬下来,给它整个全套分析流程
加入To-do List,等我有空的时候折腾一下
然后我就知道谁是以前骂我骂的最多的人了


IP属地:美国1楼2020-04-11 15:16回复
    看了一眼源码,应该还可以。静态网页还没有反爬机制。
    到时候还是直接存MySQL吧,之前被分配三周从txt往excel手动录数据真是给我整吐了,看来还需要做一些准备工作


    IP属地:美国2楼2020-04-11 15:22
    回复
      写完矩阵分析作业,我来放松一下

      让我们先来观察一下URL有没有什么特点,pn=0~250每页递增50,相当规律,ok可以用来构造外层翻页了


      IP属地:美国3楼2020-04-11 19:10
      回复
        F12调出控制台看一下网页结构

        ul标签包裹li标签包裹内链a标签,简直整齐到令人兴奋!


        IP属地:美国4楼2020-04-11 19:15
        回复
          老规矩先开Jupyter Lab测试一下

          好像没啥问题,准备进入正式流程


          IP属地:美国5楼2020-04-11 19:21
          回复
            测试一下正则表达式(听过一句经典的话,一个问题如果涉及RE,那就是两个问题)
            不过这个内链比较简单,况且我还有自己的老代码可以CV

            这个表情都给我爬下来了,我有点惊讶......
            我想时间比较碎片化,最好把项目也尽量分段,这次就单独爬内链先存着,之后再同一爬文本好了。
            不过这个表情怎么存啊,查了字符集是utf-8。srds......放excel里看还挺可爱的


            IP属地:美国6楼2020-04-11 19:33
            回复
              刚才在研究a标签内容的时候发现光帖子名内容就挺丰富了
              感觉可以先把所有的帖子名爬下来做个词云什么的。别说,这项目落地还挺快......

              不过贴吧的首页真是几百年不变的难看,好想重新写个前端页面(不是)


              IP属地:美国7楼2020-04-11 19:40
              回复
                突然注意到回复数也是很方便爬的,那是不是还可以一起爬了做个可视化什么的,安排D3来一个交互数据下钻
                啊啊啊啊啊!!!!idea这么多要怎么实现啊
                不对不对,我就是课余放松......冷静冷静


                IP属地:美国8楼2020-04-11 19:43
                收起回复
                  实话说我还没有亲手用过jieba呢,不过既然打算玩玩,就赶紧找个示例代码试试

                  效果确实和传闻的一样好
                  那似乎没有必要把标题存成一个文本,直接爬了画就好了


                  IP属地:美国9楼2020-04-11 19:52
                  收起回复
                    打开VSCode完善一下程序

                    跑一下试试

                    为什么底栏显示是290条,少了18条什么情况???
                    算了,这么多我也懒得一个个对了


                    IP属地:美国10楼2020-04-11 20:22
                    收起回复
                      词云没做过中文的,网上找了份参考,结果用我的小熊图就给我跑出这个德性???

                      喂喂喂!!!我的原版小熊图明明这么可爱


                      IP属地:美国11楼2020-04-11 20:54
                      回复
                        好吧,我今天玩好了,来总结一下上面那个词云图。众所周知,分析和反思是十分有必要的
                        颜色很好,字体很正......好吧,我不太擅长分析
                        最后,我想说的是


                        IP属地:美国12楼2020-04-11 21:22
                        收起回复


                          IP属地:美国13楼2020-04-11 21:29
                          回复
                            顶顶


                            来自Android客户端14楼2020-04-11 21:36
                            回复
                              我应该骂过你嘻嘻


                              来自Android客户端15楼2020-04-11 21:37
                              收起回复