网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索
java吧 关注：1,244,916贴子：12,721,884
  • 14回复贴，共1页

【java】吧里有没有做过爬虫抓取的

只看楼主收藏回复

项目需求要做三大外卖数据抓取(百度、饿了么、美团)，不知如何下手，有做过的大神吗，指点迷津哈。谢谢了。
IP属地:陕西1楼2018-01-09 14:04回复
    IP属地:陕西2楼2018-01-09 17:28
    回复
      可以试试抓取那些成功的订单
      IP属地:湖南3楼2018-01-09 17:47
      收起回复
        如果是爬网页中的信息的话，我这有案例
        IP属地:四川4楼2018-01-10 09:47
        回复
          学python，库很多
          IP属地:江西来自Android客户端9楼2018-01-10 10:47
          回复
            最简单的，用httpclient直接访问一个美团的页面，作为root页面
            然后将返回的html进行分析，拿到里边所有的连接
            如果连接的url符合商家页面的url的规则，读取内容，否则就不读
            将该页面作为root页面，继续第一步
            一个页面里连接可能有很多，用深搜还是广搜自己随便
            不过你这种爬虫，爬不了几个页面就要被封的。。。
            IP属地:北京11楼2018-01-18 11:39
            收起回复

              扫二维码下载贴吧客户端

              下载贴吧APP
              看高清直播、视频！
              • 14回复贴，共1页
              发表回复
              发贴请遵守贴吧协议及“七条底线”贴吧投诉
              内  容:
                查看全部
              发 表
              保存至快速回贴

              发布成功
              去贴吧APP订阅抽奖结果通知
              扫码进入贴吧APP
              ···········
              开奖后第一时间站内信通知
              ···········
              中奖结果全员公示