Тема закрыта
  • selivandr Junior MemberАвтор темы
    офлайн
    selivandr Junior Member Автор темы

    99

    17 лет на сайте
    пользователь #100618

    Профиль
    Написать сообщение

    99
    # 8 февраля 2010 18:53

    есть желание распарсить страницу статистики ByFly чтобы выводить на рабочий стол (в гаджет например в Win7) актуальные данные. Хочу скачать страницу на локальный диск и потом распарсить.

    При анализе страницы выяснилось что можно попасть в аккаунт по ссылке

    https://stat.byfly.by/KK_ABS_WEB_DB.CallHPage?p_logname=НОМЕР_ДОГОВОРА&p_pwd=ПАРОЛЬ&p_lang=ru

    в браузере такая ссылка работает без проблем. Но wget и cURL не могут скачать страницу - возвращают Forbidden. Думаю проблема с SSL защитой. Есть ли идеи как распарсить?

    Жёлтая карточка была показана пользователю за этот пост модератором Артёмка (9 февраля 2010 10:50)
    Основание: 3.4.1

  • itc Senior Member
    офлайн
    itc Senior Member

    2121

    20 лет на сайте
    пользователь #15950

    Профиль
    Написать сообщение

    2121
    # 8 февраля 2010 19:12

    Можно ещё попробовать прикинуться браузером (wget -U Opera httрs://###). На некоторых сайтах прокатывает.

  • selivandr Junior MemberАвтор темы
    офлайн
    selivandr Junior Member Автор темы

    99

    17 лет на сайте
    пользователь #100618

    Профиль
    Написать сообщение

    99
    # 8 февраля 2010 21:56

    Разобрался! Нужен был новый wget с поддержкой SSL

    текст батника:

    start /max /b

    cd "d:\byfly\"

    start /b wget -U chrome --no-check-certificate "stat.byfly.by/KK_ABS_WEB_DB.CallHPage?p_logname=ЛОГИН&p_pwd=ПАРОЛЬ&p_lang=ru" -O stat_main.html

    страница сахраняется на локальном диске. теперь её можно парсить.))

    только как-то нужно конекты закрывать - а то после 10 раз пишет, что превышено количество разрешенных сессий

Тема закрыта