Вопрос по 3 лабе (18 вариант)

[yuri-pechatnov]

Такая проблема:
надо просмотреть 65 страниц списка разработчиков Microsoft (18 вариант). И в процессе меня сервер посылает с ошибкой - слишком много запросов. А задержку вставить никак не получается. Async.Sleep либо ставлю неправильно, либо он вообще тут не подходит(
Как с этим бороться?

upd:
Поставил считаться фибоначчи в промежутки и все равно ошибка от сервера( А оно и так уже долго работает

ошибка 429 с github

Whoa there!

You have triggered an abuse detection mechanism.
Please wait a few minutes before you try again.

[max-dankow]

Такая же проблема, весь вечер мучаюсь

[agsh]

Мне бы пример кода для редактирования

[max-dankow]

Вот упрощенный пример чтения страниц результатов поиска (локализованный баг)
[for i in [1..20] -> try HtmlDocument.Load("https://github.com/search?l=F%23&o=desc&p=" + i.ToString() + "&q=language%3AF%23&ref=advsearch&s=stars&type=Repositories&utf8=%E2%9C%93" ); i with _ -> -1]

[agsh]

У меня достаточно подождать 10 секунд после каждого запроса, чтобы всё прошло:

open System.Threading
[for i in [1..20] -> try HtmlDocument.Load( "https://github.com/search?l=F%23&o=desc&p=" + i.ToString() + "&q=language%3AF%23&ref=advsearch&s=stars&type=Repositories&utf8=%E2%9C%93"); Thread.Sleep(10000); i with _ -> -1]

[max-dankow]

в моем задании нужно найти топ 500 в поиске = 50 страниц по 10 репозиториев -> 50 * 10 секунд - 8 минут где-то, долговато, как быть?Даже если уменьшить число, то все равно достаточно, не по тестировать( Может есть более оптимальный способ делать запросы в поисковой системе гитхаба..?

[max-dankow]

Да, спасибо, это работает корректно, но остается проблема времени

[agsh]

Можно взять html-код одной страницы для тестирования и использовать вместо метода Load метод HtmlDocument.Parse, который принимает на вход строку и строит такое же дерево