.Net WebClient DownloadString не работает со смешанным содержимым

Я работаю над парсером, в котором мне нужно очистить данные с одного сайта. Мне надоел очень простой веб-клиент downloadString для получения данных, который, похоже, работает с другими сайтами, но имеет проблему с тем, который я пытаюсь использовать в следующем коде. Любая помощь будет оценена заранее. Следующий код в VB.Net, но я также рад иметь рабочее решение на С #.

Private Function GetHtml() As String
    Dim mData As String = ""
    Try
        'ServicePointManager.ServerCertificateValidationCallback = New Security.RemoteCertificateValidationCallback(AddressOf ValidateServerCertificate)
        'ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12

        With mWC
            mData = .DownloadString("https://www.adorama.com/brands")
        End With
    Catch ex As Exception
        Debug.Print(ex.Message)

        'With CertificateValidationCallback
        'The remote server returned an error: (403) Forbidden.

        'Without CertificateValidationCallback
        'The request was aborted: Could not create SSL/TLS secure channel.
    End Try

    Return mData
End Function

Private Shared Function ValidateServerCertificate(ByVal sender As Object, ByVal certificate As X509Certificate, ByVal chain As X509Chain, ByVal sslPolicyErrors As Net.Security.SslPolicyErrors) As Boolean
    If sslPolicyErrors = Net.Security.SslPolicyErrors.None Then
        Return True
    End If

    Return True
End Function

person AmitSri    schedule 18.09.2017    source источник
comment
Не могли бы вы дать больше информации по вашим вопросам. Что ты пытаешься сделать? Если другие сайты работают, в чем ошибка этого?   -  person    schedule 18.09.2017
comment
@ Youssed13 решил мою проблему. Пожалуйста, проверьте его ответ. Спасибо, что уделили время моему вопросу.   -  person AmitSri    schedule 19.09.2017


Ответы (1)


Вы должны добавить User-Agent для этого веб-сайта, прежде чем использовать метод .DownloadString ().

mWC.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0")
person Youssef13    schedule 18.09.2017
comment
Спасибо, ты спас мне день. - person AmitSri; 19.09.2017