Запуск сценария python с использованием tweepy which streaming (с использованием потокового API твиттера) в случайной выборке английских твитов в течение минуты, затем чередуется с поиском (с использованием API поиска в твиттере) в течение минуты, а затем возвращается. Проблема, которую я обнаружил, заключается в том, что примерно через 40 секунд происходит сбой потоковой передачи и возникает следующая ошибка:
Полная ошибка:
urllib3.exceptions.ProtocolError: ('Соединение прервано: IncompleteRead (прочитано 0 байт)', IncompleteRead (прочитано 0 байт))
Количество прочитанных байтов может варьироваться от 0 до целых тысяч.
В первый раз, когда это видно, потоковая передача преждевременно прерывается, и функция поиска запускается раньше, после того, как функция поиска завершена, она снова возвращается в поток, и при втором повторении этой ошибки происходит сбой кода.
Код, который я использую:
# Handles date time calculation
def calculateTweetDateTime(tweet):
tweetDateTime = str(tweet.created_at)
tweetDateTime = ciso8601.parse_datetime(tweetDateTime)
time.mktime(tweetDateTime.timetuple())
return tweetDateTime
# Checks to see whether that permitted time has past.
def hasTimeThresholdPast():
global startTime
if time.clock() - startTime > 60:
return True
else:
return False
#override tweepy.StreamListener to add logic to on_status
class StreamListener(StreamListener):
def on_status(self, tweet):
if hasTimeThresholdPast():
return False
if hasattr(tweet, 'lang'):
if tweet.lang == 'en':
try:
tweetText = tweet.extended_tweet["full_text"]
except AttributeError:
tweetText = tweet.text
tweetDateTime = calculateTweetDateTime(tweet)
entityList = DataProcessing.identifyEntities(True, tweetText)
DataStorage.storeHotTerm(entityList, tweetDateTime)
DataStorage.storeTweet(tweet)
def on_error(self, status_code):
def on_error(self, status_code):
if status_code == 420:
# returning False in on_data disconnects the stream
return False
def startTwitterStream():
searchTerms = []
myStreamListener = StreamListener()
twitterStream = Stream(auth=api.auth, listener=StreamListener())
global geoGatheringTag
if geoGatheringTag == False:
twitterStream.filter(track=['the', 'this', 'is', 'their', 'though', 'a', 'an'], async=True, stall_warnings=True)
if geoGatheringTag == True:
twitterStream.filter(track=['the', 'this', 'is', 'their', 'though', 'a', 'an', 'they\'re'],
async=False, locations=[-4.5091, 55.7562, -3.9814, 55.9563], stall_warnings=True)
# ----------------------- Twitter API Functions ------------------------
# XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# --------------------------- Main Function ----------------------------
startTime = 0
def main():
global startTime
userInput = ""
userInput.lower()
while userInput != "-1":
userInput = input("Type ACTiVATE to activate the Crawler, or DATABASE to access data analytic option (-1 to exit): \n")
if userInput.lower() == 'activate':
while(True):
startTime = time.clock()
startTwitterStream()
startTime = time.clock()
startTwitterSearchAPI()
if __name__ == '__main__':
main()
Я урезал функцию поиска и аспекты обработки базы данных, поскольку они разделены, и чтобы не загромождать код.
Если у кого-то есть идеи, почему это происходит и как я могу решить эту проблему, дайте мне знать, мне было бы любопытно получить любую информацию.
Решения, которые я пробовал:
Блок Try / Except с http.client.IncompleteRead:
Согласно Ошибка-при-fetching-tweets-with-tweepy
Установка Stall_Warning = в True:
Согласно Incompleteread-error-when -retrieving-twitter-data-using-python
Удаление фильтра английского языка.
