Опрос нескольких аккаунтов в Твиттере на количество твитов и лайков

В настоящее время я работаю над вариантом использования (разработанным на Java, Spring), где у меня нет большого числа. учетных записей Twitter (количество учетных записей может достигать тысячи), на которые я могу публиковать данные (твитнуть) в соответствии с настройками / расписанием.

Я реализовал публикацию данных в Twitter, но я не понимаю, как получать показы / ретвиты и подобные твиты из различных учетных записей Twitter.

Одно из решений - опрашивать все учетные записи через равные промежутки времени, но в этом случае я не получу никаких лайков за сделанный твит, потому что я использую user и упоминаю API временной шкалы с параметром "Since_id", которые не возвращают no of лайки на мои старые твиты, так как он всегда получает последний твит и ретвит.

Другой вариант - использовать потоковые API-интерфейсы, в которых я буду открывать поток для каждой учетной записи twitter, но мне это не кажется осуществимым, потому что у меня очень большой номер. аккаунтов в Твиттере со мной, и я сомневаюсь, что мое Java-приложение сможет справиться с таким количеством. потоков.

Может кто-нибудь предложить, как я могу решить эту проблему, любая помощь приветствуется.


person Apollo    schedule 01.05.2017    source источник


Ответы (1)


Кажется, ваша проблема связана с масштабом, а не с дизайном, заявлением «и я сомневаюсь, что мое приложение Java может обрабатывать такое количество потоков».

давайте посмотрим в другом направлении.

Пора переходить в мир «больших данных». Список Apache kafa, Pig, Hive, Yarn, Strom, HBase, Hadoop и т. Д. Огромен.

  1. Apache Spark - крупномасштабная обработка данных, которая поддерживает такие концепции, как MapReduce, обработка в памяти, потоковая обработка, обработка графиков и т. Д.
  2. Storm был создан Twitter, а ответная часть - это Apache Storm.
  3. Apache Kafka предлагает брокеров, которые собирают потоки, регистрируют и буферизируют их отказоустойчивым способом.
  4. Hadoop для хранения данных. http://www.itworld.com/article/2827285/big-data/what-hadoop-can--and-can-t-do.html

счастливого проектирования.

person Arvind Lal    schedule 08.05.2017