Проблема с использованием условного оператора в функции Lambda в Pandas

Я пытаюсь перевести все столбцы с именем tweet_text в моем наборе данных. У меня есть около 100 000 строк данных, и около 50% из них нужно перевести на английский язык.

Следующий код работает, но я в основном запускаю функцию для перевода твитов для каждой отдельной строки, что занимает почти 2 часа.

Примечание: x != " " проверяет, не являются ли твиты пустыми строками, поскольку в некоторых твитах есть только " ", поскольку я удалил из них некоторые смайлики, и это все, что осталось.

Ссылка на глубокий переводчик

from deep_translator import GoogleTranslator
import swifter
import pandas as pd 

df_bdtu['tweet_text'] = df_bdtu.tweet_text.swifter.apply(lambda x: GoogleTranslator(source='auto', target='en').translate(x) if x != " " else None)

Поэтому, чтобы ускорить это, я попытался вместо этого перевести их, только если они не на английском языке, поскольку у меня есть столбец, в котором указан язык твита под названием lang.

Здесь я просто перебираю два столбца и перевожу tweet_text:

  1. Если твит не " "
  2. Если твита нет в English
df_bdtu[['tweet_text', 'lang']].swifter.apply(lambda x: GoogleTranslator(source='auto', target='en').translate(x['tweet_text']) if (x['tweet_text'] != " " and x['lang'] != "en") else None, axis = 1)

Но я получаю сообщение об ошибке, которое указывает на то, что я передаю весь текст за один раз для перевода, и я не могу его исправить. Я также открыт для способов ускорить это.

Ошибка:

deep_translator.exceptions.NotValidPayload:  --> text must be a valid text with maximum 5000 character, otherwise it cannot be translated

Фрейм данных:

data = {'tweet_text': ['100 Arsenal appearances. Congratulations, Rob! ', "     Lundi soir dans l'émission ,     et   ont débriefé la victoire dans le Der...", '  È in corso la votazione tra le 4 figurine finaliste!', '   y’a absolument zéro vanne l’avis est désastreux. ', 'FINAL  1-3 ¡El   firma una gran remontada en su primera victoria de 2021!  ... ', '  JÁ HÁ ONZE!   ', 'HALF-TIME Southampton 1-0 LiverpoolDanny Ings’ brilliant early opener is the difference at the break ', "10' Une-deux parfaitement exécuté entre Tino et   Notre capitaine voit sa frappe passer au-dessus. 0-0 ", '  ¡INCREÍBLE, DOS SANTOS!          ', '   +3     '], 'lang': ['en', 'fr', 'it', 'fr', 'es', 'pt', 'en', 'fr', 'es', 'und']}
df = pd.DataFrame(data)

                                                                                               tweet_text lang
                                                          100 Arsenal appearances. Congratulations, Rob!    en
                         Lundi soir dans l'émission ,     et   ont débriefé la victoire dans le Der...   fr
                                                    È in corso la votazione tra le 4 figurine finaliste!   it
                                                      y’a absolument zéro vanne l’avis est désastreux.    fr
                          FINAL  1-3 ¡El   firma una gran remontada en su primera victoria de 2021!  ...    es
                                                                                         JÁ HÁ ONZE!      pt
    HALF-TIME Southampton 1-0 LiverpoolDanny Ings’ brilliant early opener is the difference at the break    en
10' Une-deux parfaitement exécuté entre Tino et   Notre capitaine voit sa frappe passer au-dessus. 0-0    fr
                                                                       ¡INCREÍBLE, DOS SANTOS!             es
                                                                                                  +3       und

person yudhiesh    schedule 03.02.2021    source источник


Ответы (1)


  • Код отлично работает с предоставленным образцом, поэтому в пример кадра данных были добавлены дополнительные строки, в результате чего получается exceptions.
  • Write a function, with try - except to catch the invalid rows.
  • Обратите внимание, что в следующем коде не используется import swifter, потому что этот модуль используется для ускорения .apply и не требуется для тестирования.
import pandas as pd
from deep_translator import GoogleTranslator as GT
from deep_translator import exceptions as excp

# sample dataframe
data = {'tweet_text': ['100 Arsenal appearances. Congratulations, Rob! ', "     Lundi soir dans l'émission ,     et   ont débriefé la victoire dans le Der...", '  È in corso la votazione tra le 4 figurine finaliste!', '   y’a absolument zéro vanne l’avis est désastreux. ', 'FINAL  1-3 ¡El   firma una gran remontada en su primera victoria de 2021!  ... ', '  JÁ HÁ ONZE!   ', 'HALF-TIME Southampton 1-0 LiverpoolDanny Ings’ brilliant early opener is the difference at the break ', "10' Une-deux parfaitement exécuté entre Tino et   Notre capitaine voit sa frappe passer au-dessus. 0-0 ", '  ¡INCREÍBLE, DOS SANTOS!          ', '   +3     ', "Quoique ce détail ne touche en aucune manière au fond même de ce que nous avons à raconter, il n'est peut-être pas inutile, ne fût-ce que pour être exact en tout, d'indiquer ici les bruits et les propos qui avaient couru sur son compte au moment où il était arrivé dans le diocèse. Vrai ou faux, ce qu'on dit des hommes tient souvent autant de place dans leur vie et surtout dans leur destinée que ce qu'ils font. M. Myriel était fils d'un conseiller au parlement d'Aix; noblesse de robe. On contait de lui que son père, le réservant pour hériter de sa charge, l'avait marié de fort bonne heure, à dix-huit ou vingt ans, suivant un usage assez répandu dans les familles parlementaires. Charles Myriel, nonobstant ce mariage, avait, disait-on, beaucoup fait parler de lui. Il était bien fait de sa personne, quoique d'assez petite taille, élégant, gracieux, spirituel; toute la première partie de sa vie avait été donnée au monde et aux galanteries. La révolution survint, les événements se précipitèrent, les familles parlementaires décimées, chassées, traquées, se dispersèrent. M. Charles Myriel, dès les premiers jours de la révolution, émigra en Italie. Sa femme y mourut d'une maladie de poitrine dont elle était atteinte depuis longtemps. Ils n'avaient point d'enfants. Que se passa-t-il ensuite dans la destinée de M. Myriel? L'écroulement de l'ancienne société française, la chute de sa propre famille, les tragiques spectacles de 93, plus effrayants encore peut-être pour les émigrés qui les voyaient de loin avec le grossissement de l'épouvante, firent-ils germer en lui des idées de renoncement et de solitude? Fut-il, au milieu d'une de ces distractions et de ces affections qui occupaient sa vie, subitement atteint d'un de ces coups mystérieux et terribles qui viennent quelquefois renverser, en le frappant au coeur, l'homme que les catastrophes publiques n'ébranleraient pas en le frappant dans son existence et dans sa fortune? Nul n'aurait pu le dire; tout ce qu'on savait, c'est que, lorsqu'il revint d'Italie, il était prêtre.Quoique ce détail ne touche en aucune manière au fond même de ce que nous avons à raconter, il n'est peut-être pas inutile, ne fût-ce que pour être exact en tout, d'indiquer ici les bruits et les propos qui avaient couru sur son compte au moment où il était arrivé dans le diocèse. Vrai ou faux, ce qu'on dit des hommes tient souvent autant de place dans leur vie et surtout dans leur destinée que ce qu'ils font. M. Myriel était fils d'un conseiller au parlement d'Aix; noblesse de robe. On contait de lui que son père, le réservant pour hériter de sa charge, l'avait marié de fort bonne heure, à dix-huit ou vingt ans, suivant un usage assez répandu dans les familles parlementaires. Charles Myriel, nonobstant ce mariage, avait, disait-on, beaucoup fait parler de lui. Il était bien fait de sa personne, quoique d'assez petite taille, élégant, gracieux, spirituel; toute la première partie de sa vie avait été donnée au monde et aux galanteries. La révolution survint, les événements se précipitèrent, les familles parlementaires décimées, chassées, traquées, se dispersèrent. M. Charles Myriel, dès les premiers jours de la révolution, émigra en Italie. Sa femme y mourut d'une maladie de poitrine dont elle était atteinte depuis longtemps. Ils n'avaient point d'enfants. Que se passa-t-il ensuite dans la destinée de M. Myriel? L'écroulement de l'ancienne société française, la chute de sa propre famille, les tragiques spectacles de 93, plus effrayants encore peut-être pour les émigrés qui les voyaient de loin avec le grossissement de l'épouvante, firent-ils germer en lui des idées de renoncement et de solitude? Fut-il, au milieu d'une de ces distractions et de ces affections qui occupaient sa vie, subitement atteint d'un de ces coups mystérieux et terribles qui viennent quelquefois renverser, en le frappant au coeur, l'homme que les catastrophes publiques n'ébranleraient pas en le frappant dans son existence et dans sa fortune? Nul n'aurait pu le dire; tout ce qu'on savait, c'est que, lorsqu'il revint d'Italie, il était prêtre.Quoique ce détail ne touche en aucune manière au fond même de ce que nous avons à raconter, il n'est peut-être pas inutile, ne fût-ce que pour être exact en tout, d'indiquer ici les bruits et les propos qui avaient couru sur son compte au moment où il était arrivé dans le diocèse. Vrai ou faux, ce qu'on dit des hommes tient souvent autant de place dans leur vie et surtout dans leur destinée que ce qu'ils font. M. Myriel était fils d'un conseiller au parlement d'Aix; noblesse de robe. On contait de lui que son père, le réservant pour hériter de sa charge, l'avait marié de fort bonne heure, à dix-huit ou vingt ans, suivant un usage assez répandu dans les familles parlementaires. Charles Myriel, nonobstant ce mariage, avait, disait-on, beaucoup fait parler de lui. Il était bien fait de sa personne, quoique d'assez petite taille, élégant, gracieux, spirituel; toute la première partie de sa vie avait été donnée au monde et aux galanteries. La révolution survint, les événements se précipitèrent, les familles parlementaires décimées, chassées, traquées, se dispersèrent. M. Charles Myriel, dès les premiers jours de la révolution, émigra en Italie. Sa femme y mourut d'une maladie de poitrine dont elle était atteinte depuis longtemps. Ils n'avaient point d'enfants. Que se passa-t-il ensuite dans la destinée de M. Myriel? L'écroulement de l'ancienne société française, la chute de sa propre famille, les tragiques spectacles de 93, plus effrayants encore peut-être pour les émigrés qui les voyaient de loin avec le grossissement de l'épouvante, firent-ils germer en lui des idées de renoncement et de solitude? Fut-il, au milieu d'une de ces distractions et de ces affections qui occupaient sa vie, subitement atteint d'un de ces coups mystérieux et terribles qui viennent quelquefois renverser, en le frappant au coeur, l'homme que les catastrophes publiques n'ébranleraient pas en le frappant dans son existence et dans sa fortune? Nul n'aurait pu le dire; tout ce qu'on savait, c'est que, lorsqu'il revint d'Italie, il était prêtre.", ['???? ???? ???? ???? ???? ???? ???? ????'], '???? ???? ???? ???? ???? ???? ???? ????'], 'lang': ['en', 'fr', 'it', 'fr', 'es', 'pt', 'en', 'fr', 'es', 'und', 'fr', 'sp', 'sp']}
df = pd.DataFrame(data)

# function to translate and catch exceptions
def translate(x):
    try:
        v = GT(source='auto', target='en').translate(x['tweet_text']) if (x['tweet_text'] != " " and x['lang'] != "en") else x['tweet_text']
    except (excp.NotValidPayload, excp.NotValidLength) as e:
        v = f'Translation Exception: {type(e)}'
    return v


# translate the column
df['translated'] = df[['tweet_text', 'lang']].apply(lambda x: translate(x), axis = 1)

# find rows with Translation Exception
not_translated = df[['tweet_text', 'lang', 'translated']][df['translated'].str.startswith('Translation Exception')]
person Trenton McKinney    schedule 03.02.2021
comment
Спасибо, что работает. Из результатов not_translated выясняется, что были языки, отмеченные как und, что соответствует Undetermined. Это вызывало ошибки. Благодарим за помощь в этом и в форматировании вопроса. - person yudhiesh; 03.02.2021
comment
@yudhiesh не за что. Хорошего дня. - person Trenton McKinney; 03.02.2021