import gradio as gr import requests from bs4 import BeautifulSoup import time import random import pandas as pd def get_job_description(job_url, headers): """ Récupère la description d'une offre d'emploi à partir de son URL. Args: job_url (str): L'URL de l'offre d'emploi headers (dict): Les headers pour la requête HTTP Returns: str: La description de l'offre d'emploi ou un message d'erreur """ try: response = requests.get(job_url, headers=headers) response.raise_for_status() soup = BeautifulSoup(response.content, 'html.parser') description_container = soup.find('div', class_='show-more-less-html__markup') if description_container: description = description_container.get_text(strip=True, separator=' ') print(f"✅ Description récupérée pour {job_url[:50]}...") print(f"Aperçu: {description[:200]}...") return description else: print(f"❌ Balise de description non trouvée pour {job_url}") return "Description non disponible" except requests.RequestException as e: print(f"❌ Erreur lors de la récupération de {job_url}: {str(e)}") return f"Erreur lors de la récupération: {str(e)}" except Exception as e: print(f"❌ Erreur inattendue pour {job_url}: {str(e)}") return f"Erreur inattendue: {str(e)}" def scrape_linkedin_jobs(keyword, location, num_pages=1, include_description=True): """ Scrape les offres d'emploi sur LinkedIn en fonction des mots-clés et de l'emplacement spécifiés. Args: keyword (str): Le mot-clé pour la recherche d'emploi (ex: Python, Data Scientist) location (str): L'emplacement pour la recherche d'emploi (ex: Paris, France) num_pages (int, optional): Le nombre de pages à scraper. Par défaut à 1. include_description (bool, optional): Si True, récupère aussi les descriptions. Par défaut à True. Returns: pandas.DataFrame ou str: Un DataFrame contenant les offres d'emploi trouvées ou un message d'erreur """ base_url = "https://www.linkedin.com/jobs/search/" jobs = [] headers = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36" } for page in range(num_pages): print(f"🔍 Scraping page {page + 1}...") params = { "keywords": keyword, "location": location, "start": page * 25 } try: response = requests.get(base_url, params=params, headers=headers) response.raise_for_status() soup = BeautifulSoup(response.content, 'html.parser') job_cards = soup.find_all('div', class_='base-card relative w-full hover:no-underline focus:no-underline base-card--link base-search-card base-search-card--link job-search-card') if not job_cards: return f"Avertissement: Aucune offre d'emploi trouvée sur la page {page + 1}. La structure de la page a peut-être changé." print(f"📋 {len(job_cards)} offres trouvées sur la page {page + 1}") for i, card in enumerate(job_cards): title = card.find('h3', class_='base-search-card__title') company = card.find('h4', class_='base-search-card__subtitle') location_elem = card.find('span', class_='job-search-card__location') link = card.find('a', class_='base-card__full-link') if title and company and location_elem and link: job_data = { 'Titre': title.text.strip(), 'Entreprise': company.text.strip(), 'Lieu': location_elem.text.strip(), 'Lien': link['href'] } print(f"📄 Traitement de l'offre {i + 1}: {job_data['Titre']} chez {job_data['Entreprise']}") if include_description: print(f"🔗 Récupération de la description...") job_data['Description'] = get_job_description(job_data['Lien'], headers) time.sleep(random.uniform(1, 2)) jobs.append(job_data) time.sleep(random.uniform(1, 2)) except requests.RequestException as e: return f"Une erreur s'est produite lors de la récupération de la page {page + 1}: {str(e)}" print(f"✅ Scraping terminé! {len(jobs)} offres récupérées au total") return pd.DataFrame(jobs) def dataframe_to_html(df): """ Convertit un DataFrame en tableau HTML basique avec des liens cliquables. Args: df (pandas.DataFrame): Le DataFrame à convertir Returns: str: Représentation HTML du DataFrame """ if not isinstance(df, pd.DataFrame): return f"

{df}

" html = "" for col in df.columns: html += f"" html += "" for _, row in df.iterrows(): html += "" for col in df.columns: if col == "Lien": html += f'' elif col == "Description": # Limiter l'affichage de la description pour le tableau desc = str(row[col])[:200] + "..." if len(str(row[col])) > 200 else str(row[col]) html += f"" else: html += f"" html += "" html += "
{col}
Voir l\'offre{desc}{row[col]}
" return html def linkedin_scraper_interface(keyword, location, num_pages, include_description): """ Interface pour le scraper LinkedIn qui valide les entrées et formate les résultats. Args: keyword (str): Le mot-clé pour la recherche d'emploi location (str): L'emplacement pour la recherche d'emploi num_pages (int): Le nombre de pages à scraper include_description (bool): Si True, récupère aussi les descriptions Returns: str: Résultats formatés en HTML avec des liens cliquables ou message d'erreur """ if not keyword or not location: return "Veuillez saisir un mot-clé et un lieu." try: num_pages = int(num_pages) if num_pages < 1: return "Le nombre de pages doit être d'au moins 1." except ValueError: return "Le nombre de pages doit être un nombre entier." print(f"🚀 Début du scraping: '{keyword}' à '{location}' sur {num_pages} page(s)") print(f"📝 Récupération des descriptions: {'Oui' if include_description else 'Non'}") results = scrape_linkedin_jobs(keyword, location, num_pages, include_description) if isinstance(results, str): return results if isinstance(results, pd.DataFrame) and len(results) == 0: return "Aucun résultat trouvé. Essayez de modifier vos critères de recherche." return dataframe_to_html(results) # Interface Gradio with gr.Blocks(title="Job Scraper") as demo: """ Crée l'interface utilisateur Gradio pour le scraper d'offres d'emploi. """ gr.Markdown("# Job Scraper") gr.Markdown("Recherchez des offres d'emploi en fonction de mots-clés et d'emplacements") with gr.Row(): with gr.Column(): keyword_input = gr.Textbox(label="Mot-clé (ex: Python, Data Scientist)", placeholder="Entrez un mot-clé") location_input = gr.Textbox(label="Lieu (ex: Paris, France)", placeholder="Entrez un lieu") pages_input = gr.Number(label="Nombre de pages à scraper", value=1, minimum=1, maximum=5) description_checkbox = gr.Checkbox(label="Récupérer les descriptions des offres", value=True) submit_button = gr.Button("Rechercher") output = gr.HTML(label="Résultats") submit_button.click( fn=linkedin_scraper_interface, inputs=[keyword_input, location_input, pages_input, description_checkbox], outputs=output ) if __name__ == "__main__": demo.launch(mcp_server=True)