{"id":474,"date":"2022-02-28T17:57:26","date_gmt":"2022-02-28T16:57:26","guid":{"rendered":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/?p=474"},"modified":"2022-05-03T10:50:41","modified_gmt":"2022-05-03T08:50:41","slug":"traitement-de-donnees-en-table","status":"publish","type":"post","link":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/2022\/02\/28\/traitement-de-donnees-en-table\/","title":{"rendered":"Traitement de donn\u00e9es en table"},"content":{"rendered":"\n

1 – Fichier csv et tableur<\/strong><\/p>\n\n\n\n

1- Quel est le s\u00e9parateur utilis\u00e9 ?<\/p>\n\n\n\n

Les s\u00e9parateurs sont des virgules.<\/p>\n\n\n\n

2- Que contient la premi\u00e8re ligne ?<\/p>\n\n\n\n

Ce sont les cat\u00e9gories.<\/p>\n\n\n\n

3- Pourquoi trouve-t-on parfois des virgules qui se suivent ?<\/p>\n\n\n\n

Car les donn\u00e9es de ces cat\u00e9gories ne sont pas renseign\u00e9es dans chaque ligne.<\/p>\n\n\n\n

<\/p>\n\n\n\n

2 – Fichier csv et python<\/strong><\/strong><\/p>\n\n\n\n

On importe le fichier csv dans le drive :<\/strong><\/p>\n\n\n\n

from google.colab import files\ndata_to_load = files.upload()<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Premi\u00e8re m\u00e9thode pour le lire :<\/strong><\/p>\n\n\n\n
On cr\u00e9e un tableau \u00e9l\u00e8ves contenant chacune des lignes du fichier csv :<\/p>\n\n\n\n
file=open('poudlard1.csv','r',encoding = \"ISO-8859-1\")\neleves=[]\nfor line in file:\n    eleves .append(line)<\/pre>\n\n\n\n
eleves<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
La premi\u00e8re valeur contient les index des colonnes comme dans le fichier csv. Ensuite chacune des lignes est enregistr\u00e9e dans une variable de type str.<\/p>\n\n\n\n
On peut refaire la m\u00eame chose avec une liste en compr\u00e9hension.<\/p>\n\n\n\n
file=open('poudlard1.csv','r',encoding = \"ISO-8859-1\")\neleves=[line for line in file]\nfile.close()<\/pre>\n\n\n\n
eleves[17]<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Les valeurs d’une ligne sont s\u00e9par\u00e9s par des \u00ab\u00a0;\u00a0\u00bb On peut s\u00e9parer les valeurs d’une ligne dans un tableau.<\/p>\n\n\n\n
eleves[17].split(\",\")<\/pre>\n\n\n\n
On peut g\u00e9n\u00e9raliser.<\/p>\n\n\n\n
file=open('poudlard1.csv','r',encoding = \"ISO-8859-1\")\neleves=[line.split(';') for line in file]\nfile.close()<\/pre>\n\n\n\n
for val in eleves:\n  print(val)<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Lecture du fichier csv : m\u00e9thode 2<\/strong><\/p>\n\n\n\n
import csv\neleves=[]\nwith open('poudlard1.csv',newline='',encoding = \"ISO-8859-1\") as csvfile:\n          s=csv.DictReader(csvfile,delimiter=';')\n          for line in s:\n              eleves.append(dict(line))<\/pre>\n\n\n\n
eleves<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Etc sur toute la liste.<\/p>\n\n\n\n
On constate que \u00e9l\u00e8ves est une liste de dictionnaires.<\/p>\n\n\n\n
On r\u00e9cup\u00e8re une valeur de la liste et on v\u00e9rifie que c’est bien un dictionnaire.<\/p>\n\n\n\n
eleves[16]<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
type(eleves[16])<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Il n’y a plus la premi\u00e8re ligne du fichier csv contenant les champs.Les champs sont les clefs des dictionnaires.Ceci explique le d\u00e9calage pour Hermione qui passe de l’indice 17 \u00e0 l’indice 16.On peut utiliser les clefs pour r\u00e9cup\u00e9rer des valeurs. Quel \u00e9l\u00e8ve se trouve en ligne 16 ?<\/p>\n\n\n\n
eleves[16]['\u00c9l\u00e8ve']<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Hermione est-elle une moldu ?<\/p>\n\n\n\n
eleves[16]['Moldu']<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Quelle est la note d’Hermione en botanique ?<\/p>\n\n\n\n
eleves[16]['Botanique']<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Hermione n’a pas de note. Attribuons la note 19 \u00e0 Hermione en botanique.<\/p>\n\n\n\n
eleves[16]['Botanique']=19\neleves[16]<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Comment g\u00e9n\u00e9rer une note al\u00e9atoire ?<\/p>\n\n\n\n
import random\nrandom.randint(0,20)<\/pre>\n\n\n\n
\"\"
Note g\u00e9n\u00e9r\u00e9e al\u00e9atoirement.<\/figcaption><\/figure>\n\n\n\n
Comment g\u00e9n\u00e9rer une liste de n notes al\u00e9atoires ?<\/p>\n\n\n\n
import random\nn=10\nnotes=[]\nfor i in range(n):\n    notes.append(random.randint(0,20))<\/pre>\n\n\n\n
print(notes)<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Comment g\u00e9n\u00e9rer une liste de n notes al\u00e9atoires avec une liste en compr\u00e9hension ?<\/p>\n\n\n\n
import random\nn=10\nnotes=[random.randint(0,20) for _ in range(n)]<\/pre>\n\n\n\n
print(notes)<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Pour un \u00e9l\u00e8ve ici Hermione on peut g\u00e9n\u00e9rer une note al\u00e9atoire pour chacune des 5 mati\u00e8res.<\/p>\n\n\n\n
import random\nmatieres=['Potions', 'Botanique','\u00e9tude des Moldus', 'Sortil\u00e8ges', 'Vol sur Balai']\nnotes=[random.randint(10,20) for val in matieres]\nfor i in range(5):\n    eleves[16][matieres[i]]=notes[i]<\/pre>\n\n\n\n
eleves[16]<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
On g\u00e9n\u00e8re une note al\u00e9atoire pour chacun des \u00e9l\u00e8ves dans chacune des mati\u00e8res.<\/p>\n\n\n\n
import random\nmatieres=['Potions', 'Botanique','\u00e9tude des Moldus', 'Sortil\u00e8ges', 'Vol sur Balai']\nfor eleve in eleves:\n    for i in range(5):\n        notes=[random.randint(10,20) for val in matieres]\n        eleve[matieres[i]]=notes[i]<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Vous pouvez afficher vos r\u00e9sultats comme sur pronote avec un diagramme en \u00ab\u00a0araign\u00e9e\u00a0\u00bb.<\/p>\n\n\n\n
import plotly.graph_objects as go\nradar = go.Scatterpolar(r = [eleves[13][val] for val in matieres],theta = matieres,fill = 'toself')\ndata = [radar]\nfig = go.Figure(data = data)\nfig.update_layout(title_text = eleves[13]['\u00c9l\u00e8ve'])\nfig.show()<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n
3 – Projet 1<\/strong><\/p>\n\n\n\n
3-1) Lecture des fichiers csv<\/strong><\/p>\n\n\n\n
https:\/\/colab.research.google.com\/drive\/1eJAatkxK4AAo_K21XXPvbqvt0NpYm5P6?usp=sharing<\/a><\/p>\n\n\n\n
3-2) Recherche et ajout de donn\u00e9es manquantes<\/strong><\/p>\n\n\n\n
https:\/\/colab.research.google.com\/drive\/1eJAatkxK4AAo_K21XXPvbqvt0NpYm5P6?usp=sharing<\/a><\/p>\n\n\n\n
https:\/\/colab.research.google.com\/drive\/1DfLkhxq3vjwxGH9FCMLk72FCQVpOQxP0?usp=sharing<\/a><\/p>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
1 – Fichier csv et tableur 1- Quel est le s\u00e9parateur utilis\u00e9 ? Les s\u00e9parateurs sont des virgules. 2- Que contient la premi\u00e8re ligne ? Ce sont les cat\u00e9gories. 3- Pourquoi trouve-t-on parfois des virgules qui se suivent ? Car les donn\u00e9es de ces cat\u00e9gories ne sont pas renseign\u00e9es dans chaque ligne. 2 – Fichier […]<\/p>\n","protected":false},"author":7,"featured_media":587,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[2],"tags":[],"_links":{"self":[{"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/posts\/474"}],"collection":[{"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/comments?post=474"}],"version-history":[{"count":13,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/posts\/474\/revisions"}],"predecessor-version":[{"id":527,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/posts\/474\/revisions\/527"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/media\/587"}],"wp:attachment":[{"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/media?parent=474"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/categories?post=474"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/yb-isn.fr\/2021\/nsi\/anna\/wp-json\/wp\/v2\/tags?post=474"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}