Тема садржаја:
- ПиСпарк ДатаФраме у ЦСВ претварањем у Пандас ДатаФраме
- ПиСпарк Пандас ДатаФраме у ЦСВ користећи методу То_Цсв().
- ПиСпарк Пандас ДатаФраме у ЦСВ претварањем у НумПи низ
- ПиСпарк ДатаФраме у ЦСВ користећи метод Врите.Цсв().
Ако желите да сазнате више о ПиСпарк ДатаФраме-у и инсталацији модула, прођите кроз ово чланак .
ПиСпарк ДатаФраме у ЦСВ претварањем у Пандас ДатаФраме
То_цсв() је метод који је доступан у Пандас модулу који конвертује Пандас ДатаФраме у ЦСВ. Прво, морамо да конвертујемо наш ПиСпарк ДатаФраме у Пандас ДатаФраме. За то се користи метода тоПандас(). Хајде да видимо синтаксу то_цсв() заједно са њеним параметрима.
Синтакса:
пандас_датафраме_обј.то_цсв(пут/ 'име_датотеке.цсв' , заглавље ,индекс,колоне,режим...)
- Морамо да наведемо име датотеке ЦСВ датотеке. Ако желите да сачувате преузети ЦСВ на одређеној локацији на вашем рачунару, такође можете да наведете путању заједно са именом датотеке.
- Колоне су укључене ако је заглавље постављено на „Тачно“. Ако вам нису потребне колоне, поставите заглавље на „Нетачно“.
- Индекси се специфицирају ако је индекс постављен на „Труе“. Ако вам нису потребни индекси, поставите индекс на „Фалсе“.
- Параметар Цолумнс узима листу имена колона у којој можемо одредити које се одређене колоне издвајају у ЦСВ датотеку.
- У могућности смо да додамо записе у ЦСВ користећи параметар моде. Додати – „а“ се користи за ово.
Пример 1: Са параметрима заглавља и индекса
Креирајте „скиллс_дф“ ПиСпарк ДатаФраме са 3 реда и 4 колоне. Конвертујте овај ДатаФраме у ЦСВ тако што ћете га прво претворити у Пандас ДатаФраме.
импорт писпарк
из писпарк.скл импорт СпаркСессион
линукхинт_спарк_апп = СпаркСессион.буилдер.аппНаме( 'Линук савет' ).гетОрЦреате()
Подаци о # вештинама са 3 реда и 4 колоне
вештине =[{ 'ид' : 123 , 'особа' : 'Душо' , 'вештина' : 'сликање' , 'награда' : 25000 },
{ 'ид' : 112 , 'особа' : 'Моуни' , 'вештина' : 'плес' , 'награда' : 2000 },
{ 'ид' : 153 , 'особа' : 'Туласи' , 'вештина' : 'читање' , 'награда' : 1200 }
]
# креирајте оквир података о вештинама од горњих података
скиллс_дф = линукхинт_спарк_апп.цреатеДатаФраме(скиллс)
скиллс_дф.схов()
# Претворите скиллс_дф у пандас ДатаФраме
пандас_скиллс_дф= скиллс_дф.тоПандас()
принт(пандас_скиллс_дф)
# Конвертујте овај ДатаФраме у цсв са заглављем и индексом
пандас_скиллс_дф.то_цсв( 'пандас_скиллс1.цсв' , заглавље =Тачно, индекс=Тачно)
Излаз:
Видимо да је ПиСпарк ДатаФраме конвертован у Пандас ДатаФраме. Да видимо да ли се конвертује у ЦСВ са називима колона и индексима:
Пример 2: Додајте податке у ЦСВ
Направите још један ПиСпарк ДатаФраме са 1 записом и додајте га у ЦСВ који је креиран као део нашег првог примера. Уверите се да морамо да подесимо заглавље на „Фалсе“ заједно са параметром режима. У супротном, имена колона се такође додају као ред.
импорт писпаркиз писпарк.скл импорт СпаркСессион
линукхинт_спарк_апп = СпаркСессион.буилдер.аппНаме( 'Линук савет' ).гетОрЦреате()
вештине =[{ 'ид' : 90 , 'особа' : 'Бхаргав' , 'вештина' : 'читање' , 'награда' : 12000 }
]
# креирајте оквир података о вештинама од горњих података
скиллс_дф = линукхинт_спарк_апп.цреатеДатаФраме(скиллс)
# Претворите скиллс_дф у пандас ДатаФраме
пандас_скиллс_дф= скиллс_дф.тоПандас()
# Додајте овај ДатаФраме у датотеку пандас_скиллс1.цсв
пандас_скиллс_дф.то_цсв( 'пандас_скиллс1.цсв' , моде= 'а' , заглавље =Нетачно)
ЦСВ излаз:
Видимо да је нови ред додат у ЦСВ датотеку.
Пример 3: Са параметром Цолумнс
Хајде да имамо исти ДатаФраме и да га конвертујемо у ЦСВ са две колоне: „особа“ и „награда“.
импорт писпаркиз писпарк.скл импорт СпаркСессион
линукхинт_спарк_апп = СпаркСессион.буилдер.аппНаме( 'Линук савет' ).гетОрЦреате()
Подаци о # вештинама са 3 реда и 4 колоне
вештине =[{ 'ид' : 123 , 'особа' : 'Душо' , 'вештина' : 'сликање' , 'награда' : 25000 },
{ 'ид' : 112 , 'особа' : 'Моуни' , 'вештина' : 'плес' , 'награда' : 2000 },
{ 'ид' : 153 , 'особа' : 'Туласи' , 'вештина' : 'читање' , 'награда' : 1200 }
]
# креирајте оквир података о вештинама од горњих података
скиллс_дф = линукхинт_спарк_апп.цреатеДатаФраме(скиллс)
# Претворите скиллс_дф у пандас ДатаФраме
пандас_скиллс_дф= скиллс_дф.тоПандас()
# Конвертујте овај оквир података у цсв са одређеним колонама
пандас_скиллс_дф.то_цсв( 'пандас_скиллс2.цсв' , колоне=[ 'особа' , 'награда' ])
ЦСВ излаз:
Видимо да у ЦСВ датотеци постоје само колоне „особа“ и „награда“.
ПиСпарк Пандас ДатаФраме у ЦСВ користећи методу То_Цсв().
То_цсв() је метод који је доступан у Пандас модулу који конвертује Пандас ДатаФраме у ЦСВ. Прво, морамо да конвертујемо наш ПиСпарк ДатаФраме у Пандас ДатаФраме. За то се користи метода тоПандас(). Хајде да видимо синтаксу то_цсв() заједно са њеним параметрима:
Синтакса:
писпарк_пандас_датафраме_обј.то_цсв(патх/ 'име_датотеке.цсв' , заглавље ,индекс,колоне,...)- Морамо да наведемо име датотеке ЦСВ датотеке. Ако желите да сачувате преузети ЦСВ на одређеној локацији на вашем рачунару, такође можете да наведете путању заједно са именом датотеке.
- Колоне су укључене ако је заглавље постављено на „Тачно“. Ако вам нису потребне колоне, поставите заглавље на „Нетачно“.
- Индекси се специфицирају ако је индекс постављен на „Труе“. Ако вам нису потребни индекси, поставите индекс на „Фалсе“.
- Параметар цолумнс узима листу имена колона у којој можемо одредити које одређене колоне се издвајају у ЦСВ датотеку.
Пример 1: Са параметром Цолумнс
Направите ПиСпарк Пандас ДатаФраме са 3 колоне и конвертујте га у ЦСВ користећи то_цсв() са колонама „особа“ и „награда“.
из писпарк импорт пандасписпарк_пандас_датафраме=пандас.ДатаФраме({ 'ид' :[ 90 , 78 , 90 , 57 ], 'особа' :[ 'Душо' , 'Моуни' , 'сам' , 'радха' ], 'награда' :[ 1 , 2 , 3 , 4 ]})
принт(писпарк_пандас_датафраме)
# Конвертујте овај оквир података у цсв са одређеним колонама
писпарк_пандас_датафраме.то_цсв( 'писпарк_пандас1' , колоне=[ 'особа' , 'награда' ])
Излаз:
Видимо да је ПиСпарк Пандас ДатаФраме конвертован у ЦСВ са две партиције. Свака партиција садржи 2 записа. Такође, колоне у ЦСВ-у су само „особа“ и „награда“.
Датотека партиције 1:
Партициона датотека 2:
Пример 2: Са параметром заглавља
Користите претходни ДатаФраме и наведите параметар заглавља тако што ћете га поставити на „Труе“.
из писпарк импорт пандасписпарк_пандас_датафраме=пандас.ДатаФраме({ 'ид' :[ 90 , 78 , 90 , 57 ], 'особа' :[ 'Душо' , 'Моуни' , 'сам' , 'радха' ], 'награда' :[ 1 , 2 , 3 , 4 ]})
# Конвертујте овај ДатаФраме у цсв са заглављем.
писпарк_пандас_датафраме.то_цсв( 'писпарк_пандас2' , заглавље =Тачно)
ЦСВ излаз:
Видимо да је ПиСпарк Пандас ДатаФраме конвертован у ЦСВ са две партиције. Свака партиција садржи 2 записа са именима колона.
Датотека партиције 1:
Партициона датотека 2:
ПиСпарк Пандас ДатаФраме у ЦСВ претварањем у НумПи низ
Имамо опцију да претворимо ПиСпарк Пандас ДатаФраме у ЦСВ претварањем у Нумпи низ. То_нумпи() је метод који је доступан у модулу ПиСпарк Пандас који претвара ПиСпарк Пандас ДатаФраме у НумПи низ.
Синтакса:
писпарк_пандас_датафраме_обј.то_нумпи()Неће узети никакве параметре.
Коришћење методе Тофиле().
Након конверзије у НумПи низ, можемо користити методу тофиле() да претворимо НумПи у ЦСВ. Овде он чува сваки запис у новој ћелији колонарно у ЦСВ датотеци.
Синтакса:
арраи_обј.то_нумпи(име датотеке/путања,сеп=’ ’)Узима име датотеке или путању ЦСВ-а и сепаратор.
Пример:
Направите ПиСпарк Пандас ДатаФраме са 3 колоне и 4 записа и конвертујте га у ЦСВ тако што ћете га прво претворити у НумПи низ.
из писпарк импорт пандасписпарк_пандас_датафраме=пандас.ДатаФраме({ 'ид' :[ 90 , 78 , 90 , 57 ], 'особа' :[ 'Душо' , 'Моуни' , 'сам' , 'радха' ], 'награда' :[ 1 , 2 , 3 , 4 ]})
# Претворите горњи ДатаФраме у нумпи низ
конвертовано = писпарк_пандас_датафраме.то_нумпи()
штампа (конвертовано)
# Коришћење тофиле()
цонвертед.тофиле( 'цонвертед1.цсв' , сеп = ',' )
Излаз:
[[ 90 'Душо' 1 ][ 78 'Моуни' 2 ]
[ 90 'сам' 3 ]
[ 57 'радха' 4 ]]
Можемо видети да је ПиСпарк Пандас ДатаФраме конвертован у НумПи низ (12 вредности). Ако можете да видите ЦСВ податке, он чува сваку вредност ћелије у новој колони.
ПиСпарк ДатаФраме у ЦСВ користећи метод Врите.Цсв().
Метод врите.цсв() узима име/путање датотеке где треба да сачувамо ЦСВ датотеку као параметар.
Синтакса:
датафраме_објецт.цоалесце( 1 ).врите.цсв( 'назив документа' )Заправо, ЦСВ се чува као партиције (више од једне). Да бисмо се решили овога, спајамо све подељене ЦСВ датотеке у једну. У овом сценарију користимо функцију цоалесце(). Сада можемо видети само једну ЦСВ датотеку са свим редовима из ПиСпарк ДатаФраме-а.
Пример:
Размотрите ПиСпарк ДатаФраме са 4 записа који имају 4 колоне. Напишите овај ДатаФраме у ЦСВ са датотеком под називом „маркет_детаилс“.
импорт писпаркиз писпарк.скл импорт СпаркСессион
линукхинт_спарк_апп = СпаркСессион.буилдер.аппНаме( 'Линук савет' ).гетОрЦреате()
# тржишни подаци са 4 реда и 4 колоне
тржиште =[{ 'м_ид' : 'мз-001' , 'м_наме' : 'АБЦ' , 'м_цити' : 'делхи' , 'м_стате' : 'делхи' },
{ 'м_ид' : 'мз-002' , 'м_наме' : 'КСИЗ' , 'м_цити' : 'патна' , 'м_стате' : 'срећа' },
{ 'м_ид' : 'мз-003' , 'м_наме' : 'ПКР' , 'м_цити' : 'флорида' , 'м_стате' : 'један' },
{ 'м_ид' : 'мз-004' , 'м_наме' : 'АБЦ' , 'м_цити' : 'делхи' , 'м_стате' : 'срећа' }
]
# креирајте оквир тржишних података од горњих података
маркет_дф = линукхинт_спарк_апп.цреатеДатаФраме(маркет)
# Стварни тржишни подаци
маркет_дф.схов()
# врите.цсв()
маркет_дф.цоалесце( 1 ).врите.цсв( 'маркет_детаилс' )
Излаз:
Хајде да проверимо датотеку:
Отворите последњу датотеку да бисте видели записе.
Закључак
Научили смо четири различита сценарија који претварају ПиСпарк ДатаФраме у ЦСВ са примерима узимајући у обзир различите параметре. Када радите са ПиСпарк ДатаФраме-ом, имате две опције да конвертујете овај ДатаФраме у ЦСВ: један начин је коришћење методе врите() а други је коришћење методе то_цсв() претварањем у Пандас ДатаФраме. Ако радите са ПиСпарк Пандас ДатаФраме-ом, такође можете да користите то_цсв() и тофиле() конвертовањем у НумПи низ.