Hoe een enorme CSV Excel-spreadsheet in afzonderlijke bestanden te splitsen

Hoe een enorme CSV Excel-spreadsheet in afzonderlijke bestanden te splitsen

Microsoft Excel is uitstekend in zoveel dagelijkse taken. Maar zo nu en dan kom je een van zijn tekortkomingen tegen: de grootte van een spreadsheet. Lees verder om erachter te komen hoe u een Excel-spreadsheet kleiner kunt maken of een groot CSV-bestand in meerdere bestanden kunt splitsen.





Waarom een ​​grote CSV in meerdere bestanden splitsen?

U denkt misschien: waarom zou ik een groot Excel-bestand in meerdere kleinere bestanden moeten splitsen? Het is een interessante vraag, vooral omdat Excel een limiet voor spreadsheetrijen heeft van 1.048.576.





Meer dan 1 miljoen rijen klinkt fenomenaal. Het bereiken van de rijlimiet is echter gemakkelijker dan u denkt, vooral tijdens bepaalde taken. Als u bijvoorbeeld via e-mail marketing doet, kunt u een CSV-bestand importeren dat miljoenen e-mailadressen bevat.





Het enige probleem is, hoe beheer je een spreadsheet met zoveel adressen erin? Bovendien, wat als iemand u een CSV stuurt die al over de limiet is (vanuit een ander programma)?

Als dat klinkt als een probleem waarmee u waarschijnlijk te maken zult krijgen, bekijk dan de volgende vijf manieren om een ​​groot CSV- of Excel-bestand op te splitsen in meerdere kleinere bestanden.



Heb je geen groot CSV-bestand bij de hand maar wil je thuis meespelen? ik gebruik de COVID-19 Open onderzoeksdataset in de voorbeelden, die u ook kunt downloaden en gebruiken.

1. CSV-bestanden opsplitsen met een programma

Er zijn verschillende handige CSV-splitterprogramma's die er zijn. Hier zijn twee van de beste. Eerlijke waarschuwing echter, aangezien deze programma's werken, lopen ze soms tegen geheugenproblemen aan, wat een veelvoorkomend probleem is voor CSV-splitsende programma's.





Gratis enorme CSV-splitter

De gratis enorme CSV-splitter is een basistool voor het splitsen van CSV's. U voert het CSV-bestand in dat u wilt splitsen, het aantal regels dat u wilt gebruiken en selecteert vervolgens Gespleten bestand . Het aantal regels bepaalt het aantal uitvoerbestanden waarmee u eindigt.

CSV-splitter

CSV Splitter is de tweede tool. Het biedt vrijwel dezelfde functionaliteit als Free Huge CSV Splitter, zij het met een iets strakker ontwerp. Het splitst uw CSV snel in kleine stukjes, zodat u het aantal regels kunt bepalen dat u wilt gebruiken.





2. Gebruik een batchbestand

Volgende, maak een programmeerbaar batchbestand . U kunt een batchbestand gebruiken om de CSV in kleinere brokken te verwerken, en het bestand aanpassen om verschillende brokken af ​​te leveren.

Open een nieuw tekstdocument en kopieer en plak het volgende:

@echo off
setlocal ENABLEDELAYEDEXPANSION
REM Edit this value to change the name of the file that needs splitting. Include the extension.
SET BFN=HCAHPSHospital.csv
REM Edit this value to change the number of lines per file.
SET LPF=2500
REM Edit this value to change the name of each short file. It will be followed by a number indicating where it is in the list.
SET SFN=HosptialSplitFile
REM Do not change beyond this line.
SET SFX=%BFN:~-3%
SET /A LineNum=0
SET /A FileNum=1
For /F 'delims==' %%l in (%BFN%) Do (
SET /A LineNum+=1
echo %%l >> %SFN%!FileNum!.%SFX%
if !LineNum! EQU !LPF! (
SET /A LineNum=0
SET /A FileNum+=1
)
)
endlocal
Pause

U moet het batchbestand configureren voordat u het uitvoert. Ik zal je vertellen wat elke opdracht doet, en je kunt het aanpassen aan de grootte van je batchbestand, evenals aan de vereiste uitvoer.

  • 'SET BFN=' moet verwijzen naar de CSV die u moet afbreken
  • ' SET LPF=' is het aantal rijen waartoe u uw nieuwe bestand wilt beperken
  • 'SET SFN=' is het nieuwe naamgevingsschema voor uw gesplitste bestanden

Nadat u uw variabelen hebt ingevoerd, gaat u naar Bestand > Opslaan als . Kies een bestandsnaam en selecteer Opslaan . Selecteer vervolgens uw nieuw opgeslagen tekstbestand en druk op F2 om het te hernoemen. Vervang de .tekst extensie met .een en druk op Oke wanneer de waarschuwing verschijnt. Nu kunt u uw grote CSV-bestand opsplitsen in kleinere uitvoerbestanden.

wat is gemarkeerd commentaar op youtube

3. Gebruik een PowerShell-script om een ​​CSV-bestand op te splitsen

Jij kan batchbestanden gebruiken voor een breed scala aan dagelijkse taken . Maar PowerShell-scripts zijn sneller, vooral voor dit type verwerking en verdeling.

Het volgende script knipt uw ​​grote CSV snel in kleinere bestanden.

Druk eerst op CTRL + X om het Windows Power Menu te openen en selecteer vervolgens PowerShell . Als PowerShell geen optie is, voer dan in powershell in de zoekbalk van je Startmenu en selecteer de beste match.

Kopieer en plak nu het volgende script:

$InputFilename = Get-Content 'C:filelocation'
$OutputFilenamePattern = 'output_done_'
$LineLimit = 50000
$line = 0
$i = 0
$file = 0
$start = 0
while ($line -le $InputFilename.Length) {
if ($i -eq $LineLimit -Or $line -eq $InputFilename.Length)
$file++
$Filename = '$OutputFilenamePattern$file.csv'
$InputFilename[$start..($line-1)]
$i++;
$line++
}

Vervang de bestandslocatie in de eerste regel door uw CSV-bestand en voer vervolgens het script uit. Het script voert de kleinere CSV-bestanden uit in uw gebruikersmap. Mijn CSV-bestanden zijn bijvoorbeeld te vinden in C:UsersGavin met bestandsnaam output_done_1.csv . U kunt de uitvoernaam wijzigen door de $OutputFilenamePattern = 'output_done_' lijn.

Je kunt het originele script vinden op: SPJeff .

4. Verdeel een grote CSV met Power Pivot

Uw voorlaatste oplossing om een ​​groot CSV-bestand in kleine stukjes op te splitsen, breekt het niet echt op. In plaats daarvan kunt u uw enorme CSV-bestand in Excel laden en de Power Pivot-tool gebruiken om het te openen. Klopt; u kunt de Excel-regellimiet effectief negeren en het bestand binnen het programma beheren.

U bereikt dit door een gegevenskoppeling naar het CSV-bestand te maken en vervolgens Power Pivot te gebruiken om de inhoud te beheren. Voor een volledige uitleg en tutorial, lees De blog van José Barreto detaillering van het proces.

Kortom, Barreto maakt zonder problemen een draaitabel met maximaal 8,5 miljoen rijen. De bovenstaande afbeelding komt uit de blogpost en toont in totaal 2 miljoen rijen in gebruik in Excel.

Onthoud dat dit proces de CSV niet in kleine stukjes splitst. Het betekent echter wel dat u de CSV in Excel kunt manipuleren, wat een erg handig alternatief is. Als je meer tips nodig hebt, lees dan hoe je een draaitabel gebruikt voor gegevensanalyse.

5. Grote CSV online opsplitsen met gesplitste CSV

Er zijn ook online services die uw grote CSV-bestand in kleinere stukjes breken. Een van die opties is: CSV splitsen , een gratis online CSV-splitter.

Split CSV beheerde de COVID-19-dataset prima en splitste deze op in handige brokken. Net als bij andere tools definieert u het aantal regels voor elk bestand en laat u het opsplitsen. Ik had echter geen groot CSV-bestand bij de hand om mee te testen, en als zodanig kan uw ervaring variëren.

Split CSV bevat ook premium-opties. Voor een abonnementsprijs, u kunt een aangepast scheidingsteken gebruiken , kies een selectie van uitvoerbestandstypen, verwijder bepaalde tekens uit de uitvoerbestanden en verwijder dubbele regels.

Splits uw CSV-bestanden op in gemakkelijk hanteerbare brokken

U hebt nu vijf oplossingen om uw CSV-bestanden in kleine stukjes op te splitsen, waardoor ze gemakkelijk te beheren zijn. De oplossingen variëren in snelheid en de grootte van de CSV-bestanden die ze kunnen beheren, dus het kan zijn dat u moet experimenteren om de oplossing te vinden die het beste voor u werkt.

Deel Deel Tweeten E-mail Gegevens importeren uit Microsoft Word-formulieren naar een Excel-spreadsheet

Het importeren van een Word-formulier in een Excel-spreadsheet is iets dat u kunt doen met een bepaalde ingebouwde tool. Hier is hoe!

Lees volgende
Gerelateerde onderwerpen
  • productiviteit
  • Spreadsheettips
  • Microsoft Excel
  • Microsoft Office-tips
Over de auteur Gavin Phillips(945 artikelen gepubliceerd)

Gavin is de Junior Editor voor Windows en Technology Explained, levert regelmatig bijdragen aan de Really Useful Podcast en recenseert regelmatig producten. Hij heeft een BA (Hons) Contemporary Writing met Digital Art Practices geplunderd uit de heuvels van Devon, evenals meer dan tien jaar professionele schrijfervaring. Hij geniet van overvloedige hoeveelheden thee, bordspellen en voetbal.

Meer van Gavin Phillips

Abonneer op onze nieuwsbrief

Word lid van onze nieuwsbrief voor technische tips, recensies, gratis e-boeken en exclusieve deals!

Klik hier om je te abonneren