python实现大文本文件分割

Lecea ·

更新时间:2024-11-13

· 544 次阅读

本文实例为大家分享了python实现大文本文件分割的具体代码，供大家参考，具体内容如下

开发环境

Python 2

实现效果

通过文件拖拽或文件路径输入，实现自定义大文本文件分割。

代码实现


 #coding:gbk
 import os,sys,shutil
 is_file_exits=False
 while not is_file_exits:
  files_list=[]
  if(len(sys.argv)==1):
   print('请输入要切割的文件完整路径:')
   files_path=raw_input().strip()
   for str_file_path in files_path.split(' '):
    if(str_file_path.strip()==''):
     continue
    if(not os.path.exists(str_file_path.strip())):
     print(str_file_path.strip()+'文件路径不存在,请重新输入!')
     is_file_exits=False
     break
    else:
     files_list.append(str_file_path.strip());
     is_file_exits=True
  else:
   for str_file_path in sys.argv[1:len(sys.argv)]:
    if(str_file_path.strip()==''):
     continue
    if(not os.path.exists(str_file_path.strip())):
     print(str_file_path.strip()+'文件路径不存在,请重新输入!')
     is_file_exits=False
     break
    else:
     files_list.append(str_file_path.strip());
     is_file_exits=True
 print('待切割文件:'+str(files_list))
 is_continue=False
 while not is_continue:
  print('请输入要切割的文件个数:')
  str_files_count=raw_input()
  if str_files_count.isdigit():
   is_continue=True
  else:
   print('请输入正确的数字!')
 for file_path in files_list:
  split_file_path=''
  total_lines_count=0
  lines_count=0
  files_count=int(str_files_count)
  print('正在统计文本行数.....')
  total_lines_count = len(open(file_path,'rU').readlines())
  print('文本总行数:'+str(total_lines_count))
  if files_count>total_lines_count:
   print('文本太小,不值得分割!')
   sys.exit()
  (filepath,filename) = os.path.split(file_path);
  (filepathname,extension) = os.path.splitext(file_path)
  if os.path.exists(filepathname):
   shutil.rmtree(filepathname)
  os.mkdir(filepathname)
  lines_count=int(total_lines_count/files_count)
  mod_count=total_lines_count%files_count
  print('正在进行文件分割.....')
  line_num=0
  file_num=0
  temp=-1
  for line in open(file_path,'rU').readlines():
   if file_num<mod_count:
    file_num=int(line_num/(lines_count+1))
   else:
    file_num=int((line_num-mod_count*(lines_count+1))/lines_count+mod_count)
   split_file_path=filepathname+'/'+str.replace(filename,extension,'_'+str(file_num)+extension)
   with open(split_file_path,'a+') as split_file:
    split_file.write(line)
   if temp!=file_num:
    print('正在生成:'+split_file_path)
   temp=file_num
   line_num+=1
  print(file_path+'分割完成!')
  split_file.close()
 os.system('pause')

源码地址

您可能感兴趣的文章:python与php实现分割文件代码python简单分割文件的方法Python实现分割文件及合并文件的方法python分割文件的常用方法python实现大文件分割与合并python实现将文件夹内的每张图片批量分割成多张Python实现模拟分割大文件及多线程处理的方法Python 逐行分割大txt文件的方法python实现按行分割文件

文件分割 Python

1024 个赞