Beta 11.5 Update

ADC_function.py

@@ -3,27 +3,36 @@ from configparser import RawConfigParser
 import os
 import re
 from retrying import retry
+import time
 import sys
 
-# content = open('config.ini').read()
-# content = re.sub(r"\xfe\xff","", content)
-# content = re.sub(r"\xff\xfe","", content)
-# content = re.sub(r"\xef\xbb\xbf","", content)
-# open('BaseConfig.cfg', 'w').write(content)
-
 config = RawConfigParser()
 if os.path.exists('config.ini'):
-    config.read('config.ini', encoding='UTF-8')
+    try:
+        config.read('config.ini', encoding='UTF-8')
+    except:
+        print('[-]Config.ini read failed! Please use the offical file!')
 else:
+    print('[+]config.ini: not found, creating...')
     with open("config.ini", "wt", encoding='UTF-8') as code:
         print("[proxy]",file=code)
         print("proxy=127.0.0.1:1080",file=code)
         print("timeout=10", file=code)
+        print("retry=3", file=code)
+        print("", file=code)
         print("[Name_Rule]", file=code)
-        print("location_rule='JAV_output/'+actor+'/['+number+']-'+title",file=code)
+        print("location_rule='JAV_output/'+actor+'/'+number",file=code)
         print("naming_rule=number+'-'+title",file=code)
+        print("", file=code)
         print("[update]",file=code)
-        print("update_check=1")
+        print("update_check=1",file=code)
+    time.sleep(2)
+    print('[+]config.ini: created!')
+    try:
+        config.read('config.ini', encoding='UTF-8')
+    except:
+        print('[-]Config.ini read failed! Please use the offical file!')
+
 def UpdateCheckSwitch():
     check=str(config['update']['update_check'])
     if check == '1':
@@ -60,4 +69,3 @@ def get_html(url,cookies = None):#网页请求核心
             print('[-]Connect retry '+str(i)+'/'+str(retry_count))
 
 
-

AV_Data_Capture.py

@@ -7,7 +7,7 @@ import ADC_function
 import json
 import shutil
 
-version='0.11.4'
+version='0.11.5'
 os.chdir(os.getcwd())
 
 def UpdateCheck():
@@ -109,13 +109,14 @@ def getNumber(filepath):
         print('[-]' + str(os.path.basename(filepath)) + ' :', e2)
         print('[-]Move ' + os.path.basename(filepath) + ' to failed folder')
         shutil.move(filepath, str(os.getcwd()) + '/' + 'failed/')
+
 def RunCore():
     if os.path.exists('core.py'):
-        os.system('python core.py' + '   "' + i + '" --number "'+getNumber(i)+'"') #选择从py文件启动  （用于源码py）
+        os.system('python core.py' + '   "' + i + '" --number "'+getNumber(i)+'"')     #从py文件启动（用于源码py）
     elif os.path.exists('core.exe'):
-        os.system('core.exe' + '   "' + i + '" --number "'+getNumber(i)+'"')      #选择从exe文件启动（用于EXE版程序:
+        os.system('core.exe' + '   "' + i + '" --number "'+getNumber(i)+'"')           #从exe启动（用于EXE版程序）
     elif os.path.exists('core.py') and os.path.exists('core.exe'):
-        os.system('python core.py' + '   "' + i + '" --number "' + getNumber(i) + '"')  # 选择从py文件启动  （用于源码py）
+        os.system('python core.py' + '   "' + i + '" --number "' + getNumber(i) + '"') #从py文件启动（用于源码py）
 
 if __name__ =='__main__':
     print('[*]===========AV Data Capture===========')
@@ -131,7 +132,7 @@ if __name__ =='__main__':
         count = count + 1
         percentage = str(count/int(count_all)*100)[:4]+'%'
         print('[!] - '+percentage+' ['+str(count)+'/'+count_all+'] -')
-        print("[!]Making Data for   [" + i + "],the number is [" + getNumber(i) + "]")
+        print("[!]Making Data for   [" + i + "], the number is [" + getNumber(i) + "]")
         RunCore()
         print("[*]=====================================")
 

README.md

@@ -12,50 +12,50 @@
 ![](https://img.shields.io/github/stars/yoshiko2/av_data_capture.svg?style=flat-square)
 ![](https://img.shields.io/github/watchers/yoshiko2/av_data_capture.svg?style=flat-square)
 
-
-
 # 目录
-* [前言](#前言)
-* [效果图](#效果图)
 * [免责声明](#免责声明)
+* [注意](#注意)
+* [你问我答 FAQ](#你问我答-faq)
+* [效果图](#效果图)
 * [如何使用](#如何使用)
 * [下载](#下载)
 * [简明教程](#简要教程)
 * [模块安装](#1请安装模块在cmd终端逐条输入以下命令安装)
-* [配置](#2配置proxyini)
+* [配置](#2配置configini)
 * [运行软件](#4运行-av_data_capturepyexe)
 * [异常处理（重要）](#5异常处理重要)
-* [导入至EMBY](#7把jav_output文件夹导入到embykodi中根据封面选片子享受手冲乐趣)
+* [导入至媒体库](#7把jav_output文件夹导入到embykodi中根据封面选片子享受手冲乐趣)
-* [输出文件示例](#8输出的文件如下)
 * [写在后面](#8写在后面)
 
-# 前言
+# 免责声明
-&emsp;&emsp;目前，我下的日本电影越来越多，也意味着日本电影要**集中地管理**，形成本地媒体库。现在有两款主流的日本电影元数据获取器，"EverAver"和"Javhelper"。前者的优点是元数据获取比较全，缺点是不能批量处理；后者优点是可以批量处理，但是元数据不够全。<br>
+1.本软件仅供**技术交流，学术交流**使用，本项目旨在学习Beautifulsoup, xpath, PyQuery<br>
-&emsp;&emsp;为此，综合上述软件特点，我写出了本软件，为了方便的管理本地日本电影，和更好的手冲体验。<br>
+2.本软件禁止用于任何非法用途<br>
-&emsp;&emsp;希望大家可以认真耐心地看完本文档，你的耐心换来的是完美的管理方式。<br>
+3.使用者使用该软件产生的一切法律后果由使用者承担<br>
-&emsp;&emsp;本软件更新可能比较**频繁**，麻烦诸位用户**积极更新新版本**以获得**最佳体验**。
+4.不可使用于商业和个人其他意图<br>
-- - -
+
+# 注意
 **tg官方电报群:[ 点击进群](https://t.me/AV_Data_Capture_Official)**<br>
 **推荐用法: 使用该软件后，对于不能正常获取元数据的电影可以用 Everaver 来补救**<br>
 暂不支持多P电影<br>
-[回到目录](#目录)
 
-# 郑重声明
+# 你问我答 FAQ
-1.本软件仅供**技术交流，学术交流**使用<br>
+### F：这软件是干什么用的？
-2.本软件禁止用于任何非法用途<br>
+**Q**：配合本地影片管理软件EMBY,KODI管理本地影片，该软件起到分类与元数据抓取作用，利用元数据信息来分类，**注意：不提供任何影片下载地址**。
-3.使用者使用该软件产生的一切法律后果由使用者承担<br>
+### F：什么是元数据？
-4.本软件禁止任何商用行为<br>
+**Q**：元数据包括了影片的：封面，导演，演员，简介，类型......
-[回到目录](#目录)
+### F：软件收费吗？
+**Q**：软件是开源的，永久免费，作者强烈谴责那些**利用本软件牟利**的人，并希望他们**死妈**
+### F：软件运行异常怎么办？
+**Q**：认真看 [异常处理（重要）](#5异常处理重要)
 
 # 效果图
-**由于法律因素，图片必须经马赛克处理**<br>
+**图片来自网络**，由于相关法律法规，具体效果请自行联想
-![](https://i.loli.net/2019/06/02/5cf2b5d0bbecf69019.png)
+![](https://i.loli.net/2019/07/04/5d1cf9bb1b08b86592.jpg)
-![](https://i.loli.net/2019/06/22/5d0d10dd6255e44008.png)<br>
+![](https://i.loli.net/2019/07/04/5d1cf9bb2696937880.jpg)<br>
-[回到目录](#目录)
 
 # 如何使用
 ### 下载
-* release的程序可脱离**python环境**运行，可跳过 [模块安装](#1请安装模块在cmd终端逐条输入以下命令安装)<br>下载地址(**仅限Windows**):[点击前往](https://github.com/wenead99/AV_Data_Capture/releases)<br>
+* release的程序可脱离**python环境**运行，可跳过 [模块安装](#1请安装模块在cmd终端逐条输入以下命令安装)<br>Release 下载地址(**仅限Windows**):<br>[![](https://img.shields.io/badge/%E4%B8%8B%E8%BD%BD-windows-blue.svg?style=for-the-badge&logo=windows)](https://github.com/yoshiko2/AV_Data_Capture/releases/download/0.11.4/Beta11.4.zip)<br>
 * Linux,MacOS请下载源码包运行
 
 * Windows Python环境:[点击前往](https://www.python.org/downloads/windows/) 选中executable installer下载
@@ -63,7 +63,6 @@
 * Linux Python环境：Linux用户懂的吧，不解释下载地址
 ### 简要教程:<br>
 **1.把软件拉到和电影的同一目录<br>2.设置ini文件的代理（路由器拥有自动代理功能的可以把proxy=后面内容去掉）<br>3.运行软件等待完成<br>4.把JAV_output导入至KODI,EMBY中。<br>详细请看以下教程**<br>
-[回到目录](#目录)
 
 ## 1.请安装模块,在CMD/终端逐条输入以下命令安装
 ```python
@@ -87,11 +86,8 @@ pip install pillow
 ```
 ###
 
-
+## 2.配置config.ini
-[回到目录](#目录)
+config.ini
-
-## 2.配置proxy.ini
-proxy.ini
 >[proxy]<br>
 >proxy=127.0.0.1:1080<br>
 >timeout=10<br>
@@ -106,9 +102,10 @@ proxy.ini
 
 ### 1.网络设置
 #### * 针对“某些地区”的代理设置
-打开```proxy.ini```,在```[proxy]```下的```proxy```行设置本地代理地址和端口，支持Shadowsocks/R,V2RAY本地代理端口:<br>
+打开```config.ini```,在```[proxy]```下的```proxy```行设置本地代理地址和端口，支持Shadowxxxx/X,V2XXX本地代理端口:<br>
 例子:```proxy=127.0.0.1:1080```<br>素人系列抓取建议使用日本代理<br>
-**（路由器拥有自动代理功能的可以把proxy=后面内容去掉）**<br>
+**路由器拥有自动代理功能的可以把proxy=后面内容去掉**<br>
+**本地代理软件开全局模式的同志同上**<br>
 **如果遇到tineout错误，可以把文件的proxy=后面的地址和端口删除，并开启vpn全局模式，或者重启电脑，vpn，网卡**<br>
 #### 连接超时重试设置
 >[proxy]<br>
@@ -141,18 +138,25 @@ proxy.ini
 ### 3.更新开关
 >[update]<br>update_check=1<br>
 1为开，0为关
-[回到目录](#目录)
+## 3.把软件拷贝和电影的统一目录下
-## 3.把软件拷贝和AV的统一目录下
 ## 4.运行 ```AV_Data_capture.py/.exe```
+当文件名包含:<br>
+中文，字幕，-c., -C., 处理元数据时会加上**中文字幕**标签
 ## 5.异常处理（重要）
+### 请确保软件是完整地！确保ini文件内容是和下载提供ini文件内容的一致的！
+### 关于软件打开就闪退
+可以打开cmd命令提示符，把 ```AV_Data_capture.py/.exe```拖进cmd窗口回车运行，查看错误，出现的错误信息**依据以下条目解决**
+### 关于```Updata_check```
+跳转 [网络设置](#1网络设置)
+### 关于```FileNotFoundError: [WinError 3] 系统找不到指定的路径。: 'JAV_output''```
+在软件所在文件夹下新建 JAV_output 文件夹
 ### 关于连接拒绝的错误
-请设置好[代理](#1针对网络审查国家或地区的代理设置)<br>
+请设置好[代理](#1针对某些地区的代理设置)<br>
 ### 关于Nonetype,xpath报错
 同上<br>
-[回到目录](#目录)
 ### 关于番号提取失败或者异常
 **目前可以提取元素的影片:JAVBUS上有元数据的电影，素人系列:300Maan,259luxu,siro等,FC2系列**<br>
->下一张图片来自Pockies的blog:https://pockies.github.io/2019/03/25/everaver-emby-kodi/ 原作者已授权<br>
+>下一张图片来自Pockies的blog 原作者已授权<br>
 
 ![](https://raw.githubusercontent.com/Pockies/pic/master/741f9461gy1g1cxc31t41j20i804zdgo.jpg)
 
@@ -163,21 +167,17 @@ COSQ-004.mp4
 ```
 
 针对**野鸡番号**，你需要把文件名命名为与抓取网站提供的番号一致（文件拓展名除外），然后把文件拖拽至core.exe/.py<br>
-**野鸡番号**:比如 DCL-001-1这种野鸡三段式番号，在javbus等资料库存在的作品。<br>（除了SSNI-XXX-C，后面这种-C的是指电影有中文字幕！）
+**野鸡番号**:比如 XXX-XXX-1这种野鸡三段式番号，在javbus等资料库存在的作品。<br>（除了SSNI-XXX-C，后面这种-C的是指电影有中文字幕！）<br>
-![](https://i.loli.net/2019/06/02/5cf2b5d03640e73201.gif)<br>
 条件：文件名中间要有下划线或者减号"_","-"，没有多余的内容只有番号为最佳，可以让软件更好获取元数据
 对于多影片重命名，可以用[ReNamer](http://www.den4b.com/products/renamer)来批量重命名<br>
-[回到目录](#目录)
 ### 关于PIL/image.py
 暂时无解，可能是网络问题或者pillow模块打包问题，你可以用源码运行（要安装好第一步的模块）
 
 
-## 6.软件会自动把元数据获取成功的电影移动到JAV_output文件夹中，根据女优分类，失败的电影移动到failed文件夹中。
+## 6.软件会自动把元数据获取成功的电影移动到JAV_output文件夹中，根据演员分类，失败的电影移动到failed文件夹中。
-## 7.把JAV_output文件夹导入到EMBY,KODI中，根据封面选片子，享受手冲乐趣
+## 7.把JAV_output文件夹导入到EMBY,KODI中，等待元数据刷新，完成
-cookies大神的EMBY教程:[链接](https://pockies.github.io/2019/03/25/everaver-emby-kodi/#%E5%AE%89%E8%A3%85emby%E5%B9%B6%E6%B7%BB%E5%8A%A0%E5%AA%92%E4%BD%93%E5%BA%93)<br>
 ## 8.写在后面
 怎么样，看着自己的日本电影被这样完美地管理，是不是感觉成就感爆棚呢?<br>
-[回到目录](#目录)
 
 
 

core.py

@@ -37,6 +37,11 @@ naming_rule  =''#eval(config['Name_Rule']['naming_rule'])
 location_rule=''#eval(config['Name_Rule']['location_rule'])
 
 #=====================本地文件处理===========================
+def moveFailedFolder():
+    global filepath
+    print('[-]Move to "failed"')
+    shutil.move(filepath, str(os.getcwd()) + '/' + 'failed/')
+    os._exit(0)
 def argparse_get_file():
     parser = argparse.ArgumentParser()
     parser.add_argument("--number", help="Enter Number on here", default='')
@@ -72,6 +77,9 @@ def getDataFromJSON(file_number): #从JSON返回元数据
     global naming_rule
     global location_rule
 
+
+    # ================================================网站规则添加开始================================================
+
     try:    # 添加 需要 正则表达式的规则
         # =======================javdb.py=======================
         if re.search('^\d{5,}', file_number).group() in file_number:
@@ -84,28 +92,31 @@ def getDataFromJSON(file_number): #从JSON返回元数据
         elif 'FC2' in file_number:
             json_data = json.loads(fc2fans_club.main(
                 file_number.strip('FC2_').strip('FC2-').strip('ppv-').strip('PPV-').strip('fc2_').strip('fc2-').strip('ppv-').strip('PPV-')))
-            # print(file_number.strip('FC2_').strip('FC2-').strip('ppv-').strip('PPV-'))
         # =======================javbus.py=======================
         else:
             json_data = json.loads(javbus.main(file_number))
 
     # ================================================网站规则添加结束================================================
 
-    title =      str(json_data['title']).replace(' ','')
+    title       = str(json_data['title']).replace(' ','')
-    studio =         json_data['studio']
+    studio      =     json_data['studio']
-    year =           json_data['year']
+    year        =     json_data['year']
-    outline =        json_data['outline']
+    outline     =     json_data['outline']
-    runtime =        json_data['runtime']
+    runtime     =     json_data['runtime']
-    director =       json_data['director']
+    director    =     json_data['director']
-    actor_list = str(json_data['actor']).strip("[ ]").replace("'", '').split(',')  # 字符串转列表
+    actor_list  = str(json_data['actor']).strip("[ ]").replace("'", '').split(',')  # 字符串转列表
-    release =        json_data['release']
+    release     =     json_data['release']
-    number =         json_data['number']
+    number      =     json_data['number']
-    cover =          json_data['cover']
+    cover       =     json_data['cover']
-    imagecut =       json_data['imagecut']
+    imagecut    =     json_data['imagecut']
-    tag =        str(json_data['tag']).strip("[ ]").replace("'", '').replace(" ", '').split(',')  # 字符串转列表
+    tag         = str(json_data['tag']).strip("[ ]").replace("'", '').replace(" ", '').split(',')  # 字符串转列表
-    actor =      str(actor_list).strip("[ ]").replace("'", '').replace(" ", '')
+    actor       = str(actor_list).strip("[ ]").replace("'", '').replace(" ", '')
-    actor_photo =    json_data['actor_photo']
+    actor_photo =     json_data['actor_photo']
-    website =        json_data['website']
+    website     =     json_data['website']
+
+    if title == '' or number == '':
+        print('[-]Movie Data not found!')
+        moveFailedFolder()
 
     # ====================处理异常字符====================== #\/:*?"<>|
     if '\\' in title:
@@ -163,20 +174,24 @@ def DownloadFileWithFilename(url,filename,path): #path = examle:photo , video.in
                 headers = {
                     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
                 r = requests.get(url, headers=headers, timeout=timeout,proxies={"http": "http://" + str(proxy), "https": "https://" + str(proxy)})
+                if r == '':
+                    print('[-]Movie Data not found!')
+                    os._exit(0)
                 with open(str(path) + "/" + filename, "wb") as code:
                     code.write(r.content)
                 return
-                        # print(bytes(r),file=code)
             else:
                 if not os.path.exists(path):
                     os.makedirs(path)
                 headers = {
                     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
                 r = requests.get(url, timeout=timeout, headers=headers)
+                if r == '':
+                    print('[-]Movie Data not found!')
+                    os._exit(0)
                 with open(str(path) + "/" + filename, "wb") as code:
                     code.write(r.content)
                 return
-                    # print(bytes(r),file=code)
         except requests.exceptions.RequestException:
             i += 1
             print('[-]Image Download :  Connect retry '+str(i)+'/'+str(retry_count))
@@ -189,11 +204,11 @@ def DownloadFileWithFilename(url,filename,path): #path = examle:photo , video.in
         except requests.exceptions.ConnectTimeout:
             i += 1
             print('[-]Image Download :  Connect retry '+str(i)+'/'+str(retry_count))
+    moveFailedFolder()
 def imageDownload(filepath): #封面是否下载成功，否则移动到failed
     global path
     if DownloadFileWithFilename(cover,'fanart.jpg', path) == 'failed':
-        shutil.move(filepath, 'failed/')
+        moveFailedFolder()
-        os._exit(0)
     DownloadFileWithFilename(cover, 'fanart.jpg', path)
     print('[+]Image Downloaded!', path +'/fanart.jpg')
 def PrintFiles(filepath):
@@ -253,13 +268,11 @@ def PrintFiles(filepath):
     except IOError as e:
         print("[-]Write Failed!")
         print(e)
-        shutil.move(filepath, str(os.getcwd()) + '/' + 'failed/')
+        moveFailedFolder()
-        os._exit(0)
     except Exception as e1:
         print(e1)
         print("[-]Write Failed!")
-        shutil.move(filepath, str(os.getcwd()) + '/' + 'failed/')
+        moveFailedFolder()
-        os._exit(0)
 def cutImage():
     if imagecut == 1:
         try:
@@ -282,7 +295,7 @@ def pasteFileToFolder(filepath, path): #文件路径，番号，后缀，要移
     os.rename(filepath, number + houzhui)
     shutil.move(number + houzhui, path)
 def renameJpgToBackdrop_copy():
-    shutil.copy(path+'/fanart.jpg', path+'/Backdrop.jpg')
+    shutil.copy(path + '/fanart.jpg', path + '/Backdrop.jpg')
     shutil.copy(path + '/poster.png', path + '/thumb.png')
 
 if __name__ == '__main__':
@@ -297,7 +310,7 @@ if __name__ == '__main__':
             print("[!]Making Data for   [" + number + "]")
         except:
             print("[-]failed!Please rename the filename again!")
-            shutil.move(filepath,'failed/')
+            moveFailedFolder()
     else:
         number = argparse_get_file()[1]
     CreatFailedFolder()
@@ -308,4 +321,3 @@ if __name__ == '__main__':
     cutImage()  # 裁剪图
     pasteFileToFolder(filepath, path)  # 移动文件
     renameJpgToBackdrop_copy()
-    # time.sleep(20)

javbus.py

@@ -89,7 +89,7 @@ def getTag(htmlcode):  # 获取演员
 
 def main(number):
     try:
-        if re.search('\d+\D+', number).group() in number:
+        if re.search('\d+\D+', number).group() in number or 'siro' in number or 'SIRO' in number or 'Siro' in number:
             js = siro.main(number)
             return js
     except:

py to exe.bat

@@ -1,2 +0,0 @@
-pyinstaller --onefile AV_Data_Capture.py 
-pyinstaller --onefile core.py --hidden-import ADC_function.py --hidden-import fc2fans_club.py --hidden-import javbus.py --hidden-import siro.py

siro.py

@@ -101,4 +101,4 @@ def main(number2):
     js = json.dumps(dic, ensure_ascii=False, sort_keys=True, indent=4, separators=(',', ':'),)#.encode('UTF-8')
     return js
 
-#print(main('300maan-401'))
+#print(main('300maan-373'))

update_check.json

@@ -1,5 +1,5 @@
 {
-	"version": "0.11.4",
+	"version": "0.11.5",
-	"version_show":"Beta 11.4",
+	"version_show":"Beta 11.5",
 	"download": "https://github.com/wenead99/AV_Data_Capture/releases"
 }