Geek_535f732023-09-02 来自上海Generating train split: 0%| | 0/7169 [00:00<?, ? examples/s] Traceback (most recent call last): File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/builder.py", line 1925, in _prepare_split_single for _, table in generator: File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/packaged_modules/parquet/parquet.py", line 77, in _generate_tables parquet_file = pq.ParquetFile(f) File "/cloud/sd_hbo/lib/python3.10/site-packages/pyarrow/parquet/__init__.py", line 286, in __init__ self.reader.open( File "pyarrow/_parquet.pyx", line 1227, in pyarrow._parquet.ParquetReader.open File "pyarrow/error.pxi", line 100, in pyarrow.lib.check_status pyarrow.lib.ArrowInvalid: Parquet magic bytes not found in footer. Either the file is corrupted or this is not a parquet file. The above exception was the direct cause of the following exception: Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/load.py", line 2136, in load_dataset builder_instance.download_and_prepare( File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/builder.py", line 954, in download_and_prepare self._download_and_prepare( File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/builder.py", line 1049, in _download_and_prepare self._prepare_split(split_generator, **prepare_split_kwargs) File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/builder.py", line 1813, in _prepare_split for job_id, done, content in self._prepare_split_single( File "/cloud/sd_hbo/lib/python3.10/site-packages/datasets/builder.py", line 1958, in _prepare_split_single raise DatasetGenerationError("An error occurred while generating the dataset") from e datasets.builder.DatasetGenerationError: An error occurred while generating the dataset展开作者回复: 你好，看起来是数据文件下载不完整导致的问题。和ChatGPT交流了一下，推荐了几个解决思路，可以试试看能否解决： 检查文件：确定你正在读的文件是否确实是一个 Parquet 文件。通常，Parquet 文件的扩展名为 .parquet。尝试双击文件或使用专门的读取器来查看其内容。如果无法打开或内容看起来不正常，那么文件可能损坏了。 尝试重新生成文件：如果你有生成该文件的脚本或源数据，可以尝试重新生成这个文件。 检查生成代码：如果你手动创建了 Parquet 文件，检查你的代码以确认你是否正确地生成了此文件。PyArrow有一个简单的API可以用来生成 Parquet 文件。 确保数据集路径正确：如果你使用的是datasets库加载数据，确保你的数据集路径是正确的。 希望能帮助到你，如果没能解决，欢迎继续交流~
- Geek_535f732023-09-02 来自上海老师您好 我在自己的代码中dataset = load_dataset("nelorth/oxford-flowers")时遇到这个问题 确实网上搜了很久都没有找到答案，所以来请教您/哭
作者回复: 你好，这一行是下载数据集的代码，如果报错大概率是网络原因。可以把报错的日志贴一下。
共 2 条评论 - 刘2023-08-27 来自北京你好，我想问下，这里微调模型和训练lora模型有什么关系？
作者回复: 你好，这里的微调模型是指微调整个SD模型中UNet的所有权重参数，在LoRA流行之前，大家说的微调模型是指这种方式，比如我们在Civitai上能看到的各种几GB大小的模型；微调LoRA只需要采用秩因子分解的方式，优化UNet中Attention部分的部分权重矩阵（权重不变，优化对应的LoRA），这种方式得到的权重通常只有几十到几百M大小。手中没有海量训练数据的情况下，选择训练LoRA的方式即可。对于计算资源有限的情况而言，优化LoRA也是更方便的选择。希望能帮助到你。
Ericpoon
2023-08-26 来自广东试过在本地运行SDXL0.9，（1.0 运行不了，内存不足），0.9得到的图象结果没有网上写的那么好，人或动物也看着很抽象，我用的只是HUGGING FACE上给的运行代码，什么参数都没有。请问这个有没有相关的参数设置的文章，介绍一下。作者回复: 你好，建议使用SDXL推荐的分辨率（默认1024x1024），不要设置极端的宽高比。除去采样器、分辨率这些原因外，我建议参考下一些prompt经验贴看看，比如这个:https://zhuanlan.zhihu.com/p/648291684，看看能否调试出对应的风格。希望能帮助到你。
昵称C2023-08-22 来自北京老师，您好。我想做一个换脸，换衣服的图生图小功能。有合适的开源模型推荐么？我在用的时候stable-diffusion-v1-5模型生成的内容是有不适宜检测的，怎么能去掉这个检测呢？作者回复: 你好。我个人的角度，换脸换衣服这类任务选择生成能力较强的真人模型，比如墨幽人造人、Realistic这类。关掉NSFW检测，可以参考这个链接：https://stackoverflow.com/questions/73828107/how-to-fix-nsfw-error-for-stable-diffusion。 希望能够帮助到你。
秋晨
2023-08-18 来自日本认识基础模块 似乎缺失了讲解如何输出噪声图的代码作者回复: 你好，感谢你的反馈。噪声图我们使用diffusion.sample(batch_size = 4)函数来完成生成，图像可视化部分使用的是matplotlib模块，具体代码可以参考Colab。这部分只是做了一个可视化，与AI绘画关联不大，就没有拿出来讲。再次感谢你的反馈。
@二十一大叔2023-08-15 来自上海老师，最后调用sd模型的代码，在本地运行时有没有办法去加载本地指定文件夹下的模型，而不是去下载huggingface中的模型，目前是会把模型仓库中的所有问价都缓存到本地，这样对于切换模型时非常的不友好作者回复: 你好。推荐使用load_safetensors的形式进行模型加载：https://huggingface.co/docs/diffusers/using-diffusers/using_safetensors#load-safetensors，model_id中指定自己的模型路径。希望能帮助到你。
peter2023-08-12 来自北京请教老师几个问题啊： Q1：有比较好的垂直类模型吗？推荐几个啊。 Q2：开源社区网址是什么？麻烦提供一下。前面课程也许提供了，但难以逐个查找。都是在地铁上看的，当时没有记。麻烦老师了。编辑回复: 第一个问题，建议你说明一下你心目里对“垂直类模型”的理解，以及对“比较好的”定义，也可以借助谷歌搜过工具来看看。第二个问题，前面课程里确实提供过了，刚好是你复习回顾的好机会，你可以回到第一章第四节课找一下，如果找不到再提问。
Toni2023-08-11 来自瑞士思考题: 在 Hugging Face 中选择SDXL1.0 https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0 代码如下: pip install diffusers --upgrade pip install invisible_watermark transformers accelerate safetensors from diffusers import DiffusionPipeline import torch # load both base & refiner base = DiffusionPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True ) base.to("cuda") refiner = DiffusionPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-refiner-1.0", text_encoder_2=base.text_encoder_2, vae=base.vae, torch_dtype=torch.float16, use_safetensors=True, variant="fp16", ) refiner.to("cuda") # Define how many steps and what % of steps to be run on each experts (80/20) here n_steps = 40 high_noise_frac = 0.8 prompt = "RAW photo,Childhood in Beijing Hutongs,70s,two little boys playing and chasing each other,boys are dressed in shorts and vests,and appear to be very happy,the background is street,several old houses,the color tone is somewhat yellowish-brown,8k,DSLR,soft light,high quality,film grain,Fujifilm XT3" negative_prompt="mutated hands, fused fingers, too many fingers, missing fingers, poorly drawn hands, blurry eyes, blurred iris, blurry face, poorly drawn face, mutation, deformed, ugly, blurry, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, out of frame, multiple faces, long neck, nsfw" # run both experts image = base( prompt=prompt, negative_prompt=negative_prompt, num_inference_steps=n_steps, denoising_end=high_noise_frac, output_type="latent", ).images image1 = refiner( prompt=prompt, negative_prompt=negative_prompt, num_inference_steps=n_steps, denoising_start=high_noise_frac, image=image, ).images[0] image1 图发在[微信AI绘画专栏交流群]里了。展开1