Lines Matching refs:vp_dev
29 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_is_avq() local
34 return index == vp_dev->admin_vq.vq_index; in vp_is_avq()
40 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_synchronize_vectors() local
43 if (vp_dev->intx_enabled) in vp_synchronize_vectors()
44 synchronize_irq(vp_dev->pci_dev->irq); in vp_synchronize_vectors()
46 for (i = 0; i < vp_dev->msix_vectors; ++i) in vp_synchronize_vectors()
47 synchronize_irq(pci_irq_vector(vp_dev->pci_dev, i)); in vp_synchronize_vectors()
61 struct virtio_pci_device *vp_dev) in vp_vring_slow_path_interrupt() argument
66 spin_lock_irqsave(&vp_dev->lock, flags); in vp_vring_slow_path_interrupt()
67 list_for_each_entry(info, &vp_dev->slow_virtqueues, node) in vp_vring_slow_path_interrupt()
69 spin_unlock_irqrestore(&vp_dev->lock, flags); in vp_vring_slow_path_interrupt()
75 struct virtio_pci_device *vp_dev = opaque; in vp_config_changed() local
77 virtio_config_changed(&vp_dev->vdev); in vp_config_changed()
78 vp_vring_slow_path_interrupt(irq, vp_dev); in vp_config_changed()
85 struct virtio_pci_device *vp_dev = opaque; in vp_vring_interrupt() local
90 spin_lock_irqsave(&vp_dev->lock, flags); in vp_vring_interrupt()
91 list_for_each_entry(info, &vp_dev->virtqueues, node) { in vp_vring_interrupt()
95 spin_unlock_irqrestore(&vp_dev->lock, flags); in vp_vring_interrupt()
108 struct virtio_pci_device *vp_dev = opaque; in vp_interrupt() local
113 isr = ioread8(vp_dev->isr); in vp_interrupt()
129 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_request_msix_vectors() local
130 const char *name = dev_name(&vp_dev->vdev.dev); in vp_request_msix_vectors()
135 vp_dev->msix_vectors = nvectors; in vp_request_msix_vectors()
137 vp_dev->msix_names = kmalloc_array(nvectors, in vp_request_msix_vectors()
138 sizeof(*vp_dev->msix_names), in vp_request_msix_vectors()
140 if (!vp_dev->msix_names) in vp_request_msix_vectors()
142 vp_dev->msix_affinity_masks in vp_request_msix_vectors()
143 = kcalloc(nvectors, sizeof(*vp_dev->msix_affinity_masks), in vp_request_msix_vectors()
145 if (!vp_dev->msix_affinity_masks) in vp_request_msix_vectors()
148 if (!alloc_cpumask_var(&vp_dev->msix_affinity_masks[i], in vp_request_msix_vectors()
160 err = pci_alloc_irq_vectors_affinity(vp_dev->pci_dev, nvectors, in vp_request_msix_vectors()
164 vp_dev->msix_enabled = 1; in vp_request_msix_vectors()
167 v = vp_dev->msix_used_vectors; in vp_request_msix_vectors()
168 snprintf(vp_dev->msix_names[v], sizeof *vp_dev->msix_names, in vp_request_msix_vectors()
170 err = request_irq(pci_irq_vector(vp_dev->pci_dev, v), in vp_request_msix_vectors()
171 vp_config_changed, 0, vp_dev->msix_names[v], in vp_request_msix_vectors()
172 vp_dev); in vp_request_msix_vectors()
175 ++vp_dev->msix_used_vectors; in vp_request_msix_vectors()
177 v = vp_dev->config_vector(vp_dev, v); in vp_request_msix_vectors()
186 v = vp_dev->msix_used_vectors; in vp_request_msix_vectors()
187 snprintf(vp_dev->msix_names[v], sizeof *vp_dev->msix_names, in vp_request_msix_vectors()
189 err = request_irq(pci_irq_vector(vp_dev->pci_dev, v), in vp_request_msix_vectors()
190 vp_vring_interrupt, 0, vp_dev->msix_names[v], in vp_request_msix_vectors()
191 vp_dev); in vp_request_msix_vectors()
194 ++vp_dev->msix_used_vectors; in vp_request_msix_vectors()
213 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_setup_vq() local
222 vq = vp_dev->setup_vq(vp_dev, info, index, callback, name, ctx, in vp_setup_vq()
229 spin_lock_irqsave(&vp_dev->lock, flags); in vp_setup_vq()
231 list_add(&info->node, &vp_dev->virtqueues); in vp_setup_vq()
233 list_add(&info->node, &vp_dev->slow_virtqueues); in vp_setup_vq()
234 spin_unlock_irqrestore(&vp_dev->lock, flags); in vp_setup_vq()
249 struct virtio_pci_device *vp_dev = to_vp_device(vq->vdev); in vp_del_vq() local
257 spin_lock_irqsave(&vp_dev->lock, flags); in vp_del_vq()
259 spin_unlock_irqrestore(&vp_dev->lock, flags); in vp_del_vq()
262 vp_dev->del_vq(info); in vp_del_vq()
269 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_del_vqs() local
275 info = vp_is_avq(vdev, vq->index) ? vp_dev->admin_vq.info : in vp_del_vqs()
276 vp_dev->vqs[vq->index]; in vp_del_vqs()
278 if (vp_dev->per_vq_vectors) { in vp_del_vqs()
282 int irq = pci_irq_vector(vp_dev->pci_dev, v); in vp_del_vqs()
290 vp_dev->per_vq_vectors = false; in vp_del_vqs()
292 if (vp_dev->intx_enabled) { in vp_del_vqs()
293 free_irq(vp_dev->pci_dev->irq, vp_dev); in vp_del_vqs()
294 vp_dev->intx_enabled = 0; in vp_del_vqs()
297 for (i = 0; i < vp_dev->msix_used_vectors; ++i) in vp_del_vqs()
298 free_irq(pci_irq_vector(vp_dev->pci_dev, i), vp_dev); in vp_del_vqs()
300 if (vp_dev->msix_affinity_masks) { in vp_del_vqs()
301 for (i = 0; i < vp_dev->msix_vectors; i++) in vp_del_vqs()
302 free_cpumask_var(vp_dev->msix_affinity_masks[i]); in vp_del_vqs()
305 if (vp_dev->msix_enabled) { in vp_del_vqs()
307 vp_dev->config_vector(vp_dev, VIRTIO_MSI_NO_VECTOR); in vp_del_vqs()
309 pci_free_irq_vectors(vp_dev->pci_dev); in vp_del_vqs()
310 vp_dev->msix_enabled = 0; in vp_del_vqs()
313 vp_dev->msix_vectors = 0; in vp_del_vqs()
314 vp_dev->msix_used_vectors = 0; in vp_del_vqs()
315 kfree(vp_dev->msix_names); in vp_del_vqs()
316 vp_dev->msix_names = NULL; in vp_del_vqs()
317 kfree(vp_dev->msix_affinity_masks); in vp_del_vqs()
318 vp_dev->msix_affinity_masks = NULL; in vp_del_vqs()
319 kfree(vp_dev->vqs); in vp_del_vqs()
320 vp_dev->vqs = NULL; in vp_del_vqs()
336 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_find_one_vq_msix() local
363 snprintf(vp_dev->msix_names[msix_vec], sizeof(*vp_dev->msix_names), in vp_find_one_vq_msix()
364 "%s-%s", dev_name(&vp_dev->vdev.dev), name); in vp_find_one_vq_msix()
365 err = request_irq(pci_irq_vector(vp_dev->pci_dev, msix_vec), in vp_find_one_vq_msix()
367 vp_dev->msix_names[msix_vec], vq); in vp_find_one_vq_msix()
382 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_find_vqs_msix() local
383 struct virtio_pci_admin_vq *avq = &vp_dev->admin_vq; in vp_find_vqs_msix()
390 vp_dev->vqs = kcalloc(nvqs, sizeof(*vp_dev->vqs), GFP_KERNEL); in vp_find_vqs_msix()
391 if (!vp_dev->vqs) in vp_find_vqs_msix()
394 if (vp_dev->avq_index) { in vp_find_vqs_msix()
395 err = vp_dev->avq_index(vdev, &avq->vq_index, &avq_num); in vp_find_vqs_msix()
421 vp_dev->per_vq_vectors = per_vq_vectors; in vp_find_vqs_msix()
422 allocated_vectors = vp_dev->msix_used_vectors; in vp_find_vqs_msix()
432 &vp_dev->vqs[i]); in vp_find_vqs_msix()
444 vector_policy, &vp_dev->admin_vq.info); in vp_find_vqs_msix()
461 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_find_vqs_intx() local
462 struct virtio_pci_admin_vq *avq = &vp_dev->admin_vq; in vp_find_vqs_intx()
467 vp_dev->vqs = kcalloc(nvqs, sizeof(*vp_dev->vqs), GFP_KERNEL); in vp_find_vqs_intx()
468 if (!vp_dev->vqs) in vp_find_vqs_intx()
471 if (vp_dev->avq_index) { in vp_find_vqs_intx()
472 err = vp_dev->avq_index(vdev, &avq->vq_index, &avq_num); in vp_find_vqs_intx()
477 err = request_irq(vp_dev->pci_dev->irq, vp_interrupt, IRQF_SHARED, in vp_find_vqs_intx()
478 dev_name(&vdev->dev), vp_dev); in vp_find_vqs_intx()
482 vp_dev->intx_enabled = 1; in vp_find_vqs_intx()
483 vp_dev->per_vq_vectors = false; in vp_find_vqs_intx()
493 VIRTIO_MSI_NO_VECTOR, &vp_dev->vqs[i]); in vp_find_vqs_intx()
505 &vp_dev->admin_vq.info); in vp_find_vqs_intx()
550 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_bus_name() local
552 return pci_name(vp_dev->pci_dev); in vp_bus_name()
563 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_set_vq_affinity() local
564 struct virtio_pci_vq_info *info = vp_dev->vqs[vq->index]; in vp_set_vq_affinity()
571 if (vp_dev->msix_enabled) { in vp_set_vq_affinity()
572 mask = vp_dev->msix_affinity_masks[info->msix_vector]; in vp_set_vq_affinity()
573 irq = pci_irq_vector(vp_dev->pci_dev, info->msix_vector); in vp_set_vq_affinity()
586 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in vp_get_vq_affinity() local
588 if (!vp_dev->per_vq_vectors || in vp_get_vq_affinity()
589 vp_dev->vqs[index]->msix_vector == VIRTIO_MSI_NO_VECTOR || in vp_get_vq_affinity()
590 vp_is_slow_path_vector(vp_dev->vqs[index]->msix_vector)) in vp_get_vq_affinity()
593 return pci_irq_get_affinity(vp_dev->pci_dev, in vp_get_vq_affinity()
594 vp_dev->vqs[index]->msix_vector); in vp_get_vq_affinity()
601 struct virtio_pci_device *vp_dev = pci_get_drvdata(pci_dev); in virtio_pci_freeze() local
604 ret = virtio_device_freeze(&vp_dev->vdev); in virtio_pci_freeze()
614 struct virtio_pci_device *vp_dev = pci_get_drvdata(pci_dev); in virtio_pci_restore() local
622 return virtio_device_restore(&vp_dev->vdev); in virtio_pci_restore()
674 struct virtio_pci_device *vp_dev = to_vp_device(vdev); in virtio_pci_release_dev() local
679 kfree(vp_dev); in virtio_pci_release_dev()
685 struct virtio_pci_device *vp_dev, *reg_dev = NULL; in virtio_pci_probe() local
689 vp_dev = kzalloc(sizeof(struct virtio_pci_device), GFP_KERNEL); in virtio_pci_probe()
690 if (!vp_dev) in virtio_pci_probe()
693 pci_set_drvdata(pci_dev, vp_dev); in virtio_pci_probe()
694 vp_dev->vdev.dev.parent = &pci_dev->dev; in virtio_pci_probe()
695 vp_dev->vdev.dev.release = virtio_pci_release_dev; in virtio_pci_probe()
696 vp_dev->pci_dev = pci_dev; in virtio_pci_probe()
697 INIT_LIST_HEAD(&vp_dev->virtqueues); in virtio_pci_probe()
698 INIT_LIST_HEAD(&vp_dev->slow_virtqueues); in virtio_pci_probe()
699 spin_lock_init(&vp_dev->lock); in virtio_pci_probe()
707 rc = virtio_pci_legacy_probe(vp_dev); in virtio_pci_probe()
710 rc = virtio_pci_modern_probe(vp_dev); in virtio_pci_probe()
714 rc = virtio_pci_modern_probe(vp_dev); in virtio_pci_probe()
716 rc = virtio_pci_legacy_probe(vp_dev); in virtio_pci_probe()
723 rc = register_virtio_device(&vp_dev->vdev); in virtio_pci_probe()
724 reg_dev = vp_dev; in virtio_pci_probe()
731 if (vp_dev->is_legacy) in virtio_pci_probe()
732 virtio_pci_legacy_remove(vp_dev); in virtio_pci_probe()
734 virtio_pci_modern_remove(vp_dev); in virtio_pci_probe()
739 put_device(&vp_dev->vdev.dev); in virtio_pci_probe()
741 kfree(vp_dev); in virtio_pci_probe()
747 struct virtio_pci_device *vp_dev = pci_get_drvdata(pci_dev); in virtio_pci_remove() local
748 struct device *dev = get_device(&vp_dev->vdev.dev); in virtio_pci_remove()
755 virtio_break_device(&vp_dev->vdev); in virtio_pci_remove()
759 unregister_virtio_device(&vp_dev->vdev); in virtio_pci_remove()
761 if (vp_dev->is_legacy) in virtio_pci_remove()
762 virtio_pci_legacy_remove(vp_dev); in virtio_pci_remove()
764 virtio_pci_modern_remove(vp_dev); in virtio_pci_remove()
772 struct virtio_pci_device *vp_dev = pci_get_drvdata(pci_dev); in virtio_pci_sriov_configure() local
773 struct virtio_device *vdev = &vp_dev->vdev; in virtio_pci_sriov_configure()